더빙 제작에서 가장 손이 많이 가는 검수·수정 단계를 AI 에이전트로 줄이겠다는 시도가 나왔다. 미디어 콘텐츠 특화 음성 AI 기업 허드슨에이아이(대표 신현진)는 프랑스 칸에서 10월 12일부터 15일까지 열린 MIPCOM 2026에서 더빙 생성부터 품질 검수까지 통합 수행하는 ‘현지화 AI 에이전트’를 처음 공개했다.
회사는 더빙 제작 과정에서 검수·수정에 드는 시간과 비용이 병목이라고 보고, 이를 줄이기 위해 이 에이전트를 내놨다. 글로벌 방송영상 콘텐츠 마켓인 MIPCOM 2026이 첫 공개 무대였다.
인물 구분부터 감정 음성까지, 하나의 에이전트 시스템으로
현지화 AI 에이전트는 회사의 AI 더빙 플랫폼 ‘허드슨 스튜디오(Hudson Studio)’를 기반으로 한다. 인물 구분, 맥락 번역, 캐릭터별 음성·감정 생성을 하나의 에이전트 시스템으로 연결한 구조다.
영상에서 식별할 수 있는 화자는 40명 이상이다. 겹쳐 말하는 중첩 발화를 분리하고, 캐릭터별로 이름과 식별 정보를 자동으로 부여한다. 웃음·한숨·호흡 같은 비언어적 소리도 감지해 더빙 캐릭터의 음색에 맞춰 변환한다.
번역가 검수 데이터 학습으로 QC 자동화
검수 쪽에서는 전문 번역가의 검수·수정 데이터를 학습에 활용한다. 드라마 현지화 프로젝트에서 축적한 데이터를 AI 에이전트 학습에 썼고, 이를 통해 회사 측은 품질 검수(QC) 작업의 90% 이상을 자동화했다고 설명했다.
회사 측 설명대로라면 사람이 직접 확인해야 하는 분량은 기존 검수 방식과 비교해 약 10분의 1 수준이다.
언어 테스트 마치고 글로벌 PoC 진행
허드슨에이아이는 일본어, 영어, 중남미 스페인어, 브라질 포르투갈어, 아랍어, 프랑스어 더빙 품질 테스트를 마쳤다. 언어별 적용 가능성을 확인한 것이다.
MIPCOM 이후에는 주요 글로벌 미디어 기업과 실제 영상으로 기술검증(PoC)을 진행하고 있다. 이를 기반으로 글로벌 방송사와 OTT 사업자의 콘텐츠 라이브러리 다국어 현지화 수요를 공략할 방침이다.