정해진 문장을 반복 재생하는 안내 캐릭터와 관람객의 질문 맥락을 이해하고 표정·음성·동작으로 답하는 캐릭터는 몰입감에서 차이가 크다. 딥브레인AI는 이런 상호작용을 XR 콘텐츠에 구현할 수 있는 3D AI 휴먼 NPC 개발도구 ‘페르소나 XR AI 휴먼 SDK’ 개발을 완료했다고 밝혔다. 유니티 플러그인 형태로 제공되는 이 SDK는 게임엔진 기반 XR 콘텐츠에 곧바로 연결할 수 있다.
TTS·립싱크·LLM 결합해 실시간 응답 구현
SDK는 고속 TTS, 음소 단위 립싱크, LLM 기반 답변 생성 기술을 결합해 실시간 질의응답과 작품 위치 이동 안내를 가능하게 한다. 개발자는 캐릭터의 외형·목소리·성격·역할과 답변 생성 모델을 콘텐츠 목적에 맞게 설정할 수 있다. 여기에 감정 인식 기술을 연동해 관람객이나 학습자의 반응에 따라 설명 방식을 조정하는 것도 가능하다.
SDK는 윈도우·맥OS·안드로이드 기반 모바일 XR 기기를 두루 지원한다. 전시관에 고정 설치된 기기부터 모바일 기반 교육·관광 콘텐츠까지 같은 SDK로 대응할 수 있다는 의미다. 딥브레인AI는 지난해 7월 KOLAS 공인시험기관에서 영상 품질, 립싱크, 발음 정확도를 평가받았으며 국내외 주요 제품 대비 우수성을 확인했다고 설명했다.
산학 협력으로 완성, 하반기 실증 평가 예정
이번 SDK는 문화체육관광부와 한국콘텐츠진흥원이 지원한 과제를 통해 개발됐다. 연세대학교 산학협력단이 과제를 주관했고 한양대학교, 한국외국어대학교, 나인파이브, 스토익엔터테인먼트가 공동 연구기관으로 참여했다. 딥브레인AI는 올해 하반기 최종 실증 평가를 진행하고 전시·교육·관광·공공 안내 분야를 대상으로 SDK 공급을 추진할 계획이다.
장세영 딥브레인AI 대표는 “이번 성과는 AI 휴먼 기술을 XR 콘텐츠 제작 현장에서 곧바로 활용할 수 있는 개발도구로 완성했다는 데 의미가 있다”며 “전시와 교육, 공공 서비스 등 다양한 영역에서 AI 휴먼이 실제 문제를 해결하는 솔루션으로 자리 잡도록 연구개발을 이어가겠다”고 말했다.
딥브레인AI는 TTS와 립싱크, LLM 기반 응답 생성, 감정 인식 등 AI 휴먼 핵심 기술을 하나의 개발도구로 통합했다는 점에서 이번 SDK의 의미를 두고 있다. 정해진 대사 대신 맥락을 이해하는 캐릭터가 전시관 안내부터 교육·관광 콘텐츠까지 확산될지 하반기 실증 평가 결과가 가늠자가 될 전망이다.