음성 속 감정과 억양까지 읽는 AI 추론 기술과 오류 섞인 데이터에서도 학습이 흔들리지 않게 하는 최적화 기술이 국제 학술대회 문턱을 넘었다. 동영상 이해 AI 기업 파일러(PYLER, 대표 오재호)는 자사 AI 연구팀의 논문 2편이 인공지능·머신러닝 분야 국제 학술대회 NeurIPS 2026에 채택됐다고 밝혔다. 두 연구는 12월 10일 호주 시드니에서 열리는 메인 행사에서 발표될 예정이다.
NeurIPS는 올해 제40회를 맞았다. 메인 행사는 시드니에서 열리고, 위성 행사는 미국 애틀랜타와 프랑스 파리에서 진행된다. 채택된 논문은 CoAT(Continuous Audio Thinking)와 GAPO(Geometric Anchor Preference Optimization)다.
CoAT, 음성을 글로 풀지 않고 AI 내부에서 소리를 직접 처리
CoAT는 음성의 비언어적 정보를 AI 추론에 반영하는 기술이다. 기존 음성 AI는 소리를 문자로 바꾼 뒤 텍스트 중심으로 추론해 왔다. 이 방식에서는 목소리 떨림이나 말투같이 글자로 옮기기 어려운 정보가 제대로 반영되지 못했다. CoAT는 음성을 문장으로 풀어 쓰지 않고, AI 내부의 별도 추론 공간에서 소리 정보를 직접 처리한다.
이 과정에는 전문 AI 모델이 결합된다. 결합 영역은 음향 복원, 음성 내용, 소리 종류, 감정, 음높이 등 5개 영역이다.
파일러는 음성 AI 모델 Qwen2-Audio, Qwen2.5-Omni, Audio Flamingo 3에 CoAT를 적용해 성능을 검증했다. 전체 평가지표 42개 중 38개에서 기존 대비 성능이 향상됐다.
음성 감정 인식 평가에 쓰이는 데이터셋 IEMOCAP에서는 Qwen2.5-Omni의 정확도가 약 55%에서 약 79%로 올랐다. 상승폭은 약 24%포인트이며, 기존 대비 약 1.4배 수준이다.
GAPO, 앵커 갭으로 불안정한 데이터의 학습 비중 낮춰
GAPO는 오류가 포함된 데이터에서 AI 학습 안정성을 높이는 기술이다. 평가 데이터에 잘못된 정보나 일관되지 않은 선호 기준이 섞이면 AI가 실제 답변의 품질과 관계없는 특성을 학습할 수 있다. GAPO의 앵커 갭 측정 접근은 데이터 오류나 평가 기준의 불확실성이 학습 결과에 미치는 영향을 줄이기 위한 것이다.
앵커 갭(Anchor Gap)은 현재 모델과 미세한 변화를 가한 가상의 비교 모델 사이의 평가 차이를 뜻한다. GAPO는 이 값을 계산해 불안정한 데이터의 학습 비중은 낮추고 안정적인 데이터의 비중은 높인다.
선호도 학습의 대표 기법으로는 DPO(Direct Preference Optimization)가 있다. 이 기법은 학습을 시작할 때의 모델을 변하지 않는 비교 기준으로 삼는다. 반면 SimPO(Simple Preference Optimization)는 따로 기준 모델을 두지 않고 학습을 진행한다.
파일러는 Mistral, Llama-3, Gemma-2 등 AI 모델을 활용해 GAPO를 검증했고, DPO·SimPO를 포함한 기존 학습 기법 8종과 비교했다. 회사 설명에 따르면 AI 답변 품질과 사용자 선호도 반영 수준을 평가하는 AlpacaEval 2.0, Arena-Hard에서 전반적으로 우수한 성능을 확인했다. 일부 실험에서는 수학 문제 풀이 데이터셋 GSM8k와 추론 능력 평가 데이터셋 ARC-C에서 기존 성능을 유지하거나 높였다.
학습 데이터의 20%를 의도적으로 잘못 표기한 실험도 진행했다. 이 실험에서 GAPO는 기존 강건성 특화 기법보다 안정적인 성능을 보였다.
김종석 AI Head “미묘한 정보까지 AI가 이해”
김종석 파일러 AI Head는 “이번 연구는 사람이 소리를 듣고 자연스럽게 구분하지만 글로는 설명하기 어려운 미묘한 정보까지 AI가 이해할 수 있도록 했다는 점에서 의미가 있다”고 말했다. 그는 이어 “영상의 안전성을 판단할 때는 화면 속 장면뿐 아니라 목소리의 어조와 배경음 등도 중요한 요소가 될 수 있다. 앞으로도 이런 정보를 놓치지 않고 분석할 수 있도록 관련 기술을 발전시켜 나가겠다”고 밝혔다.
파일러는 브랜드 세이프티와 콘텐츠 검수 분야에 주력하는 동영상 이해 AI 기업이다. 회사는 이번 연구 결과를 자사 동영상 이해 AI 기술에 적용할 계획이다. 이 분야에서는 CoAT로 영상 속 음성 정보 분석 정확도를 높이고 GAPO로 학습 안정성을 강화하는 방안을 검토하고 있다.