AI가 실제 서비스에 투입되는 지금, 모델이 얼마나 정확한지보다 그 판단 과정을 얼마나 믿을 수 있는지가 중요해지고 있다. TRAIN코리아와 씽크포비엘은 이런 문제의식을 담은 AI 신뢰성 대회 ‘트라이톤’ 오리엔테이션을 지난 12일 서울 가톨릭대학교 성의교정 옴니버스파크에서 열고 본격적인 대회 일정에 돌입했다. 이날 오리엔테이션에는 전국 36개 대학 대학생·대학원생 149명이 구성한 37개 팀 중 100여명이 참석했다.
이번 대회에서 참가팀은 AI 허브 데이터와 SK텔레콤의 AI 모델 ‘A.X’를 활용해 클릭베이트(낚시성 콘텐츠) 탐지 AI를 개발한다. 다만 평가 기준은 일반적인 AI 경진대회와 다르다. 완성된 모델의 탐지 성능이 아니라 위험분석, 계획수립, 실행, 판단수정으로 이어지는 신뢰성 확보 과정 자체를 평가 대상으로 삼는다.
AI 에이전트 신뢰성 설계가 새 과제로
올해 대회에는 AI 자율판단 범위와 인간개입 조건, 임계점 설계 등 AI 에이전트의 신뢰성 구조를 직접 설계하는 과제가 새롭게 포함됐다. 모델이 어디까지 스스로 판단하고 어느 지점에서 사람이 개입해야 하는지를 참가팀이 직접 설계하도록 한 것으로, AI가 자율적으로 작동하는 범위가 넓어지는 흐름을 반영한 변화다.
대회 운영 방식도 신뢰성 확보 과정을 더 촘촘히 들여다보는 방향으로 강화됐다. 참가자에게는 다이어리와 워크시트가 제공되며, 집단 멘토링과 동료 학습, 동료 평가가 함께 진행된다. 이를 통해 참가팀이 왜 그런 위험 판단을 내렸고 어떤 근거로 설계를 수정했는지가 기록으로 남는 구조다.
씽크포비엘 “기준을 아는 것만으로는 신뢰성 못 만들어”
박지환 씽크포비엘 대표는 “사람이 쓰러졌을 때 착한 마음만으로는 살릴 수 없고 응급처치를 해야 하는 것처럼 AI 신뢰성도 기준을 아는 것만으로 만들어지지 않는다”고 말했다. 이어 “이번 대회가 실제 프로젝트에서 위험을 발견하고 근거로 판단하며 필요하면 설계를 바꿀 수 있는 실천형 AI 신뢰성 인재를 키우는 과정이 되길 바란다”고 밝혔다.
대회 결선과 시상식은 오는 12월 열릴 예정이다. 상위 6개 팀에게는 최소 52만5900원부터 최대 420만100원까지 차등 상금이 지급되며, 인턴십 기회도 함께 주어진다. 자격요건을 충족한 참가자는 AI 신뢰성 전문가 민간자격인 CTAP 응시 기회도 얻을 수 있다.
결국 이번 대회가 던지는 질문은 하나다. AI 모델의 성능을 높이는 기술만큼, 그 판단 과정을 설명하고 수정할 줄 아는 역량도 갖췄는가다. 149명의 참가자가 12월 결선까지 이어갈 기록이 그 답을 보여줄 전망이다.