AI 에이전트가 예약과 결제, 배차 등 외부 서비스에서 직접 행동하는 단계로 들어서면서, 답변의 정확도만 보던 기존 평가 방식으로는 안전성을 담보하기 어려워졌다. 크라우드웍스는 2026년 9월 3일 'AI 에이전트 안전·신뢰성 검증 체계 지원' 사업을 수주하고 한국형 검증 데이터셋 구축을 주도한다고 밝혔다. 이 사업은 슈어소프트테크가 주관하며 크라우드웍스와 KAIST(한국과학기술원), 한국인공지능산업협회가 컨소시엄으로 참여한다.
계획 수립부터 도구 호출까지 검증
기존 AI 평가 체계는 최종 답변의 정확도에만 집중해 에이전트가 어떤 계획을 세우고 어떤 과정을 거쳐 행동했는지는 검증하기 어려웠다. 이번 사업은 이런 한계를 보완하기 위해 다단계 추론 시나리오와 MCP 도구·외부 API 호출까지 검증할 수 있는 데이터셋을 구축한다. 크라우드웍스는 이 사업을 통해 올해 말까지 7,000건 이상의 데이터를 구축할 계획이며, 국제 표준을 지키면서도 국내 서비스 환경을 반영한 평가 기준을 마련한다는 목표다. 구축된 데이터는 현장 적용 이후 민간 AI 신뢰성 인증과도 연계될 예정이다.
데이터 구축 노하우로 신뢰 표준 정립
크라우드웍스 관계자는 “모델 고도화만큼이나 에이전트 실행 과정의 안전성과 신뢰성 검증이 AI 산업의 필수 거버넌스로 떠올랐다”며 “고품질 데이터 구축 노하우와 평가 역량을 바탕으로 국내 AI 에이전트 생태계의 신뢰도를 높이고 글로벌 수준에 부합하는 한국형 검증 표준을 정립하는 데 기여하겠다”고 말했다.
2017년 설립된 크라우드웍스는 네이버, LG, KT 등 600개 이상의 기업에 데이터를 공급해왔으며 2023년 8월 코스닥에 상장했다. 하이퍼클로바X, 엑사원, 믿음 등 대규모언어모델 학습 데이터 구축 경험을 쌓아온 회사는 이번 사업을 계기로 에이전틱 AI 분야까지 검증 역량을 확장하게 됐다. 회사는 에이전틱 AI뿐 아니라 로보틱스, 자율주행 등 피지컬 AI 분야로도 사업 영역을 넓히고 있다.