AI 데이터 테크 기업 크라우드웍스가 기업의 인공지능 전환(AX)이 실패하는 원인을 데이터 관점에서 풀어낸 백서 ‘우리 조직의 AX가 실패하는 이유’를 발간했다. 백서는 회사의 AI 프로젝트 수행 경험을 바탕으로 데이터 구축·품질 검증·운영과 개선 전 과정을 분석했고, 실패 원인을 다섯 가지로 나눠 대응 방안을 함께 제시했다.
AI 도입에 투자하는 기업이 실제 업무 환경에서 기대한 성과를 얻기까지는 아직 과제가 남아 있다. 크라우드웍스는 데이터를 어떻게 정리하고 가공하는지에 대한 기준, 그리고 오류를 개선하는 방식이 중요한 변수라는 점에서 이번 백서를 냈다.
백서가 꼽은 AX 실패 원인 다섯 가지
백서가 분류한 원인은 목적·요건 정의 부실, 데이터 맥락 유실, 복합 데이터 가공 오류, 주관적 품질 관리, 운영·개선 체계 미흡이다. 원인마다 데이터 구축 현장에서 마주치는 과제와 대응 방향을 함께 정리했다.
첫 번째인 목적·요건 정의 부실에 대해서는 대규모 구축에 들어가기 전에 소량의 데이터로 사전 작업을 해 볼 것을 제안한다. 발주 기업과 수행 조직이 품질 기준과 처리 방식을 미리 합의해야 한다는 것이다. 요구사항이 불명확해 예상하지 못한 사례가 나올 때마다 작업 방식을 고치면 프로젝트 일정 지연과 비용 증가로 이어질 수 있다고 백서는 짚었다.
두 번째인 데이터 맥락 유실의 해법으로는 문서 요소별 특성을 반영한 데이터 변환과 메타데이터 설계가 제시됐다. 크라우드웍스는 이를 해결하기 위해 AI 레디 데이터(AI-Ready Data) 구축 방식을 강조했다. AI 모델이 학습·검색·추론에 활용할 수 있도록 목적에 맞게 구조화한 데이터를 뜻한다.
가공 오류와 품질 관리, 운영 체계의 대응
세 번째인 복합 데이터 가공 오류에 대해서는 작업 목적, 데이터 유형, 처리 단계별로 세분화한 가이드라인이 필요하다고 설명한다. 여러 유형이 섞인 데이터일수록 작업자가 따를 기준이 촘촘해야 한다는 취지다.
네 번째인 주관적 품질 관리는 독립적인 교차 검수 체계와 합격·재작업을 가르는 객관적 기준을 세워 다룬다. 크라우드웍스는 데이터 품질을 안정적으로 유지하기 위해 이런 체계를 마련할 것을 제안했다.
다섯 번째인 운영·개선 체계 미흡에는 반복적인 관리 체계가 해법으로 제시된다. 운영 중 발견한 오류와 개선 사항을 데이터에 반영하고, 반영한 결과를 다시 검증하는 순환 구조다.
금융사 챗봇·교육 멀티모달 AI 사례로 푼 실무 방법
백서에는 스키마 설계, 데이터 관계 매핑, 메타데이터 설계 같은 실무 방법이 프로젝트 사례와 함께 담겼다. 사례는 금융사 사내 챗봇과 교육 분야 멀티모달 AI 학습 데이터 구축이다.
크라우드웍스 관계자는 “성공적인 AX는 명확한 요건 정의와 정교한 데이터 설계에서 시작된다”고 말했다. 같은 관계자는 “이번 백서가 기업들이 데이터 구축 과정에서 겪는 시행착오를 줄이고, 실질적인 AI 활용 성과를 창출하는 데 도움이 되길 기대한다”고 밝혔다.
LLM 학습 데이터에서 피지컬 AI까지
2017년 설립된 크라우드웍스는 네이버, LG, KT 등 국내 주요 ICT 기업을 포함해 600개 이상 기업에 데이터 솔루션을 공급했다는 게 회사 설명이다. 네이버의 대규모언어모델(LLM) 하이퍼클로바X, LG AI연구원의 엑사원 학습 데이터 구축에도 참여했고, KT의 LLM 믿음 학습 데이터 구축에도 참여했다.
회사는 기존 언어모델 학습 데이터 구축 경험을 바탕으로 에이전틱 AI, 로보틱스, 자율주행 등 피지컬 AI 분야까지 데이터 기술의 적용 범위를 넓히고 있다. 크라우드웍스는 2023년 8월 코스닥 시장에 상장했다.