생성형 AI를 도입한 기업 대부분이 손익 성과를 내지 못하고 있다는 조사 결과가 나왔다. JiHyun & Company 김지현 대표는 Scale-Up Note 칼럼에서 AI 도입의 성패가 기술을 얼마나 많이 쓰느냐가 아니라 해결할 비즈니스 문제를 얼마나 명확히 정의했느냐에 달렸다고 주장했다. 김 대표는 MIT NANDA와 맥킨지앤드컴퍼니의 보고서, 그리고 자신이 만난 기업 사례를 근거로 들었다.
김지현 대표는 글로벌 제약사와 다국적 기업에서 마케팅·영업·전략 리더십을 맡은 30년 이상의 경력을 갖고 있다. Abbott, AstraZeneca, Gilead, Allergan 등을 거쳤고, 지금은 JiHyun & Company에서 성장 단계 기업과 투자사 포트폴리오의 커머셜 전략을 자문한다.
보고서가 보여주는 생산성과 손익의 간극
MIT NANDA는 '2025 기업 AI 현황: 생성형 AI 격차' 보고서(The GenAI Divide: State of AI in Business 2025)를 냈다. 이 보고서가 조사한 기업용 생성형 AI 프로젝트 가운데 약 95%는 측정 가능한 손익 성과를 만들지 못했다.
맥킨지앤드컴퍼니의 '2026 AI 현황 글로벌 조사'(The State of AI: Global Survey 2026)에서는 AI로 개인 생산성이 향상됐다고 답한 응답자가 80%였다. 반면 AI가 기업의 영업이익(EBIT)에 기여했다고 응답한 비율은 37%에 그쳤다. 개인의 체감과 기업 재무 성과 사이에 간극이 있다는 것이 김 대표의 문제의식이다.
MIT NANDA 보고서에 따르면 AI 예산은 영업·마케팅에 집중됐다. 그러나 비용 절감 효과는 행정·재무·조달·문서 처리 같은 지원 부서 자동화에서 더 나타났다.
자체 개발보다 외부 솔루션, 그리고 운영비
같은 보고서에서 전문기업의 상용 솔루션을 구매하거나 외부 파트너와 협력한 프로젝트의 성공률은 약 67%였다. 기업이 자체 개발한 AI 프로젝트의 성공률은 약 33%였다. 모델을 보유했는지보다 업무 흐름에 적용하고 수정하는 속도가 성과를 좌우했다는 것이 칼럼의 서술이다.
AI 운영비도 변수다. 맥킨지 조사에서 기업 다섯 곳 중 한 곳가량은 AI 관련 운영비가 늘어 사용에 제약을 받고 있다고 답했다. 김 대표는 현장에서 토큰 사용료가 예상보다 빨리 늘어 연간 예산을 몇 달 만에 소진하거나 구성원의 사용 범위를 제한하는 사례가 나온다고 썼다.
AI를 도입하고 더 바빠진 기업
김 대표가 만난 한 기업 대표는 AI 도입 이후 회사 일이 줄기는커녕 더 바빠졌다고 했다. 밤낮없이 돌아가는 AI가 검토할 자료와 판단할 사안을 계속 만들어내면서, 전에는 손대지 못하던 업무까지 빠르게 처리하게 됐다는 설명이다.
이 회사는 결원이 생겨도 곧바로 충원하지 않고 기존 조직으로 업무를 이어가며 신규 채용을 줄였다. 반복 업무, 인력 운용, 의사결정 속도에서 AI 도입 효과가 나타났다.
워크숍에서 갈린 두 부류의 반응
AI 의사결정 모델을 활용한 사업 성과 측정 워크숍 논의에서는 기업 반응이 두 부류로 갈렸다. 한쪽은 AI를 빠르게 도입해 성과를 측정하고 수정해 나갔다. 다른 쪽은 시연과 검토를 거듭하며 결정을 미뤘다.
김 대표는 두 부류를 가른 것이 AI 지식의 차이보다 풀어야 할 문제를 얼마나 분명히 인식하느냐의 차이였다고 평가했다. AI가 유행하기 때문에 도입하면 기대하는 성과도 모호해진다는 것이다. 반대로 해결하려는 문제가 분명하면 필요한 기술과 적용 범위, 투자 규모, 성과 지표를 구체적으로 설계할 수 있다.
소프트웨어 추가가 아닌 경영의 선택
김 대표는 AI 도입이 소프트웨어를 하나 더하는 일이 아니라 경영의 선택이라고 강조했다. 해결할 문제, 절감 목표, 측정 기준을 먼저 정해야 한다는 주장이다.
김 대표는 앞으로 2~3년 동안 기업 간 AI 활용 격차가 더 커질 가능성이 높다고 전망했다.