AI가 먼저 채점하고 사람이 최종 판단하는 하이브리드 방식의 AI 활용 능력 평가가 출시 반년 만에 16개 기업·기관에 도입됐다. AI 기반 온라인 테스팅 기업 그렙(대표 임성수)은 지난 3월 출시한 ‘프로그래머스 AI 역량평가’를 우리카드, 국민대학교 등이 도입했다고 밝혔다. 이 서비스는 실제 업무 상황 과제로 AI 활용 능력을 측정한다.
그렙은 올해 말까지 누적 응시자가 4만 명에 이를 것으로 전망하고 있다. 한 시중은행은 하반기 신입 행원 채용에서 기존 PT 면접을 AI 역량평가로 대체한다.
프롬프트 기록까지 분석하는 평가 방식
AI 역량평가는 최종 결과물만 보지 않는다. 응시자가 AI에게 입력한 프롬프트 기록과 검증 과정까지 분석한다. 평가 기준은 업무 판단, 상호작용, 결과 검증, 보안·윤리 준수 네 가지다.
채점은 AI가 1차로 맡고, 사람이 최종 판단한다. 그렙은 전 과정을 수작업으로 채점하는 경우와 비교해 이 방식으로 채점·검토 부담을 약 90% 줄일 수 있다고 설명했다. 동시 응시는 최대 2만 명까지 가능하도록 설계됐다.
그렙의 원격 시험 감독 솔루션 ‘모니토’는 대리 응시·대필 등 부정행위에 대응하는 데 쓰인다. 다만 AI 채점과 원격 감독 기술을 적용하더라도 공정성과 정확성을 확보하는 데는 사람의 최종 검토와 운영 기준 관리가 중요하다.
채용 전형 50%, 대기업·중견기업 약 70%
도입 기관 가운데 대기업·중견기업이 약 70%, 대학이 25%를 차지한다. 활용 목적은 채용 전형이 50%로 가장 많았다. AI 경진대회·체험 행사가 약 30%, 임직원 역량 진단이 약 20%다.
채용 현장의 사례도 나왔다. 국내 대기업 계열 IT서비스 기업은 올해 상반기 신입·경력 채용에 AI 역량평가를 적용해, 서류 검토 후 1차 면접 전에 지원자 약 500명을 평가했다. 국내 주요 게임사는 올해 하반기 약 1000명 규모의 개발자 채용에 이를 도입했으며, 전 임직원 AI 역량 진단으로 넓히는 방안을 고려하고 있다.
시중은행은 상반기 신입 채용에 AI 역량평가를 도입한 데 이어 하반기에는 PT 면접을 이 평가로 대체한다. 개발 직군은 코딩테스트를 유지하면서 AI 역량평가를 추가한다. 기존 전형을 AI 역량평가로 대체하거나 다른 평가 방식과 병행하는 방식이다. 지원자가 발표하는 능력뿐 아니라 AI로 업무 과제를 해결하는 역량을 채용에서 확인하겠다는 취지다.
우리카드는 입사 2년 차 직원 AI 교육 후 평가
우리카드는 지난 8월 입사 2년 차 직원을 대상으로 AI 교육을 진행한 뒤 평가를 실시했다. 평가 결과는 사내 AI 역량 기준 점수를 마련하는 데 활용할 예정이다. 우리카드 기업문화혁신팀 관계자는 “AI 역량평가를 통해 신입직원의 AI 활용 수준을 객관적으로 진단하고, 개인별 성장 방향과 수준별 맞춤형 AI 인재 육성 체계 수립을 위한 기초 데이터를 확보하는 계기가 됐다”고 말했다.
그렙이 지난 6월 발표한 ‘2026 대한민국 기업 AI 역량 진단 리포트’에서는 중견·대기업 인사담당자와 경영진 200명 중 66.5%가 AI 역량을 측정할 기준이 없다고 답했다. 기업의 AI 도입이 확대되는 반면 구성원의 실제 활용 역량을 평가할 기준은 부족하다. 그렙은 이러한 수요에 대응해 채용부터 입사 후 교육, 역량 진단까지 서비스를 제공한다.
임성수 그렙 대표는 “같은 AI를 써도 성과가 갈리는 건 AI에 무엇을 맡길지 정하고, 그 결과를 검증하는 능력의 차이 때문”이라고 말했다. 또 “도입을 논의 중인 곳까지 합하면 50여 개 기업·기관이 AI 역량평가를 찾고 있다”고 밝혔다. 그렙은 도입을 검토하는 기업·기관을 대상으로 서비스 적용 범위를 넓힐 계획이다.
임 대표는 “그렙이 코딩테스트로 개발자 채용의 기준을 세웠듯 이제는 채용부터 입사 후 교육과 역량 진단까지 이어지는 AI 활용 역량의 기준을 만들겠다”는 목표를 내놓았다. 그렙이 전망하는 올해 말 누적 응시자는 4만 명이다.