AI 에이전트가 “결재 상신을 완료했다”고 답해도 실제 결재 시스템에서 요청이 반려됐다면 업무 수행에 실패한 것으로 평가한다. 에이아이웍스(AIWORKX)가 AI 에이전트 신뢰성 평가 솔루션 AgentRigor™(에이전트리거)에 적용한 기준이다. 에이아이웍스는 11월 5일 서울 코엑스에서 열린 제12회 국제 품질 테스팅 콘퍼런스 BeSTCon 2026에서 이 솔루션의 기업 적용 사례를 공개했다.
에이아이웍스는 AI 테스트·솔루션 전문기업이다. 대표는 윤석원이다. 회사는 행사에서 AgentRigor 시연과 백서 배포, 상담도 진행했다. 백서 제목은 ‘AI 에이전트에게 업무를 맡길 근거는 무엇으로 만드는가’다.
답변이 아니라 도구 호출과 승인 절차를 본다
기업이 AI에 업무 실행까지 맡기면서, 에이전트의 답변과 실제 업무 결과의 차이를 검증하는 일이 중요해졌다. 기존 AI 평가가 생성된 답변의 품질이나 정답률 중심으로 이뤄졌다면, AgentRigor는 업무 실행 과정과 최종 결과를 함께 검증한다.
검증 대상은 에이전트의 답변에 그치지 않는다. 에이전트가 호출한 도구의 종류와 순서, 각 도구의 반환 결과, 권한·승인 절차를 지켰는지를 실행 기록으로 확인한다. 업무 결과까지 함께 본다.
평가 체계는 결과·과정·지속성 등을 포함한 다섯 가지 축으로 구성된다. 이를 7개 범주로 세분화했고, 기본 지표는 24개다. 기업은 자체 지표를 추가할 수 있다. 평가 항목별 기준은 문장과 점수 범위로 정의해 검증을 자동화한다.
종합점수로 합치지 않는 설계
AgentRigor는 평가 결과를 하나의 종합점수로 합산하지 않는다. 중대한 권한 위반이나 승인 절차 미준수 문제가 다른 평가 결과에 가려지지 않도록 하기 위해서다.
운영 흐름은 평가 사례 등록, 기준 정의, 자동 평가, 전문가 검수, 실행 기록 추적을 하나로 묶었다. 자동 평가와 사람 판정의 일치도도 기록한다. 한 번에 일괄 실행하는 평가 사례 규모는 수백 건이다.
평가 시점은 세 가지다. 배포 전에는 평가 세트로 투입 가능성을 검토한다. 운영 중에는 실행 기록을 표본으로 평가하고, 환경이 바뀌면 재검증한다.
통신사 S기업·국내 IT 대기업 적용
이날 공개한 고객 적용 사례에는 통신사 S기업과 국내 IT 대기업이 포함됐다. 두 곳 모두 내부 AI 에이전트의 배포 전 검증 프로세스에 AgentRigor를 적용했다. AgentRigor는 4월 30일 정식 출시됐고, 출시 후 6개월간 고객 적용 경험을 확보했다.
김정원 에이아이웍스 AI 신뢰성 기술총괄은 “AI를 믿는다는 말은 점수를 믿는다는 뜻이 아니라, 어떤 판단과 행동이 있었는지 다시 확인할 수 있다는 뜻”이라고 말했다. 김 총괄은 또 “AI에게 업무를 맡길수록 책임은 사라지지 않는 만큼, AgentRigor는 그 판단을 뒷받침할 근거를 남기는 데 집중하고 있다”고 밝혔다.
도입 패키지와 회사 이력
기업 도입 패키지는 1개월과 3개월 두 가지다. 1개월은 PoC 중심이다. 3개월에는 운영 중 평가와 재검증, 월간 경영진 보고, 사내 이관이 포함된다. 배포 방식은 SaaS와 온프레미스 중 고를 수 있다.
에이아이웍스는 2015년 테스트웍스로 출발해 2025년 3월 현재 사명으로 바꿨다. 회사는 AI 에이전트 평가를 일회성 테스트가 아닌 지속적인 운영 절차로 정착시키는 데 집중하고 있다.