AI 서비스가 질문에 답하는 도구를 넘어 예약·전화·공공업무를 직접 수행하는 비서로 옮겨가면서, 이 과정에서 발생할 수 있는 위험을 사전에 통제할 보안 장치가 중요해지고 있다. 에임인텔리전스(AIM-Intelligence)는 SK텔레콤이 주관하는 컨소시엄에 합류해 정부의 ‘모두의 AI’ 프로젝트에서 AI 보안 파트너 역할을 맡는다. ‘모두의 AI’는 범용 AI 챗봇과 공공·특화 AI 에이전트를 구축하는 정부 사업으로, 이달 중 베타 버전이 공개되고 연내 정식 서비스로 출시될 예정이다.
레드티밍과 가드레일로 위험 사전 통제
에임인텔리전스가 컨소시엄에서 담당하는 기술은 AI 레드티밍과 AI 가드레일이다. AI 레드티밍은 서비스가 정식 출시되기 전에 취약점과 오작동 가능성을 사전에 점검하는 방식이고, AI 가드레일은 모델의 입력·출력·실행 과정 전반에 기준을 적용해 위험한 행동을 통제하는 장치다. 회사는 이를 통해 개인정보 유출, 프롬프트 공격, 정책 위반, 비정상 행동 등 실행형 AI 비서가 마주할 수 있는 위험 요소를 걸러낸다.
챗봇 넘어 에이전트·피지컬 AI까지 검증 확대
에임인텔리전스는 검증 범위를 챗봇에 국한하지 않고 AI 에이전트, 피지컬 AI까지 확대하고 있다. 유상윤 에임인텔리전스 대표는 “모두의 AI 사업은 인공지능이 단순 답변을 넘어 국민의 일상에 스며들어 행동을 수행하는 전환점이 될 것”이라며 이번 참여의 의미를 설명했다.
유 대표는 이어 “‘대한민국 AI의 가능성은 모두에게’라는 슬로건처럼 AI 보안은 에임인텔리전스에 맡길 수 있도록 최선을 다하겠다”고 말했다. 답변형 AI에서 실행형 AI로의 전환이 본격화하는 가운데, AI 보안이 서비스 신뢰를 뒷받침하는 축으로 자리잡을지 주목된다.