AI가 텍스트뿐 아니라 이미지까지 받아들이는 환경에서 민감정보 노출 위험을 어떻게 점검하고, AI 에이전트의 행위를 어떻게 통제할 것인가. API 거버넌스 전문기업 소프트프릭(대표 김동철)이 이 두 과제에 관한 특허 2건을 등록했다. 하나는 멀티모달 AI 모델의 프라이버시 취약점 진단 기술이고, 다른 하나는 AI 게이트웨이의 보안 제어 기술이다.
텍스트만으론 어려운 취약점, 멀티모달 공격으로 점검
첫 번째 특허는 ‘인공지능 모델의 프라이버시 취약점 진단을 위한 멀티 모달 공격 방법’이다. 텍스트·이미지 등 다양한 입력 형태를 활용한 공격 시나리오로 AI 모델의 민감정보 노출 가능성을 점검한다. 텍스트 기반 진단만으로 확인하기 어려운 멀티모달 AI의 취약점을 사전에 파악하는 데 목적이 있다.
이 기술은 AI 모델 자체의 안전성을 검증하는 AI 보안 테스팅(AI Security Testing) 분야에 활용된다. 소프트프릭은 지난해 AI 프라이버시 취약점 진단 관련 특허 5건을 출원했으며, 이번 등록 특허는 그중 하나다. 회사는 이 기술을 기존 취약점 진단 솔루션 파바타(F-Avata)의 AI 보안 진단 기능으로 개발하고 있다.
AI 게이트웨이로 프롬프트와 에이전트 행위 통제
두 번째 특허는 ‘AI 게이트웨이가 실행하는 프롬프트 및 시스템 행위에 대한 보안 제어 방법’이다. AI 게이트웨이가 프롬프트와 시스템 이용 행위를 보안정책에 따라 통제하는 방식이다. AI 에이전트가 API, 데이터, 외부 도구에 접근하는 권한과 실행 행위를 관리하고 추적하는 데 쓰인다.
소프트프릭은 API 관리·보안 분야에서 쌓은 인증·인가·접근제어 기술을 기반으로 기존 API 게이트웨이 기능을 LLM·AI 게이트웨이로 확장해 개발하고 있다. 보안 제어 기능을 구현하면서 제품화를 위한 기술 검증도 병행하고 있다.
김동철 대표는 “공격자가 AI로 취약점을 찾고 공격을 자동화하면서 사람 중심의 대응만으로는 공격의 속도와 규모를 따라가기 어려워지고 있다”고 말했다. 이어 “방어에도 AI를 적극 활용하는 동시에 기업이 사용하는 AI의 안전성을 검증하고 접근과 행위를 통제해야 한다”고 밝혔다.
LLM 기반 보안 자동화 특허도 출원
소프트프릭은 LLM이 보안 가이드라인을 분석해 점검 규칙과 진단 스크립트를 자동으로 생성하는 기술의 특허를 출원했고, 파바타와의 연계를 추진하고 있다. 위험도별 보호 정책 조정 기술, 생성형 AI 모델의 재학습·증류·미세 조정을 추적하는 워터마킹 기술 등 모델 보호 관련 특허 출원도 이어가고 있다. 이들은 출원 단계로, 등록된 것은 아니다.
향후에는 등록 특허 기술을 파바타와 개발 중인 게이트웨이에 단계적으로 적용할 예정이며, 검증을 마친 기능부터 기존 솔루션과 연계한다. API 게이트웨이, 취약점 진단, 계정관리, 접근제어 솔루션에 AI 보안을 결합해 모델 검증부터 에이전트 통제, 보안 자동화까지 아우르는 AI 보안 및 API 거버넌스 체계를 구축할 계획이다.