생성형 AI가 만든 결과물에서 새로 생기는 위험까지 걸러내는 안전 엔진이 나왔다. 딥브레인AI(대표 장세영)는 입력과 생성 결과물을 각각 검사하는 통합 안전 엔진 ‘AI 가드(AI Guard)’ 개발을 마치고 기업과 공공기관을 대상으로 공급을 시작했다.
입력 단계에서 문제가 발견되지 않았더라도 실제 생성된 결과물에서 새로운 위험 요소가 발생할 수 있기 때문에, 제작 전후를 모두 점검하는 구조로 만들었다고 회사는 밝혔다.
입력과 결과물을 따로 검사하는 이중 구조
AI 가드는 프롬프트와 참조 이미지 같은 입력, 그리고 생성된 결과물을 각각 검사한다. 기능은 페이스 아이디 판별, 악의적 입력 필터, 딥페이크 판별 세 가지이며, 총 10종의 API로 제공한다.
딥브레인AI에는 완성된 이미지·영상만 확인하는 기존 딥페이크 탐지 솔루션 ‘AI 디텍터’가 있다. AI 디텍터가 별도 탐지 솔루션이라면, AI 가드는 제작 과정의 위험을 사전에 점검하고 결과물까지 재검사하는 제품이다.
판정 오류·시간 초과 땐 자동 차단
AI 가드는 ‘실패 시 차단(Fail-Closed)’ 방식을 택했다. 검사 중 오류가 나거나 시간이 초과돼 판정이 불가능한 상태가 되면 결과물을 차단한다. 유해 콘텐츠가 외부로 제공될 가능성을 줄이기 위한 조치다.
고객사가 보유한 GPU에서 구동할 수 있어, 외부 상용 API 없이 데이터의 외부 전송이 제한된 환경에서도 쓸 수 있다.
KOLAS 인정 시험기관 시험에서 판별 정확도 96%
한국인정기구(KOLAS)가 인정한 시험기관 와이즈스톤(Wisestone)에서 2025년 10월 소프트웨어 품질 국제표준 KS X ISO/IEC 25023 기준 시험을 진행했다. 시험 항목은 합성 여부 판별 정확도, 악의적 생성 유도 입력 차단 오차율, 특정 인물 인식 정확도 등 세 가지였고, 딥브레인AI는 세 항목 모두 과제 기준을 충족했다고 설명했다.
합성 여부 판별 정확도는 해당 시험 조건에서 96%로 측정됐다. 이 제품은 문화체육관광부와 한국콘텐츠진흥원이 지원하는 문화기술 연구개발 사업 과제로 개발됐으며, 주관 기관은 한국전자기술연구원이고 딥브레인AI는 공동연구개발기관이다.
장세영 딥브레인AI 대표는 “생성형 AI 서비스에서 안전장치는 부가적인 기능을 넘어 안정적인 서비스 운영을 위한 기본 요건”이라고 말했다. 이어 “AI 가드의 주요 성능을 공인 시험을 통해 확인한 만큼 기업과 기관이 자체 인프라 안에서 생성형 AI의 악용 위험을 체계적으로 관리할 수 있도록 기술 적용 범위를 확대하겠다”고 밝혔다.
딥브레인AI는 앞으로 다양한 생성형 AI 서비스에 적용할 수 있도록 AI 가드 기술을 넓혀 갈 방침이다.