AI 시스템의 안전성과 신뢰성을 검증하는 일이 출시 전 한 번의 점검으로 끝날 수 없다는 지적이 나왔다. 모델과 데이터, 서비스 환경이 바뀔 때마다 위험도 달라지기 때문에 기획부터 운영까지 이어지는 지속적 평가 체계가 필요하다는 것이다. 셀렉트스타는 한국능률협회컨설팅(KMAC), 법무법인 린과 함께 지난 17일 서울 포스코타워 역삼에서 ‘AI 기본법 이후의 실전 대응: 책임·거버넌스·검증’ 세미나를 열고 이 같은 방향을 제시했다.
세미나는 올해 1월 22일 시행된 AI 기본법을 기업이 어떻게 실무적으로 대응해야 하는지를 법률·거버넌스·기술 검증 세 축으로 연결해 다뤘다. AI 기본법은 일정 기준 이상의 AI 시스템에 대해 수명주기 전반에 걸친 위험 식별·평가·완화와 위험관리체계 구축을 요구하고 있다. 강상욱 과학기술정보통신부 기획조정실장, 오철세 KMAC 상무, 방석호 법무법인 린 AI산업센터장, 유창하 법무법인 린 외국변호사, 손권상 KMAC AI·빅데이터본부장, 이현택 셀렉트스타 글로벌 사업개발 팀장 등이 발표자로 나섰다.
기술적 검증, 거버넌스의 실제 근거가 된다
이현택 셀렉트스타 글로벌 사업개발 팀장은 발표에서 거버넌스와 기술 검증의 관계를 명확히 짚었다. 그는 “AI 거버넌스가 조직이 허용할 수 있는 위험과 관리 기준을 정하는 것이라면 기술적 검증은 실제 AI가 그 기준을 충족하고 있는지를 객관적인 근거로 보여주는 과정”이라며 “AI의 위험은 모델과 데이터, 서비스 환경이 바뀔 때마다 달라질 수 있는 만큼 출시 전 일회성 평가에 그치지 않고 지속적으로 평가하고 검증하는 체계를 갖추는 것이 중요하다”고 말했다.
이날 셀렉트스타는 기업이 실제로 점검해야 할 기술적 영역을 투명성 점검, 안전성 검증, 고영향·위험 분류 지원, 사업자 책무 이행·증빙, 영향평가 지원 등 5가지로 제시했다. 서비스의 목적과 적용되는 산업 분야에 따라 평가 항목과 기준 자체를 다르게 설계해야 한다는 점도 강조됐다. 획일적인 체크리스트로는 각 서비스가 실제로 노출된 위험을 제대로 포착할 수 없다는 취지다.
인증과 확인제도는 다르다, 규제도 겹친다
세미나에서는 AI 제품·서비스 확인제도와 정확성·보안성·신뢰성 인증을 구분해 접근해야 한다는 점도 짚었다. 두 개념을 혼용하지 않고 각각의 요건에 맞춰 대응해야 한다는 것이다. 아울러 AI 기본법뿐 아니라 정보통신망법, 개인정보보호법 등 여러 규제가 하나의 AI 서비스에 동시에 적용될 수 있어, 개별 법률에 따로 대응하기보다 통합된 관리체계를 구축해야 한다는 제언도 나왔다.
이번 세미나는 AI 기본법 시행 이후 기업들이 실무 현장에서 마주하는 혼란을 법률·거버넌스·기술 검증이라는 세 갈래로 나눠 정리했다는 점에서 의미를 갖는다. 특히 기술 검증을 일회성 관문이 아니라 모델과 데이터, 서비스 환경 변화에 따라 반복되는 과정으로 설계해야 한다는 제안은, AI 신뢰성 평가를 사업 초기부터 운영 단계까지 이어지는 상시 업무로 자리매김시키려는 시도로 읽힌다.