AI가 답변만 내놓는 챗봇에서 벗어나 기업 데이터와 시스템에 직접 접근해 판단하고 행동하는 에이전트로 진화하면서, 기존 보안 체계로는 다루기 어려운 새로운 리스크가 등장했다. 이 변화를 정면으로 다룬 컨퍼런스가 2026년 9월 7일 서울에서 열렸다. 에임인텔리전스(AIM Intelligence)가 주최하고 삼성화재가 후원한 ‘AI RISK Conference Seoul 2026’에는 학계와 금융권, 글로벌 빅테크 관계자들이 모여 AI 에이전트 시대의 보안 위협과 대응 방안을 논의했다.
프롬프트 인젝션과 권한 통제, 새로운 공격 표면
1부 패널토크는 프롬프트 인젝션, 금융권 AI 리스크, 에이전트의 권한 통제를 중심으로 진행됐다. 이병영 서울대학교 전기·정보공학부 교수, 김성웅 금융보안원 금융AI보안연구소장, 최대선 숭실대학교 AI안전성연구센터장 등이 패널로 참여해 프롬프트 인젝션이 에이전트 시대의 대표적 공격 방식으로 자리잡았다는 점을 짚었다. AI가 더 많은 권한을 갖게 될수록 그 권한을 누가, 어떻게 통제할지가 조직의 새로운 책임 영역이 된다는 점도 함께 강조됐다.
장광윤 Microsoft Korea Chief Security Advisor는 발표에서 공격 코드가 소프트웨어 취약점이 공식 공개되기도 전에 등장하는 시간차가 중앙값 기준 약 15시간에 불과하다는 수치를 제시했다. 사람이 대응 체계를 갖추기도 전에 공격이 먼저 움직인다는 뜻으로, 공격 속도가 사람의 대응 속도를 앞지르는 구조적 문제를 보여준다.
자율 방어와 사람의 승인 지점
2부 패널토크는 자율 방어, Agentic Security, Daybreak를 주제로 이어졌다. 공격 속도가 사람을 앞서는 상황에서 AI 기반의 자율 방어 필요성이 대두됐고, 마이크로소프트가 제시한 Agentic Security 개념이 그 대응 축으로 다뤄졌다. Wana Tun OpenAI Applied AI Security Specialist는 OpenAI의 AI 사이버방어 접근법인 Daybreak를 소개하며, AI가 활용할 수 있는 범위와 사람이 반드시 승인해야 하는 지점인 Human Gate를 어떻게 설계하는지 설명했다.
2부 패널에서는 피지컬 AI 안전부터 AI를 활용한 자율 방어, 기업 보안 워크플로우까지 폭넓게 다뤄졌다. AI의 속도를 활용하면서도 사람의 승인과 책임을 남기는 방안이 이날 논의의 주요 화두로 올랐다. 이는 AI가 강력해질수록 무엇을 허용하고 어디서 멈출지, 누가 책임질지가 새로운 보안 기준이 된다는 문제의식과 맞닿아 있다.
“AI 도입을 막기 위해서가 아니라”
유상윤 에임인텔리전스 대표는 오프닝 스피치에서 “AI 리스크 관리는 AI 도입을 막기 위해서 있는 게 아니라 AI를 더 적극적으로, 더 안전하게 활용할 수 있도록 하는 기반입니다”라고 말했다. AI 에이전트가 확산될수록 리스크 관리를 위축 요인이 아니라 활용의 전제조건으로 봐야 한다는 취지다. 박하연 에임인텔리전스 CTO는 “AI의 실패가 더 이상 텍스트로 끝나지 않는다”며, AI가 직접 행동하는 시대에 실패의 결과가 실제 시스템과 데이터로 이어질 수 있다는 점을 지적했다.
이번 컨퍼런스는 학계, 금융권, 글로벌 빅테크가 한자리에 모여 AI 에이전트 시대의 보안 위협을 다각도로 진단했다는 점에서 의미를 갖는다. 프롬프트 인젝션 방어부터 권한 통제, 자율 방어 체계, 사람의 승인 지점 설계까지, 이날 논의된 과제들은 결국 AI가 강력해질수록 무엇을 허용하고 어디서 멈출지를 기업이 스스로 정해야 한다는 방향으로 모였다.