집도의가 “클립 주세요”라고 말하면 로봇이 카메라로 수술 부위를 확인하고 필요한 도구를 스스로 찾아 건넨다. 음성 명령을 인식하고, 영상으로 상황을 파악하고, 손을 움직이는 이 세 단계를 하나로 묶은 비전-언어-행동(VLA) 기술이 이번 시연의 핵심이다. 삼성서울병원은 레인보우로보틱스, 에이딘로보틱스, 성균관대, 서울대, 국립암센터, 전북대병원 등이 참여하는 컨소시엄과 함께 2026년 9월 16일 삼성서울병원 히포크라테스홀에서 피지컬 AI 기반 휴머노이드 수술 보조 로봇 ‘ORchestra’의 라이브 시연을 열었다.
ORchestra는 5년간 진행되는 한국형 ARPA-H 프로젝트의 결과물로, 현재 2차년도 중반 개발 단계에 있다. 수술실 보조 인력 부족과 숙련 인력 이탈 문제를 해결하기 위해 기획됐으며, 집도의를 대신하는 것이 아니라 수술 도구 전달·내시경 유지·조직 견인 등을 맡는 ‘지능형 수술 조수’를 지향한다는 점이 강조됐다.
음성-영상-동작을 하나로 묶은 파이프라인
ORchestra의 동작 원리는 음성 명령 인식→카메라 영상 결합→역기구학 계산 및 반복학습 데이터 기반 동작 경로 생성으로 이어진다. 이번 시연에서는 복강경 수술 상황을 가정해 “잡아”, “뒤로” 같은 짧은 명령에도 로봇이 반응하는 장면이 공개됐다. 이 같은 학습은 실제 수술실 데이터를 반복적으로 축적해 이뤄지는데, 연구진은 수술실 자체를 데이터 수집 공간으로 보는 ‘서지컬 데이터 팩토리(Surgical Data Factory)’ 개념을 통해 의료진의 암묵지를 데이터로 전환하고 있다고 설명했다.
공개된 성능 지표는 1단계 목표치인 95%를 넘어섰다. 음성 명령 인식률과 동작 성공률 모두 목표를 초과했고, 수술 도구 5종을 집는 성공률은 100%, 도구를 의료진에게 전달하는 성공률은 98.7%를 기록했다. 명령이 입력된 뒤 로봇이 동작을 시작하기까지 걸리는 시간은 현재 2초 이내이며, 최종 목표는 1초 이내로 제시됐다. 시연에는 2지 그리퍼와 다관절 로봇 핸드 두 종류의 손 형태가 함께 사용됐다.
다빈치와 다른 길, 협업형 로봇을 지향
기존 특수 목적 수술 로봇인 다빈치는 의사가 콘솔에서 직접 조종하는 방식이다. 반면 ORchestra는 집도의가 콘솔 없이 음성과 시선만으로 로봇에 지시를 내리고, 로봇이 이를 스스로 해석해 움직이는 협업형 구조를 취한다. 이동 방식도 이족보행이 아닌 바퀴형 플랫폼을 택해 안정성과 정밀도를 우선했다.
프로젝트 구조를 보면 삼성서울병원이 총괄을 맡아 임상 요구사항 정의와 실증을 주도하고, 레인보우로보틱스가 로봇 본체를, 에이딘로보틱스가 그리퍼와 손을 개발한다. 성균관대와 서울대는 AI 소프트웨어 개발을, 국립암센터와 전북대병원은 데이터 수집과 실증을 담당한다. 현재 프로젝트에는 9명의 전문의가 참여하고 있다.
안전장치와 데이터 표준, 임상까지 남은 과제
연구진은 로봇 도입에 앞서 여러 단계의 안전장치를 마련했다고 밝혔다. 음성·페달·버튼을 통한 긴급정지, 힘이 걸리면 자동으로 풀리는 기능, 로봇이 넘지 않도록 설정된 안전 영역 등이 포함된다. 다만 로봇이 수술 중 문제를 일으켰을 때의 법·제도적 책임 소재 기준은 아직 마련되지 않았으며, 이는 2단계 개발 과정에서 검토될 예정이다.
수술실 밖 데이터를 활용할 때는 데이터심의위원회(DRB)의 심의를 거쳐야 한다. 연구진은 삼성서울병원, 국립암센터, 전북대병원 등 4개 기관의 데이터 표준을 통일하는 작업도 함께 진행할 계획이라고 밝혔다. 로봇의 임상 적용은 식품의약품안전처 승인과 각 병원 임상시험심사위원회(IRB) 절차를 거쳐야 하며, 2029년 담낭절제술과 뇌하수체종양절제술 등을 대상으로 4개 병원에서 첫 임상시험을 진행하는 것이 목표다. 연구진은 로봇 도입이 곧바로 수술비 상승으로 이어지지는 않을 것으로 내다봤다.
이번 시연은 완성된 로봇을 선보이는 자리가 아니라, 2차년도 중반에 이른 개발 상황을 점검하는 중간 발표 성격이 짙다. 음성 인식부터 동작 실행까지 이어지는 AI 파이프라인의 성공률이 목표치를 웃돌았다는 점에서 데이터 기반 학습 구조가 실제 수술실 환경에서도 작동한다는 것을 확인한 셈이다. 남은 과제는 반응 속도를 1초 이내로 줄이는 기술적 완성도와 함께, 여러 기관의 데이터를 표준화해 학습 규모를 키우는 일이다.