AI 모델을 만드는 것과, 그 모델을 수많은 사람이 동시에 쓰도록 안정적으로 굴리는 것은 전혀 다른 문제다. 노타(대표 채명수)가 후자를 책임지는 역할로 정부의 국가 AI 사업 ‘모두의 AI’에 참여한다. 노타는 SK텔레콤 컨소시엄에서 AI 모델 인프라 분야, 즉 경량화와 최적화를 맡는다.
넷츠프레소로 인프라 효율화
노타는 자체 개발한 AI 모델 경량화·최적화 플랫폼 ‘넷츠프레소(NetsPresso)’를 활용한다. 모델 특성과 하드웨어 환경을 분석해 연산량과 메모리 사용량을 줄이는 방식이다. 이를 통해 데이터센터, 기업 서버, 엣지 디바이스 등 다양한 인프라 환경에서 AI 모델이 안정적으로 구동되도록 지원한다.
‘모두의 AI’는 국민 누구나 일상에서 AI를 활용할 수 있도록 공공·생활 서비스에 AI를 적용하고, 향후 실행형 AI로 발전시키는 것을 목표로 하는 과학기술정보통신부와 정보통신산업진흥원의 사업이다. 여러 AI 모델과 에이전트를 동시에 운영해야 하는 환경에서는 연산량과 메모리, 응답속도 관리의 필요성이 커진다.
독파모 이어 서비스 운영까지
노타는 앞서 독자 AI 파운데이션 모델(독파모) 사업에도 참여했다. 모델 개발 단계에 이어 이번에는 서비스 운영 단계의 최적화까지 맡으면서, 국가 AI 생태계 전 과정에 걸쳐 역할을 넓히게 됐다.
채명수 노타 대표는 “국가 AI 경쟁력은 우수한 모델 개발을 넘어 국민이 실제 사용하는 서비스를 구현하고 이를 대규모 환경에서도 빠르고 안정적으로 운영하는 역량에서 완성된다”고 말했다. 그는 “‘모두의 AI’에서도 모델 개발부터 실제 서비스 운영까지 최적화 역량을 폭넓게 적용해 대한민국이 독자적인 AI 기술과 활용 기반을 갖추는 데 기여하겠다”고 덧붙였다.
모델을 잘 만드는 것과 그 모델을 실제로 국민이 체감하도록 서비스화하는 것 사이의 간극을 메우는 일이 이번 참여의 핵심이다. 노타는 경량화·최적화 기술로 이 간극을 좁혀, AI가 실험실이 아닌 일상 서비스로 자리잡는 데 필요한 인프라 역할을 수행하게 된다.