에이전트가 실제 업무에 투입되면서 AI 인프라는 더 복잡해졌고, 래블업은 그 복잡성을 인프라 안으로 감추고 사용 과정은 단순하게 만드는 쪽을 택했다. AI 인프라 소프트웨어 기업 래블업은 9월 29일 서울 삼성동 코엑스에서 여섯 번째 연례 기술 컨퍼런스 ‘lab | up > /conf/6’를 열었다. 이 자리에서 모델 라우팅과 토큰 계량을 맡는 Continuum Router와 Continuum Hub를 공개했다.
컨퍼런스 주제는 ‘Make AI Composable²’다. 오프닝 키노트, 패널 토크, Continuum Router·Hub 데모로 진행됐다. NVIDIA, VAST Data, kt cloud 등 기업과 KAIST가 참여했다. FuriosaAI, Samsung Welstory, RLWRLD, AIM Intelligence도 이름을 올렸다.
AI는 ‘산업의 시대’로, 핵심은 지능의 측정과 전달
올해 오프닝 키노트에서 신정규 래블업 대표는 AI 발전 단계를 ‘과학과 공학의 시대’에서 ‘산업의 시대’로 표현했다. 산업 시대에는 지능을 측정하고 전달하는 일이 핵심이라는 것이다. 신 대표는 “AI라는 말 자체가 없어질 가능성이 굉장히 높습니다.”라고 말했다.
지난해 같은 자리에서는 ‘측정 가능한 지능’을 화두로 제시했다. 래블업은 지난해 향후 10년의 비전으로 ‘인류를 위한 지능의 민주화’도 내놓았다.
Continuum Router·Hub: 모델은 한 경로로, 토큰은 중앙에서
Continuum Router는 외부 API와 기업 내부 모델을 하나의 경로로 연결해 요청을 라우팅한다. 연결 대상 외부 API에는 OpenAI와 Anthropic, Amazon Bedrock, Gemini 등이 있다. Continuum Hub는 토큰 사용량과 정책, 비용을 중앙에서 관리하는 AI 계량기다. 지난해 제시한 ‘측정 가능한 지능’을 제품으로 구현한 첫 단계가 Continuum Hub다.
Backend.AI는 연산 자원을, Continuum은 모델·토큰 흐름 관제를 맡아 여러 기술 계층을 연결한다. 래블업은 이런 구상을 묶어 토큰팩토리(Token Factory)라는 개념으로 소개했다.
신 대표는 “토큰이 전기처럼 사용된다면 계량기가 필요한 상황”이라고 설명했다. 이어 “갈수록 복잡해지는 AI 그리고 AI 인프라 운영을 간단하게 가져오면서 그 과정에서 계량하고 배달하는 일을 더 간단하게 해보자”고 말했다.
에이전트 운영에서 확인한 병목과 ‘누빔’
이번 발표에서는 AI 인프라의 관심 범위가 GPU에서 CPU, 네트워크, 스토리지로 넓어졌다. 에이전트가 실제 업무를 수행하면서 GPU 밖의 자원에서 병목이 나타났다는 것이다. 래블업이 지난해 말부터 대규모 에이전트를 운영하며 확인한 병목은 CPU와 대역폭이었다.
에이전트별 자원 격리가 어렵다는 문제를 풀기 위해 진행하는 연구 프로젝트가 ‘누빔’이다. 마이크로VM과 컨테이너를 결합해 에이전트별 자원 총량을 제한하고 프로세스를 분리하려는 시도로, 현재 진행 중이다.
에이전트 플랫폼과 인퍼런스 최적화 패널
래블업은 만들고, 돌리고, 다스리고, 평가하는 루프로 에이전트를 연결하는 AI 에이전트 플랫폼도 개발하고 있다.
패널 토크 ‘AI 병목을 해결하는 인퍼런스 최적화’는 노정석 비팩토리 대표가 진행했다. 래블업의 김준기 CTO와 노타 김태호 CTO, 하이퍼엑셀 이진원 CTO, 업스테이지 이활석 CTO가 참여했다.