AI 인프라 소프트웨어 기업 래블업(대표 신정규)이 추론과 라우팅 최적화, 토큰 단위 모니터링을 결합한 AI 팩토리 운영 전략을 제시했다. 김준기 래블업 최고기술책임자(CTO)는 2026년 9월 15일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 'kt cloud summit 2026'에서 이같은 내용을 발표했다.
학습에서 추론으로 이동하는 AI 인프라 무게중심
김준기 CTO는 “AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 빠르게 이동하면서 다양한 모델과 이용자의 요청을 효율적으로 처리하는 것이 새로운 과제로 떠오르고 있다”고 말했다. 여러 모델과 이용자가 동시에 연결되는 AI 팩토리 환경에서는 GPU 자원을 확보하는 것만으로는 안정적인 운영이 어렵다는 진단이다.
이에 래블업은 요청을 적절한 모델과 자원으로 분산하는 라우팅 최적화와, 토큰 단위로 사용량을 추적하는 모니터링을 결합한 운영 전략을 대안으로 내세웠다. 이는 GPU 클라우드 서비스(GPUaaS)와 AI 데이터센터(AIDC) 환경에서 운영 효율과 비용 관리를 동시에 해결하려는 접근이다.
KT와의 GPUaaS 협력, 서비스 운영 영역으로 확대
래블업은 지난해 KT와 GPU 클라우드 서비스(GPUaaS) 공동개발을 위한 업무협약을 체결한 바 있다. 이번 발표를 계기로 양사는 협력 범위를 AI 서비스 운영과 인프라 효율화 영역으로 확대할 계획이다. 김준기 CTO는 “기업들이 보다 효율적으로 AI 서비스를 구축하고 확장할 수 있도록 지원하겠다”고 덧붙였다.
래블업이 이번 발표에서 강조한 지점은 GPU 자원 확보 경쟁을 넘어선 운영 단계의 효율화다. 추론 요청이 늘어나는 만큼 라우팅과 토큰 모니터링을 결합한 관리 체계가 AI 서비스 확장의 실질적 변수로 떠오르고 있다는 점을 이번 협력 확대 계획을 통해 재확인한 셈이다.