LLM 추론 속도를 평균 2배, 최대 3배 끌어올리고 토큰당 비용을 최대 50% 줄였다는 회사 측 결과가 나왔다. 네오클라우드 기업 베슬AI(VESSL AI, 대표 안재만)가 업스테이지의 LLM ‘솔라 프로4(Solar Pro 4)’에 글로벌 인퍼런스(추론) 인프라를 제공하고, 자체 최적화 기술을 적용해 속도와 운영 비용 면에서 개선을 이뤄냈다. 지난 9월 글로벌 LLM 마켓플레이스 오픈라우터(OpenRouter)의 사용량 순위에서 솔라 프로4는 3위였다.
3위라는 순위는 오픈라우터의 실제 이용량 기준이다. 회사가 공개한 자료에 따르면 솔라 프로4의 일일 토큰 처리량은 글로벌 서비스 과정에서 80억 개에서 1550억 개로 늘었다.
여러 지역 GPU 클러스터로 추론 용량을 미리 설계
베슬AI는 한국·유럽·미국 등 여러 지역에 구축한 GPU 클러스터를 활용했다. 글로벌 서비스에서는 국가별 이용량 차이와 트래픽 급증을 감당해야 하고, 국산 LLM의 해외 이용자 확보도 뒷받침해야 했다.
이를 위해 베슬AI는 업스테이지와 모델 출시 및 프로모션 일정, 예상 이용량을 공유하고 수요 변화에 맞춰 추론 용량을 사전에 설계했다. 용량 설계와 추론 엔진 최적화, 글로벌 서빙 운영까지 베슬AI가 담당하는 협력 구조다.
캐시 히트율 개선과 모델 양자화
베슬AI는 자체 인퍼런스 엔진 최적화 기술로 캐시 히트율 개선, 모델 양자화, 추론 속도 향상 기술을 적용했다. 엔드포인트 도입 전후를 비교하면 추론 처리 속도는 평균 2배, 최대 3배 향상됐다고 회사는 밝혔다.
캐시 활용 효율을 높여 토큰당 비용은 최대 50% 절감했다. 이 수치는 회사가 제시한 결과다.
안재만 베슬AI 대표는 “이번 협력은 한국에서 개발한 모델의 글로벌 성과를 한국 네오클라우드의 인프라로 뒷받침했다는 점에서 의미가 크다”고 말했다. 또 “축적한 인퍼런스 운영 경험을 바탕으로 모델 제공자가 연구와 제품 개발에 집중할 수 있는 환경을 제공하고, 기업의 안정적인 오픈소스 모델 도입을 지원하는 인퍼런스 프로바이더로서 역량을 강화하겠다”고 밝혔다.
기업용 GPU 인프라 사업과 인퍼런스 서비스
베슬AI는 최근 SK바이오팜에 AI 연구개발용 GPU 인프라를 공급했다. 네오AI와는 포항 AI데이터센터 GPU 플랫폼 구축·운영 협약을 체결했다. 두 건은 기업용 GPU 인프라 사업에 속한다.
베슬AI는 이 사업에 솔라 프로4의 글로벌 추론 운영 경험을 더해 AI 모델 제공사 대상 인퍼런스 서비스 사업을 강화할 방침이다.