AI 인프라 경쟁의 기준이 GPU를 얼마나 확보했느냐에서 토큰당 비용으로 옮겨가고 있다는 진단 아래, AI 인프라 솔루션 기업 모레(대표 조강원)가 추론 소프트웨어 전략을 내놓았다. 모레는 4일 웨스틴 서울 파르나스에서 열린 ‘AMD Advancing AI World Tour Seoul 2026’에 참가했다. 이 자리에서 AMD GPU 기반 AI 추론 비용을 줄이는 방안으로 토큰 팩토리(Token Factory) 소프트웨어 전략을 발표했다. 토큰 팩토리는 데이터센터를 AI 추론 결과물을 대규모로 생산하는 인프라로 보는 개념이다.
모레는 행사에서 전시 부스를 운영하고 영상 시연도 선보였다. AMD의 AI 제품관리 부문 부사장 라민 로안(Ramine Roane)이 ROCm과 인스팅트(Instinct) GPU의 추론 경제성을 소개한 데 이어, 조강원 대표가 이를 실제 데이터센터 환경에서 구현하는 모레의 기술을 설명했다. ROCm은 AMD의 오픈소스 소프트웨어 플랫폼, 인스팅트는 AMD의 GPU 제품군이다.
GPU 커널부터 분산 추론까지, 소프트웨어 전 계층을 직접 개발
모레는 AI 모델과 GPU가 빠르게 발전하면서 높아지는 데이터센터 운영 복잡성을 해결하기 위해 GPU 연산 커널·추론 엔진부터 대규모 클러스터 분산 추론까지 소프트웨어 전 계층을 개발하고 있다. 모레는 오픈소스 추론 프레임워크인 vLLM, SGLang에도 기여하고 있다. 여기에 자체 개발한 추론 소프트웨어 MoAI Inference Framework를 더해 AMD GPU는 물론 엔비디아·AMD 이기종 분산 추론을 지원한다.
조 대표는 이렇게 말했다.
“데이터센터가 AI 토큰을 생산하는 토큰 팩토리로 바뀌면서 경쟁의 기준이 GPU 보유량에서 토큰당 비용으로 옮겨가고 있다”
조 대표는 이어 “새 모델과 새 가속기가 빠르게 쏟아지는 상황에서 GPU의 성능을 가치 있는 실제 비즈니스로 바꾸는 것은 결국 소프트웨어”라고 강조했다. 모레는 추론 소프트웨어의 최적화 수준이 실제 서비스 처리량에 영향을 미친다고 설명한다.
MI355X에서 B200 대비 2배 이상, 이기종 구성은 약 1.7배
모레에 따르면 AMD 인스팅트 MI355X에서 최신 오픈소스 모델을 구동했을 때, 일반적인 서비스 조건에서 엔비디아 B200 대비 2배 이상의 추론 처리량을 확보했다.
이기종 분산 추론 결과도 공개했다. 엔비디아 GPU가 프리필을, AMD GPU가 디코드를 맡는 구성에서 동종 GPU 클러스터 대비 약 1.7배의 처리량을 기록했다는 것이 회사 측 측정 결과다. 이 방식에서는 기존 엔비디아 인프라를 전면 교체하지 않고 AMD GPU를 추가해 확장할 수 있다. 서로 다른 GPU를 하나의 추론 환경에서 활용하면 기존 설비를 유지하며 새 가속기를 도입하고 특정 제조사 의존도를 줄일 수 있어 의미가 있다.
소버린 AI 패널 토론, 소프트웨어와 클러스터 운영 역량 강조
조 대표는 ‘Building Korea’s AI Nation: From Infrastructure to Impact’를 주제로 한 패널 토론에도 참여했다. 그는 “GPU를 확보하는 것만으로 소버린 AI 경쟁력이 완성되지는 않는다”고 말했다. 이어 “새 모델을 바로 서비스할 수 있는 소프트웨어와 대규모 클러스터를 안정적으로 운영하는 역량이 함께 갖춰져야 한다”고 밝혔다.
모레는 AMD GPU를 2000장 이상 운영해 왔다. 2021년 KT와 AMD GPU 기반 AI 클라우드 서비스를 상용화한 뒤 쌓은 경험이다. 올해는 국내외 복수의 토큰 팩토리 고객사에 이기종 GPU 운영 소프트웨어를 공급하며 사업을 넓히고 있다.
조 대표는 “AMD 기반 인프라에서도 최고 수준의 추론 효율을 낼 수 있음을 입증해 한국 소버린 AI 인프라의 선택지를 넓히는 데 기여하겠다”고 밝혔다. 모레는 데이터센터 사업자가 AMD 기반 토큰 팩토리로 가장 빠르게 전환할 수 있도록 지원할 방침이다.