GPU를 더 사지 않고도 AI 추론 처리량을 끌어올릴 수 있다는 검증 결과가 나왔다. AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)는 자사 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’가 동일한 GPU 자원에서 고부하 처리량을 62.8% 높였다고 공개했다. 오케스트로는 이 성능 검증 결과를 소개하는 온라인 웨비나를 2026년 10월 27일 오후 2시 올쇼TV에서 연다.
62.8%는 기존 모델 서빙 방식과 비교했을 때 동일 GPU 자원 조건에서 나온 고부하 처리량 증가율이다. 토큰 생성 지연은 같은 성능 검증에서 52.1% 줄었다. 두 수치는 특정 검증 환경에서 측정한 값이며, 환경에 따라 차이가 날 수 있다.
프리필과 디코드를 나눠 GPU를 배분하는 분산 추론
오케스트로는 콘체르토 AI에 분산 추론 기술을 적용했다. 대규모 언어모델(LLM)의 추론 과정은 입력된 정보를 분석하는 프리필(Prefill) 단계와 실제 답변을 생성하는 디코드(Decode) 단계로 나뉜다. 콘체르토 AI는 이 두 작업을 분리해 GPU 자원을 할당하며, 이렇게 분리해 할당함으로써 서로 다른 연산 사이의 자원 충돌이 줄고 전체 추론 처리 효율이 높아진다.
분산 추론은 여러 요청이 동시에 몰릴 때 입력 처리와 답변 생성 작업이 같은 GPU 자원을 두고 경쟁해 처리 속도가 떨어지는 문제를 풀려고 적용한 기술이다. 오케스트로는 이번 웨비나에서 하드웨어 증설보다 운영 효율에 무게를 둔 인프라 최적화 전략을 소개한다.
넷앱 스토리지 연계로 KV 캐시 오프로딩
오케스트로는 스토리지 업체 넷앱(NetApp)의 스토리지 기술도 활용했다. GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반 KV 캐시 오프로딩을 적용했는데, KV 캐시는 AI 모델이 이전 입력과 생성 과정에서 계산한 정보를 저장해 반복 연산을 줄이는 데 쓰인다. 요청이 늘거나 입력 문맥이 길어질수록 GPU 메모리 사용량이 커지는데, 오케스트로는 일부 캐시 데이터를 외부 스토리지로 옮겨 GPU 메모리 부담을 덜었다.
넷앱 스토리지와 연계한 최적화 결과, 모델 가중치 로딩 시간은 기존 71초에서 8초로 줄었다. 신규 서버가 기동해 실제 서비스에 투입되기까지 걸리는 시간도 187초에서 80초로 단축됐다.
김범재 대표가 꼽은 경쟁력: 기존 자원의 효율적 활용
김범재 오케스트로 대표는 AI 서비스 운영의 경쟁력이 GPU 확보 규모뿐 아니라 기존 자원의 성능을 얼마나 효율적으로 활용하는지에 달려 있다고 설명했다.
오케스트로는 콘체르토 AI에서 엔비디아 GPU와 국산 NPU 등 다양한 하드웨어를 활용할 수 있는 환경을 넓힐 예정이다. 계열사 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개사와 업무협약을 맺고, 국산 NPU 기반 ‘소버린 AI 풀스택 어플라이언스’ 공동 개발을 추진하고 있다. 독립적인 AI 인프라 구축을 지원한다는 구상이다.
웨비나 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’
웨비나 주제는 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’이다. 참가비는 무료이며 사전 등록이 필요하다.