AI 에이전트가 만든 코드를 기존 런타임과 분리해 안전하게 돌리고, 오픈 웨이트 모델은 서버 관리 없이 쓰는 환경이 아카마이 클라우드에 들어왔다. 클라우드 및 사이버 보안 기업 아카마이 테크놀로지스는 매니지드 AI 모델 추론 서비스 ‘아카마이 인퍼런스(Akamai Inference)’와 AI 에이전트 실행 환경 ‘아카마이 에이전트 샌드박스(Akamai Agent Sandbox)’를 출시했다. 두 서비스는 모두 현재 베타다.
아카마이코리아(대표 이경준)에 따르면 아카마이는 고밀도 CPU·GPU 클러스터가 있는 코어 리전부터 전 세계 4350개 이상의 엣지 로케이션까지 이어진 인프라를 쓴다. 아카마이 클라우드는 다년 계약 기준으로 140억 달러 이상의 총 계약 규모를 확보했다고 회사는 설명했다.
기업의 AI 활용이 실제 서비스 운영으로 확대되면서 AI 인프라 요구사항이 달라지고 있다. 모델 성능 외에 추론 속도와 운영 비용, 기업 데이터 연결, 보안 관리도 따져야 하고, 에이전트가 코드를 직접 짜고 돌리는 환경에서는 실행 권한과 자원 사용 범위를 통제하는 기술이 중요해지고 있다. 아카마이는 이런 수요에 맞춰 추론과 에이전트 실행 기능을 클라우드 AI 인프라에 추가했다.
서버 관리 없는 추론, OpenAI 호환 API로 접근
아카마이 인퍼런스는 서버를 직접 관리하지 않고 오픈 웨이트 모델이나 맞춤형 모델을 쓰는 매니지드 추론 서비스다. OpenAI 호환 API를 제공하며, 서버리스 추론과 전용 배포 가운데 선택할 수 있다.
출시 시점 모델 카탈로그에는 12종의 오픈 웨이트 모델이 있고, 규모는 80억 개(8B)에서 2조8000억 개(2.8T) 매개변수까지 걸친다. 엔비디아 네모트론 3 울트라, 오픈AI gpt-oss-120b, 구글 젬마 4 등이 포함돼 있다. RAG용 임베딩 모델도 함께 제공된다.
아카마이 인퍼런스 베타에는 서버리스 배포 옵션이 포함된다. 다만 NVIDIA B300 GPU 클러스터 지원 여부와 세부 일정은 영업팀을 통해 확인해야 한다.
에이전트가 짠 코드, 웹어셈블리 격리 환경에서 실행
아카마이 에이전트 샌드박스는 AI 에이전트가 작성한 코드를 격리해 실행하는 환경이다. 에이전트 코드는 아카마이 펑션에서 웹어셈블리 기반의 격리 환경으로 실행되며, 기존 런타임과 분리된다. 자원과 메모리, 네트워크 접근도 제한된다. 에이전트가 스스로 코드를 생성하더라도 실행 환경과 권한을 분리해 위험을 줄이는 방식이다.
이 샌드박스는 프레임워크 스핀(Spin)의 오픈소스 컴포넌트로 제공된다. 에이전트가 접근할 수 있는 대상과 외부 시스템이 에이전트에 접근할 수 있는 권한을 관리하는 기능은 추가될 예정이다.
아담 캐런(Adam Karon) 아카마이 클라우드 COO 겸 총괄은 “고객은 단일 플랫폼에서 AI를 구축, 실행, 보호하기를 원한다”고 말했다. 존 알렉산더(Jon Alexander) 아카마이 클라우드 기술 부문 수석 부사장은 “기업이 AI를 프로덕션 환경에 적용할 때 속도와 통제권의 균형을 두고 고민할 필요가 없다”며 “매니지드 플랫폼과 전용 GPU, 에이전트 코드의 보안 경계를 단일 플랫폼에서 지원한다”고 설명했다.
GPU 인프라도 확대
아카마이는 엔비디아 블랙웰 울트라 GPU 클러스터를 추가했다. 블랙웰 울트라 노드 하나는 GPU 8개로 구성되며, HBM3e 메모리는 GPU당 288GB, 노드 전체로는 약 2.3TB다. 긴 컨텍스트 처리와 복잡한 추론, 에이전트 기반 작업처럼 메모리를 많이 쓰는 워크로드를 지원하기 위한 사양이다. 저지연 추론용으로는 엔비디아 RTX 프로 6000 블랙웰 서버 에디션도 있다.
2027년 엔비디아 베라 루빈 플랫폼을 지원하기 위한 데이터센터 준비 작업도 진행 중이다.