기업의 생성형 AI 활용이 개인 도구 차원을 넘어 조직 단위의 개발·운영 환경으로 확산하면서, 모델 접근 권한과 비용, 민감정보 관리를 체계적으로 통제할 수 있는 인프라의 필요성이 커지고 있다. AI·데이터 플랫폼·클라우드 전문기업 솔트웨어(대표 이정근)는 이러한 흐름에 대응해 LiteLLM과 아마존 베드락(Amazon Bedrock)을 활용한 ‘AI Gateway & Claude Code’ 핸즈온 세미나를 개최했다.
LiteLLM 기반 AI Gateway, 여러 LLM을 하나의 접점으로
이번 세미나는 참가자가 직접 기업형 AI Gateway를 구성해보는 실습형 프로그램으로 진행됐다. AI Gateway는 다양한 모델과 사용자 간 단일 접점을 관리하는 체계로, 여러 LLM을 하나의 엔드포인트로 연결하는 프록시 도구인 LiteLLM을 기반으로 구축됐다. 참가자들은 사용자별 접근 권한 설정, 예산 설정, 비용 추적, 캐싱, 가드레일, 로깅 등을 실제로 적용해보는 과정을 거쳤다.
Claude Code, 사내 통제 환경에서 운영하기
세미나는 AI Gateway 구축에서 한 걸음 더 나아가 AI 코딩 도구인 Claude Code를 사내 통제 환경에서 운영하는 방법까지 다뤘다. 아마존의 생성형 AI 모델 서비스인 Amazon Bedrock과 AWS 클라우드 환경을 기반으로, 실제 기업의 AI 운영 환경에 적용 가능한 방식을 참가자가 직접 경험하도록 프로그램이 구성됐다.
이정근 솔트웨어 대표는 “기업의 LLM 활용이 확대되면서 다양한 AI 모델을 연결하는 것뿐 아니라 접근 권한과 비용, 민감정보 등 AI 사용 전반을 체계적으로 관리할 수 있는 환경이 중요해지고 있다”며 “LiteLLM 기반 AI Gateway 구축부터 Claude Code 활용까지 실제 기업의 AI 운영 환경에 적용할 수 있는 방법을 직접 경험할 수 있도록 프로그램을 구성했다”고 밝혔다.
기술리더부터 보안 실무자까지, 실무형 프로그램
이번 세미나는 기업 내 AI 운영에 관여하는 기술리더, 개발자, 플랫폼 엔지니어, 인프라 운영자, 보안 실무자를 대상으로 구성됐다. 각 직무별로 필요한 접근 권한 관리와 비용 통제, 보안 체계 구축 노하우를 실습 중심으로 다뤘다는 점이 특징이다.
솔트웨어는 이번 프로그램을 통해 AI Gateway라는 개념을 단순한 모델 연결 도구가 아니라, 기업이 생성형 AI를 안전하고 효율적으로 운영하기 위한 필수 인프라로 자리매김시키고자 했다. 개인 차원의 AI 도구 활용을 넘어 조직 전체의 AI 운영 체계를 정비하려는 기업들에게 실질적인 참고점이 될 것으로 보인다.