엣지 AI 가속 칩이 영상 인식을 넘어 소형 비전언어모델(VLM)과 소형 언어모델(SLM)까지 돌린다. 초저전력 AI 반도체 기업 딥엑스(DEEPX)의 NPU 기술과 활용 사례가 라즈베리 파이(Raspberry Pi) 공식 뉴스룸에 소개됐다. 라즈베리 파이는 딥엑스와 식스팹(Sixfab)의 기술을 다루며, DX-M1M을 탑재한 라즈베리 파이 5용 AI 가속 보드 ‘식스팹 AI HAT+’의 활용 가능성을 조명했다.
CNN에서 VLM·SLM으로, 영상 인식에서 상황 설명으로
딥엑스 NPU DX-M1M은 최대 25TOPS, 즉 초당 최대 25조 회 연산 성능을 낸다. NPU 자체의 일반적인 지속 구동 시 소비전력은 약 3W다. 이 수치는 라즈베리 파이 본체와 주변 장치를 제외한 NPU만의 값이다.
소비전력이 낮아 소형 기기의 발열과 냉각 부담을 줄이는 데 유리하다. DX-M1M은 CNN뿐 아니라 소형 VLM과 SLM 구동에도 활용할 수 있다. 이에 따라 영상 속 대상을 인식하는 데서 나아가 상황을 설명하는 방식으로 활용 범위를 넓힐 수 있다.
AI를 기기 안에서 실행하면 데이터를 외부 서버로 전송하는 과정을 줄일 수 있다. 그만큼 통신 의존도가 낮아지고, 실시간 대응과 개인정보 보호에도 도움이 된다.
공통 런타임·모델 형식으로 산업용 제품까지
소프트웨어 측면에서는 식스팹 AI HAT+와 엣지 AI 확장 보드, 산업용 AI 게이트웨이 제품 ALPON X5 AI에 공통 런타임과 모델 형식을 적용했다. 라즈베리 파이에서 검증한 AI 모델을 산업용 제품 개발에도 활용할 수 있도록 한 것이다.
딥엑스는 글로벌 생태계와도 협력하고 있다. 협력 대상에는 바이두가 개발한 AI 프레임워크 패들패들(PaddlePaddle)이 있고, 컴퓨터 비전 AI 플랫폼 업체 울트라리틱스(Ultralytics) 등도 포함된다.
딥엑스 관계자는 “피지컬 AI가 확산되기 위해서는 전 세계 개발자들이 필요한 AI 기능을 쉽게 구현하고 이를 실제 제품으로 연결할 수 있어야 한다”고 말했다. 라즈베리 파이는 글로벌 소형 컴퓨팅 플랫폼이며, 식스팹은 라즈베리 파이의 공식 디자인 파트너사다.
25TOPS 보드 판매 중, 13TOPS 버전은 올해 말
앞서 딥엑스는 지난 6월 식스팹과 함께 DX-M1M 탑재 라즈베리 파이 5용 AI 가속 보드를 출시했다. 현재 판매 중인 제품은 25TOPS 버전이다. 13TOPS 버전은 올해 말 출시할 예정이다.
딥엑스는 이번 소개를 계기로 글로벌 개발자 생태계에서 기술 접근성을 높이고, 산업용 제품 개발과 양산으로 이어지는 협력 기반을 넓힌다는 계획이다. 딥엑스 관계자는 “라즈베리 파이에서 시작한 작은 실험이 세계 시장에서 판매되는 제품으로 이어지도록 반도체와 소프트웨어, 양산까지의 개발 환경을 함께 지원하겠다”고 밝혔다. 이 개발 환경 지원은 딥엑스의 향후 전략이다.
13TOPS 버전의 출시 시점은 올해 말이며, 25TOPS 보드는 지금 판매되고 있다.