노타, 업스테이지 '솔라 오픈2' GPU 8장→2장으로 줄였다

[지디넷코리아]노타가 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에서 엔비디아 H100 그래픽처리장치(GPU) 8장이 필요했던 업스테이지의 차세대 모델을 2장만으로 구동할 수 있도록 최적화하는 데 성공했다.노타는 독파모 사업 내 업스테이지 컨소시엄에서 2차수 성과물인 '솔라 오픈2' 전용 경량화 모델을 글로벌 AI 플랫폼인 허깅페이스에 공개했다고 27일 밝혔다.솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 거대언어모델이다.

총 2500억 개의 매개변수(파라미터) 규모로, 실제 작업 시에는 필요한 150억 개만 활성화하는 전문가 혼합(MoE) 구조를 채택했다.

이를 통해 토큰 사용량이 많은 에이전트 업무에서도 효율적인 운영이 가능하게 했다.

노타는 솔라 오픈2 연산 효율을 실제 기업 환경에서의 배포 효율을 극대화하기 위해 ▲데이터 기반 MoE 양자화 ▲라우터 인지형 MoE 양자화 ▲비균일 전역 프루닝 기술을 적용했다.

데이터 기반 MoE 양자화에는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 기술인 'PASCAL-MoE'를 활용했다.'라우터 인지형 MoE 양자화'에는 양자화 이후에도 라우터의 전문가 선택이 안정적으로 유지되도록 설계한 자체 양자화 알고리즘을 적용했다.

중요도가 낮은 전문가 모듈을 선택적으로 제거하는 '비균일 전역 프루닝 기술'도 도입했다.결과적으로 노타는 모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델 가중치 메모리를 500.6 기가바이트(GB)에서 117.8 GB로 약 76.5% 감축하는 데 성공했다.메모리 용량 기준으로 엔비디아 H100 GPU 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했다는 설명이다.

특히 양자화 이후에도 솔라 오픈2의 에이전트 AI 핵심 기능인 툴 호출이 안정적으로 유지됐다.김태호 노타 최고기술책임자(CTO)는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 고도화하겠다"고 말했다. ...