큐원 추론 7배 빠르게…노타, 글로벌 AI 학회 챌린지 3위

[지디넷코리아]노타가 세계적인 머신러닝 학회 'ICML 2026'에서 열린 오픈소스 인공지능(AI) 모델 최적화 챌린지에서 추론 최적화 기술력을 입증했다.노타는 ICML 2026 'AdaptFM(자원 적응형 파운데이션 모델 추론) 워크숍'에서 개최된 '이피션트 큐원 컴피티션(Efficient Qwen Competition)'에서 평균 6.978배 빠른 추론 성능을 기록해 최종 3위에 올랐다고 13일 밝혔다.전 세계 40여 개 팀이 참가한 이번 대회는 단일 엔비디아 A10G 그래픽처리장치(GPU) 환경에서 큐원3.5-4B 모델 성능은 유지한 채 답변 생성 속도를 얼마나 높일 수 있는지를 평가했다.

AdaptFM 워크숍은 제한된 컴퓨팅 자원에서 대규모 AI 모델을 효율적으로 실행하는 기술을 주제로, 아마존·메타 등 글로벌 기업 연구자들이 조직위원으로 참여한다.노타는 양자화로 모델의 메모리 사용량과 연산량을 줄이고 추측적 디코딩 기술을 결합해 추론 속도를 높였다.

추측적 디코딩은 초안 모델이 답변 후보를 빠르게 생성한 뒤 본 모델이 이를 검증해 최종 답변을 만드는 방식이다.

여기에 슬라이딩 윈도우 어텐션 기법을 적용해 불필요한 연산을 추가로 줄였다.노타는 이번 수상과 함께 AdaptFM 워크숍에서 혼합 전문가(MoE) 구조 대규모언어모델(LLM) 양자화 관련 논문 2편도 채택됐다.

노타는 엔비디아 네모트론 해커톤에서도 데이터 기반 MoE 양자화 기술로 트랙 우승과 종합우승을 차지한 바 있다.김태호 노타 최고기술책임자(CTO) 겸 공동창업자는 "글로벌 AI 생태계에서 활용되는 대표적인 오픈소스 AI 모델인 큐원을 대상으로 우리 추론 최적화 기술력을 검증받은 사례"라며 "온디바이스·엣지 AI 환경에 최적화 기술을 확대 적용할 것"이라고 말했다. ...