"목소리 온도까지 읽는다"…크래프톤, 한국어 성능 1위 음성 AI 공개

[서울=뉴시스]이주영 기자 = 크래프톤이 감정과 억양, 말투까지 읽어내고 자연스러운 목소리로 답하는 음성 인공지능(AI) 파운데이션 모델 'A.X K2 라온 스피치'를 AI 플랫폼 허깅페이스에 공개했다고 29일 밝혔다.

라온 스피치는 과학기술정보통신부가 추진하는 독자 AI 파운데이션 모델 프로젝트의 2차 성과물이다. 크래프톤은 프로젝트에 참여 중인 SK텔레콤 정예팀과 함께 차세대 멀티모달 AI를 연구하고 있으며 이번에 음성을 이해하고 생성하는 음성 언어 모델을 선보였다.

크래프톤에 따르면 라온 스피치는 210억(21B) 파라미터 규모의 모델로, 300억(30B) 파라미터 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 음성 인식과 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역을 종합 평가한 결과다.

기존 음성 AI는 사용자의 말을 텍스트로 변환한 뒤 답변을 생성하고 이를 다시 음성으로 합성하는 방식이 일반적이다. 이 과정에서 감정이나 억양, 말투 같은 음성 정보가 손실되는 한계가 있었다. 반면 라온 스피치는 목소리에 담긴 감정과 억양까지 함께 이해해 보다 자연스럽고 맥락에 맞는 음성 응답을 생성할 수 있는 것이 특징이다.

이를 위해 크래프톤은 SK텔레콤의 A.X K2 기반 소형 언어 모델에 자체 개발한 음성 인코더와 음성 코덱을 적용했다. 음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하고, 음성 코덱은 AI가 생성한 정보를 자연스러운 음성으로 복원한다. 여기에 언어 모델의 텍스트 처리 성능을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 방식을 적용해 음성과 텍스트를 모두 효과적으로 처리할 수 있도록 했다.

크래프톤은 이번 연구 성과를 게임 속 AI 캐릭터인 CPC 고도화에 활용할 계획이다. 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 AI를 구현해 이용자와 AI가 실제 대화하듯 상호작용하는 게임 경험을 제공한다는 구상이다.

◎공감언론 뉴시스 zoo@newsis.com ...