국산 AI 모델·반도체, 다음 검색서 실전 투입…하루 5억 토큰 처리

[서울=뉴시스]윤현성 기자 = 국산 인공지능(AI) 모델과 국산 AI 반도체가 국내 포털의 실제 검색 서비스를 구동하기 시작했다. 연구실이나 일회성 기술 시연에 머물던 국산 AI 기술이 하루 수억개의 토큰을 처리하는 대국민 상용 서비스에 투입된 것이다.

업스테이지와 퓨리오사AI, 다음은 15일 유튜브 생중계를 통해 업스테이지의 대규모언어모델(LLM) '솔라'와 퓨리오사AI의 신경망처리장치(NPU) 'RNGD'를 다음의 'AI 오버뷰' 서비스에 적용한 협력 사례를 공개했다. 이날 생중계에는 김성훈 업스테이지 CEO, 백준호 퓨리오사AI CEO, 이건수 다음 CEO 등 각사 CEO가 직접 참여했다.

세 회사가 각각 AI 모델과 이를 구동하는 반도체, 이용자에게 제공되는 서비스를 맡은 구조다. 해외 그래픽처리장치(GPU)·LLM 대신 국산 AI 모델과 NPU를 결합했다는 점에서 이른바 '국산 AI 풀스택'의 상용화 사례로 볼 수 있다.

◆검색 결과 AI가 먼저 읽고 요약…RNGD 24개로 하루 5억 토큰

다음 AI 오버뷰는 이용자가 검색창에 질문을 입력하면 검색엔진이 관련 문서를 찾고, 솔라가 이를 읽어 핵심 내용을 요약해 보여주는 서비스다. 이용자가 여러 검색 결과를 하나씩 클릭해 정보를 확인하는 대신 AI가 먼저 자료를 읽고 답변의 얼개를 만들어주는 방식이다.

이건수 다음 CEO는 "AI 오버뷰는 실시간 정보를 바탕으로 하기 때문에 최신 정보가 중요하다"며 "검색엔진이 정확한 문서를 가져오고 솔라 모델을 통해 이를 요약해 제공한다"고 설명했다.

현재 서비스에는 퓨리오사AI의 RNGD 칩 24개가 서버 3개 노드에 투입돼 하루 약 5억개의 토큰을 처리하고 있다. 토큰은 AI가 문장을 이해하고 답변을 생성할 때 사용하는 글자나 단어의 기본 단위다. 하루 5억 토큰을 처리한다는 것은 실험용 데모를 넘어 다수 이용자의 실제 질의를 지속해서 소화하고 있다는 의미다.

AI 검색에서는 답변 속도만큼 정확성도 중요하다. 학습 과정에서 익힌 과거 지식과 검색엔진이 가져온 최신 정보가 섞이면 AI가 사실과 다른 답을 만들어내는 '환각(할루시네이션)'이 발생할 수 있기 때문이다.

다음은 솔라가 기존 학습 지식보다 검색 결과를 중심으로 답하도록 프롬프트를 정교하게 설계했다. 키워드 검색과 문장의 의미를 수치로 바꿔 찾는 벡터 검색을 결합한 하이브리드 검색을 통해 최신성이 높고 질문과 관련 있는 문서를 우선적으로 가져오도록 했다.
◆"H200과 유사한 속도"…비용 30% 이상 절감 주장

퓨리오사AI는 RNGD가 엔비디아의 데이터센터용 GPU인 H200과 비교해 유사한 수준의 추론 속도를 보이면서도 전력 효율과 가격 경쟁력은 더 높다고 강조했다.

백준호 퓨리오사AI CEO는 "AI 연산에 최적화된 하드웨어뿐 아니라 모델을 칩에 맞게 변환하는 컴파일러와 다양한 상황에서 AI 답변을 제공하는 서빙 엔진까지 함께 설계했다"며 "H200보다 전성비와 가성비가 좋으면서도 대등한 성능을 내고 있다"고 말했다.

다만 구체적인 비교 조건과 측정 방식은 이날 공개되지 않았다. 백 CEO는 칩 구매비와 전력비 등을 포함한 총소유비용(TCO)을 기준으로 현재 최소 30% 이상의 절감 효과를 확인했으며, 최적화를 거쳐 비용을 기존 대비 절반 수준까지 낮추는 것이 목표라고 설명했다.

업스테이지가 연말까지 RNGD 1만장이 필요할 수 있다고 언급하자 퓨리오사AI는 공급이 가능하다는 입장도 밝혔다. 백 CEO는 "RNGD는 현재 양산 중이며 1만장도 충분히 공급할 수 있다"고 자신했다.

◆다음 AI 오버뷰 노출 절반 이상으로…'1인 1 에이전트' 추진

다음은 현재 전체 검색 질의 가운데 약 20%에 노출되는 AI 오버뷰를 절반 이상으로 확대할 계획이다. 일반 검색을 넘어 쇼핑과 맛집 등 특정 분야의 정보를 보다 깊이 제공하는 버티컬 AI 오버뷰도 준비하고 있다.

장기적으로는 이용자가 직접 검색하지 않아도 관심 정보를 먼저 정리해주는 '1인 1 AI 에이전트'를 선보인다는 구상이다. 관심 종목의 주가와 IR 정보, 경쟁사 뉴스 등을 매일 아침 개인별로 요약해 전달하는 형태가 대표적인 사례로 제시됐다.

이 CEO는 "사용자가 매번 삼성전자나 SK하이닉스 주가와 관련 뉴스를 검색하지 않아도 다음이 가진 뉴스를 기반으로 필요한 정보를 요약해 배달하는 에이전트부터 시작할 수 있다"고 말했다.

김성훈 업스테이지 CEO는 "국산 기술을 많이 사용할수록 서비스 품질이 높아지고 다시 이용이 늘어나는 선순환을 만들 수 있을 것"이라며 "다음 AI 오버뷰를 사용하는 것이 솔라와 국산 NPU를 함께 사용하는 것"이라고 강조했다.

◎공감언론 뉴시스 hsyhs@newsis.com ...