"고객마다 칩 더 달라 난리"…'추론 AI' 확산에 메모리 부족 장기화 전망

[서울=뉴시스]박나리 기자 = "지금 나온 인공지능(AI)는 4~5살짜리 어린아이와 같습니다. 잠재력은 있지만 아직 자라나야 할 시간이 한참 남아 있죠."

최태원 SK그룹 회장이 10일(현지 시간) 미국 뉴욕 나스닥 본사에서 열린 SK하이닉스 미국주식예탁증서(ADR) 상장 관련 국내 기자 간담회에서 이같이 말했다.

AI 기술이 아직 성장 초기 단계인 만큼 앞으로 학습과 실제 서비스에 필요한 데이터가 늘고, 이를 처리하고 저장하는 메모리 수요도 계속 확대될 것이라는 의미다.

최 회장은 "현재는 수요와 공급의 격차가 매우 크다"며 "수요가 자라는 속도가 우리가 공급을 늘리는 속도를 훨씬 능가하고 있다"고 밝혔다.

실제 글로벌 고객사들의 요구도 생산량 확대에 집중돼 있다는 설명이다.

최 회장은 뉴욕 방문에 앞서 캘리포니아에서 만난 고객사들이 "메모리를 어떻게 하면 더 받을 수 있느냐", "생산량을 얼마나 늘려 공급할 것이냐"고 질문했다며 "한두 해 정도에 끝날 수요를 보고 이 같은 계획을 요구하는 것은 아니다"고 말했다.

AI 시장이 모델 학습을 넘어 추론과 에이전트 서비스로 확대되면서 고대역폭메모리(HBM)뿐 아니라 서버용 D램과 기업용 솔리드스테이트드라이브(SSD) 수요도 함께 늘고 있다.

주요 원인으로는 생성형 AI가 이전 대화와 연산 결과를 임시 저장하는 'KV 캐시'가 꼽힌다.

AI가 처리하는 문맥이 길어지고 이용자가 많아질수록 필요한 메모리 용량도 커진다.
이에 따라 AI 업계도 늘어나는 KV 캐시 부담에 대응하기 위해 별도의 저장·재사용 인프라를 구축하고 있다.

엔비디아는 지난 3월 차세대 '베라 루빈' 플랫폼에 HBM과 범용 저장장치 사이의 별도 저장 계층인 'CMX 컨텍스트 메모리 스토리지'를 도입한다고 밝혔다.

장문 추론과 AI 에이전트가 이전 대화와 작업 기록을 저장하고 재사용하도록 한 것이다.

이처럼 AI 인프라가 연산 중심에서 데이터 저장·재사용 영역으로 확대되면서 메모리 업체들도 HBM뿐 아니라 서버용 D램과 기업용 SSD까지 제품군을 넓히고 있다.

SK하이닉스는 올해 HBM4와 HBM3E뿐 아니라 고용량 DDR5 서버 모듈, 저전력 AI 서버용 SOCAMM2, 최대 122테라바이트(TB) 용량의 기업용 SSD 등을 공개했다.

HBM부터 서버용 D램과 저장장치까지 아우르는 '풀스택 AI 메모리' 전략이다.

글로벌 메모리 업체들도 빠듯한 수급이 장기간 이어질 것으로 보고 있다.

마이크론은 지난달 실적 발표에서 D램과 낸드 수요가 업계 공급을 크게 웃돌고 있으며, AI 수요와 구조적인 공급 제약으로 이 같은 흐름이 2027년 이후까지 지속될 것으로 전망했다.

반면 반도체 공장은 부지 확보와 인허가, 건설, 장비 반입부터 양산까지 장기간이 걸리고 대규모 전력과 용수도 필요해 공급 능력을 단기간에 늘리기 어렵다.

특히 HBM은 D램 생산시설 뿐 아니라 첨단 패키징 능력도 함께 확충해야 한다.

메모리 압축과 저장 효율을 높이는 기술이 발전하더라도 AI 모델과 이용자, 처리 데이터가 함께 늘면 수요 증가를 따라잡기에는 한계가 있다는 분석이다.

최 회장은 "HBM과 D램을 덜 쓰고 다른 방식으로 저장하거나 압축하는 기술도 발전해야 한다"면서도 "그런 기술이 모두 적용되더라도 시스템에 저장해야 할 메모리 자체가 늘어나는 것을 막기는 어렵다"고 설명했다.

◎공감언론 뉴시스 parknr@newsis.com ...