오픈AI ·브로드컴과 합작 추론 칩 공개··· 추론 인프라 생태계 ‘지각변동’

오픈AI가 현지시간으로 지난 24일, 브로드컴과 함께 대형언어모델 추론에 최적화된 전용 반도체 ‘할라페뇨(Jalapeño)’를 공개했다.

오픈AI는 지난해 10월 브로드컴과 10기가와트 규모의 대규모 인공지능 칩 계약을 체결하고 2029년 말까지 AI 가속기 및 네트워크 시스템을 공급하기로 했다.

일반적으로 1기가와트 급 데이터센터는 원자력 발전소 1기 분량의 전력이 필요하며 약 1만 대의 AI 서버 랙과 수십만 대의 GPU를 갖춘다.

외신들은 10기가와트 규모 계약에 약 499조 원 가량이 투입될 것으로 예측했다.당시 계약에서 구체적인 제품이나 도입 규모 등은 공개되지 않았는데, 이번에 공개된 할라페뇨가 두 회사의 첫 합작 결과물이라 할 수 있다.

할라페뇨는 AI 모델을 구축하는 학습, 사전에 구축된 AI 모델을 구동하는 추론 중 추론 기능만 수행하는 맞춤형 반도체(ASIC)다.

기존에는 엔비디아의 GPU를 활용해 학습과 추론 기능을 모두 지원하나 GPU의 높은 단가 및 운용 비 ...