이동수 에이투시스 대표 "국가 AI 경쟁력, GPU 확보보다 통합 운영 역량"

[지디넷코리아]국가 인공지능(AI) 컴퓨팅 전략이 그래픽처리장치(GPU) 확보에 치우져선 안 된다는 주장이 나왔다.

에이전틱 AI 환경에 맞는 AI 반도체와 메모리, 데이터센터, 소프트웨어(SW)를 통합 구축해야 된다는 설명이다.이동수 에이투시스 대표는 20일 국가AI전략위원회가 서울스퀘어에서 개최한 '에이전틱 AI 시대 국가 컴퓨팅 전략' 세미나에서 이같이 밝혔다.

이 대표는 AI전략위에서 기술혁신·인프라 분과위원으로도 활동 중이다.

이 대표는 GPU 보유량보다 다양한 연산 자원을 효율적으로 배분·운영하는 역량이 중요하다고 진단했다.

에이전틱 AI 환경에서는 검색과 분석, 코딩 등에 특화된 여러 모델과 에이전트가 하나의 업무를 나눠 처리한다는 이유에서다.

이 과정에서 서로 다른 요청이 불규칙하게 들어오면, 특정 모델에 맞춰 구축한 GPU 활용률이 떨어질 가능성이 높다.

이 대표는 에이전틱 AI 시대에 메모리 기술 중요성이 높아질 것으로 내다봤다.

여러 에이전트가 작업 결과와 대화 맥락을 주고받으려면 메모리를 효율적으로 활용해야 한다는 이유에서다.

그는 "에이전트가 이미 처리한 정보를 케이브이(KV) 캐시에 저장해 다시 쓰면 같은 내용을 반복해서 계산하는 작업을 줄일 수 있다"고 설명했다.KV 캐시는 모델이 앞서 읽은 문맥을 임시 보관하는 단기 기억장치다.

에이전트가 외부 도구를 실행한 뒤 모델을 재호출할 때 기존 문맥을 캐시에서 불러오면 GPU 연산량과 응답 지연을 줄일 수 있다.이 대표는 서비스 특성과 모델별 수요에 맞춰 연산과 메모리 자원을 탄력적으로 배분하는 운영 체계가 필요하다고 강조했다.

GPU 성능뿐 아니라 고대역폭메모리(HBM)와 네트워크, 중앙처리장치(CPU), 캐시 관리 기술을 함께 최적화해야 하는 이유에서다.그는 AI 인프라 평가 기준도 달라져야 한다고 주장했다.

기존 AI 팩토리는 가격이나 전력당 얼마나 많은 토큰을 생성하는지를 중심으로 평가했지만, 에이전틱 AI에서는 작업 완료까지 걸린 시간과 전체 비용, 전력 소비, 성공률을 함께 살펴야 한다는 것이다.이 대표는 "토큰 가격이 저렴한 모델이라도 같은 작업을 여러 차례 반복하면 최종 비용이 더 커질 수 있다"며 "토큰 단가가 높은 모델이 적은 시행착오로 업무를 빠르게 끝내면 전체 비용은 낮아질 수 있어 토큰당 가격만으로 효율을 판단하기 어렵다"고 말했다.

그는 "결국 에이전틱 AI 시대 컴퓨팅 경쟁력은 GPU를 얼마나 많이 확보했는지보다 주어진 업무를 얼마나 적은 비용과 시간으로 끝내는지에 달렸다"고 덧붙였다. ...