기존 생성형보다 136배 더 써…AI 에이전트, 전력 먹는 하마 되나

단순 질의응답을 넘어 외부 도구를 스스로 활용해 잡업을 수행하는 ‘인공지능(AI) 에이전트’가 기존 생성형 AI보다 훨씬 많은 전력을 쓰는 것으로 나타났다.

유민수 카이스트(KAIST) 전기및전자공학부 석좌교수팀은 AI 에이전트의 계산 비용과 에너지 소비 추이를 분석한 결과를 5일 공개했다.연구팀에 따르면 700억 개 매개변수를 갖춘 대형언어모델(LLM) 기반 AI 에이전트는 질문 1건을 처리하는 데 평균 348.41와트시(Wh)의 전력을 썼다.

가정용 냉장고를 8시간 넘게 가동할 수 있는 전력량으로, 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 많다.

AI 에이전트는 동적 추론 과정에서 기존 단계별 추론 방식보다 LLM을 평균 9.2배 많이 호출했고, 답변 시간은 최대 153.7배 길어졌다.

외부 도구가 작동하는 동안 그래픽처리장치(GPU)가 연산 없이 대기하며 전력을 낭비한 시간도 전체 실행 시간의 최대 54.5%에 달했다.하루 137억 건의 요청이 발생한다고 가정하면 ...