[비욘드IT] 돈으로 사는 벤치마크 점수…AI 성능평가 공정성 우려

[지디넷코리아]인공지능(AI) 모델 성능을 입증하는 지표인 벤치마크 점수가 기술력이 아닌 자금력으로 결정될 수 있다는 우려가 커지고 있다.벤치마크 점수에 특화된 고가 전문 데이터셋을 대량으로 구매한 기업이 실제 성능과 무관하게 상위권을 차지하는 구조가 굳어지고 있기 때문이다.10일 AI 업계 관계자에 따르면 "벤치마크는 시험지와 같아서 얼마나 많은 데이터를 살 수 있느냐가 점수를 결정하는 구조가 됐다"는 지적이 현장에서 잇따르고 있다.벤치마크는 AI 모델의 성능을 비교하기 위한 일종의 표준 시험이다.

수학적 추론, 코딩, 언어 이해, 과학 지식 등 다양한 영역에서 모델이 얼마나 정확하게 문제를 푸는지를 수치화한다.

성능에 대한 직관적인 지표를 제공하는 만큼 주요 AI 기업 신규 모델을 선보이며 벤치마크 점수를 공개하며 고객사도 벤치마크 점수를 모델 선택 핵심 기준으로 활용한다.문제는 벤치마크가 시험이라면 데이터셋은 사실상 그 시험의 문제 유형을 담고 있는 자료에 가깝다는 점이다.

기업이 벤치마크와 유사한 고난도 데이터를 대량으로 사들여 학습에 활용할 경우 실제 범용 성능 향상과 별개로 특정 평가에서만 점수를 끌어올릴 수 있다.AI기술 발전에 따라 요구 조건이 높아지며 AI 모델 성능 평가를 위한 벤치마크가 고도화되고 평가용 데이터 가격도 빠르게 치솟고 있다.과거에는 단순한 질의응답 형태의 데이터만으로도 모델 성능을 가늠할 수 있었지만 최근에는 주요 범용 벤치마크에서 상위 모델들이 이미 높은 점수대에 도달하면서 변별력이 떨어졌다는 평가가 나온다.

이에 따라 수학·과학·코딩 등 전문 영역에서 더 어려운 문제를 활용한 고난도 벤치마크가 속속 등장하고 있다.이들 벤치마크는 제작 단가 자체가 높다.

국제수학올림피아드(IMO) 메달리스트나 필즈상 수상자급 전문가가 설계에 참여하는 문제는 한 문항을 만드는 데도 상당한 비용이 들어간다.한국 AI 업계에 따르면 한 미국 데이터기업이 국내 기업에 제안한 수학 문제 데이터 가격은 1건당 30만 원 수준인 것으로 전해진다.

이 기업은 국내 일부 기업이 이미 5000건을 구매했다고 소개하며 다른 기업에도 구매를 권유한 것으로 알려졌다.

단순 계산으로 총액은 약 15억원 수준이다.문제는 주요 벤치마크가 수학에만 한정되지 않는다는 점이다.

코딩, 과학, 언어 추론, 복합 추론 등 영역별로 별도의 고난도 데이터가 필요하다.

복합 추론이나 전문 지식을 요구하는 평가 데이터는 단가가 높아 1만건 규모의 고급 데이터셋을 더하면 비용이 수백억 원대에 이를 수 있다는 설명이다.한 국내 AI 스타트업 대표는 "벤치마크는 결국 시험과 비슷하다"며 "특정 유형의 문제를 집중적으로 학습시키면 점수를 끌어올릴 수 있기 때문에, 얼마나 많은 데이터를 확보하느냐가 순위를 가르는 구조가 되고 있다"고 말했다.결국 벤치마크 경쟁이 기술 혁신 경쟁이라기보다 자금 동원 경쟁으로 흐를 수 있다는 우려다.

점수는 높아졌지만 그것이 모델의 본질적인 성능 향상인지, 아니면 특정 시험 유형에 대한 집중 학습의 결과인지는 별개의 문제라는 지적도 적지 않다.다른 스타트업 대표는 "글로벌 빅테크나 대형 AI 기업은 수백억 원짜리 데이터도 살 수 있지만 국내 스타트업은 투자금을 모두 털어도 감당하기 어렵다"고 말했다.

"벤치마크 기반 AI 평가 방식이 실제 업무 수행과 차이가 있다는 지적도 꾸준히 제기되고 있다.

실제로 문제 구조를 파악하고 해결하는 AI 모델 보다 특정 평가 패턴에 과도하게 적용한 경우가 더 높은 점수를 기록할 가능성이 있기 때문이다.그래서 단순 시험형 지표보다 실제 업무 환경에서 AI가 얼마나 생산성을 낼 수 있는지, 사람의 일을 얼마나 정확하게 대체하거나 보조할 수 있는지를 평가하려는 흐름도 나타나고 있다.이 같은 논란은 국내에만 국한된 문제가 아니다.

해외에서도 벤치마크 공정성과 리더보드 신뢰성을 둘러싼 논란이 반복돼 왔다.

메타의 경우 라마 4 계열 모델의 벤치마크 제출 방식을 두고 "평가에 유리한 버전을 냈다"는 비판을 받았고, 메타 최고 AI 과학자 얀 르쿤도 관련 인터뷰에서 결과를 "약간 손봤다"는 취지로 언급해 논란이 커졌다.한 업계 관계자는 "벤치마크 데이터를 대거 사들여 학습시키면 벤치마크 점수를 높일 수는 있겠지만 실제 업무에 적용해 활용하는 건 다른 이야기"라며 "깃허브나 허깅페이스 등 개발자 커뮤니티 반응이나 현업 도입 성과, 실사용자 피드백 기반 평가 기반이 마련되야 한다"고 말했다.업계 전문가들은 벤치마크는 여전히 필요하다는 입장이다.

모델 성능을 일정 기준 아래서 비교할 수 있는 도구라는 점에서 충분한 의미가 있기 때문이다.

다만 고가 데이터 구매와 점수 경쟁이 과도하게 결합할 경우 벤치마크는 기술력을 검증하는 도구가 아니라 마케팅 수단으로 전락할 수 있다는 우려가 크다는 지적이다.AI 스타트업 대표는 "AI 경쟁이 본격화할수록 평가 체계의 공정성과 신뢰성은 더 중요한 문제가 될 것"이라며 "AI 평가의 투명성을 확보하기 위해선 벤치마크와 함께 실사용 중심의 검증 체계를 보완해야 한다"고 말했다. ...