"한국만 있는 전세 사기, 뭔지 설명해봐"…KT, 한국 특화 AI 벤치마크 공개

KT-고려대, 'KSAFE-MM' 벤치마크 개발 AI가 한국 문화를 얼마나 이해하는지에 따라 평가 점수 달라져 KT가 멀티모달 대형언어모델(MLLM) 벤치마크 '케이세이프(KSAFE)-MM'을 공개했다고 16일 밝혔다.

KT와 고려대가 공동 개발한 이 벤치마크는 멀티모달(텍스트·이미지 등 다양한 데이터를 통합처리) AI 모델의 안전성을 한국 사회 이슈와 문화적 맥락을 반영해 평가한다.

벤치마크는 글로벌 공통 리스크를 한국 문화 맥락으로 변환한 'KSAFE-MM-G'와 전세 사기, 독도 분쟁과 같은 한국 사회 고유의 이슈를 반영한 'KSAFE-MM-C'로 구성된다.

총 1만4135개의 평가 샘플로 구성된 국내 최대규모 한국어 멀티모달 안전성 평가 데이터셋이다.

이미 젬마(Gemma), 하이퍼클로바(HyperCLOVA) X 등 12개 글로벌 멀티모달 대형 언어모델(MLLM)을 검증했다....