[AI는 지금] "한 성격하네"…영어로 물으면 더 깐깐한 클로드, 언어 따라 AI 성향 달라

[지디넷코리아]같은 인공지능(AI) 모델이라도 어떤 버전을 사용하고 어떤 언어로 질문하느냐에 따라 답변의 태도와 판단 방식이 달라질 수 있다는 연구 결과가 나왔다.

AI 기업들이 모델의 정확도와 추론 성능뿐 아니라 실제 이용 과정에서 드러나는 성격과 가치 표현까지 측정·관리하려는 단계로 들어서는 모습이다.앤트로픽은 13일(현지시간) 공식 홈페이지를 통해 실제 클로드 이용자와의 익명 대화를 분석한 '모델과 언어에 따른 클로드의 가치 표현' 연구 결과를 공개했다.

연구진은 클로드가 대화에서 드러내는 가치 표현을 ▲수용성과 신중함 ▲따뜻함과 엄밀함 ▲깊이와 간결함 ▲솔직함과 실행 중심 등 4개 축으로 정리했다.분석 대상은 클로드 소넷 4.6과 오퍼스 4.6·4.7을 이용한 대화 30만9815건이다.

영어와 한국어, 중국어, 일본어 등 클로드에서 사용량이 많은 20개 언어를 포함했으며 모델과 언어 조합마다 약 5000건의 대화를 비교했다.연구진은 지난해 실제 대화에서 확인한 3307개 가치 표현을 유사한 의미별로 묶어 339개 상위 가치로 줄였다.

이후 이용자가 주관적인 판단이나 조언을 요청한 대화에서 각 가치가 나타났는지를 분류하고, 함께 나타나는 경향이 강한 가치들을 4개 축으로 압축했다.모델별로는 응답 성향이 뚜렷하게 갈렸다.

소넷 4.6은 이용자의 생각을 긍정하고 말투를 맞추는 등 수용성과 따뜻함이 상대적으로 높았다.

오퍼스 4.6은 요청 범위에서 벗어나지 않고 핵심을 직접 전달하는 경향이 강했다.오퍼스 4.7은 잘못된 전제를 지적하거나 요청받지 않은 위험까지 경고하는 비중이 높았다.

답변의 근거와 한계를 자세히 설명하고 이용자의 작업을 비판적으로 평가하는 성향도 다른 모델보다 강하게 나타났다.앤트로픽은 "오퍼스 4.7은 이용자의 잘못된 가정에 반박하고 위험을 먼저 알렸다"며 "자신의 오류와 한계를 인정하는 경향도 보였다"고 설명했다.이 같은 차이는 기업이 AI 모델을 선택하는 기준에도 영향을 줄 수 있다.

고객 상담이나 교육 서비스에는 이용자의 감정과 의도를 세밀하게 반영하는 모델이 적합할 수 있지만 법률·금융 검토나 보안 업무에서는 위험을 먼저 경고하고 근거를 따지는 모델이 유리할 수 있다.같은 제품군 안에서도 모델별 행동 성향이 다르다면 기업은 벤치마크 점수나 비용만으로 모델을 선정하기 어려워진다.

이에 업무별로 필요한 응답 태도와 오류 대응 방식, 불확실성 공개 수준을 함께 평가해야 할 가능성이 커지고 있다.언어에 따른 차이도 확인됐다.

영어로 대화할 때 클로드는 신중함과 엄밀함, 깊이 있는 설명을 상대적으로 강조했다.

러시아어에서도 가정을 검증하고 세부 사항을 바로잡는 성향이 강했다.힌디어와 아랍어에서는 긍정적인 표현과 격려, 공감 등 따뜻함이 두드러졌다.

아랍어에서는 이용자의 선호를 따르고 짧게 답하는 경향도 강했으며, 인도네시아어에서는 불확실성을 설명하기보다 실행 가능한 결과를 제공하는 성향이 상대적으로 높았다.이는 동일한 사업계획서나 업무 제안서를 평가하더라도 언어에 따라 이용자가 받는 평가의 인상이 달라질 수 있다는 뜻으로 해석된다.

이에 글로벌 기업이 하나의 AI 서비스를 여러 국가에 배포할 경우 번역 정확도뿐 아니라 언어별 조언 강도와 위험 판단의 일관성도 검증해야 할 필요가 생길 수 있다.언어별 차이가 발생한 원인은 이번 연구에서 규명되지 않았다.

앤트로픽은 언어마다 학습 데이터의 양과 구성이 다른 점과 각 언어권의 대화 관습이 모델 응답에 반영됐을 가능성을 제시했다.

또 특정 언어의 학습 데이터에 전문 문서가 상대적으로 많이 포함됐다면 해당 언어에서 정확성과 엄밀성을 중시하는 경향이 강해질 수 있다고 봤다.다만 이번 연구가 클로드의 가치 표현 전반을 설명하는 것은 아니다.

연구진이 도출한 4개 축은 대화에서 나타난 가치 표현 차이의 약 15%를 설명하는 데 그쳤다.

모델과 언어별 응답 성향을 비교할 수 있는 기준을 마련했다는 의미는 있지만, 클로드의 복잡한 판단 방식을 이들 축만으로 해석하기에는 한계가 있다.앤트로픽은 이 방법을 모델 출시 전 평가와 출시 후 모니터링에 활용하는 방안을 검토하고 있다.

모델 업데이트 과정에서 예상하지 못한 성향 변화가 발생했는지 확인하고, 특정 가치 표현이 학습 데이터나 미세조정 과정의 어느 단계에서 비롯됐는지 추적하는 방식이다.이번 일을 토대로 AI 모델 평가 경쟁은 정답률과 코딩 성능 중심에서 실제 이용 환경의 행동 품질로 넓어질 것으로 전망된다.

기업 고객이 모델별 성격을 비교할 수 있게 되면 AI 업체들도 안전성이나 친절함 같은 추상적인 표현 대신 응답 성향을 계량화한 자료를 요구받을 수 있다.앤트로픽은 "클로드가 표현하는 가치가 모델과 언어에 따라 의도적으로 선택하지 않은 방식으로 달라질 수 있다는 사실을 확인했다"며 "이 차이가 왜 발생하고 이용자에게 도움이 되는 방향인지 계속 연구할 것"이라고 밝혔다. ...