[SW키트] AI가 직접 일하는 시대…신뢰성 검증 시장 커진다

[지디넷코리아]생성형 인공지능(AI)이 산업 전반에 확산하면서 AI 결과물 신뢰성을 검증하는 시장이 성장하고 있다.

17일 IT 업계에 따르면 AI 기업들은 생성형 AI가 작성한 문서를 비롯한 AI 모델 답변 품질, 이미지·영상·음성의 조작 여부를 판별하는 솔루션 공급에 나섰다.

사람이 AI 결과물을 일일이 확인해야 하는 부담이 커지면서 검증 업무에도 AI를 활용하려는 수요가 늘어난 영향이다.AI 신뢰성 검증 시장은 세 영역으로 나뉜다.

AI가 작성한 글을 판별하는 텍스트 검증과 모델 정확도·안전성을 평가하는 모델 검증, 이미지·영상·음성 진위를 확인하는 멀티미디어 검증이 대표적이다.텍스트 검증 시장에서는 학교 과제와 연구 논문, 기업 채용을 위한 자기소개서 중심으로 수요가 확대되고 있다.

이에 발맞춰 무하유는 표절검사 서비스 '카피킬러'를 운영하며 쌓은 데이터 분석과 자연어 처리 기술을 기반으로 AI 작성 탐지 솔루션 'GPT킬러'를 개발했다.

GPT킬러는 문서를 문단 단위로 분석해 생성형 AI가 작성했을 확률을 제시하고 AI가 생성했을 가능성이 높은 단어의 확률을 역추적하는 솔루션이다.

문서 전체에 대한 판정만 내리는 것이 아니라 AI 작성이 의심되는 부분을 문단별로 보여줄 수 있어, 사용자가 판단 근거를 다시 확인할 수 있도록 돕는다.해당 솔루션 기술은 카피킬러와 AI 서류평가 솔루션 '프리즘'에도 적용됐다.

무하유는 지원자의 답변 내용과 면접 태도를 분석하는 AI 면접 솔루션 '몬스터'도 운영하고 있다.프리즘은 자기소개서 등 서류를 분석해 직무 적합도를 평가한다.

몬스터는 지원자 답변을 바탕으로 직무·조직 적합도와 면접 태도, 의사소통 능력을 종합적으로 검토한다.두 솔루션은 합격과 불합격 결과만 제시하지 않고 어떤 기준과 근거로 결론을 내렸는지 함께 보여준다.

AI의 판단 과정을 사람이 다시 확인할 수 있어야 결과도 신뢰할 수 있다는 설명가능성 중심의 검증 체계를 적용했다.무하유는 한국어뿐 아니라 일본어 시장도 공략하고 있다.

지난 2020년 출시한 일본어 표절검사 서비스 '카피모니터'는 현재 80개 고객사와 22만명 이상이 이용하고 있으며 일부 일본 대학은 과제 제출 과정에서 검사를 의무화했다.프리즘과 몬스터는 AI 신뢰성 인증과 정보보호관리체계 인증을 취득했다.

두 솔루션은 현재 700개 이상 고객사의 채용 과정에서 활용되고 있다.AI 모델 자체 신뢰성을 검증하는 시장도 커지고 있다.

모델 환각과 편향성, 유해 답변, 검색증장생성(RAG) 품질과 정확성을 따져 모델 기반 서비스 질을 높이기 위한 전략이다.

셀렉트스타는 생성형 AI 평가 플랫폼 '다투모 이벨'로 기업용 AI 모델 신뢰성을 검증하고 있다.

고객사가 보유한 정책과 상품 문서를 바탕으로 실제 이용 환경을 반영한 평가 질문을 만들고 AI 응답을 항목별 기준에 따라 자동 채점하는 식이다.

기업은 GPT-4o와 클로드, 라마 등 여러 모델을 동일한 데이터셋으로 평가할 수 있다.

모델별 정확도와 안전성을 비교해 자사 서비스에 적합한 모델을 선정하거나 운영 중인 AI의 품질을 관리할 수 있다.셀렉트스타는 신한은행과 우리은행, NH농협은행 등 주요 시중은행에 AI 신뢰성 검증 솔루션을 공급했다.

금융권에서 생성형 AI 활용이 확대되면서 잘못된 정보 제공과 유해 답변을 사전에 차단하려는 수요가 늘어났다는 평이 이어지고 있다.AI가 만든 이미지와 영상, 음성의 진위를 판별하는 멀티미디어 검증 시장도 확대되고 있다.

얼굴을 바꾸는 기존 딥페이크뿐 아니라 생성형 AI로 콘텐츠 일부를 수정하거나 새로운 인물과 음성을 만드는 행위까지 검증 범위가 넓어졌다.딥브레인AI는 이미지와 영상, 음성을 함께 분석하는 멀티모달 기반 딥페이크 탐지 솔루션 'AI 디텍터'를 운영하고 있다.

얼굴 합성과 AI 생성 얼굴, 입술 움직임 합성, 음성 복제 등 주요 조작 유형을 판별한다.AI 디텍터는 콘텐츠의 진위 여부와 함께 조작이 의심되는 구간과 조작 유형, 분석 점수를 제공한다.

API와 서비스형 소프트웨어(SaaS) 형태로 제공돼 기존 검증·모니터링 시스템과 연동할 수 있다.딥브레인AI는 공공기관과 금융기관, 미디어 플랫폼 등을 중심으로 AI 디텍터를 공급하고 있다.

딥페이크를 활용한 금융사기와 명의도용, 허위정보 유포가 확산되면서 실시간 탐지와 근거 기반 판별 수요가 커지고 있다.AI 에이전트 확산은 신뢰성 검증 시장 성장 속도를 더 높일 것으로 예상된다.

AI가 정보를 생성하는 데 그치지 않고 기업 시스템에 접속해 업무를 수행하거나 의사결정에 참여하면 작은 오류도 실제 사업 손실과 보안 사고로 이어질 수 있기 때문이다.가트너는 "2027년까지 기업의 40%가 거버넌스 실패를 이유로 자율형 AI 에이전트 사업을 축소하거나 운영을 중단할 것"이라며 "충분한 검증 체계 구축이 필수 인프라로 자기잡았다"고 분석했다. ...