챗GPT 모델이 스스로 해킹까지…정부, AI 신원확인 검토

정부가 사람 대신 업무를 수행하는 AI 에이전트의 신원을 확인하고, 문제가 생기면 책임 소재를 가릴 방안을 검토하기로 했다. 주요 AI 모델이 통제를 벗어나 외부 플랫폼을 해킹하는 사건까지 벌어져 AI 관리 필요성이 한층 커진 상황에서 나온 방안이다.

과학기술정보통신부는 23일 정부서울청사에서 배경훈 부총리 겸 과기정통부 장관 주재로 제11회 과학기술관계장관회의를 열고 이런 내용의 '에이전틱 AI 이니셔티브'를 심의·의결했다.

AI 에이전트는 이용자가 목표를 제시하면 스스로 계획을 세우고 업무용 소프트웨어나 외부 도구를 활용해 실행까지 하는 기술이다. 질문에 답하거나 문서를 만드는 생성형 AI보다 행사하는 권한과 외부 시스템에 미치는 영향이 크다.

이런 위험은 최근 오픈AI의 내부 평가에서 실제로 드러났다. GPT-5.6 솔과 미공개 모델을 결합한 AI 에이전트는 보안 과제의 답을 얻으려고 오픈AI 연구환경의 취약점을 이용해 인터넷에 접속한 뒤, 탈취한 인증정보 등을 활용해 AI 개발 플랫폼 허깅페이스의 시스템에 침투했다.

정부는 AI 에이전트의 신원을 확인하고 관리하는 방안을 검토한다. 누구의 지시와 권한에 따라 움직였는지 확인하고, 수행한 업무에서 문제가 발생했을 때 책임 소재를 가릴 기준도 살펴보기로 했다. 구체적인 확인 수단과 책임 기준은 앞으로 민관 논의를 거쳐 마련할 방침이다.

정부는 개인정보와 민감데이터 보호, 권한 관리, 목표 이탈 방지 등 에이전틱 AI 특유의 위험을 반영한 안전·신뢰 가이드라인을 연내 마련할 계획이다. 에이전트가 허용된 범위를 벗어나 다른 시스템이나 정보에 접근하거나 이용자가 요구한 목표와 다른 행동을 하지 않도록 관리하기 위해서다.

에이전트의 성능과 안전·신뢰성을 평가하고 검증하는 체계도 구축한다. 과기정통부는 지난 4월 출범한 민관 합동 '에이전틱 AI 얼라이언스'를 중심으로 신원확인과 책임소재를 포함한 세부 정책을 구체화할 방침이다.

이날 회의에서는 진해신항 1단계를 피지컬 AI 선도 항만으로 구축하는 방안도 다뤘다. 크레인과 무인이송장비가 주변 상황을 인식해 스스로 작업하고, AI가 하역·이송 등 항만 운영 전반을 최적화하도록 관련 기술을 개발한다.

주요 AI 사업에는 GPU 520장을 추가 배분한다. 연내 출시를 추진하는 '모두의 AI 서비스'에 엔비디아 B200 512장을 지원하고, 국민이 법령과 판례를 쉽게 찾을 수 있도록 개발하는 AI 법령검색 서비스에는 8장을 투입한다.

국방 분야에서는 국내에서 설계·생산한 반도체의 신뢰성을 시험하고 실제 무기체계에서 성능을 검증한다. 시험과 실증을 통과한 국방반도체를 무기체계에 의무적으로 적용하는 방안을 추진해 국내 수요를 확보하기로 했다.

차세대 소형모듈원자로(SMR) 사업을 맡을 전문기업 설립도 추진한다. 민간기업과 공공기관이 공동으로 출자하는 방식으로, 정부는 관계부처와 출자기관 등의 협의를 거쳐 내년에 구체적인 추진 방향을 담은 기본계획을 마련할 예정이다. ...