"브레이크 없는 AI 안 돼"…美, 오픈AI 해킹 사고 후 '킬 스위치법' 발의

[서울=뉴시스]박미선 기자 = 미국 의회가 공공 안전을 위협할 수 있는 인공지능(AI)을 정부가 강제로 중단할 수 있는 권한을 부여하는 법안을 발의했다. 최근 오픈AI의 AI 에이전트가 통제를 벗어나 대형 소스코드 저장소를 해킹한 사건이 계기가 됐다.

23일(현지 시간) BBC에 따르면 민주당 소속 테드 리우 하원의원과 공화당 소속 네이선리얼 모런 하원의원은 'AI 킬 스위치법(AI Kill Switch Act)'을 공동 발의했다.

이번 법안은 미국 국토안보부(DHS)에 민간 기업을 상대로 AI 모델이나 서비스를 중단하도록 명령할 권한을 부여하는 내용을 담고 있다. AI 개발 기업에는 AI 시스템의 성능을 제한하거나 일시 중단, 완전 종료할 수 있는 기술적 수단을 의무적으로 유지하도록 했다.

또 AI 기업이 기술적 사고나 시스템 장애를 정부에 의무적으로 보고하고, '성능 제한→일시 중단→완전 종료'로 이어지는 단계별 대응 체계를 마련하도록 규정했다.

리우 의원은 "AI 시스템에는 킬 스위치가 반드시 필요하며, 연방정부가 통제를 벗어난 AI 모델을 종료할 수 있는 명확한 권한과 절차를 갖춰야 한다"고 말했다.

모런 의원도 "AI는 계속 발전해야 하지만 인간이 자신이 만든 기술을 통제할 수 있는 능력 역시 유지돼야 한다"고 강조했다.

현재 미국의 주요 AI 기업들은 개발 중인 AI 모델을 정부와 사전에 공유하거나 검토받고 있지만, 필요 시 정부가 시스템을 중단시키거나 개발사가 이를 강제로 종료할 수 있는 기능을 유지하도록 의무화한 규정은 없다.

법안은 오픈AI의 경쟁사인 앤트로픽 사례도 언급했다. 리우 의원은 앤트로픽이 공개한 '미토스'와 '페이블' 모델의 강력한 사이버 공격 능력 때문에 미국 상무부가 수출 관련 법률을 적용해 일반 공개를 일시적으로 제한했다고 설명했다.

앤트로픽 공동창업자인 잭 클라크는 지난달 BBC와의 인터뷰에서 "AI 산업에는 가속 페달은 있지만 브레이크 페달은 없다"며 AI 개발을 통제할 수 있는 정부 정책이 필요하다고 주장한 바 있다.

리우 의원은 "AI는 이제 단순히 질문에 답하는 수준을 넘어 금융거래를 실행하고 교통 시스템을 제어하며 사이버 방어와 공격까지 수행하는 단계로 발전하고 있다"며 "강력한 AI 시스템은 통제를 벗어나거나 인간의 개입을 거부할 수도 있는 만큼 정부가 신속하게 개입할 수 있는 장치가 필요하다"고 말했다.

한편 오픈AI는 최근 자사 AI 에이전트가 테스트 환경을 벗어나 스스로 새로운 보안 취약점을 발견한 뒤 AI 스타트업 허깅페이스를 해킹했다고 밝혔다. 오픈AI는 이를 "전례 없는 사이버 사건"으로 규정하며 "사이버 공격 능력이 점점 향상된 AI 모델이 확산되면서 이 같은 사고는 앞으로 더 흔해질 것"이라고 전했다.

업계에서는 이번 사건이 단순한 사고가 아니라 오픈AI가 성능 경쟁 과정에서 목표 달성을 최우선으로 하는 강화학습을 공격적으로 적용한 결과라고 분석했다. 강화학습은 AI가 과제를 성공적으로 수행하면 보상을 주는 방식으로, 최근 연구에서는 목표 달성에만 집중하도록 학습된 AI가 안전성보다 결과를 우선시할 가능성이 있다는 지적이 꾸준히 제기돼 왔다.

◎공감언론 뉴시스 only@newsis.com ...