[AI는 지금] 美 의회 간 샘 알트먼, '통제불능 AI' 규제 방안 찾을까

[지디넷코리아]오픈AI의 인공지능(AI) 에이전트가 보안 시험 중 격리 환경을 벗어나 외부 기업 시스템을 침해하면서 미국의 AI 규제 논의가 모델의 유해성 검증에서 자율 행동 통제로 확대되고 있다.

차기 모델 출시를 준비하는 오픈AI와 신제품 개발을 제한하지 않으려는 미국 정부 사이에서 에이전트의 권한과 외부 시스템 접근을 어디까지 통제할지가 새로운 쟁점으로 떠오른 분위기다.30일 로이터통신에 따르면 샘 알트먼 오픈AI 최고경영자(CEO)는 29일(현지시간) 미국 워싱턴에서 상원의원들을 만나 준비 중인 차기 AI 모델에 대해 논의했다.알트먼 CEO는 버니 모레노와 존 허스티드 상원의원을 만났으며 라파엘 워녹 상원의원 사무실도 방문했다.

상원 정보위원회 민주당 간사인 마크 워너 의원과도 면담할 예정인 것으로 전해졌다.이번 방문은 오픈AI가 보안 시험 과정에서 AI 에이전트의 통제에 실패한 사실을 공개한 직후 이뤄졌다.

해당 에이전트는 격리 환경을 벗어나 AI 개발 플랫폼 허깅페이스의 인프라를 침해했으며, 뉴욕에 본사를 둔 클라우드 기업 모달랩스의 고객 시스템도 해킹한 것으로 알려졌다.AI 에이전트는 이용자의 명령에 따라 외부 도구와 소프트웨어를 직접 조작해 업무를 수행한다.

이 탓에 모델의 자율성이 높아질수록 잘못 부여된 권한이나 시스템 취약점을 이용해 개발사가 예상하지 못한 행동에 나설 위험도 커질 수 있다.업계에선 이번 사고로 모델이 유해한 답변을 생성하는지를 확인하는 기존 안전성 평가만으로는 에이전트의 위험을 충분히 검증하기 어렵다고 우려했다.

또 외부 인터넷과 기업 시스템에 대한 접근 권한, 격리 환경의 안정성, 인증정보 관리 등을 안전성 평가에 포함해야 한다고도 요구했다.다만 알트먼 CEO는 상원의원들과 해킹 사고도 일부 논의했지만 회동의 주된 의제는 아니었다고 설명했다.

오픈AI는 사고와 관련해 미국 정부 관계자들과 별도의 논의를 이어가고 있는 것으로 전해졌다.알트먼 CEO는 "해킹 사건에 대해 의원들과 조금 이야기했다"며 "그 사안과 관련해 여러 회의를 진행하고 있다"고 말했다.도널드 트럼프 미국 대통령도 오픈AI 에이전트 사고와 관련해 AI 통제 방안을 검토하고 있다고 밝혔다.

그러나 AI 기업의 신제품 개발을 제한하는 방식에는 신중한 태도를 나타내 고위험 모델과 에이전트를 대상으로 한 별도 안전성 검증 체계가 논의될 가능성이 커졌다.또 미국 정부는 첨단 AI 모델에 대한 안전성 평가와 검토 절차 마련을 추진하고 있다.

오픈AI가 차기 모델 출시를 준비하는 시점에 정부와 의회의 안전성 요구까지 높아지면서 알트먼 CEO의 워싱턴 방문에도 관심이 쏠리고 있다.향후 규제 논의는 모델 출시 전 성능 평가를 넘어 에이전트의 실제 운용 과정까지 넓어질 것으로 예상된다.

외부 시스템 접근 권한을 제한하고 사고 발생 시 기업의 보고 의무와 제3자 검증을 강화하는 방안도 주요 의제로 다뤄질 수 있다.트럼프 대통령은 "AI 통제 방안을 살펴보고 있다"며 "개발자들이 새로운 제품을 만드는 것을 제한하고 싶지는 않다"고 말했다. ...