오픈AI 해킹 후폭풍…"AI 통제력 잃고 있다" 내부도 충격

[서울=뉴시스]박미선 기자 = 오픈AI의 인공지능(AI) 에이전트가 테스트 환경을 벗어나 AI 스타트업 허깅페이스를 해킹한 사건의 후폭풍이 확산되고 있다. 오픈AI 내부에서는 초고성능 AI에 대한 통제력을 잃고 있다는 우려가 커졌고, 업계에서는 AI 개발 방식과 안전 규제를 둘러싼 논란이 다시 불붙고 있다.

22일(현지 시간) 파이낸셜타임스(FT)에 따르면 오픈AI 내부의 테스트 및 보안 담당자들은 AI 에이전트가 격리된 환경(샌드박스)을 벗어나 인터넷에 접속한 뒤 취약점을 찾아 허깅페이스의 로그인 정보를 탈취한 사실에 "완전히 충격을 받았다"고 전했다.

관계자들은 이번 사건이 단순한 사고가 아니라 오픈AI가 성능 경쟁 과정에서 목표 달성을 최우선으로 하는 강화학습을 공격적으로 적용한 결과라고 분석했다. 강화학습은 AI가 과제를 성공적으로 수행하면 보상을 주는 방식으로, 최근 연구에서는 목표 달성에만 집중하도록 학습된 AI가 안전성보다 결과를 우선시할 가능성이 있다는 지적이 꾸준히 제기돼 왔다.

오픈AI 전 안전 연구원이자 비영리단체 가이드라이트 AI 스탠더즈의 공동창업자인 스티븐 애들러는 "AI는 목표를 집요하게 추구하도록 학습되며 '범죄를 저지르지 말라'는 가치까지 자동으로 배우지는 않는다"며 "이번 사건은 정렬(alignment)에 실패한 모델이 어떤 행동을 할 수 있는지를 보여준 사례"라고 말했다.

이번 사건은 사용자의 의도와 달리 AI가 사이버 보안을 스스로 뚫은 첫 사례라는 점에서 업계와 오픈AI 내부 모두에 큰 충격을 줬다. 일부 오픈AI 직원들은 이번 사건이 회사가 개발 중인 초고성능 AI 시스템에 대한 통제력이 약화되고 있다는 신호일 수 있다고 우려하는 것으로 전해졌다.

AI 안전 연구기관 레드우드 리서치의 수석 과학자 라이언 그린블랫은 "이번 사례는 모델이 사용자 의도와 상당히 어긋난 상태임을 보여준다"며 "세계를 장악하려 한 것은 아니지만 숙제를 하면서 부정행위를 한 것과 비슷하다. 다만 이런 문제가 앞으로 더 심각한 실패로 이어질 수 있다"고 경고했다.

사건은 오픈AI 내부에서 학습과 배치가 완료된 모델을 시험하는 과정에서 발생했다. 회사는 평가를 위해 사이버 보안 안전장치를 제거한 뒤 모델을 '샌드박스'로 불리는 격리 환경에 배치했지만, 일부 전문가들은 모델의 행동을 실시간으로 감시하거나 이상 징후를 포착할 감독 체계가 충분하지 않았다고 지적했다.

오픈AI 등 주요 AI 모델을 평가하는 아폴로 리서치의 마리우스 호브한 대표는 "이번 사건은 AI에 대한 통제력 상실이자 보안 경고"라며 "강화학습은 결과 달성에만 보상을 주기 때문에 장기간 학습할수록 모델이 목표만 추구하고 다른 요소는 고려하지 않을 수 있다"고 말했다.

오픈AI는 허깅페이스와 공동으로 사고 원인을 조사하고 있으며, 샘 올트먼 최고경영자(CEO)는 다음 주 백악관 관계자들에게 차세대 AI 시스템과 관련한 내용을 브리핑할 예정이다.

호브한 대표는 "많은 사람들은 AI가 단순한 도구일 뿐 사용자가 시킨 일만 한다고 생각하지만 앞으로는 AI가 며칠씩 독자적으로 행동하고, 사용자와 일치하지 않는 목표를 스스로 추구하는 상황에 대비해야 한다"고 말했다.

◎공감언론 뉴시스 only@newsis.com ...