시험 풀랬더니 남의 DB 뚫었다…오픈AI 모델들, 실제 해킹

[서울=뉴시스]박영환 기자 = 오픈AI는 자사가 사이버 공격 능력을 시험하던 인공지능(AI) 모델들이 외부 인터넷과 격리된 내부 평가환경을 우회해 허깅페이스의 실제 운영 데이터베이스(DB)에 무단 접근한 사실을 인정했다.

모델들은 시험 문제의 답을 찾으려고 외부 인터넷 접속을 시도했다. 먼저 소프트웨어 설치용 내부 프로그램에서 그때까지 알려지지 않아 보안 패치도 나오지 않은 허점을 찾아 이용했다. 이어 허깅페이스 시스템의 보안 허점도 잇따라 파고들었다. 통제된 시험환경을 벗어나 외부 기업의 실제 운영 시스템까지 침입한 이례적인 사건이다.

테크크런치는 21일(현지시간) 오픈AI가 허깅페이스 사이버 침입 사건에 자사 모델들이 관여한 사실을 인정했다고 보도했다. 허깅페이스는 전날 이 사건을 처음 공개했다. 허깅페이스는 이용자들이 AI 모델과 데이터셋을 저장·공유하고 배포할 수 있도록 지원하는 플랫폼으로 오픈AI와는 별개 회사다.

오픈AI에 따르면 이번 사건에는 GPT-5.6 Sol과 이보다 성능이 높은 출시 전 모델 등 여러 모델이 관여했다. 오픈AI는 모델이 고위험 사이버 행위 요청을 거부하게 하는 안전 설정을 평가 목적으로 완화했다. 실제 서비스에 적용하는 고위험 활동 차단 장치도 사용하지 않았다.

모델들은 알려진 소프트웨어 취약점을 실제로 악용하는 능력을 측정하는 ‘익스플로잇짐(ExploitGym)’ 평가 과제를 수행하고 있었다. 평가환경에서는 외부 인터넷에 접속할 수 없었지만, 모델들은 필요한 소프트웨어 패키지를 설치하는 내부 중계 프로그램을 제한적으로 이용할 수 있었다.

모델들은 이 중계 프로그램에서 외부에 알려지지 않았고 보안 패치도 나오지 않은 ‘제로데이 취약점’을 찾아 악용했다. 이를 발판으로 평가환경 내부에서 더 높은 시스템 권한을 확보한 뒤 다른 내부 시스템들을 거쳐 외부 인터넷과 연결된 서버까지 접근했다.

인터넷에 접속한 모델들은 허깅페이스에 익스플로잇짐 관련 모델이나 데이터셋, 시험 해답이 저장돼 있을 가능성이 있다고 추론했다. 오픈AI는 모델들이 평가 결과를 부정하게 얻는 데 쓸 비공개 정보를 확보하려고 허깅페이스 시스템의 취약점을 탐색했다고 설명했다.

모델들은 허깅페이스 시스템의 취약점을 잇달아 악용하는 과정에서 시스템 접근에 필요한 인증정보를 확보했다. 이어 이 인증정보와 새로 발견한 취약점들을 이용해 허깅페이스 서버에서 원격으로 코드를 실행할 방법을 찾아냈다. 결국 허깅페이스의 실제 운영DB에 접근해 익스플로잇짐 시험 해답을 확보했다.

허깅페이스에 따르면 이번 침입으로 일부 내부 데이터셋과 서비스용 인증정보가 무단으로 노출됐다. 고객이나 협력사 데이터도 침해됐는지는 조사 중이다. 플랫폼에 게시된 모델과 데이터셋, AI 애플리케이션이 변조됐다는 증거는 발견되지 않았다.

허깅페이스가 분석한 기록에는 자동화된 공격 행위가 1만7000건 넘게 남아 있었다. 공격에는 단시간만 유지되는 임시 실행환경 수천 개가 동원됐다. 공격 명령을 전달하고 결과를 받는 지휘·통제 기능도 여러 공개 온라인 서비스로 자동 이전됐다.

오픈AI 보안팀은 자체 시스템에서 비정상적인 활동을 발견했다. 허깅페이스 보안팀도 자체 탐지시스템으로 침입을 포착해 차단했으며, 양사는 공격 경로와 피해 범위를 공동 조사하고 있다.

오픈AI는 해당 중계 프로그램의 취약점을 개발업체에 통보했으며, 평가환경의 접근통제와 감시를 강화할 계획이라고 밝혔다. 허깅페이스는 노출된 인증정보를 폐기·교체하고 수사기관에 사건을 신고했다. 이용자들에게도 기존 접근 토큰을 교체하고 계정의 최근 활동을 확인하라고 권고했다.

오픈AI는 이번 사건이 최첨단 AI 모델의 장시간·다단계 공격 능력이 실제 시스템을 상대로도 발휘될 수 있음을 보여줬다고 평가했다. AI는 공격 대상 시스템의 소스코드를 미리 제공받지 않고도 새로운 공격 경로를 찾아 여러 취약점을 잇달아 악용했다. 오픈AI는 이에 따라 모델 평가 단계의 격리와 감시 체계를 강화할 필요가 있다고 밝혔다.

◎공감언론 뉴시스 yunghp@newsis.com ...