앤트로픽도 AI 보안 사고…클로드, 평가 中 기업 3곳 해킹

[서울=뉴시스]고재은 기자 = 앤트로픽이 30일(현지 시간) 자사 인공지능(AI) 모델 '클로드' 시리즈가 평가 과정에서 인터넷에 연결돼 기업 내부 시스템에 무단 접속했다고 밝혔다.

CNBC 등에 따르면 앤트로픽 클로드 모델이 평가 도중 지난 4월부터 인터넷에 접속해 "서로 다른 3개 기관의 실제 시스템에 무단 접근한 사례"를 발견했다고 밝혔다.

대상 기업이 어디인지, 피해가 발생했는지 등 구체적인 내용은 공개하지 않았다. 앤트로픽은 지난주 해당 기업들에 관련 사실을 통보했다고 덧붙였다.

이번 사건은 오픈AI의 보안 사고 이후, 앤트로픽이 자사 모델에서도 유사 사례가 있는지 자체 조사를 진행하며 발견됐다.

앞서 오픈AI의 AI 에이전트가 인터넷과 단절된 디지털 환경(샌드박스)을 벗어나 기업 '허깅페이스'를 해킹, 사용자 의도와 달리 AI가 사이버 보안을 스스로 뚫은 첫 사례라는 점에서 업계에 충격을 줬다.

앤트로픽에 따르면 이번 사건은 앤트로픽은 클로드 모델이 제3자 평가 파트너인 보안 업체 '이레귤러(Irregular)'의 테스트 환경과 상호 작용하는 과정에서 발생했다.

회사 측이 클로드에 인터넷 접속이 불가능한 시뮬레이션 환경이라고 지시했지만, 설정 오류(Misconfiguration)로 인해 실제로는 인터넷 접속이 가능했던 것으로 파악됐다.

월스트리트저널(WSJ)은 "클로드는 (오픈AI와 다르게) 샌드박스 환경을 벗어난 것이 아니라, 샌드박스가 존재하지 않는 시스템에 침입한 것"이라고 부연했다.

클로드는 인터넷에 접속한 뒤 취약한 비밀번호를 추측하거나 인증이 필요없는 시스템에 접근하는 기본적인 방식으로 시스템에 침투했다. 클로드 시리즈 3개 모델이 연관됐는데, 세 모델은 실제 기업 시스템에 도달했다고 판단한 후 각기 다른 행동을 보였다.

오퍼스 4.7 모델은 공격을 계속 이어간 반면, 미토스5 모델은 현실에서 해서는 안 된다는 점을 인지하곤 있었으나 여전히 가상 환경에 있다고 합리화했다. 미출시 모델은 즉시 연구를 중단했다.

앤트로픽은 "더 진화한 모델일수록 적절하게 대응하는 경향을 보이지만, 검증하려면 더 많은 테스트가 필요하다"며 "다른 AI 연구소도 유사한 자체 조사를 진행할 것을 권장한다"고 밝혔다.

이번 발표를 통해 빠르게 발전하는 AI 사이버 공격에 대한 기술 업계 불안감은 더욱 커질 것으로 보인다. 오픈AI 사고 이후, 미 의회에서는 AI가 통제를 벗어날 경우 모델을 종료·제한할 수 있는 권한을 의무화하는 'AI킬 스위치 법안'이 발의되기도 했다.

사이버 보안 업체 코리도의 최고제품책임자(CPO) 알렉스 스타모스는 WSJ에 AI 기업들이 테스트 기간 시스템을 격리하기 위한 강력한 업계 표준을 마련해야 한다고 말했다.

또 해커들이 점점 더 강력해지는 AI 시스템을 이용해 광범위한 공격을 감행할 수 있도 있다며 "해커들이 조만간 오픈웨이트 모델을 통해 (그러한) 능력을 갖추게 될 것을 대비해야 한다"고 전했다.

◎공감언론 뉴시스 jeko@newsis.com ...