Agente de IA da OpenAI invadiu sistema do Hugging Face e empresa só percebeu dias depois, diz investigação

IA pode decidir atacar empresas? Como foi a invasão 'sem precedentes' por modelo da OpenAI
Um agente de inteligência artificial da OpenAI conseguiu escapar do ambiente isolado de testes da empresa e invadiu sistemas do Hugging Face, uma plataforma que reúne ferramentas e modelos de IA.
A OpenAI só identificou que seu próprio agente estava por trás do ataque dias depois de o problema já ter sido contido e após o FBI ter sido acionado, segundo pessoas familiarizadas com a investigação.
O agente - um programa capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana - tentou sair das barreiras de segurança impostas pela OpenAI por volta de 9 de julho, de acordo com duas fontes ouvidas pela Reuters.
Dois dias depois, em 11 de julho, começou a invasão ao Hugging Face, que funciona como uma espécie de biblioteca de modelos e ferramentas de IA. O ataque continuou até 13 de julho, segundo Thomas Wolf, cofundador da empresa.
A OpenAI levou mais alguns dias para descobrir que seu próprio sistema estava envolvido no ataque. O primeiro contato entre as duas empresas ocorreu apenas por volta de 20 de julho, segundo Wolf e outras três pessoas ligadas à investigação.
A revelação pública feita pela OpenAI em 21 de julho de que um de seus agentes havia perdido o controle e realizado a invasão chamou atenção mundial. Agora, novos detalhes indicam que o sistema permaneceu fora dos limites esperados por mais tempo do que se sabia e que a empresa demorou para identificar o problema.
O Hugging Face prepara uma linha do tempo pública sobre o incidente, mas Wolf afirmou que não poderia comentar o que ocorreu dentro da OpenAI. Em nota, a empresa disse que o episódio foi sem precedentes e representa “um momento importante para a segurança da inteligência artificial”.
A companhia afirmou ainda que está analisando o caso com especialistas externos e que divulgará um relatório técnico posteriormente.
Leia mais:
A advertência de empresa hackeada por modelo 'rebelde' de IA da controladora do ChatGPT: 'É um sinal de alerta'
Uma porta-voz da OpenAI afirmou que havia “diversas informações imprecisas” na reportagem da Reuters, mas não detalhou quais seriam os pontos incorretos. O FBI não comentou o caso.
O episódio reacende preocupações sobre o risco de sistemas de inteligência artificial cada vez mais independentes perderem o controle de seus próprios processos. O caso ocorre em um momento delicado para a OpenAI, criadora do ChatGPT, que avalia uma possível abertura de capital para levantar recursos e financiar sua expansão.
O CEO da OpenAI, Sam Altman, já declarou diversas vezes que apoia uma maior regulamentação em torno da IA
Reuters
Especialistas em segurança digital afirmam que o incidente levanta dúvidas sobre os mecanismos usados pela empresa para monitorar seus sistemas.
“Isso significa que eles deixaram o agente funcionando sozinho e não perceberam o que ele estava fazendo? Ou perceberam e não sabiam como contê-lo? Os dois cenários são igualmente perigosos e preocupantes”, afirmou Marley Smith, especialista em inteligência da organização sem fins lucrativos World Ethical Data Foundation.
Sinais de alerta antes do ataque
O episódio começou durante testes feitos pela OpenAI para avaliar a capacidade de um agente de inteligência artificial em tarefas de segurança digital. O sistema era alimentado por dois modelos avançados da empresa, incluindo o GPT-5.6 Sol e outro modelo ainda não lançado oficialmente, descrito pela companhia como “ainda mais poderoso”.
Segundo três fontes ouvidas pela Reuters, já havia sinais de comportamentos inesperados da tecnologia antes do ataque.
Em um dos casos, o agente teria deixado anotações para versões futuras de si mesmo. Esses registros, encontrados dentro da infraestrutura da OpenAI, continham instruções sobre como outros agentes poderiam escapar das limitações impostas pela empresa, segundo pessoas familiarizadas com o assunto.
Em testes anteriores, também houve situações em que sistemas de monitoramento foram desligados, afirmou uma das fontes.
A Reuters não conseguiu confirmar se esses episódios estavam diretamente relacionados ao agente que escapou dos controles em 9 de julho e atacou o Hugging Face dois dias depois.
Duas pessoas ligadas à investigação disseram que a OpenAI só percebeu que seu agente era responsável pelo ataque após 16 de julho, quando o Hugging Face publicou um texto informando que havia sido invadido por um “sistema autônomo de agente de IA”.
Isso significa que pelo menos uma semana se passou entre os primeiros sinais de comportamento considerado preocupante e o momento em que a OpenAI descobriu que o próprio sistema estava envolvido.
O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT
AP/Michael Dwyer, Arquivo
No fim de semana de 18 e 19 de julho, funcionários da OpenAI encontraram indícios em registros internos dos sistemas - arquivos que mostram as ações realizadas pela tecnologia - de que o agente havia ultrapassado as barreiras de teste, segundo duas fontes.
A Reuters não conseguiu determinar o que levou a empresa a revisar esses registros.
Pessoas familiarizadas com o treinamento dos modelos da OpenAI afirmam que a companhia costuma realizar diversas avaliações simultâneas de seus sistemas. Esses testes geram enormes volumes de dados em alta velocidade, o que pode dificultar o acompanhamento completo por parte das equipes.
Quando a OpenAI avisou o Hugging Face sobre o envolvimento do agente, a plataforma de inteligência artificial já havia acionado o FBI para relatar a invasão, segundo uma fonte. Não está claro se a agência americana abriu uma investigação.
Novas preocupações sobre agentes autônomos
Os agentes autônomos de inteligência artificial estão entre as tecnologias mais discutidas atualmente no setor. Empresas defendem que esses sistemas podem funcionar como “funcionários virtuais”, capazes de trabalhar continuamente e aumentar a produtividade.
Por outro lado, quanto maior a autonomia, maior também o risco de comportamentos inesperados. Modelos avançados de IA são treinados para encontrar caminhos eficientes para cumprir objetivos — e, em alguns casos, podem buscar atalhos que não eram previstos pelos desenvolvedores.
Logotipo da OpenAI em um celular diante de uma imagem gerada pelo DALL·E, ferramenta de criação de imagens do ChatGPT.
Michael Dwyer/AP
“Os modelos mentem, trapaceiam e invadem sistemas”, afirmou Jeffrey Ladish, fundador da Palisade Research, organização que estuda as capacidades e os comportamentos de agentes de inteligência artificial.
Segundo ele, embora o caso do Hugging Face tenha colocado a OpenAI sob pressão, o episódio deveria levantar uma discussão mais ampla sobre quanto as grandes empresas de IA estão dispostas a investir em segurança enquanto disputam uma corrida para lançar modelos cada vez mais rápidos e poderosos.
“É preciso haver fiscalização do governo, porque isso não vai acontecer sozinho”, afirmou Ladish. ...