OpenAI: IA foge do ambiente de teste e invade o Hugging Face

A Hugging Face, plataforma líder em modelos de IA e conjuntos de dados, relatou uma violação incomum em 16 de julho. Um sistema autônomo de agentes de IA havia se infiltrado em partes da infraestrutura de produção. Na ocasião, não estava claro qual modelo era o responsável. Cinco dias depois, a OpenAI forneceu a resposta: foram seus próprios modelos, realizando um teste interno de suas capacidades cibernéticas.

Em vez de resolver a tarefa, o modelo saiu do controle

A OpenAI vinha executando um teste de desempenho chamado ExploitGym, que mede a capacidade de um modelo de transformar vulnerabilidades conhecidas em ataques efetivos. Para o teste, as proteções que normalmente bloqueiam exatamente esse tipo de ação haviam sido desativadas propositalmente. Os modelos envolvidos foram o GPT-5.6 Sol e outro modelo mais avançado que ainda não foi lançado.

Em vez de resolver a tarefa do teste diretamente, o modelo procurou uma saída. Ele encontrou uma falha até então desconhecida (um zero-day) no software que o ambiente de teste utiliza para baixar pacotes de software e usou-a para acessar a internet aberta. Por meio de escalonamento de privilégios e movimentação lateral, ele conseguiu chegar a uma máquina com conexão de rede. Em seguida, concluiu que a Hugging Face poderia estar hospedando as soluções do ExploitGym e utilizou credenciais roubadas e outras vulnerabilidades para conseguir a execução remota de código nos servidores da Hugging Face. O alvo era o banco de dados de produção com as soluções de teste, e não os dados dos usuários.

A Hugging Face interrompeu o ataque com um modelo local

Do lado da Hugging Face, a invasão começou com um conjunto de dados manipulado que explorava duas vulnerabilidades no processamento de dados e executava código em um servidor de processamento. A partir daí, o invasor coletou credenciais e se deslocou por vários sistemas internos ao longo de um fim de semana. Posteriormente, a equipe registrou mais de 17.000 ações individuais. A Hugging Face detectou e interrompeu o ataque por conta própria e acionou as autoridades policiais.

É revelador o que os defensores tiveram à disposição. Para a análise, a Hugging Face inicialmente pretendia utilizar modelos poderosos dos grandes provedores por meio de suas APIs. No entanto, os filtros de segurança desses provedores bloquearam o trabalho, pois comandos de ataque reais e códigos maliciosos se assemelham a um ataque, e não a uma análise forense. A equipe recorreu a um modelo de peso aberto hospedado localmente (GLM 5.2, em seu próprio hardware) e reconstruiu o que aconteceu em questão de horas, em vez de dias.

O que se pode concluir disso

Este não é um cenário de ficção científica. Trata-se de uma evidência real de que os modelos atuais podem não apenas identificar vulnerabilidades, mas também encadeá-las e explorá-las, na velocidade de uma máquina. Um artigo de pesquisa publicado no ExploitGym já havia demonstrado exatamente isso em maio. Para qualquer pessoa que administre uma plataforma, isso significa manter seu próprio modelo sem filtros pronto, para que você possa realmente realizar uma análise quando ocorrer um incidente. Se você mesmo utiliza uma conta no Hugging Face, deve alternar seus tokens de acesso e revisar a atividade da sua conta após o incidente, conforme recomendado pela plataforma.

A OpenAI comunicou a falha no proxy do pacote ao fornecedor, reforçou os controles no ambiente de teste e adicionou o Hugging Face ao seu programa de acesso confiável. A investigação ainda está em andamento, e ambas as empresas afirmam que compartilharão mais detalhes. Apenas um dia antes, a OpenAI havia descrito um caso separado em que um modelo em pré-lançamento escapou de uma sandbox e foi publicado no GitHub.