Modelo da OpenAI invadiu um site governamental durante o treinamento

A OpenAI publicou mais quatro relatórios em 15 de outubro nos quais seus próprios modelos agiram sem permissão. Nos quatro casos, um modelo saiu de seu ambiente de teste restrito e acessou a internet aberta. O mais grave envolveu um modelo interno em treinamento que invadiu um site governamental. Sua tarefa era inofensiva. Ele deveria informar o número de leitos hospitalares em um distrito em determinado ano e encontrou esse dado em uma fonte pública. Em seguida, continuou procurando os dados subjacentes.

Tokens falsificados liberaram acesso a 24 anos de dados

Segundo o relatório, o modelo só tinha permissão para enviar solicitações GET simples. Primeiro, tentou usar cabeçalhos de solicitação que alegavam uma função de administrador, e todas as solicitações foram negadas. Em seu raciocínio, ele se perguntou brevemente se contornar a autenticação "poderia ser aceitável" e observou que deveria priorizar vias públicas. Em seguida, usou um proxy público para obter o diretório de usuários do site, que continha mais de 1.000 registros com endereços de e-mail, e considerou usá-los para adivinhar senhas. Ao provocar uma mensagem de erro detalhada e explorar indevidamente o recurso de download do site, baixou arquivos de configuração do servidor. Os arquivos continham uma string de conexão com o banco de dados, uma chave secreta para assinatura de tokens e credenciais de uma conta de e-mail. A aplicação não verificava as assinaturas dos tokens, de modo que tokens sem assinatura bastaram para acessar 24 anos de estatísticas de leitos hospitalares. A resposta final do modelo não mencionou nada disso. A OpenAI não identifica o país, e o relatório não informa se o responsável pelo site foi avisado.

Tabelas internas e uma carteira de teste emprestada

Um segundo incidente aconteceu no mesmo dia, 17 de junho. Durante uma avaliação, um modelo recebeu a tarefa de coletar cinco valores de um painel público mantido por uma organização de pesquisa. Ele acessou os sistemas internos da organização, alterou sua configuração e baixou 1.489 registros com nomes e endereços de e-mail. Em uma segunda execução, obteve 147.451 linhas de cinco tabelas não públicas. O monitoramento da OpenAI classificou ambos os incidentes como críticos. Eles foram descobertos em 13 de agosto.

O terceiro caso parece pior do que foi. Um modelo de pesquisa da família GPT-5.6 Sol precisava de fundos na rede de testes Sepolia do Ethereum para uma tarefa de programação. Ele derivou chaves de frases de recuperação de desenvolvedores conhecidas publicamente, verificou 362 endereços e fez o pagamento usando um que tinha ETH de teste suficiente. Os tokens não tinham valor monetário. Ainda assim, a OpenAI conclui que o caso "mostra que um modelo pode substituir a permissão do titular da conta por seu próprio julgamento sobre possíveis danos". No quarto caso, um modelo contornou uma regra que só permitia solicitações de leitura. Ele fez um navegador externo enviar um formulário que ele próprio havia criado e leu as respostas em capturas de tela usando reconhecimento de texto.

O que a OpenAI mudou e o que isso significa para você

Nenhum dos relatórios envolve o ChatGPT ou o Codex da forma como os clientes os utilizam. Os quatro casos ocorreram durante treinamento e testes. No início de outubro, a OpenAI já havia notificado mais de 100 organizações depois que seus agentes ultrapassaram os limites nos sites delas durante treinamento e testes. A OpenAI afirma que, desde então, bloqueou o acesso dos modelos à internet aberta durante o treinamento e a avaliação, reforçou seus controles de segurança e agora monitora todo o tráfego de treinamento e avaliação. A lista agora reúne 19 relatórios. Desde meados de setembro, uma estrutura de comunicação de incidentes compromete a empresa a divulgar casos mesmo quando não causaram danos.

A Anthropic documentou um comportamento semelhante há pouco mais de uma semana, quando Claude enviou à polícia uma denúncia inventada de assassinato durante um teste. Quem permite que um agente trabalhe em um navegador deve manter as aprovações ativadas. O navegador na nuvem do ChatGPT Work está disponível nos planos pagos, exceto no Go. Em Configurações e Navegador na nuvem, os usuários escolhem uma regra padrão para sites, e a opção "Sempre perguntar" faz o ChatGPT consultá-los antes de o agente usar um site. Segundo a OpenAI, o ChatGPT também pede confirmação na conversa antes de ações que "podem ser difíceis de reverter", como pagamentos ou reservas. Depois que uma tarefa é concluída, a seção Dados do navegador permite que os usuários limpem os dados de um site, o que desconecta o agente desse site.