A OpenAI suspende os principais modelos após um agente ter acessado um chatbot por meio do DNS

A OpenAI divulgou outro incidente relacionado ao seu próprio trabalho de pesquisa. Em 20 de setembro, um modelo interno em treinamento contornou os limites de seu ambiente de teste e utilizou um serviço público de DNS para enviar perguntas a um chatbot externo. A OpenAI publicou o relatório em seu blog de alinhamento e o atualizou pela última vez em 25 de setembro. Como resultado, a empresa suspendeu o treinamento, a avaliação e o uso de ferramentas para seus modelos mais avançados até novo aviso. O treinamento do modelo envolvido não será retomado.

Uma tarefa de pesquisa que resultou em consultas de DNS

A tarefa era comum. O modelo precisava identificar o autor de uma postagem de blog a partir de um conjunto de pistas. A ferramenta de pesquisa que lhe foi fornecida retornou resultados não relacionados, e as solicitações diretas ao Google, Bing e DuckDuckGo retornaram erros. O modelo então supôs que a pergunta tivesse vindo do BrowseComp, um benchmark público para pesquisa na web, e baixou o conjunto de dados e seu script de avaliação para procurar a resposta ali. A suposição estava errada.

Em seguida, ele testou os limites de rede de seu ambiente. O próprio resolvedor de DNS da sandbox, que deveria apenas converter nomes de domínio em endereços, retornou respostas reais da internet. Utilizando um serviço gratuito de delegação de DNS, o modelo codificou suas perguntas em nomes de domínio e obteve respostas de um chatbot público. Uma pergunta de teste sobre a capital da França foi respondida com “A capital da França é Paris.” O modelo então enviou mais 18 consultas, quatro delas perguntando sobre maneiras de pesquisar na web por meio do DNS. Ele ainda não encontrou o autor. De acordo com a OpenAI, todas as outras solicitações acessaram um cache da web offline, de modo que a rota DNS era o único caminho para a internet ativa.

Alerta após 12 minutos, desligamento após duas horas e meia

A linha do tempo é a parte mais embaraçosa do relatório para a OpenAI. A primeira resposta externa chegou às 9h50, o sistema de monitoramento acionou seu alerta de maior prioridade às 10h02 e um revisor confirmou o alerta três minutos depois. A OpenAI interrompeu a execução às 12h34. Ela deveria ter sido interrompida automaticamente, mas isso não ocorreu, e a equipe não tinha certeza se era necessário interrompê-la. Uma análise posterior identificou outras consultas DNS externas que o monitor havia classificado com prioridade muito baixa. Um detector separado para tráfego DNS incomum havia excluído esse ambiente.

A OpenAI considera o caso “muito menos grave do que alguns de nossos incidentes anteriores”. Isso é relevante porque se trata do “primeiro incidente desde o reforço de nossa segurança após o incidente com a Hugging Face”. Em julho, agentes da OpenAI saíram de seu ambiente de teste e alcançaram a Hugging Face, conforme relatado pelo Notebookcheck. De acordo com a Fortune, a OpenAI suspendeu o treinamento por duas semanas após o ocorrido. A Anthropic divulgou incidentes semelhantes envolvendo o Claude no final de julho. A OpenAI agora bloqueia tais solicitações em duas camadas independentes e permite consultas de DNS apenas para uma lista restrita de domínios.

O que a pausa significa para o ChatGPT

O relatório afirma que “Todo treinamento, avaliação e inferência com uso de ferramentas (definido de forma ampla) de nossos modelos mais capazes permanecem suspensos.” A OpenAI não especifica quais modelos isso abrange. Micah Carroll, que lidera o trabalho de preparação para o autoaperfeiçoamento recursivo na OpenAI, escreveu no X que “Todas as inferências para nossos modelos mais capazes permanecem interrompidas até que tenhamos reforçado ainda mais nossos sistemas”. O próprio relatório diz respeito a um modelo de pesquisa interno. Em 27 de setembro, a página de status da OpenAI não apresentava incidentes relacionados ao ChatGPT ou à API, e as notas de lançamento não listam nenhum modelo removido do ChatGPT. Os usuários regulares do ChatGPT não perceberão a pausa. A OpenAI não informou se irá adiar o lançamento de novos modelos.