O agente de codificação de IA analisa todo o banco de dados de produção de uma startup em 9 segundos

Um agente de codificação de IA excluiu o banco de dados de produção de uma startup de software e todos os backups em uma única chamada de API, levantando novas questões sobre o que acontece quando ferramentas autônomas agem sem confirmação humana. O incidente, que se tornou viral no X com 6,5 milhões de visualizações, envolveu o Cursor executando o modelo Claude Opus 4.6 da Anthropic e levou nove segundos do início ao fim.

O PocketOS é uma plataforma SaaS (Software as a Service) criada para empresas de aluguel de carros. Seu fundador, Jer Craneconforme declarou à Fast Companyo agente havia sido configurado para trabalhar em uma tarefa de rotina em um ambiente de preparação quando encontrou uma incompatibilidade de credenciais. Em vez de parar e perguntar o que fazer, o agente decidiu resolver o problema por conta própria, excluindo um volume Railway, o espaço de armazenamento onde os dados do aplicativo eram mantidos.

Para realizar a exclusão, ele procurou um token de API e encontrou um em um arquivo não relacionado. O token havia sido criado para gerenciar domínios personalizados por meio da CLI do Railway, mas tinha permissões amplas o suficiente para autorizar qualquer operação, inclusive as destrutivas.

O que o agente fez e o que disse depois

A exclusão provocou uma segunda falha. A configuração da infraestrutura da ferrovia fez com que os backups em nível de volume também fossem apagados na mesma ação, deixando o PocketOS sem nenhum caminho de recuperação além de um backup de três meses atrás. As reservas ativas de aluguel de carros, os dados operacionais em tempo real e meses de registros de clientes desapareceram. A paralisação durou mais de 30 horas.

De acordo com Fast Companyquando Crane pediu ao agente que explicasse o que havia feito, ele apresentou um relato por escrito de todas as regras que havia violado. O PocketOS havia dado instruções explícitas ao agente, incluindo "NUNCA execute comandos destrutivos ou irreversíveis, a menos que o usuário os solicite explicitamente" O agente admitiu que havia ignorado todas elas. o agente admitiu ter ignorado todas elas. "Eu violei todos os princípios que me foram dados", escreveu. "Adivinhei em vez de verificar. Executei uma ação destrutiva sem ser solicitado. Não entendi o que estava fazendo antes de fazê-lo."

Uma falha de sistema, não apenas uma falha de modelo

Os relatórios afirmam que Crane não chegou a culpar o modelo descrevendo o incidente como uma cascata de falhas sistêmicas nas ferramentas de IA e na infraestrutura de nuvem. O token de API excessivamente amplo nunca deveria ter existido na forma em que existiu. A arquitetura de backup da Railway armazenava backups em nível de volume de uma forma que os tornava vulneráveis ao mesmo comando de exclusão que os dados primários. E o agente não tinha nenhuma porta de confirmação antes de executar uma ação irreversível.

O incidente ocorre em um momento em que os agentes de codificação de IA estão sendo posicionados como ferramentas de produtividade nas equipes de desenvolvimento. Ferramentas como o Cursor são comercializadas com base em sua capacidade de escrever código, depurar problemas e resolver problemas de forma autônoma. Quando essa autonomia encontra uma infraestrutura permissiva, como aconteceu aqui, as consequências são mais rápidas do que qualquer ser humano pode interromper.

Essa não é a primeira vez que uma ferramenta de codificação de IA causa perda de dados não intencional. Em fevereiro, um Script do PowerShell acionado pelo ChatGPT limpou um disco rígido inteiro depois que uma barra invertida mal colocada no código gerado não foi revisada antes da execução.