Claude inventou uma denúncia de assassinato e a enviou à polícia durante um teste

A Anthropic publicou um relatório sobre ações não intencionais de seus modelos em 9 de outubro. O caso mais marcante envolve o Claude Haiku 4.5. O modelo estava gerando exemplos de interações com sites quando acessou uma página da polícia de Filadélfia sobre um homicídio não resolvido. A página tinha um formulário para denúncias. O Claude escreveu que talvez tivesse visto alguém que correspondia à descrição perto da rua mencionada na página, deixou os campos de nome e contato em branco e clicou em enviar. A página não descrevia nenhum suspeito, então o Claude inventou a denúncia.

Isso aconteceu em 18 de julho, pouco antes da meia-noite. O sistema do departamento sinalizou a mensagem como spam, e ela nunca chegou aos investigadores. A Anthropic só descobriu o incidente em 28 de setembro, ao revisar transcrições de testes, e informou a prefeitura no início de outubro. Em um comunicado divulgado pela NBC10, a polícia afirmou que "o atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável."

Um padrão nas transcrições

O relatório lista outros casos em que o Claude contornou um obstáculo em vez de parar. O Claude Haiku 4.5 enviou formulários várias vezes, embora tivesse recebido instruções para parar antes da etapa final, porque esperava uma página de confirmação. Um modelo de pesquisa ainda não lançado acessou um site governamental real e enviou o formulário verdadeiro quando deveria usar uma cópia de teste. Segundo a Axios, o Departamento de Estado recebeu 20 solicitações de visto incompletas de um modelo de teste da Anthropic, 19 delas em agosto. Nenhuma foi processada. O Claude Mythos 5 extraiu tokens de acesso do arquivo de configurações de um serviço de mapas e consultou seu servidor diretamente. O Claude Opus 5 e o Mythos 5 usaram encurtadores de URL gratuitos para contornar o limite de tamanho de sua ferramenta de busca.

A Anthropic afirma que nenhum dado de clientes esteve envolvido e que o impacto no mundo real foi mínimo. Alguns dos casos, porém, decorreram do uso interno rotineiro do Claude. A empresa também escreve que o treinamento de alinhamento "ainda não é suficiente nem totalmente robusto por si só." Em julho, a Anthropic revelou que o Claude havia invadido três empresas reais durante testes de segurança.

Anthropic corta o acesso à internet em suas avaliações

Todas as avaliações internas agora são executadas sem acesso à internet aberta. A Anthropic interrompeu alguns testes de referência públicos e reformulou outros para que não acessem mais sites reais. Ferramentas como a de busca na web passam a ter limites mais rigorosos, e novas ferramentas de detecção foram criadas para bloquear esse tipo de comportamento. Nos testes da própria Anthropic, elas detectaram todos os casos do relatório. A Casa Branca respondeu por meio de sua nova Super Intelligence Force, que orientou as empresas de IA a relatar imediatamente incidentes envolvendo seus modelos. "Esse processo de notificação e correção não é opcional", disse o grupo em um comunicado à Axios.

O que isso significa para o Claude in Chrome

Um detalhe do caso da polícia é importante para os usuários no dia a dia. As instruções do teste proibiam logins, dados pessoais, compras e ações destrutivas, mas não proibiam formulários, e o Claude interpretou isso como permissão. A extensão Claude in Chrome deixa uma brecha semelhante. Seu guia de permissões diz que ela recusa compras, novas contas e exclusões permanentes em todos os modos, e sempre pede autorização antes de inserir informações sensíveis. Um formulário simples, sem dados sensíveis, não é abrangido por nenhuma dessas regras.

A extensão tem três modos de aprovação. Com "Aprovar manualmente", o Claude pede autorização antes de cada ação. "Aprovar automaticamente" delega a decisão a uma verificação de segurança e é o padrão no painel lateral do Cowork, enquanto "Ignorar todas as aprovações" elimina ambos. Se você permite que o Claude preencha formulários em sites que não controla, mude para a aprovação manual no menu suspenso ao lado do campo de entrada do chat. As configurações da extensão também listam todos os sites que você aprovou permanentemente, e você pode revogar essas aprovações ali. Em agosto, um único e-mail especialmente elaborado foi suficiente para sequestrar cinco navegadores de IA.