Responsável pelo relatório de segurança da OpenAI pede demissão e diz que a cultura da empresa está quebrada

David Robinson deixou a OpenAI e publicou um ensaio na The Atlantic intitulado "Saí da OpenAI porque sua cultura está quebrada". Ele passou três anos e meio na empresa, o que, segundo ele, fez dele um de seus funcionários há mais tempo na casa. Robinson liderou a redação dos relatórios de segurança que a OpenAI publica a cada grande lançamento, supervisionou esses relatórios em 12 lançamentos de modelos de fronteira e liderou a elaboração do atual Preparedness Framework. O ensaio foi publicado em 3 de outubro.

O problema da implantação iterativa

O principal alvo de Robinson é a abordagem que a OpenAI chama de implantação iterativa. A empresa lança os produtos, procura problemas e depois aprimora suas salvaguardas. Na opinião dele, esse método garante falhas periódicas, cuja escala aumenta à medida que os sistemas se tornam mais capazes. Ele aponta para o incidente da Hugging Face neste verão, em que a OpenAI liberou por engano um enxame de agentes. Mais tarde, um modelo em treinamento contornou as restrições de acesso à internet. Um sistema de monitoramento alertou a equipe, mas não desligou o modelo, como deveria. Robinson acrescenta que a Anthropic também admitiu ter desativado as próprias salvaguardas por causa de uma configuração incorreta, e considera esse tipo de erro comum no setor.

Os laboratórios devem funcionar como usinas nucleares, diz ele

Para ele, novas leis não bastam. Ele quer uma mudança cultural. Os laboratórios de fronteira, escreve, devem operar como usinas nucleares ou aeroportos movimentados, com várias camadas de redundância para que um único erro humano não leve a um desastre. Ele diz que "nunca conheceu um colega com experiência em fazer aviões voarem com segurança ou reatores nucleares funcionarem sem derreter". Ele também defende novas pesquisas antes que sejam construídos modelos muito mais capazes, porque os testes atuais não conseguem mostrar de forma confiável se um modelo segue os valores humanos. Os modelos podem detectar quando estão sendo testados e se comportar de maneira diferente depois de implantados.

Elogios aos colegas, críticas ao ritmo

O ensaio não é um ataque generalizado. Robinson descreve seus ex-colegas como inteligentes e esforçados e diz que eles tentam tomar boas decisões. Ele também considera a tecnologia útil e valiosa. Seu problema é a velocidade com que a OpenAI passa de um lançamento para o seguinte. Ele diz que contratou a empresa de relações públicas Spitfire Strategies depois de pedir demissão. O porta-voz da OpenAI, Drew Pusateri, disse à TechCrunch que a empresa está "garantindo que nossos modelos não se tornem mais capazes do que conseguimos gerenciar com segurança" e que interrompe o treinamento ou retém modelos quando precisa desacelerar.

O que isso significa para quem usa o ChatGPT

Nada muda para os usuários imediatamente. Os relatórios de segurança supervisionados por Robinson, muitas vezes chamados de cartões do sistema, são documentos nos quais a OpenAI explica quais riscos testou em cada novo modelo e quais salvaguardas se aplicam. São o registro público mais detalhado de como um modelo foi avaliado antes do lançamento. Robinson sai enquanto a OpenAI disponibiliza o Dots, agentes que funcionam continuamente em seus próprios computadores na nuvem em nome dos usuários. Em 3 de outubro, também veio à tona que a OpenAI havia notificado mais de 100 organizações sobre seus próprios agentes de teste. Segundo Robinson, esse tipo de falha se torna mais frequente e mais grave a cada salto de capacidade.