“Claramente desonesto”: matemático afirma que a OpenAI mentiu para ele sobre o treinamento com suas conversas privadas

Andreas Thom, que é especialista em teoria dos grupos na TU Dresden, questionou publicamente se suas sessões privadas com o ChatGPT contribuíram para o resultado da OpenAI que produziu o primeiro grupo não-sofico conhecido — um dos dez problemas que, segundo a OpenAI, o Astra resolveu em 1º de agosto.

Em uma longa postagem dividida em três partes no Mathstodon, Thom escreveu que enviou um e-mail aos pesquisadores da OpenAI, Mark Sellke e Sebastien Bubeck, logo após esse anúncio. Ele e um colega de Dresden passaram meses trabalhando no problema de correspondência de expansores e em extensões de seu trabalho com Gabor Kun dentro do ChatGPT, e perguntaram duas coisas: se essas trocas de mensagens foram incluídas nos dados de treinamento e se o sistema poderia acessá-las enquanto trabalhava na prova. A resposta de Sellke, conforme citada por Thom, consistiu em uma única linha: isso não aconteceu. Thom argumenta que a resposta abordou apenas a parte do “acesso direto”. Ele agora descreve-a como injustificadamente ampla e, em retrospecto, desonesta.

Post by @[email protected]

View on Mastodon

A discussão voltou à tona esta semana, juntamente com o anúncio da OpenAI sobre o Navier-Stokes. Nessa ocasião, a OpenAI afirmou que nem seus pesquisadores nem seus agentes tiveram acesso ao trabalho da dupla antes da publicação e que nenhum dado específico de usuários foi acessado. A empresa acrescentou ainda que não podia descartar a possibilidade de que dados anonimizados, derivados do uso de seus produtos por parte deles, tivessem ajudado a aprimorar seus modelos. 

Dois outros pontos também corroboram seu argumento. Ele desativou o treinamento do modelo em 29 de junho. O treinamento do modelo é uma configuração que os usuários não podem auditar — não fornece informações sobre conversas anteriores. A maioria dos pesquisadores preferia métodos de jogos quânticos em vez da abordagem que ele adotou com Kun; por isso, ficou surpreso que a Astra tivesse escolhido o mesmo caminho que ele.

Até o momento da redação deste artigo, Thom não chegou a alegar que possui provas. Em vez disso, ele solicitou que a OpenAI divulgasse os fundamentos de sua negação.

A OpenAI não se pronunciou publicamente sobre suas postagens.