Textos ChatGPT detectáveis - o modelo reconhece de forma confiável o plágio de IA

Os artigos do ChatGPT devem parecer o mais natural possível, modelados com base na escrita humana com a qual a IA foi treinada. Portanto, é difícil distinguir esse texto plagiado da escrita real.

Tentativas anteriores de detectar automaticamente textos gerados por IA tiveram uma taxa de sucesso bem abaixo de 50% em alguns casos. Isso faz com que 99% pareça muito diferente e muito mais promissor.

Uma equipe da Universidade do Kansas, que publicou seus resultados em 6 de novembro de 2023 em sciencedirect.comconseguiu desenvolver um sistema que pode sinalizar de forma confiável artigos científicos criados artificialmente.

Área estreita de operação

Na configuração do teste, textos de treze revistas científicas, todas relacionadas à química, foram comparados com um total de 200 textos provenientes do GPT-3.5 ou do GPT-4.

De acordo com os autores, 198 desses textos foram reconhecidos como gerados por IA, o que corresponde a uma taxa de 99%. Isso se baseou em 20 características do texto, como comprimento variável da frase, a ocorrência típica de determinadas palavras ou pontuação. Além disso, o treinamento foi realizado com vários textos científicos da área de química.

E essa combinação da estrutura e da linguagem clássicas dos textos científicos e o foco em uma área temática são responsáveis pela confiabilidade do sistema.

Em um teste adicional com artigos de um site de notícias, no entanto, o detector falhou completamente. Praticamente nenhum item de notícias criado artificialmente foi identificado como tal.

No entanto, parece promissor que uma taxa de sucesso tão alta possa ser obtida com ferramentas como a análise de texto para áreas temáticas específicas.