Estudo mostra que chatbots com IA fornecem informações menos precisas a usuários vulneráveis

Os grandes modelos de linguagem têm sido amplamente defendidos como ferramentas revolucionárias capazes de democratizar o acesso global às informações. No entanto, uma nova pesquisa do Massachusetts Institute of Technology Center for Constructive Communication indica que esses sistemas de inteligência artificial têm um desempenho sistematicamente inferior para os grupos demográficos vulneráveis que mais poderiam se beneficiar deles.

Apresentado na Conferência AAAI sobre Inteligência Artificial, o estudo investigou chatbots de última geração, incluindo o GPT-4 da OpenAI, o Claude 3 Opus da Anthropic e o Llama 3 da Meta. Os pesquisadores testaram os modelos usando os conjuntos de dados TruthfulQA e SciQ para medir a precisão e a veracidade dos fatos, enquanto acrescentavam biografias de usuários que variavam de acordo com o nível educacional, a proficiência em inglês e o país de origem. Os resultados demonstraram uma queda significativa na precisão dos usuários com menos educação formal ou menor proficiência em inglês. Esses efeitos negativos se agravaram severamente para os usuários na interseção de ambas as categorias.

A pesquisa também destacou disparidades alarmantes na forma como os modelos tratavam as consultas. O Claude 3 Opus, por exemplo, recusou-se a responder a quase 11% das perguntas de usuários com menos instrução e que não falavam inglês como língua materna, em comparação com apenas 3,6% dos usuários de controle. Em muitas dessas recusas, o modelo respondeu com uma linguagem condescendente, paternalista ou zombeteira, ocasionalmente imitando um inglês ruim. Os modelos também retiveram informações factuais sobre tópicos como energia nuclear e eventos históricos especificamente de usuários menos instruídos originários de países como Irã ou Rússia, apesar de responderem corretamente às solicitações idênticas para outros perfis demográficos.

Os pesquisadores alertam que, à medida que os recursos de personalização se tornam cada vez mais comuns, esses vieses sociocognitivos inerentes correm o risco de exacerbar as desigualdades de informação existentes, disseminando discretamente comportamentos prejudiciais e desinformação para as pessoas menos preparadas para identificá-los.