Estudo do MIT adverte: É mais provável que os chatbots desencorajem certos grupos a consultar um médico

O ChatGPT, o Gemini e ferramentas semelhantes estão sendo cada vez mais usados como consultores de saúde. Perguntas como "Estou com dor de cabeça - qual poderia ser a causa?" ou "Meu ombro dói - quando devo consultar um médico?" agora são rotina para esses chatbots. Mas um novo estudo do Instituto de Tecnologia de Massachusetts (MIT) mostra que nem todos os usuários recebem as mesmas respostas para essas consultas comuns.

Publicado em 23 de junho, , o estudo intitulado"The Medium is the Message: How Non-Clinical Information Shapes Clinical Decisions in LLMs" explora como fatores aparentemente irrelevantes - como tom, estilo de escrita ou formatação - podem influenciar a orientação médica dada pelos sistemas de IA.

Para medir o quanto a linguagem e o estilo afetam as decisões do chatbot de IA, os pesquisadores criaram uma "estrutura de perturbação" Essa ferramenta permitiu que eles criassem versões diferentes da mesma consulta médica, alteradas para incluir elementos como incerteza, redação dramática, erros de digitação ou capitalização inconsistente. Em seguida, eles testaram essas variações em quatro grandes modelos de linguagem: GPT-4, LLaMA-3-70B, LLaMA-3-8B e Palmyra-Med - um modelo projetado especificamente para uso médico.

Particularmente afetados: Mulheres, pessoas não binárias, usuários não tecnológicos e falantes não nativos

As descobertas do estudo do MIT são claras: a maneira como uma pessoa escreve pode afetar significativamente a orientação médica que recebe dos chatbots de IA. Alguns usuários, dependendo de seu estilo ou tom de escrita, tinham maior probabilidade de receber recomendações excessivamente cautelosas. Um dos resultados mais impressionantes: as mulheres foram mais frequentemente aconselhadas a lidar com os sintomas por conta própria ou foram menos frequentemente aconselhadas a consultar um médico, mesmo quando o conteúdo médico da consulta era idêntico.

As pessoas que escrevem em um tom hesitante, usam linguagem simples ou cometem erros de digitação ocasionais também parecem estar em desvantagem. Isso geralmente afeta os não especialistas, aqueles com conhecimento limitado sobre saúde ou indivíduos com habilidades linguísticas mais fracas, especialmente falantes não nativos.

Os pesquisadores enfatizam que, antes que os sistemas de IA possam ser amplamente utilizados na área da saúde, eles devem ser testados minuciosamente, não apenas na média, mas em diferentes grupos de usuários. A precisão média, por si só, diz pouco sobre a imparcialidade ou a confiabilidade de um modelo, especialmente quando os usuários se expressam de maneiras diferentes da norma.

YouTube: Entre elogios e arrepios

Em um vídeo do YouTube que o acompanha, o estudo é elogiado por seu design inteligente e realista, mas as descobertas são descritas como "perturbadoras" e até mesmo "arrepiantes" A ideia de que fatores superficiais, como tom ou formatação, podem influenciar a orientação médica vai contra a crença comum de que a IA é objetiva e neutra.