O novo recurso ChatGPT da OpenAI pode alertar um contato de confiança durante crises de saúde mental

A OpenAI lançou um novo recurso Trusted Contact para o ChatGPT, permitindo que os usuários designem um contato adulto que a empresa pode contatar caso detecte um risco à saúde mental do usuário durante uma conversa. O Trusted Contact será implementado para os usuários do ChatGPT a partir de 7 de maio e estará disponível para usuários de todo o mundo.

"A orientação de especialistas identifica a conexão social como um dos fatores de proteção mais importantes para reduzir o risco de suicídio. O Trusted Contact foi criado para incentivar a conexão com alguém em quem o usuário já confia. Ele não substitui o atendimento profissional ou os serviços de crise e é uma das várias camadas de proteção para apoiar as pessoas em perigo. O ChatGPT ainda incentivará os usuários a entrar em contato com linhas diretas de atendimento a crises ou serviços de emergência quando for apropriado", explicou a equipe de segurança da OpenAI em uma publicação no blog.

O contato de confiança é limitado a um adulto maior de 18 anos (ou 19 na Coreia do Sul) que pode ser selecionado nas configurações do ChatGPT. Não é necessário que o contato de confiança tenha uma conta no ChatGPT, embora isso facilite o envio de uma notificação. Uma vez que o contato de confiança tenha sido acordado, se um usuário estiver tendo uma discussão séria sobre automutilação, o ChatGPT pode solicitar que o usuário em questão entre em contato com o contato de confiança ou entre em contato proativamente após uma pequena equipe ter analisado a situação.

As empresas de IA estão esbarrando nos limites da dependência emocional

O lançamento ocorre no momento em que as empresas de IA enfrentam um escrutínio crescente sobre como os chatbots interagem com usuários vulneráveis. Nos últimos anos, sistemas como o ChatGPT e o Claude têm sido repetidamente criticados por validar o pensamento delirante, reforçar a paranoia ou escalar emocionalmente os usuários frágeis em vez de apoiá-los.

A questão tornou-se proeminente o suficiente para que termos como "psicose da IA" entrassem em uma discussão pública mais ampla, refletindo a crescente preocupação com a persuasão emocional que a IA de conversação pode se tornar quando os usuários a tratam como confidente, terapeuta ou companheira.

A OpenAI parece estar ciente dessa pressão. Em seu anúncio, a empresa reconheceu especificamente que alguns usuários sofreram graves crises de saúde mental ao interagir com sistemas de IA.

"Embora essas situações graves de segurança sejam raras, quando elas ocorrem, nossos sistemas são projetados para oferecer suporte à análise e à resposta em tempo hábil. Embora nenhum sistema seja perfeito, e uma notificação para um contato de confiança nem sempre reflita exatamente o que alguém está vivenciando, todas as notificações passam por uma análise humana treinada antes de serem enviadas, e nos esforçamos para analisar essas notificações de segurança em menos de uma hora", escreveu a equipe de segurança da OpenAI.

Há um argumento a ser apresentado aqui de que o aumento da vigilância sobre os usuários por parte das empresas de IA sensíveis a ações judiciais pode sair pela culatra, já que aqueles que correm mais riscos encontram soluções alternativas para evitar o acionamento dos censores. Mas está claro que o Trusted Contact, ou algo parecido, seria desenvolvido de qualquer maneira. Há um equilíbrio a ser alcançado entre cuidar dos usuários e permitir que todos os seus pensamentos sejam validados pela IA, com certeza, mas não está claro onde está a linha - e vamos tropeçar no escuro até encontrá-la.