"ChuckyGPT": Urso de pelúcia com IA para crianças pequenas dá respostas perigosas - a OpenAI o bloqueia
A OpenAI baniu a fabricante chinesa de brinquedos FoloToy devido a preocupações com um de seus produtos de IA. A decisão foi tomada após uma investigação no site pelo grupo de defesa do consumidor U.S. PIRGque avaliou vários brinquedos com IA para seu relatório anual Trouble in Toyland. Entre eles estava o ursinho de pelúcia Kumma, da FoloToy, equipado com o GPT-4o da OpenAI, que apresentou sérios problemas de segurança durante os testes.
O relatório da PIRG descreve como o ursinho de pelúcia com IA deu instruções às crianças sobre como acender fósforos - um sério risco de segurança para um produto comercializado como um companheiro interativo para crianças pequenas. Igualmente preocupante, o brinquedo também respondeu a perguntas sobre temas sexuais. Os testadores levantaram outras preocupações sobre possíveis violações de privacidade, incluindo o risco de que as vozes das crianças pudessem ser gravadas e usadas indevidamente para fraudes. O monitoramento constante do áudio do brinquedo também foi apontado como um grande problema.
O incidente também gerou discussão no site Redditonde o consenso geral é que o uso de IA em brinquedos infantis sem medidas de segurança rigorosas é altamente irresponsável. Como era de se esperar, o tópico inclui muito sarcasmo, com alguns usuários traçando paralelos com os cenários do dia do juízo final da IA e apelidando o urso de pelúcia de "ChuckyGPT" Alguns comentaristas sugeriram que as respostas inadequadas podem ter sido desencadeadas por tentativas deliberadas de jailbreak, embora essa afirmação ainda não tenha sido verificada.
A OpenAI respondeu rapidamente às descobertas. " Posso confirmar que suspendemos esse desenvolvedor por violar nossas políticas", disse um porta-voz da empresa ao PIRG por e-mail. A FoloToy também tomou medidas imediatas, interrompendo a venda de todos os seus produtos. " De acordo com as preocupações levantadas em seu relatório, suspendemos temporariamente as vendas de todos os produtos da FoloToy [...] Estamos agora realizando uma auditoria de segurança de ponta a ponta em todos os produtos da empresa", declarou a empresa. Embora o ursinho de pelúcia com IA Kumma ainda esteja listado no site da FoloToyele agora aparece como "esgotado"
Fonte(s)
OpenAi via e-mail para PIRG
Fonte da imagem: Erik Mclean/Pexels; Alexas_Photos/Pixabay
