Novo sistema traduz gestos individuais específicos em fala para pessoas com comunicação limitada

Uma equipe de pesquisadores da Pennsylvania State University desenvolveu um protótipo de sistema que utiliza sensores vestíveis e inteligência artificial para converter gestos em fala. Esse sistema converte em fala os movimentos corporais exclusivos dos indivíduos, o que o diferencia dos sistemas genéricos.

Essa nova abordagem, publicada na revista Augmentative and Alternative Communication, foi projetada para ajudar pessoas com deficiências motoras ou visuais a se comunicarem de forma mais independente e eficaz. A principal inovação desse sistema é a capacidade de personalização em nível individual.

Ao contrário dos sistemas convencionais de conversão de gestos em fala treinados em grandes conjuntos de dados, o sistema foi projetado para aprender movimentos idiossincráticos - gestos que têm um significado específico exclusivo para uma pessoa. Isso permite que a tecnologia se adapte aos movimentos específicos que o usuário considera fáceis de fazer, reduzindo assim o estresse físico do usuário.

O sistema funciona fazendo com que a pessoa use um sensor no pulso e repita um gesto cerca de três vezes. Usando um algoritmo de IA, ele mede as características de movimento do gesto, aprendendo seu padrão exclusivo. Esse padrão ou gesto é então atribuído a uma frase falada, como "venha aqui" ou "pare com isso". Um aplicativo de smartphone conectado fala a frase em voz alta sempre que o usuário faz o gesto.

Durante o desenvolvimento, a equipe trabalhou em estreita colaboração com pessoas que tinham limitações de fala. Uma participante notável foi Emma Elko, que tem uma deficiência visual cortical. O sistema aprendeu com sucesso seus gestos pessoais, permitindo que ela se comunicasse sem a ajuda de sua mãe - sua principal parceira de comunicação.

Os pesquisadores dizem que a próxima etapa é testar o protótipo com mais pessoas para refinar sua capacidade de distinguir entre gestos semelhantes e ignorar movimentos involuntários. Eles também planejam adicionar câmeras ao sensor existente, para obter um nível melhor de precisão.