A Microsoft lança o aplicativo móvel Seeing AI para ajudar usuários com baixa visão a descrever o mundo usando o Azure AI

A Microsoft lançou o aplicativo Seeing AI durante o Ability Summit de 7 de março, um evento que explora soluções digitais para pessoas com deficiências. Esse aplicativo inovador utiliza as tecnologias de IA do Azure para ajudar as pessoas com baixa visão a navegar pela vida com mais facilidade.

As tecnologias de IA geralmente exigem computadores potentes para analisar e responder às solicitações do usuário, e poucos dispositivos móveis têm chips de IA, como o Snapdragon 8 Gen 3 nos principais smartphones de 2024. Portanto, a maioria das solicitações é passada para serviços on-line como OpenAI (ChatGPT) ou Microsoft (Azure AI, CoPilot), onde computadores em nuvem mais potentes lidam com as solicitações.

O Microsoft Seeing AI utiliza o Azure GPT-4 Turbo com Vision AI para permitir respostas responsivas e precisas em qualquer smartphone com esses recursos:

1. Text-to-speech - O aplicativo lê o texto que vê. Textos mais curtos podem ser lidos no modo de câmera ao vivo, enquanto textos mais longos são fotografados, convertidos em texto e, por fim, lidos em voz alta.
2. Leitor de código de barras - O aplicativo procura produtos com base no código UPC.
3. Cena - O aplicativo descreve a cena que está vendo, concentrando-se no objeto mais próximo.
4. Pessoa - O aplicativo descreve a pessoa que está vendo, identificando a emoção facial.
5. Moeda - O aplicativo identifica as notas que vê entre 17 países.
6. Cor - O aplicativo identifica a cor no centro da foto ao vivo.
7. Escrita à mão - O aplicativo converte notas escritas à mão em texto.
8. Brilho - O aplicativo emite um tom que varia de acordo com o brilho.

Os resultados do aplicativo são geralmente precisos, mas nenhuma IA é tão boa quanto um ser humano na identificação e descrição do que é visto. Por exemplo, o Seeing AI identifica corretamente uma lâmina de barbear em uma lata, mas simplesmente não consegue identificar um classificador de moedas, apesar das marcas de centavos no corpo. O mesmo acontece com o texto: o aplicativo geralmente converte com precisão o texto de recibos e embalagens, mas falha com textos matemáticos e químicos.

O Microsoft Seeing AI pode ser baixado hoje na loja de aplicativos Android e Apple app store. Os leitores que têm dificuldade para enxergar coisas pequenas podem experimentar uma lupa iluminada(como esta na Amazon).