O Google Pixel 11 transforma a Língua de Sinais Americana em texto digitado

O Google DeepMind revelou, nesta quarta-feira, um modelo de tradução de linguagem de sinais, e este não ficará restrito ao laboratório. O SL2T, abreviação de “sign-language-to-text” (linguagem de sinais para texto), agora funciona no teclado Gboard e no aplicativo Live Transcribe no Pixel 11. Faça sinais e obtenha o texto. Funciona em qualquer lugar onde você normalmente digitaria: pesquisas na web, mensagens, documentos e prompts do Gemini. O Google não está cobrando nada a mais por isso.

Para usuários surdos, isso é mais do que uma conveniência. Cerca de 70 milhões de pessoas em todo o mundo utilizam uma das mais de 200 línguas de sinais como sua língua principal, e o recurso de ditado, algo que os usuários ouvintes consideram natural há anos, nunca esteve disponível para elas. No Live Transcribe, agora elas podem responder diretamente, em vez de ter que digitar durante toda a conversa.

A câmera nunca envia vídeo ao Google

O design voltado para a privacidade é a parte mais interessante. O modelo nunca vê a imagem da câmera. O MediaPipe Holistic é executado no celular e reduz a filmagem a pontos de referência corporais — coordenadas simples para mãos, braços, cabeça e rosto. Apenas esses números são enviados ao servidor, e o Google afirma que o vídeo é descartado imediatamente.

O que o Google deixou de fora é igualmente importante. Sistemas anteriores traduziam por meio de glossários, uma notação intermediária rudimentar de sinais individuais que retira grande parte do que as línguas de sinais realmente transmitem, incluindo expressões faciais e uso do espaço. O SL2T vai diretamente dos pontos de referência para o texto. O treinamento utilizou mais de 100.000 horas de filmagens abrangendo mais de 50 línguas de sinais, sendo cerca de um quarto delas da Língua de Sinais Americana. No benchmark FLEURS-ASL, o sistema alcança 70 pontos no BLEURT — uma medida de qualidade de tradução — sem ter visto os dados de teste previamente.

Apenas um idioma, e o Google sinaliza seus próprios erros

A lista de idiomas é o ponto fraco. No lançamento, o SL2T traduz da ASL para o inglês e nada mais, de modo que usuários da língua de sinais britânica, alemã ou de qualquer outra ainda estão à espera. O Google promete mais idiomas e mais dispositivos, sem especificar uma data.

A precisão também não é impecável, e a própria empresa reconhece isso em seus exemplos. A digitação rápida com os dedos transforma “presa” em “cinza”, um classificador descritivo é omitido, um tempo verbal muda quando falta o contexto. A equipe abordou os problemas práticos: latência durante a tradução ao vivo, saída inventada quando ninguém está se comunicando por sinais, usuários canhotos e comunicação com uma única mão, o que se torna necessário no momento em que a outra mão está segurando o celular.

Profissionais surdos estiveram envolvidos em todo o processo. Um grupo consultivo chamado AISLAC acompanhou o lançamento e foi coautor de um relatório sobre o que o modelo pode e não pode fazer.

Apenas no Pixel 11, por enquanto

Para experimentar o recurso, é necessário adquirir um Pixel 11. O Google abriu as pré-vendas em 12 de agosto e, em 13 de agosto, a Google Store ainda listava o aparelho como disponível para pré-venda por US$ 899. Aparelhos mais antigos, como o Pixel 10 Pro, ficam de fora por enquanto.