A Open-Source Kinesis realiza engenharia reversa do Neural Band, da Meta, para controles do Mac por meio de sinais musculares

A Meta desenvolveu originalmente a “Neural Band” como dispositivo de entrada para seus óculos de realidade aumentada Ray-Ban Display. Em vez de depender de câmeras para rastrear as mãos no ar, a pulseira utiliza eletromiografia de superfície (sEMG) para ler os minúsculos sinais elétricos que o sistema nervoso do usuário envia pelo braço. Sempre que detecta um movimento espasmódico do dedo ou um aperto do polegar, os sensores em contato com a pele detectam os impulsos motores antes mesmo de o dedo concluir o movimento físico, criando um controlador invisível e de baixo desgaste que funciona quando as mãos estão em uma posição natural. No entanto, essa tecnologia estava restrita ao hardware da própria Meta até recentemente.

O Kinesis, um projeto de código aberto publicado no GitHub pelo desenvolvedor callbacked, realizou a engenharia reversa do fluxo de pacotes Bluetooth Low Energy (BLE) não criptografados da pulseira. O utilitário da barra de menus do Kinesis emparelha-se diretamente com o hardware via Bluetooth, contornando totalmente os daemons proprietários e os servidores em nuvem da Meta. Ao converter os picos brutos do sensor neuromuscular em eventos do sistema macOS, um movimento de pinça entre o polegar e o indicador é registrado como um clique do mouse, girar os dedos ajusta o volume do sistema e um pequeno movimento do pulso alterna entre as áreas de trabalho virtuais no Mission Control.

No momento, a implantação do Kinesis está limitada ao macOS. No entanto, um amplo suporte multiplataforma parece praticamente certo. Como o desenvolvedor mapeou o protocolo BLE bruto da banda, em vez de depender de frameworks proprietários da Apple, a portabilidade do decodificador para o Linux ou o Windows é simples e poderia abrir as portas para a navegação neural de desktop de código aberto em qualquer sistema operacional. É possível encontrar mais informações sobre o Kinesis no link abaixo.