Desenvolvedor contorna as restrições do “ Apple ” para revelar o verdadeiro potencial da IA do M4

Apple's M4 oferecem alguns recursos úteis IA , mas a empresa tem, historicamente, mantido o hardware rigidamente restrito. Por padrão, o Neural Engine dentro do M4 está restrito inteiramente à inferência. Isso significa que os desenvolvedores só podem usá-lo para executar modelos de IA pré-treinados, em vez de realmente treinar novos modelos a partir do zero.

No entanto, um desenvolvedor conseguiu contornar essas restrições rigorosas de software, realizando uma engenharia reversa completa do chip para liberar 15,8 TFLOPS de potência de processamento de IA oculta. A descoberta é de um pesquisador conhecido como 0x0SojalSec, que recentemente compartilhou um código no GitHub de https://github.com/maderix/ANE detalhando como explorou o verdadeiro potencial do M4. O que torna essa conquista particularmente impressionante é que ela foi realizada totalmente fora do ecossistema oficial de desenvolvimento d Apple.

Como o Apple não concede os níveis de permissão necessários para se comunicar diretamente com o Neural Engine para essas tarefas avançadas, o desenvolvedor teve que encontrar uma maneira de trabalhar sem utilizar ferramentas padrão como CoreML, Metal ou mesmo sem recorrer à unidade de processamento gráfico. Para conseguir isso, criaram do zero uma Linguagem Intermediária de Modelos personalizada. Esse software personalizado preencheu com sucesso a lacuna, permitindo a retropropagação completa e o treinamento do transformador diretamente no Neural Engine do Apple.

Como o hardware é fortemente restrito por seu design, o desenvolvedor também teve que utilizar algumas soluções alternativas muito engenhosas para manter o sistema estável. Por exemplo, se um processo travar durante a fase intensiva de treinamento, a linguagem personalizada utiliza um comando de execução específico para, essencialmente, reiniciar o processo. Isso permite que o sistema atualize seu estado atual e retome o aprendizado de máquina imediatamente, sem travar todo o programa.

A velocidade também foi um fator importante para que essa carga de trabalho pesada fosse executada de forma eficaz. Para garantir que o treinamento ocorresse da maneira mais fluida possível, o desenvolvedor configurou o processo para gravar tudo inteiramente na memória RAM do sistema. Ao evitar ativamente o armazenamento flash NAND, que é muito mais lento, toda a operação permaneceu incrivelmente rápida. Para quem estiver usando um Mac ou iPad , essa solução alternativa fascinante prova que o chip é mais do que capaz de lidar com cargas de trabalho de treinamento de IA, mesmo que Apple oficialmente prefira manter esses recursos específicos restritos.