IA sem a nuvem: este modelo de linguagem agora cabe no seu iPhone

Modelos de linguagem de grande porte geralmente exigem um data center ou, no mínimo, um PC potente com bastante memória. A startup norte-americana PrismML, fundada por pesquisadores do Caltech e financiada pelo Google e pela Khosla Ventures, entre outros, lançou o Bonsai 27B em 14 de julho: um modelo de IA com 27 bilhões de parâmetros, cuja versão mais compacta ocupa apenas 3,9 GB. Pela primeira vez, um modelo dessa classe cabe na memória de um iPhone 17 Pro. Nosso guia IA sem a nuvem mostra como configurar um modelo de linguagem no seu próprio computador.

Reduzido de 54 GB para menos de 4 GB

Ele se baseia no Qwen3.6 27B de código aberto da Alibaba, que ocupa cerca de 54 GB em precisão total. O PrismML armazena cada peso da rede neural usando de 1 a 2 bits, em vez dos 16 habituais. O resultado são duas versões: uma versão ternária com 5,9 GB nominais para laptops e uma versão de 1 bit com 3,9 GB para celulares. De acordo com o fabricante, a variante para laptop mantém 95% do desempenho original em 15 testes de benchmark, enquanto a variante para celular mantém 90%. A matemática e a programação permanecem praticamente inalteradas. Os pesos estão disponíveis gratuitamente sob a licença Apache 2.0 e são executados por meio da estrutura MLX da Apple no iPhone, iPad e Mac, bem como por meio da CUDA em placas de vídeo NVIDIA.

O que o iPhone é capaz de fazer e quais são os limites

De acordo com o white paper, a versão de 3,9 GB gera cerca de 11 tokens por segundo em um iPhone 17 Pro Max (disponível na Amazon). Uma carga completa da bateria é suficiente para cerca de 67.000 tokens. Após pouco mais de cinco minutos de uso contínuo, o chip reduz o desempenho. No entanto, os números de referência provêm do próprio fabricante. Sua própria tabela revela as maiores deficiências na compreensão de imagens e no uso de ferramentas, precisamente as áreas em que os agentes de IA precisam se destacar. Além disso, os tamanhos reais dos downloads para a versão para laptop variam de 7,2 a 8,5 GB, dependendo do tempo de execução, o que é significativamente maior do que o anunciado. Ainda não há um aplicativo pronto para usuários comuns. Por enquanto, o público-alvo são desenvolvedores e entusiastas. Quem quiser apenas experimentar o modelo pode encontrar uma demonstração no navegador em no Hugging Face.

A Apple já está analisando a tecnologia

O CEO da PrismML, Babak Hassibi, disse à CNBC que a Apple e outras empresas estão atualmente testando os modelos quanto à velocidade, consumo de energia e desempenho. Ele descreveu as negociações como estando em um estágio muito inicial. Para os usuários, o que mais importa é a direção: quanto mais a IA for executada diretamente no dispositivo, menos dados pessoais acabarão na nuvem. Já escrevemos detalhadamente sobre o que sua IA armazena secretamente e como você pode impedir isso.