A Nvidia RTX 5090 funciona no macOS com o novo driver personalizado da Tiny Corp

Apple e a Nvidia encerraram sua parceria há muitos anos, deixando os usuários de Mac sem suporte oficial à GPU. Essa queda de braço acabou com a CUDA na plataforma e forçou os desenvolvedores e pesquisadores a usar o framework Metal da Apple. No entanto, um novo driver de código aberto da Tiny Corp finalmente resolveu essa questão, trazendo o hardware Blackwell da Nvidia de volta ao ecossistema do macOS.

O projeto usa uma extensão personalizada do kernel chamada Tiny GPU. Ele permite que GPUs externas, como a RTX 5090, façam interface direta com Macs Apple Silicon por meio de Thunderbolt 5 ou USB4. Esse é um grande salto técnico por si só, pois evita a necessidade de máquinas virtuais. Na demonstração de Alex Ziskind, uma RTX 5090 com 32 GB de VRAM foi emparelhada com sucesso com um Mac Mini M4 Pro (atual. uS$ 1399 na Amazon para a variante de 24 GB/512 GB, aqui está nossa análise detalhada).

Embora a conexão seja estável, a pilha de software atual está em seus estágios iniciais. O driver depende do compilador Tiny Grad em vez de otimizações nativas de Metal ou CUDA. Isso cria uma lacuna de desempenho durante tarefas pesadas de computação. Ao executar o modelo Llama 3.1 8Ba configuração atingiu cerca de 7,48 tokens por segundo. Embora isso seja uma grande vitória para a compatibilidade, ainda é mais lento do que o CPP nativo do Llama no Metal, diz Alex, que é quase dez vezes mais rápido em um hardware equivalente.

Independentemente disso, o valor real desse projeto é seu potencial de otimização futura. O gargalo atual não é o cabo Thunderbolt 5, que lida com a transferência de peso do modelo de forma eficiente, mas a eficiência dos kernels gerados automaticamente. Para interfaces de bate-papo simples, a configuração da Blackwell é rápida, proporcionando velocidades de tempo até o primeiro token três a quatro vezes mais rápidas do que as soluções nativas de metal.

O processo de instalação inclui a aprovação de uma extensão do sistema e a execução de um pipeline de compilador baseado em Docker. É claro que não se trata de um substituto (ainda) para os fluxos de trabalho simplificados do Metal, mas, ainda assim, é o primeiro funcional em anos.