O chip de IA Microsoft Maia 300 chega com monstruosos 288 GB de memória HBM4 e largura de banda de 18 TB/s

A Microsoft revelou oficialmente o Maia 300, seu mais recente acelerador de IA desenvolvido sob medida para reduzir a dependência da empresa de hardware da Nvidia e da AMD. Ele chega pouco depois de a OpenAI apresentar seu chip desenvolvido internamente, Jalapeno.  O chip sucede o Maia 200, lançado no início deste ano. O primeiro chip Maia, o Maia 100, surgiu em 2023. 

O Maia 300 usa um projeto com múltiplos chiplets que inclui uma seção principal de processamento fabricada com o processo avançado N2P (2 nm) da TSMC. O encapsulamento também incorpora chiplets separados de memória e de E/S, permitindo à Microsoft fabricar diferentes componentes usando processos adequados aos seus respectivos requisitos. Segundo a Reuters, alguns dos chips auxiliares usam um processo de fabricação de 3 nm mais econômico.

O acelerador oferece até 13,8 PFLOPS de desempenho computacional em FP4 e 6,9 PFLOPS com precisão FP8. A potência nominal do SoC é de 950 W, substancialmente superior aos 750 W do Maia 200. A Microsoft equipou o Maia 300 com oito pilhas de HBM4, oferecendo um total de 288 GB de memória e 18 TB/s de largura de banda. Cada pilha contribui com 36 GB de capacidade, com a memória HBM4 operando a 9 Gb/s por pino. Em comparação, o Maia 200 conta com 216 GB de memória HBM3E e 7 TB/s de largura de banda, tornando o novo acelerador útil para cargas de trabalho de inferência que exigem uso intensivo de memória.

A Microsoft também aprimorou as capacidades de interconexão do acelerador. O Maia 300 oferece 3,2 TB/s de largura de banda bidirecional para expansão vertical e utiliza uma rede de dois níveis baseada em Ethernet com um protocolo de transporte personalizado para IA. Um único rack acomoda 96 aceleradores Maia 300, enquanto a arquitetura de expansão vertical suporta clusters com aproximadamente 12.000 aceleradores.

Além das especificações brutas, a Microsoft afirma que o Maia 300 pode gerar 40% mais tokens por megawatt do que os principais sistemas de IA baseados em GPU. Segundo a empresa, uma configuração completa com 96 aceleradores oferece até sete vezes a taxa de processamento de tokens por rack do Maia 200. No entanto, a empresa não forneceu detalhes suficientes sobre as configurações de GPU concorrentes para determinar de forma independente a extensão de sua vantagem em eficiência.

A Microsoft pretende começar a implantar o Maia 300 em ambientes de produção em 2027, com planos de eventualmente ampliar a infraestrutura para vários gigawatts de capacidade. A Reuters informa que a empresa poderá implantar mais de um milhão de chips Maia 300 no próximo ano, destacando suas ambições de se tornar menos dependente de aceleradores de IA de terceiros.