LLM-8850: Placa de expansão transforma o Raspberry Pi 5 em uma plataforma local de IA

Os modelos de IA baseados em nuvem são bastante convenientes para usuários comuns. No entanto, alguns casos de uso podem exigir a execução desses modelos localmente para garantir a privacidade dos dados ou para contornar uma conexão de Internet lenta ou inexistente. Dito isso, é necessário um certo nível de desempenho para executar modelos de linguagem grandes ou até mesmo análise de vídeo assistida por IA. Essa última pode ser útil para contar as pessoas que passam pela entrada de um prédio, por exemplo.

Com o M5Stack LLM-8850outra placa de expansão que acelera exatamente esses aplicativos de IA chegou ao mercado. Ela é alimentada por um SoC Axera AX8550 com quatro núcleos Cortex-A55 e uma NPU com um desempenho de 24 TOPs. Em comparação, as NPUs integradas às CPUs modernas da AMD e da Intel oferecem aproximadamente o dobro do desempenho. Uma VPU também está integrada e pode decodificar simultaneamente até 16 fluxos de vídeo com resolução Full HD. A placa ainda conta com 8 GB de RAM e vem com um dissipador de calor e um ventilador.

A placa é conectada por meio de um slot M.2 Key M e usa duas pistas PCIe 2.0. A placa mede 1,68 x 0,94 x 0,38 polegadas e é compatível com o Raspberry Pi 5 e outros computadores de placa única ou até mesmo mini PCs, além de várias estruturas de IA. Por último, mas não menos importante, o preço oficial do M5Stack LLM-8850 é de US$ 99, mas podem ser cobradas taxas adicionais de remessa e importação.