Talaas HC1: chip eficiente supera todas as GPUs em aceleração local de IA

No setor de tecnologia, especialmente no design de processadores, é possível encontrar um certo equilíbrio entre universalidade e desempenho. Embora os chips ou sistemas de computador possam ser construídos para oferecer universalidade e, assim, executar uma ampla variedade de tarefas, geralmente também é possível projetar e otimizar sistemas para aplicativos altamente específicos. No caso de um chip de computador, toda a sua arquitetura pode ser projetada com base em tipos de dados definidos, sem nenhum mecanismo para lidar com casos especiais. Esse conceito pode parecer familiar para alguns dos senhores: Na mineração de criptografia, por exemplo, as CPUs e GPUs de uso geral foram amplamente substituídas por ASICs, que são extremamente eficientes em sua única tarefa, mas inutilizáveis para qualquer outra coisa.

Um desenvolvimento semelhante está surgindo na aceleração da IA. Os processadores com NPUs integradas já chegaram ao mercado consumidor. A empresa Taalas apresentou recentemente o HC1, um chip não projetado para acelerar qualquer modelo de IA, mas um muito específico: o relativamente pequeno Llama 3.1 8B. Apesar de sua especialização, ainda é possível algum grau de ajuste fino. De acordo com a Taalas, o chip pode atingir 16.960 tokens por segundo, em comparação com os 353 tokens por segundo fornecidos pelo Nvidia B200. Em comparação com o Cerebras WSE-3, o HC1 oferece dez vezes mais desempenho e consome menos energia, além de custar cerca de 20 vezes menos. O preço e a disponibilidade ainda não foram anunciados.