Métricas de desempenho do Intel Arc Pro B70: significativamente mais rápido que o RTX 4000 Pro da Nvidia pela metade do preço e 33% mais VRAM
A Intel lançou ontem as GPUs para estações de trabalho de alto desempenho Arc Pro B65 e B70 destinadas ao treinamento/inferência de IA LLM sem fornecer informações específicas sobre o desempenho no comunicado de imprensa inicial. Algumas horas depois, a empresa divulgou gráficos de desempenho que comparam o modelo B70 com as GPUs RTX 4000 Pro da Nvidia, que já têm alguns anos de idade. A Intel argumenta que a comparação continua válida, dado o preço inferior a US$ 1.000 da placa B70, e a Team Blue faz afirmações impressionantes sobre o desempenho geral.
Mesmo sem olhar para os gráficos de desempenho, que podem ou não ser precisos no verdadeiro estilo da Intel, a GPU Arc B70 fica imediatamente acima da concorrência da Nvidia com sua maior capacidade de VRAM (32 GB versus 24 GB) e o preço de lançamento que começa em US$ 949 (versus US$ 1.800). É verdade que a VRAM é apenas GDDR6 de 19 Gbps com barramento de 256 bits e largura de banda de 608 GB/s, mas pelo menos o aumento da capacidade ajuda a treinar e inferir em modelos maiores.
Com a capacidade superior da VRAM, a B70 apresenta uma janela de contexto 2,2x maior em relação à placa RTX 4000 Pro. O slide da Intel mostra que a B70 suporta comprimentos de contexto de até 93 mil tokens, em comparação com a RTX 4000 Pro, que fica sem memória em até 42 mil tokens quando usada com o modelo Llama 3.1 8b Modelo BF16.
Os fluxos paralelos de vários agentes executados no modelo Ministral Instruct 2410 8B (BF16) oferecem uma taxa de transferência de tokens 85% maior para vários usuários ou solicitações com o B70 em um ambiente de sistema operacional Linux. Além disso, o B70 é capaz de produzir respostas mais rápidas para vários usuários ou solicitações com um tempo 6,2x mais rápido para o primeiro token, e a Intel menciona que essas velocidades superiores são possíveis graças à oneAPI aprimorada da empresa e à pilha de software proprietária. O aumento de desempenho em relação à concorrência da Nvidia também pode ser dimensionado com configurações de várias GPUs, já que a Intel alega um aumento de até duas vezes de tokens por dólar em configurações de GPU simples, dupla e quádrupla.
Infelizmente, os slides não mostram nenhuma métrica de desempenho ou informação de preço para o B65 GPU. Seria interessante ver se a Intel permite que os parceiros da AIB lancem versões voltadas para jogos das GPUs B65 e B70 com capacidades de VRAM um pouco menores. Isso também significaria que a Intel teria que fornecer drivers gráficos aprimorados.
