A aposta vale a pena: O desenvolvedor obtém hardware no valor de US$ 80.000 com 960 GB de memória DDR5 e superchip Nvidia GH200 por um décimo do preço
Há menos de uma semana, cobrimos uma história originária do Reddit em que um gamer conseguiu colocar as mãos em um PC para jogos potente e bem equipado, avaliado em cerca de US$ 3.000, por apenas US$ 600. Curiosamente, apenas os 64 GB de memória DDR5 do sistema valem US$ 880 no momento em que este artigo foi escrito, cortesia da contínua redução do suprimento de DRAM, que levou a um aumento sem precedentes sem precedentes nos preços da memória.
hardware no valor de US$ 80 mil por US$ 8 mil: Desenvolvedor de IA tira a sorte grande
Agora, um desenvolvedor de IA, também por meio do Reddit, conseguiu encontrar uma oferta de dar água na boca - um servidor de IA usado com dois superchips Nvidia GH200 sendo vendido por apenas US$ 8.000. Se fosse comprado novo, o sistema custaria algo em torno de US$ 80.000, provavelmente ainda mais, já que o Nvidia H100 vale sozinho cerca de US$ 40.000, conforme observado em pelo autor. Ah, e também, o sistema inclui incríveis 960 GB de memória LPDDR5X. Os detalhes exatos do sistema foram detalhados abaixo, cortesia do comprador, David Noel Ng:
- Superchip duplo Nvidia Grace-Hopper GH200 - cada um com uma CPU ARM de 72 núcleos com 480 GB de memória LPDDR5X, GPU Hopper H100 com 96 GB de memória HBM3
- NVlink C2C com largura de banda de 900 GB/s
- pSU de 3 kW
- Dois slots PCIe Gen4 M.2 22110/2280
- Quatro slots FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Superchip Nvidia GH200 por uma pechincha? Há uma pegadinha
O vendedor, em uma resposta diferente, revelou que o sistema estava sendo vendido por uma pechincha por causa de sua condição ruimdevido ao fato de ter sido convertido de resfriado a líquido para resfriado a ar. Além disso, ele também mencionou que o sistema não poderia ser montado em um rack de servidor típico, o que geralmente é um pré-requisito.
No entanto, David não se intimidou com essas desvantagens e foi pessoalmente até o vendedor para verificar o sistema. Felizmente, ele descobriu que o vendedor era de boa reputação e estava localizado a cerca de duas horas de distância de onde ele mora.
Depois que o sistema foi levado para casa, David providenciou um aspirador de pó e alguns litros de solução de limpeza antes de começar a trabalhar. Depois que o servidor foi limpo, uma nova configuração de resfriamento a água foi instalada e alguns reparos foram feitos. Talvez o mais desafiador tenha sido descobrir um sensor de temperatura defeituoso que estava fazendo com que o servidor travasse repetidamente, mas tudo foi resolvido no final.
LLMs de grande porte em casa: modelos de parâmetros 235B funcionando sem problemas
David parece bastante satisfeito com sua compra e com a capacidade subsequente de executar LLMs maciços (235B) em casa. É claro que todo o processo exigiu muito trabalho, a maior parte do qual está além do escopo para aqueles que são completamente novos em hardware de nível empresarial. Mas, considerando que apenas os 960 GB de memória DDR5 valem agora mais do que o valor que ele pagou por todo o sistema, foi definitivamente um final feliz.
Para aqueles que desejam executar modelos menores de IA em casa sem ter que desembolsar US$ 8.000 e várias horas a mais de configuração, o GMKtec Evo-X2 com Strix Halo-powered(atualmente US$ 1.529,99 na Amazon) pode ser uma escolha melhor.
Fonte(s)
David Noel Ng, Reddit, detectado por Tom's Hardware
