A China apresenta o SpikingBrain 1.0, um LLM inspirado no cérebro e executado em chips MetaX domésticos

O Instituto de Automação da Academia Chinesa de Ciências, em Pequim, revelou recentemente https://www.scmp.com/news/china/science/article/3324851/brain-ai-said-run-100-times-faster-ultra-long-tasks-using-chinese-chips seu mais novo modelo de linguagem grande SpikingBrain 1.0. Esse LLM é considerado o primeiro LLM "semelhante ao cérebro" do mundo, projetado para usar muito menos energia do que os sistemas de IA convencionais, como o ChatGPT. Em vez de depender do hardware da Nvidia, ele opera inteiramente em chips MetaX fabricados na China, marcando um avanço significativo na computação neuromórfica.

O sistema utiliza a tecnologia "spiking computation", que imita os padrões de disparo dos neurônios do cérebro humano. Essa tecnologia permite que apenas os neurônios necessários sejam ativados, em vez de toda a rede, como nos modelos tradicionais. Essa abordagem orientada por eventos também mantém o sistema eficiente em termos de energia, reduzindo o consumo de energia. O sistema também pode aprender com apenas dois por cento dos dados de treinamento necessários em comparação com os sistemas convencionais. Foram desenvolvidas duas versões: uma com 7 bilhões e outra com 76 bilhões de parâmetros.

Os pesquisadores relatam um desempenho até 100 vezes mais rápido em comparação com os modelos tradicionais em determinadas tarefas, com o modelo menor respondendo a uma solicitação de 4 milhões de tokens pelo menos 100 vezes mais rápido do que os sistemas padrão. Além disso, há um aumento de velocidade de 26,5 vezes em relação às arquiteturas Transformer convencionais para a primeira geração de tokens. O novo modelo foi treinado com aproximadamente 150 bilhões de tokens, apenas uma fração dos requisitos típicos dos sistemas convencionais. Apesar desses dados de treinamento reduzidos, o sistema ainda tem um desempenho comparável ao de outras alternativas populares de código aberto.

O novo sistema tem um significado estratégico para a China, uma vez que o LLM opera inteiramente dentro do ecossistema de IA local da China, utilizando a plataforma de chip MetaX. Isso se torna particularmente importante à medida que os EUA reforçam os controles de exportação de chips avançados de IA. A pesquisa também demonstra que é possível treinar um modelo grande e eficiente em plataformas que não sejam da Nvidia. O pesquisador principal, Li Guoqi, também destaca a otimização para a arquitetura de chips chineses. As possíveis aplicações para esses sistemas incluem documentos legais, registros médicos e até mesmo simulações científicas.

A equipe abriu a versão menor do modelo para acesso público, com a versão maior disponível apenas on-line para testes públicos por meio de um site de demonstração. A pesquisa também foi publicada como um artigo não revisado por pares no repositório arXiv, portanto, é melhor considerar todas essas afirmações com cautela. No entanto, essa descoberta pode abrir caminho para sistemas de IA mais eficientes em termos de energia e para abordagens avançadas de computação inspiradas no cérebro.