A Moonshot AI lança o Kimi K2: um rival gratuito e mais inteligente do DeepSeek

A Moonshot AI lançou o Kimi K2, um modelo de linguagem grande de inteligência artificial, gratuitamente sob uma licença MIT modificada https://github.com/MoonshotAI/Kimi-K2/blob/main/LICENSE. O LLM foi imediatamente classificado entre os dez modelos de IA mais poderosos do mundo na tabela de classificação da arena de texto do LMSys. O Kimi K2 obteve uma pontuação mais alta do que o DeepSeek, outra IA gratuita que ganhou atenção mundial por seu poder e licenciamento gratuito quando foi lançado no final de 2024.

O Kimi K2 é um modelo de mistura de especialistas (MoE) de um trilhão de parâmetros (1T) com uma janela de contexto de 128K e 384 especialistas usando um subconjunto de 32 bilhões de parâmetros ativados. A IA foi desenvolvida para uso em agentes de IA especializados em solução autônoma de problemas, raciocínio e uso de ferramentas, permitindo seu uso na solução de tarefas complexas e na pesquisa de respostas para problemas comerciais de alto nível.

Devido à limitação dos dados de treinamento do uso de ferramentas no mundo real, o Kimi K2 foi treinado usando uma combinação de ambientes reais e simulados. Além disso, o treinamento da IA usou um mecanismo de autoavaliação, permitindo que ela determinasse por conta própria se as tarefas concluídas foram feitas adequadamente ou não durante o treinamento. O otimizador MuonClip foi desenvolvido para resolver o problema de estabilidade de treinamento encontrado no otimizador Muon para redes neuraispermitindo que o Kimi K2 fosse pré-treinado com sucesso em tokens de 15,5T rapidamente.

Os leitores interessados em desenvolver o Kimi K2 para uso comercial precisarão de pelo menos 1 TB de armazenamento para o modelo e um cluster de pelo menos 16 GPUs Nvidia H20/H200 antes de baixá-lo gratuitamente do Hugging Face. Os usuários domésticos podem facilmente executar versões destiladas do DeepSeek em GPUs Nvidia com 12 GB ou mais de memória, como esta placa na Amazon, enquanto aguardam as versões destiladas do Kimi K2.

Os consumidores podem conversar com o chatbot Kimi gratuitamente aquie os desenvolvedores de software podem pagar para usar o Kimi por meio de sua API aqui.