GuppyLM: Qualquer pessoa pode treinar essa pequena IA

Enquanto os modelos de IA estão se tornando maiores, mais caros e mais opacos, o GuppyLM vai na direção oposta - por design. Esse pequeno projeto de código aberto é um modelo de linguagem com apenas cerca de 8,7 milhões de parâmetros, muito menos do que os modelos principais modernos, e se identifica como um peixe chamado Guppy. O Guppy só conhece a vida em um aquário. O objetivo não é competir com o ChatGPT ou outros modelos de grande porte. Em vez disso, o GuppyLM pretende mostrar que um LLM não precisa ser misterioso e que o treinamento de um LLM não exige necessariamente conhecimento especializado.

O GuppyLM foi treinado em 60.000 conversas sintéticas. Em termos de conteúdo, o modelo é altamente limitado, mas é exatamente isso que o torna notavelmente consistente. O Guppy fala em frases curtas e em letras minúsculas e não entende abstrações humanas, como política, dinheiro ou telefone. Como essa personalidade está firmemente incorporada ao modelo, o Guppy sempre se mantém dentro de sua perspectiva de peixe. GitHub também oferece uma demonstração de navegador na qual o modelo é executado localmente no navegador. Como alternativa, a versão pré-treinada pode ser iniciada pelo site Colab ou executada localmente com o Python. Aqueles que quiserem ir além podem até mesmo treinar seu próprio mini LLM diretamente com o notebook Colab preparado - um ambiente de programação baseado em navegador.

O processo de treinamento em si é relativamente simples. O modelo é alimentado com um grande número de pares de exemplos que consistem em uma entrada e uma resposta correspondente. No modelo GuppyLM pré-treinado, esses exemplos incluem saudações, perguntas sobre comida, água, luz, sono ou o significado da vida, tudo sob a perspectiva de um pequeno peixe. A partir desses exemplos, o modelo aprende qual token deve vir em seguida. Simplificando, os tokens são pequenas unidades de texto nas quais as palavras são divididas. Durante cada etapa de treinamento, o modelo compara sua previsão com a resposta desejada e ajusta seus pesos internos de acordo. Dessa forma, o GuppyLM aprende gradualmente como um peixe deve falar.