Novo sistema do MIT permite que pequenos modelos de IA superem os gigantes em tarefas complexas

Embora os modelos de linguagem de grande porte sejam excelentes em coisas como redação criativa e matemática básica, eles geralmente tropeçam quando se deparam com tarefas complexas e cheias de regras, como Sudoku ou planejamento rigoroso de itinerários. Para preencher essa lacuna, uma equipe de pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT - liderada por Gabriel Grand - apresentou um novo sistema chamado DisCIPL (Distributional Constraints by Inference Programming with Language Models).

A estrutura opera em uma hierarquia de gerente-trabalhador. Um grande modelo de "chefe" atua primeiro como um planejador, elaborando uma estratégia para resolver a solicitação de um usuário. Em seguida, ele atribui componentes específicos da tarefa a modelos "seguidores" menores e mais eficientes.

Para garantir que a equipe permaneça no caminho certo, o chefe comunica as instruções usando LLaMPPL, uma linguagem de programação especializada projetada para direcionar os modelos para resultados precisos. Se um modelo seguidor se desviar das restrições - por exemplo, usando a fraseologia errada em um poema estruturado - o modelo principal entra em ação para corrigi-lo.

Essa abordagem produziu resultados impressionantes. De acordo com o relatório dos pesquisadores, em testes que envolviam tarefas como escrever propostas de subsídios ou listas de orçamento de compras, o sistema DisCIPL produziu respostas mais precisas do que o GPT-4o da OpenAI e igualou a precisão do modelo de raciocínio especializado o1. Mais notavelmente ainda, ele fez isso com muito mais eficiência. Ao transferir o trabalho pesado para modelos menores, o sistema reduziu a duração do raciocínio em cerca de 40% e reduziu os custos em mais de 80% em comparação com os da concorrência.

A equipe acredita que esse método oferece um caminho sustentável para a IA, provando que a coordenação de modelos menores pode ser muito mais eficaz - e eficiente em termos de energia - do que depender exclusivamente de sistemas maciços e que consomem muita energia.