O SEAL mostra como a IA pode pensar e evoluir continuamente

A inteligência artificial está se tornando cada vez mais versátil - ela gera imagens, escreve poesia e cria aplicativos. No entanto, ainda há uma limitação importante: os sistemas atuais têm dificuldade para evoluir de fato além de sua programação inicial. É exatamente aí que entra um novo conceito do Instituto de Tecnologia de Massachusetts (MIT). Chamado de SEAL, ou Self-Adapting Language Models (Modelos de linguagem autoadaptáveis), essa estrutura permite que grandes modelos de linguagem se comportem mais como seres que aprendem. O SEAL permite que eles processem novas informações, gerem suas próprias percepções e atualizem seu conhecimento em tempo real, sem depender de conjuntos de dados externos ou de intervenção extensiva do desenvolvedor. O trabalho de pesquisa foi publicado em 12 de junho em arXiv.

Aprendizagem contínua sem intervenção do desenvolvedor

"Especialmente nas empresas, não é suficiente simplesmente recuperar dados - os sistemas devem ser capazes de se adaptar continuamente", diz o estudante de doutorado do MIT Jyothish Pari. O SEAL foi projetado para fazer exatamente isso, usando um processo contínuo de duas etapas. Primeiro, a IA resume as novas informações, gera exemplos relevantes e ajusta suas configurações internas. Essas alterações são chamadas de "autoedições"

Em seguida, o sistema coloca imediatamente suas autoedições à prova: ele passa por um breve retreinamento com os novos ajustes e é avaliado para ver se suas respostas realmente melhoram. O SEAL só mantém as alterações se os resultados mostrarem um claro ganho de desempenho. Testes comparativos confirmam a eficácia desse método: em um questionário de perguntas e respostas sem texto de apoio, a precisão do modelo Qwen 2.5-7B aumenta de 33,5% para 47%. Nos quebra-cabeças ARC mais desafiadores - tarefas baseadas em lógica do Abstraction & Reasoning Corpus - o desempenho chega a subir para 72,5%, mais do que o triplo da pontuação original do modelo.

Graças a esse ciclo, o SEAL se comporta quase como uma entidade pensante: sempre que surgem novos fatos ou perguntas, o modelo "reflete" sobre o que importa, gera seus próprios exemplos e ajusta suas configurações para aplicar melhor o que aprendeu. Como esse processo é executado continuamente, a IA está sempre aprendendo. Ela não depende mais do ajuste fino de um desenvolvedor separado, mas usa os textos recebidos como material de treinamento, gerando seus próprios dados em tempo real.

O SEAL abre várias possibilidades de uma só vez. No futuro, os chatbots poderão se adaptar naturalmente às preferências pessoais dos usuários sem a necessidade de enviar dados confidenciais para servidores externos. As ferramentas de desenvolvimento e pesquisa também poderiam evoluir de forma mais independente, ajustando-se às mudanças nos requisitos do projeto sem precisar ser treinadas novamente a cada vez. E mesmo que os dados de texto disponíveis publicamente se tornem escassos, o SEAL pode gerar seu próprio material de treinamento por meio de exemplos criados por ele mesmo, oferecendo uma maneira inteligente de contornar a possível escassez de dados.

Alto potencial, mas não sem obstáculos

Embora o SEAL seja uma promessa significativa para o avanço do desenvolvimento da IA, os pesquisadores apontam três desafios principais:

• Primeiro, há a questão do esquecimento catastrófico: à medida que o modelo integra continuamente novas autoedições, sua capacidade de realizar tarefas anteriores diminui gradualmente. O estudo já mostra os primeiros sinais desse efeito.
• Em segundo lugar, o custo computacional é substancial, pois cada autoedição exige uma breve etapa de ajuste fino. De acordo com o estudo, um ciclo completo leva de 30 a 45 segundos, aumentando significativamente o custo operacional da execução de modelos grandes.
• Em terceiro lugar, a verificação da precisão das autoedições continua sendo um desafio. Os testes de desempenho avaliam principalmente o quanto uma resposta parece convincente, e não se ela está realmente correta. Os usuários no Reddit já levantaram preocupações de que o sistema poderia aceitar autoedições plausíveis, mas incorretas, como melhorias e, em seguida, internalizar esses erros permanentemente.