Pesquisadores do MIT mostram que um LLM pode ler e editar pesos de modelos sem treinamento
O MIT CSAIL apresentou Weight-Space Programming: Astra leu e alterou os pesos do Qwen3.5-0.8B sem gradiente descendente nem fine-tuning, melhorando os resultados em benchmarks matemáticos.
Pesquisadores do MIT CSAIL apresentaram Weight-Space Programming: grandes modelos de linguagem podem ler diretamente e modificar intencionalmente os pesos de redes neurais sem gradiente descendente ou treinamento.
No experimento principal, os autores deram à Astra os pesos do pequeno Qwen3.5-0.8B e pediram que melhorasse suas capacidades matemáticas. Astra encontrou nos pesos neurônios que faziam o modelo entrar em loops no raciocínio e os corrigiu. No total, ela reescreveu cerca de 0,016% dos pesos, e depois disso o score do Qwen3.5-0.8B no MATH-500 subiu de 7,9% para 48,1%, e no GSM8K de 13,8% para 67,1%.
Os pesquisadores também mostraram que Astra pode interpretar modelos a partir dos pesos. Por exemplo, eles ajustaram quatro modelos idênticos para jogar diferentes jogos: Breakout, Pong, Pac-Man e Freeway. Astra recebeu apenas os pesos (cerca de 17 mil números) e uma descrição das entradas, sem nomes dos jogos, e conseguiu adivinhar para que cada modelo foi treinado nos quatro casos.
Em outro experimento, três modelos de difusão desenhavam um círculo, um quadrado e um triângulo. Astra identificou cada figura pelos pesos, lendo a camada de saída, sem executar as redes.
Astra também sabe escrever redes neurais do zero. Sem treinamento, ela gerou pesos de redes para três jogos do MinAtar. Nos três casos, superou modelos treinados com aprendizado por reforço (PPO) por 100 milhões de passos.
Os autores também pediram que ela escrevesse uma rede para jogar Go. Ela produziu os pesos em um script de 336 linhas e venceu mais da metade das partidas contra duas pequenas redes treinadas com PPO. Quando podia testar sua rede várias vezes em um sandbox, ela vencia uma rede PPO do mesmo tamanho treinada por 20 milhões de partidas.
Os resultados ainda são iniciais, mas a direção é muito promissora. Weight-Space Programming poderia ser usado para alinhamento, auditoria de modelos, inicialização barata de pesos e autoaperfeiçoamento recursivo. Atualmente os autores estão construindo um benchmark e um harness para avaliar a capacidade dos modelos de programar pesos. Os logs completos dos experimentos estão no GitHub, e a explicação detalhada está no post do projeto.
Por que isso importa
AnáliseIsso é importante porque Weight-Space Programming abre uma nova forma de analisar, corrigir e criar modelos sem treinamento convencional, o que pode acelerar auditoria, segurança e otimização de sistemas de IA.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
GPT-6 Astra teria alterado pesos de outro modelo de IA sem re-treinamento
A GPT-6 Astra teria alterado apenas 0,016% dos pesos do Qwen3.5-0.8B sem gradientes ou re-treinamento, melhorando raciocínio, matemática e seguimento de instruções.
Pesquisadores do MIT mostram que GPT-6 Astra pode melhorar outros modelos de IA alterando seus pesos
Em um experimento, a Astra aumentou a precisão do Qwen3.5-0.8B no MATH-500 de 7,9% para 48,1% ao alterar apenas 0,016% dos pesos do modelo.
Modelos de Fronteira
A classe mais poderosa de inteligência artificial na vanguarda da pesquisa global (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), que define os limites atuais das capacidades de raciocínio, autonomia e codificação.
Geração de Dados Sintéticos e Pré-treinamento
Tecnologia para geração, filtragem automática e verificação formal de datasets de treinamento utilizando inteligência artificial, visando superar a escassez de dados humanos de alta qualidade.