Investigadores del MIT muestran que un LLM puede leer y editar pesos de modelos sin entrenamiento
El equipo de MIT CSAIL presentó Weight-Space Programming: Astra leyó y modificó los pesos de Qwen3.5-0.8B sin descenso de gradiente ni fine-tuning, mejorando sus resultados en benchmarks matemáticos.
Investigadores de MIT CSAIL presentaron Weight-Space Programming: los grandes modelos de lenguaje pueden leer directamente y modificar de forma deliberada los pesos de redes neuronales sin descenso de gradiente ni ajuste fino.
En el experimento principal, los autores dieron a Astra los pesos de la diminuta Qwen3.5-0.8B y le pidieron mejorar sus capacidades matemáticas. Astra encontró en los pesos neuronas que hacían que el modelo se quedara en bucles en su razonamiento y las corrigió. En total reescribió cerca del 0,016% de los pesos, y después la puntuación de Qwen3.5-0.8B en MATH-500 subió del 7,9% al 48,1%, y en GSM8K del 13,8% al 67,1%.
Los investigadores también mostraron que Astra puede interpretar modelos a partir de sus pesos. Por ejemplo, ajustaron cuatro modelos idénticos para jugar a diferentes juegos: Breakout, Pong, Pac-Man y Freeway. Astra recibió solo los pesos (cerca de 17.000 números) y una descripción de las entradas, sin nombres de juegos, y logró adivinar para qué fueron entrenados los modelos en los cuatro casos.
En otro experimento, tres modelos de difusión dibujaban un círculo, un cuadrado y un triángulo. Astra identificó cada figura a partir de los pesos, leyendo la capa de salida, sin ejecutar las redes.
Astra también puede escribir redes neuronales desde cero. Sin entrenamiento, generó los pesos de redes para tres juegos de MinAtar. En los tres casos superó a modelos entrenados con aprendizaje por refuerzo (PPO) durante 100 millones de pasos.
Los autores también le pidieron escribir una red para jugar al Go. Generó los pesos con un script de 336 líneas y ganó más de la mitad de las partidas contra dos pequeñas redes entrenadas con PPO. Si se le daba la posibilidad de probar su red varias veces en un sandbox, vencía a una red PPO del mismo tamaño entrenada durante 20 millones de partidas.
Los resultados todavía son tempranos, pero la dirección es muy prometedora. Weight-Space Programming podría usarse para alineamiento, auditoría de modelos, inicialización barata de pesos y auto-mejora recursiva. Actualmente los autores están construyendo un benchmark y un harness para evaluar la capacidad de los modelos para programar pesos. Los logs completos de todos los experimentos están en GitHub, y la explicación detallada está en el post del proyecto.
Por qué es importante
AnálisisEsto es importante porque Weight-Space Programming abre una nueva forma de analizar, corregir y crear modelos sin entrenamiento convencional, lo que puede acelerar la auditoría, la seguridad y la optimización de sistemas de IA.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
GPT-6 Astra habría modificado pesos de otro modelo de IA sin reentrenamiento
Se afirma que GPT-6 Astra modificó solo el 0,016% de los pesos de Qwen3.5-0.8B sin gradientes ni reentrenamiento, mejorando razonamiento, matemáticas y seguimiento de instrucciones.
Investigadores del MIT muestran que GPT-6 Astra puede mejorar otros modelos de IA cambiando sus pesos
En un experimento, Astra elevó la precisión de Qwen3.5-0.8B en MATH-500 del 7,9% al 48,1% cambiando solo el 0,016% de los pesos del modelo.
Modelos Frontera
La clase más poderosa de inteligencia artificial en la vanguardia de la investigación mundial (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), que define los límites de las capacidades modernas de razonamiento, autonomía y codificación.
Generación de Datos Sintéticos y Preentrenamiento
Tecnología de generación, filtrado automático y verificación formal de conjuntos de datos de entrenamiento mediante inteligencia artificial para superar la escasez de datos humanos de calidad.