MIT-Forscher zeigen: LLM kann Gewichte von Modellen ohne Training lesen und verändern
MIT CSAIL stellte Weight-Space Programming vor: Astra las und änderte Gewichte von Qwen3.5-0.8B ohne Gradientenabstieg oder Feinabstimmung und verbesserte die Mathematik-Benchmarks.
Forscher von MIT CSAIL stellten Weight-Space Programming vor: Große Sprachmodelle können Gewichte neuronaler Netze direkt lesen und gezielt verändern, ohne Gradientenabstieg oder Feinabstimmung.
Im Hauptexperiment gaben die Autoren Astra die Gewichte des kleinen Modells Qwen3.5-0.8B und baten sie, dessen mathematische Fähigkeiten zu verbessern. Astra fand in den Gewichten Neuronen, die das Modell beim Denken in Schleifen laufen ließen, und korrigierte sie. Insgesamt überschrieb sie etwa 0,016 % der Gewichte, woraufhin der Score von Qwen3.5-0.8B auf MATH-500 von 7,9 % auf 48,1 % stieg und auf GSM8K von 13,8 % auf 67,1 %.
Die Forscher zeigten außerdem, dass Astra Modelle anhand ihrer Gewichte interpretieren kann. Zum Beispiel wurden vier identische Modelle für verschiedene Spiele feinabgestimmt: Breakout, Pong, Pac-Man und Freeway. Astra erhielt nur die Gewichte (rund 17.000 Zahlen) und eine Eingabebeschreibung ohne Spielnamen und erkannte in allen vier Fällen, wofür die Modelle trainiert wurden.
In einem weiteren Experiment zeichneten drei Diffusionsmodelle einen Kreis, ein Quadrat und ein Dreieck. Astra identifizierte jede Form anhand der Gewichte, indem sie die Ausgabeschicht las, ohne die Netze auszuführen.
Astra kann auch neuronale Netze von Grund auf schreiben. Ohne Training erzeugte sie Gewichte für Netze in drei MinAtar-Spielen. In allen drei Fällen übertraf sie Modelle, die mit reinforcement learning (PPO) über 100 Millionen Schritte trainiert wurden.
Die Autoren baten Astra auch, ein Netz für Go zu schreiben. Sie erzeugte die Gewichte in einem 336-Zeilen-Skript und gewann mehr als die Hälfte der Partien gegen zwei kleine PPO-trainierte Netze. Wenn sie ihr Netz mehrfach in einer Sandbox testen durfte, schlug sie ein gleich großes PPO-Netz, das auf 20 Millionen Partien trainiert worden war.
Die Ergebnisse sind noch früh, aber die Richtung ist sehr vielversprechend. Weight-Space Programming könnte für Alignment, Modell-Audits, günstige Gewichtsinitalisierung und rekursive Selbstverbesserung genutzt werden. Aktuell bauen die Autoren einen Benchmark und ein Harness, um die Fähigkeit von Modellen zum Weight-Programmieren zu bewerten. Vollständige Logs aller Experimente sind auf GitHub verfügbar, der detaillierte Beitrag im Projekt-Blog.
Warum das wichtig ist
AnalyseDas ist wichtig, weil Weight-Space Programming einen neuen Weg eröffnet, Modelle ohne herkömmliches Training zu analysieren, zu korrigieren und zu erzeugen, was Audits, Sicherheit und Optimierung von KI-Systemen beschleunigen kann.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
GPT-6 Astra soll Gewichte eines anderen KI-Modells ohne Nachtraining geändert haben
GPT-6 Astra soll nur 0,016 % der Gewichte von Qwen3.5-0.8B ohne Gradienten oder Nachtraining verändert haben, um Reasoning-Schleifen, Mathematikergebnisse und Instruction Following zu verbessern.
MIT-Forschende zeigen, dass GPT-6 Astra andere KI-Modelle durch direkte Gewichtsänderungen verbessern kann
In einem Experiment erhöhte Astra die Genauigkeit von Qwen3.5-0.8B auf MATH-500 von 7,9 % auf 48,1 %, indem nur 0,016 % der Modellgewichte geändert wurden.
Synthetische Datengenerierung & Pretraining
Technologie zur Generierung, automatischen Filterung und formalen Verifizierung von Trainingsdatensätzen mittels künstlicher Intelligenz zur Überwindung des Mangels an hochwertigen menschlichen Daten.
Teil I. Architektur von KI-Agenten: Grundlegende Bausteine
Zehn grundlegende Bausteine eines modernen Agenten: Modell-Taxonomie, Runtime-Loop, Prompting-Techniken, Distillation, Skills, Memory, Function Calling und Unit Economics.