Badacze z MIT pokazali, że LLM może czytać i edytować wagi modeli bez uczenia
MIT CSAIL zaprezentował Weight-Space Programming: Astra czytała i modyfikowała wagi Qwen3.5-0.8B bez gradientowego spadku i fine-tuningu, poprawiając wyniki w benchmarkach matematycznych.
Badacze z MIT CSAIL przedstawili Weight-Space Programming: duże modele językowe mogą bezpośrednio czytać i świadomie modyfikować wagi sieci neuronowych bez gradientowego spadku ani uczenia.
W głównym eksperymencie autorzy dali Astrze wagi malej Qwen3.5-0.8B i poprosili o poprawę jej zdolności matematycznych. Astra wykryła w wagach neurony, przez które model wpadał w pętle w rozumowaniu, i je naprawiła. Łącznie przepisała około 0,016% wag, po czym wynik Qwen3.5-0.8B w MATH-500 wzrósł z 7,9% do 48,1%, a w GSM8K z 13,8% do 67,1%.
Badacze pokazali też, że Astra potrafi interpretować modele na podstawie wag. Na przykład dostrojono cztery identyczne modele do gry w różne gry: Breakout, Pong, Pac-Man i Freeway. Astra otrzymała tylko wagi (około 17 tysięcy liczb) i opis wejść, bez nazw gier, i we wszystkich czterech przypadkach odgadła, do czego uczono te modele.
W innym eksperymencie trzy modele dyfuzyjne rysowały koło, kwadrat i trójkąt. Astra rozpoznała każdą figurę po wagach, czytając warstwę wyjściową, bez uruchamiania sieci.
Astra potrafi też pisać sieci neuronowe od zera. Bez uczenia wygenerowała wagi sieci do trzech gier MinAtar. We wszystkich trzech przypadkach pokonała modele trenowane metodą uczenia przez wzmacnianie (PPO) przez 100 milionów kroków.
Autorzy poprosili ją również o napisanie sieci do gry w Go. Wygenerowała wagi jednym skryptem na 336 linii i wygrała ponad połowę partii z dwoma małymi sieciami wytrenowanymi PPO. Jeśli dano jej możliwość kilkukrotnego przetestowania sieci w piaskownicy, pokonała sieci PPO tej samej wielkości wytrenowaną na 20 milionach partii.
Wyniki są wciąż wczesne, ale kierunek jest bardzo obiecujący. Weight-Space Programming można by wykorzystać do alignmentu, audytu modeli, taniej inicjalizacji wag i rekurencyjnego samodoskonalenia. Obecnie autorzy budują benchmark i harness do oceny zdolności modeli do programowania wag. Pełne logi wszystkich eksperymentów są dostępne na GitHub, a szczegółowy opis znajduje się we wpisie projektu.
Dlaczego to ważne
AnalizaTo ważne, ponieważ Weight-Space Programming otwiera nowy sposób analizowania, korygowania i tworzenia modeli bez konwencjonalnego uczenia, co może przyspieszyć audyt, bezpieczeństwo i optymalizację systemów AI.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
GPT-6 Astra miała zmienić wagi innego modelu AI bez doszkalania
GPT-6 Astra miała zmienić tylko 0,016% wag Qwen3.5-0.8B bez gradientów i doszkalania, poprawiając rozumowanie, wyniki matematyczne i stosowanie się do instrukcji.
Badacze z MIT pokazali, że GPT-6 Astra może ulepszać inne modele AI przez bezpośrednią zmianę wag
W eksperymencie Astra zwiększyła dokładność Qwen3.5-0.8B w benchmarku MATH-500 z 7,9% do 48,1%, zmieniając zaledwie 0,016% wag modelu.
Część I. Architektura agentów AI: fundamentalne elementy
Dziesięć fundamentalnych elementów współczesnego agenta: taksonomia modeli, pętla runtime, techniki promptowania, destylacja, umiejętności (skills), pamięć, wywoływanie funkcji oraz ekonomia jednostkowa.
Część II. Architektura agentów AI: od modelu do pamięci i narzędzi
Głęboka analiza inżynierska: tokenizacja, cache KV, determinizm próbkowania, stos treningowy, kwantyzacja, inżynieria kontekstu, stos bezpieczeństwa, produkcyjny RAG, ReAct oraz systemy multiagentowe typu swarm.