Дослідники MIT CSAIL показали Weight-Space Programming: ШІ без навчання редагує ваги Qwen3.5-0.8B
Розробники з MIT CSAIL описали Weight-Space Programming: модель Astra без градієнтного спуску читала ваги Qwen3.5-0.8B і покращила її результати на математичних бенчмарках.
Дослідники MIT CSAIL представили напрямок Weight-Space Programming: великі мовні моделі можуть безпосередньо читати та осмислено змінювати ваги нейронних мереж без градієнтного спуску й дообучення.
У головному експерименті моделі Astra дали ваги невеликої Qwen3.5-0.8B із проханням покращити математичні здібності. Astra виявила в вагах нейрони, через які модель зациклювалася в міркуваннях, і виправила їх. Загалом вона переписала близько 0,016% ваг, після чого результат Qwen3.5-0.8B на MATH-500 зріс із 7,9% до 48,1%, а на GSM8K — із 13,8% до 67,1%.
Дослідники також показали, що Astra може інтерпретувати моделі за вагами. Чотири однакові моделі дообучили для Breakout, Pong, Pac-Man і Freeway. Astra отримала лише ваги (близько 17 тис. чисел) і опис входів без назв ігор і визначила, чому навчали кожну модель.
У іншому експерименті три дифузійні моделі генерували коло, квадрат і трикутник. Astra за вагами вгадала кожну фігуру, прочитавши вихідний шар, не запускаючи мережі.
Astra також уміє писати нейросеті з нуля. Без навчання вона створила ваги для трьох ігор MinAtar і в усіх випадках перевершила моделі, навчені за допомогою PPO на 100 млн кроків. Для гри в Go Astra видала ваги скриптом на 336 рядків і виграла понад половину партій у двох малих PPO-мереж. Якщо їй давали можливість кілька разів прогнати мережу в пісочниці, вона перемагала рівну за розміром PPO-мережу, навчену на 20 млн партій.
Результати ще ранні, але напрямок обіцяє елаймент, аудит моделей, дешеву ініціалізацію ваг і потенційне рекурсивне самоулучшення. Зараз автори готують бенчмарк і харнес для оцінки здатності моделей до Weight-Space Programming. Повні логи експериментів доступні на GitHub, а детальний опис — у пості дослідника.
Чому це важливо
АналітикаЦе важливо, бо Weight-Space Programming відкриває новий спосіб аналізу, корекції та створення моделей без звичного навчання, що може прискорити аудит, безпеку й оптимізацію ШІ-систем.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
GPT-6 Astra змінила ваги іншої ШІ-моделі без донавчання
За заявою, GPT-6 Astra змінила лише 0,016% ваг Qwen3.5-0.8B без обчислення градієнтів і донавчання, нібито усунувши зациклення міркувань і покращивши математичні результати та дотримання інструкцій.
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.