GPT-6 без дообучения улучшила веса Qwen3.5-0.8B
Исследователи MIT CSAIL показали Weight-Space Programming: Astra без градиентного спуска и обучения изменила веса Qwen3.5-0.8B и улучшила её результаты на MATH-500 и GSM8K.
GPT-6 без дообучения улучшила веса Qwen3.5-0.8B
Просто поразительное исследование выпустили сегодня рисерчеры из MIT CSAIL. Они показали, что топовые LLM могут напрямую читать и осознанно менять веса нейросетей, причём без градиентного спуска и обучения.
Это назвали Weight-Space Programming.
В главном эксперименте авторы дали Astra веса крошечной Qwen3.5-0.8B и попросили улучшить её способности в математике. В итоге Astra обнаружила в весах нейроны, из-за которых модель зацикливалась в рассуждениях, и исправила их. Всего она переписала около 0,016% весов, и после этого на MATH-500 скор Qwen3.5-0.8B вырос с 7,9% до 48,1%, а на GSM8K — с 13,8% до 67,1%.
Это не всё. Оказалось, что Astra может неплохо интерпретировать модели по весам.
Например, учёные дообучили 4 одинаковые модели играть в разные игры: Breakout, Pong, Pac-Man и Freeway. Astra получила только веса (около 17 тысяч чисел) и описание входов, без названий игр, и смогла угадать, чему учили эти модели, во всех четырёх случаях.
В другом эксперименте три диффузионные модели рисовали круг, квадрат и треугольник. Astra по весам определила каждую фигуру, прочитав выходной слой. Важно, что при этом она не запускает эти сети, а просто читает веса.
А ещё Astra умеет писать нейросети с нуля. Она без обучения, с нуля, взяла и выдала веса сетей для трёх игр MinAtar. Во всех трёх случаях она обошла модели, которые были обучены с помощью обучения с подкреплением (PPO) на 100 млн шагов.
Также авторы просили её написать сеть для игры в Go. Она написала веса одним скриптом на 336 строк и выиграла больше половины партий у двух маленьких обученных на PPO сетей. Если же ей давали возможность несколько раз прогнать свою сеть в песочнице, то она обыгрывала равную по размеру PPO-сеть, обученную на 20 млн партий.
Результаты пока ранние, но само направление невероятно многообещающее. С помощью Weight-Space Programming можно было бы делать элаймент, аудит моделей, дешёвую инициализацию весов, ну и рекурсивное самоулучшение на десерт.
Сейчас авторы делают бенчмарк и харнесс для оценки способностей моделей к такому программированию весов. Полные логи всех экспериментов выложены на GitHub.
Детальный пост: https://rikiyat.github.io/blog/weight-space-programming/
Почему это важно
АналитикаНаправление Weight-Space Programming может изменить подход к интерпретируемости, аудиту и инициализации моделей, хотя результаты пока ранние.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
GPT-6 Astra изменила веса другой ИИ-модели без дообучения
Заявлено, что GPT-6 Astra напрямую изменила 0,016% весов Qwen3.5-0.8B без градиентов и дообучения, устранив зацикливание рассуждений и улучшив математические результаты и следование инструкциям.
Исследователи MIT показали, что GPT-6 Astra может улучшать другие ИИ-модели, изменяя их веса
В эксперименте Astra повысила точность Qwen3.5-0.8B на бенчмарке MATH-500 с 7,9% до 48,1%, изменив всего 0,016% весов модели.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.