Исследователи представили подход Weight-Space Programming — прямое чтение и редактирование весов нейросетей с помощью большой языковой модели. В опубликованных экспериментах модель GPT-6 Astra без градиентного обучения улучшила математические способности Qwen3.5-0.8B, изменив лишь 0,016% её весов.
Авторы попросили Astra найти причину слабых результатов Qwen в математике. Модель обнаружила в весах проблему, связанную с зацикливанием рассуждений, и внесла точечные исправления через Python-среду. Обучающие циклы при этом были запрещены.
После правки результат Qwen3.5-0.8B на тесте MATH-500 вырос с 7,9% до 48,1% при тех же настройках генерации. Эффект распространился и на другую задачу: показатель следования инструкциям в IFEval увеличился втрое.
В других опытах Astra определяла назначение небольших нейросетей только по набору чисел в их весах. Она правильно распознала сети для Breakout, Pong, Pac-Man и Freeway, а также выяснила, какие геометрические фигуры генерируют три маленькие диффузионные модели.
На трансформерах размером 7,2 млн параметров Astra различила модели, обученные на Python, английском тексте и японском языке в латинской записи. Для анализа ей дали только средние блоки сети — без входного и выходного слоёв. Модель также нашла головы внимания, отвечающие за копирование ранее встречавшихся фрагментов.
Astra смогла не только анализировать веса. В задаче управления автомобилем она изменила 3,5% параметров неудачной PPO-политики. После одной правки автомобиль успешно прошёл все 1024 испытания вместо нуля успешных попыток.
Авторы также сообщают, что созданные Astra с нуля сети для трёх игр MinAtar превзошли агентов, которых обучали методом PPO на протяжении 100 млн шагов. Пока это серия ранних экспериментов на ограниченном наборе задач, а не универсальная замена обычному обучению моделей.
