Исследователи CSAIL Массачусетского технологического института предложили менять поведение ИИ-моделей прямым редактированием весов — числовых параметров, определяющих их поведение. Метод обходится без традиционного дообучения.
С помощью GPT-6 Astra от OpenAI исследователи повысили результат Qwen3.5-0.8B в MATH-500 с 7,9 до 48,1 %, изменив около 0,016 % весов. Успех был достигнут главным образом за счёт устранения повторов в логических рассуждениях.
В экспериментах ИИ анализировал целевую нейросеть и определял, какие веса изменить, без градиентного обучения. Без дополнительных данных, например о механизмах внимания, модель не смогла надёжно различать разные типы поведения.
Метод сработал не везде: правки Astra не улучшили математические способности Gemma 3 270M, у которой не было серьёзной проблемы с повторами. Преимущество редактирования весов по скорости, стоимости или эффективности пока не доказано.
Гендиректор Pause AI Максим Фурн опасается, что метод может ускорить развитие ИИ и приблизить глобальную катастрофу.