ИИ подбирает правки для другой модели без обучения, но простой способ не хуже

Авторы препринта на arXiv проверили, может ли одна языковая модель починить другую без дообучения. Для этого они разобрали 20 записанных сеансов с пятью моделями.
Это лабораторное исследование, а не готовый способ исправлять ошибки чат-ботов. Преимущество подбора правок с помощью ИИ показано не во всех опытах.
Коротко
- Модель-редактор выбирала готовые числовые правки для другой модели, не обучая её заново.
- На модели Pythia подбор правок языковой моделью и одна готовая правка дали почти равный результат.
- На моделях без поломок такая правка давала небольшие выигрыши или потери.
Модель-редактор выбирала готовые правки по признакам поломки
В основном опыте у проверяемой модели повреждали два слоя. Редактор смотрел на её предсказания, сводки активаций (показатели работы внутренних блоков) и статистику весов. Веса — это внутренние числа модели, от которых зависят её ответы.
Затем он выбирал «рецепты проекций»: фиксированные числовые правки, которые применяют без градиентных обновлений, то есть без обычного обучения. Результат оценивали по точности дописывания текста.
На Pythia подбор языковой моделью не обошёл простую правку
На SmolLM2 и Qwen2.5 подбор правок языковой моделью сравнялся с поиском «чёрным ящиком» при том же бюджете. Это выбор правок по итоговому результату, без разбора внутренностей модели.
На Pythia подбор языковой моделью дал 65,62% точности дописывания. Поиск «чёрным ящиком» получил 0%, а одна фиксированная проекция набрала 66,15%.
Составную поломку исправили и скрипт, и модель-редактор
Отдельно проверили поломку, затронувшую сразу два вида внутренних блоков: внимание и блоки прямой передачи (feed-forward). Среднее по пяти сохранённым версиям модели, контрольным точкам, выросло с 24,89% до 71,25%.
Такой рост дали и подбор по скрипту, и подбор с участием языковой модели. Правки были из одного семейства. Авторы называют это среднее описательным.
Успех зависел от обратной связи, набора правок и обучения
Эксперименты выделили три случая. В одних обратная связь меняла решение о правке. В других восстановление объяснялось тем, какие правки вообще входили в набор.
В третьих лучше сработала низкоранговая адаптация, то есть способ дообучения, с которым сравнивали остальные подходы. Выводы авторы ограничивают проверенными поломками и задачами дописывания текста.
Что это значит для вас
- Исследование не даёт обычному пользователю способа чинить ошибки привычных чат-ботов.
- Сложный подбор правок с помощью ИИ не всегда лучше простой готовой правки.
Что делать
Пока ничего: следите за проверкой подхода на других поломках и задачах.
Чего пока неизвестно
Неясно, сработает ли подход за пределами проверенных поломок и задач дописывания. Авторы сами очерчивают именно эти рамки.
Редакция «Применяй ИИ» · Как мы готовим новости




