Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

ИИ подбирает правки для другой модели без обучения, но простой способ не хуже

Синий объёмный блок с выемкой и две оранжевые фигурные вставки на сиреневом фоне.
Метафора подбора правок для языковой модели без дообучения. · Иллюстрация редакции, создана в Codex

Авторы препринта на arXiv проверили, может ли одна языковая модель починить другую без дообучения. Для этого они разобрали 20 записанных сеансов с пятью моделями.

Это лабораторное исследование, а не готовый способ исправлять ошибки чат-ботов. Преимущество подбора правок с помощью ИИ показано не во всех опытах.

Коротко

  • Модель-редактор выбирала готовые числовые правки для другой модели, не обучая её заново.
  • На модели Pythia подбор правок языковой моделью и одна готовая правка дали почти равный результат.
  • На моделях без поломок такая правка давала небольшие выигрыши или потери.

Модель-редактор выбирала готовые правки по признакам поломки

В основном опыте у проверяемой модели повреждали два слоя. Редактор смотрел на её предсказания, сводки активаций (показатели работы внутренних блоков) и статистику весов. Веса — это внутренние числа модели, от которых зависят её ответы.

Затем он выбирал «рецепты проекций»: фиксированные числовые правки, которые применяют без градиентных обновлений, то есть без обычного обучения. Результат оценивали по точности дописывания текста.

На Pythia подбор языковой моделью не обошёл простую правку

На SmolLM2 и Qwen2.5 подбор правок языковой моделью сравнялся с поиском «чёрным ящиком» при том же бюджете. Это выбор правок по итоговому результату, без разбора внутренностей модели.

На Pythia подбор языковой моделью дал 65,62% точности дописывания. Поиск «чёрным ящиком» получил 0%, а одна фиксированная проекция набрала 66,15%.

Составную поломку исправили и скрипт, и модель-редактор

Отдельно проверили поломку, затронувшую сразу два вида внутренних блоков: внимание и блоки прямой передачи (feed-forward). Среднее по пяти сохранённым версиям модели, контрольным точкам, выросло с 24,89% до 71,25%.

Такой рост дали и подбор по скрипту, и подбор с участием языковой модели. Правки были из одного семейства. Авторы называют это среднее описательным.

Успех зависел от обратной связи, набора правок и обучения

Эксперименты выделили три случая. В одних обратная связь меняла решение о правке. В других восстановление объяснялось тем, какие правки вообще входили в набор.

В третьих лучше сработала низкоранговая адаптация, то есть способ дообучения, с которым сравнивали остальные подходы. Выводы авторы ограничивают проверенными поломками и задачами дописывания текста.

Что это значит для вас

  • Исследование не даёт обычному пользователю способа чинить ошибки привычных чат-ботов.
  • Сложный подбор правок с помощью ИИ не всегда лучше простой готовой правки.

Что делать

Пока ничего: следите за проверкой подхода на других поломках и задачах.

Чего пока неизвестно

Неясно, сработает ли подход за пределами проверенных поломок и задач дописывания. Авторы сами очерчивают именно эти рамки.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме