Языковые модели задали параметры нейросетей без пошагового обучения
В исследовании на arXiv языковые модели задавали параметры нейросетей сразу числами. Среди испытаний были девять искусственных задач.
При прогнозе по таблице такой подход мог бы убрать отдельный этап пошаговой настройки сети. Модель сама находила бы зависимость в примерах и сразу задавала готовую сеть для расчётов.
Коротко
- Модель получала небольшой набор данных целиком и схему будущей сети.
- Запускать код и проверять своё решение перед сдачей было запрещено.
- Испытания включали стандартные тесты и реальную инженерную задачу прогноза.
Готовое правило заменили примерами
В прежних демонстрациях модели заранее сообщали правило. Оставалось перенести его в параметры сети. Теперь зависимость требовалось найти в самих данных.
Модель записывала все веса и смещения — числа, которые задают работу нейросети. Пошагового подбора параметров не было. Каждый вариант фиксировали до проверки вместе с ожидаемой оценкой результата.
Испытания начинались с двух простых задач. В следующих искусственных задачах зависимости скрывали поворотом системы координат.
На трёх задачах сеть достигла минимально возможной ошибки
Там, где лучшее решение было линейным, сеть достигала этого уровня. Так называют зависимость, которую можно выразить взвешенной суммой исходных величин.
В трёх нелинейных задачах сеть достигла неустранимой ошибки. Это предел точности, заданный самим способом получения данных. По доступным исходным значениям точнее предсказать результат было нельзя.
В двух из этих задач сеть обошла все обученные варианты сравнения. Среди них была сеть той же схемы, параметры которой подбирали пошагово.
Провал мог означать плохой прогноз или отсутствие ответа
Основной вариант не справился с двумя ступенями проверки. В обоих случаях искомая зависимость шла под углом к координатам, которые анализировала модель.
Дополнительные проверки выявили разные виды неудач. Одна модель не выдавала параметры на самых трудных задачах. Другая отвечала всегда, но её сети могли уступать простой подстановке среднего значения.
Один из провалов удалось преодолеть другой модели. Её преимущество сохранилось после поправки на множество сравнений. Такая поправка учитывает риск случайного успеха при большом числе проверок.
Что это значит для вас
- Успех на части таблиц пока не даёт гарантии для набора данных с другой зависимостью.
- Готовый ответ модели ещё не означает полезный прогноз: качество построенной сети требует отдельной проверки.
Что делать
Пока ничего: следите за дальнейшими проверками метода.
Редакция «Применяй ИИ» · Как мы готовим новости