Исследователи описали, когда памяти прежней модели не хватает
На arXiv вышла работа о переносе состояния при замене рекуррентных моделей. Такие модели хранят сведения о прошлых шагах обработки.
Для переноса может понадобиться больше сведений, чем содержит текущее состояние модели.
Старая и новая модели могут получить разные состояния после обработки одной истории. Авторы описали, какую информацию нужно сохранять заранее, ещё до выбора замены.
В опыте с небольшой языковой моделью сравнили способы переноса при равном объёме памяти. Один способ точнее восстанавливал состояние, но заметного выигрыша в предсказаниях не дал.
Что делать
Если вы разрабатываете такие модели, перед заменой проверьте, хватит ли сохранённых сведений для переноса состояния.
Редакция «Применяй ИИ» · Как мы готовим новости