Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Исследователи описали, когда памяти прежней модели не хватает

На arXiv вышла работа о переносе состояния при замене рекуррентных моделей. Такие модели хранят сведения о прошлых шагах обработки.

Для переноса может понадобиться больше сведений, чем содержит текущее состояние модели.

Старая и новая модели могут получить разные состояния после обработки одной истории. Авторы описали, какую информацию нужно сохранять заранее, ещё до выбора замены.

В опыте с небольшой языковой моделью сравнили способы переноса при равном объёме памяти. Один способ точнее восстанавливал состояние, но заметного выигрыша в предсказаниях не дал.

Что делать

Если вы разрабатываете такие модели, перед заменой проверьте, хватит ли сохранённых сведений для переноса состояния.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме