Исследователи придумали, как снизить сбои при правке знаний нейросетей
Исследователи описали на arXiv метод Mu-Edit для обновления знаний языковых моделей, когда правки идут подряд. Правка знаний — это обновление сведений, которые хранит модель.
Знания модели приходится обновлять часто и в разных областях, а прежние способы при серии правок дают сбой.
Авторы связывают сбой с тем, что у разных задач почти не остаётся общего места для правок, которые не мешают друг другу.
Mu-Edit сначала подбирает порядок правок, чтобы помехи копились меньше. Если этого мало, он освобождает ещё немного места для правок.
Метод проверили в пяти областях на трёх моделях. По словам авторов, он лучше прежних способов, сохраняет общие способности модели и работает, когда задачи приходят по очереди.
Что делать
Пока ничего: это исследование, следите, появится ли подход в сервисах.
Чего пока неизвестно
В описании нет конкретных цифр результатов и сведений о применении в сервисах.
Редакция «Применяй ИИ» · Как мы готовим новости