Метод DISCERN реже путает похожие объекты в памяти ИИ-агентов
На arXiv описали DISCERN — способ хранить память ИИ-агентов, которые помнят десятки прошлых сессий. В их тесте метод набрал 0,861 по правильности ответов против 0,806 у сильнейшего соперника.
Агент с долгой памятью может ответить не про того клиента или взять устаревшее условие. Авторы считают узким местом не поиск записей, а выбор нужной.
Коротко
- Тест ENT-310 синтетический: 310 запросов, из них 100 без ответа в памяти.
- Обычный RAG (модель отвечает по найденным в хранилище фрагментам) получил 0,93–0,98 за запоминание и актуальность. Шкала от 0 до 1, где 1 — безошибочно.
- На корпусе LoCoMo без настройки метод набрал 0,663 против 0,638 у сильнейшего соперника.
Забывчивость решена, нерешённой остаётся путаница
За десятки сессий в памяти агента копятся факты, которые противоречат друг другу и устаревают. Похожие по названию объекты при этом путаются: в векторном поиске их записи оказываются рядом.
Авторы считают, что дело не в поиске: запоминание и актуальность у любой толковой системы уже близки к максимуму шкалы. Нерешённым остаётся выбор: о каком объекте вопрос, какое состояние свежее и стоит ли отвечать вообще.
DISCERN хранит всё, а разбирается при чтении
Правило метода: сохранять при записи, разбираться при чтении. При записи он строит граф — сеть связанных записей с привязкой ко времени и источнику. Граф только пополняется: похожие объекты не склеиваются, старые значения не стираются.
При чтении агент обходит эту сеть с помощью инструментов, которым не нужна языковая модель. В конце он выбирает ровно одно из четырёх завершающих действий.
Выбор между ответом и отказом у метода точнее, чем у восьми соперников
Ответы оценивал совет из четырёх моделей-судей. Выбор «ответить или отказаться при нехватке доказательств» считали как классификацию и измеряли по F1 — общей оценке точности такого выбора.
У DISCERN F1 равна 0,924, у восьми систем сравнения — не выше 0,802.
Правильность ответов на вопросы, где ответ есть, тоже считали по шкале до 1. При равных весах направлений у DISCERN 0,861, у сильнейшего соперника 0,806. Перевес дало распознавание объекта: 0,800, тогда как ни у одной системы сравнения оно не превысило 0,40.
Что это значит для вас
- Для агентов, которые ведут клиентскую историю, по выводу авторов важнее не забывать меньше, а выбирать верную запись.
- Умение отказаться от ответа при нехватке данных авторы измеряют отдельно, и в их тесте у DISCERN оно лучше, чем у восьми систем сравнения.
Что делать
Пока ничего: следите за независимыми проверками DISCERN.
Чего пока неизвестно
Основной тест синтетический. В основе не указано, как метод поведёт себя в рабочих системах и опубликуют ли код.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты