Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Метод DISCERN реже путает похожие объекты в памяти ИИ-агентов

На arXiv описали DISCERN — способ хранить память ИИ-агентов, которые помнят десятки прошлых сессий. В их тесте метод набрал 0,861 по правильности ответов против 0,806 у сильнейшего соперника.

Агент с долгой памятью может ответить не про того клиента или взять устаревшее условие. Авторы считают узким местом не поиск записей, а выбор нужной.

Коротко

  • Тест ENT-310 синтетический: 310 запросов, из них 100 без ответа в памяти.
  • Обычный RAG (модель отвечает по найденным в хранилище фрагментам) получил 0,93–0,98 за запоминание и актуальность. Шкала от 0 до 1, где 1 — безошибочно.
  • На корпусе LoCoMo без настройки метод набрал 0,663 против 0,638 у сильнейшего соперника.

Забывчивость решена, нерешённой остаётся путаница

За десятки сессий в памяти агента копятся факты, которые противоречат друг другу и устаревают. Похожие по названию объекты при этом путаются: в векторном поиске их записи оказываются рядом.

Авторы считают, что дело не в поиске: запоминание и актуальность у любой толковой системы уже близки к максимуму шкалы. Нерешённым остаётся выбор: о каком объекте вопрос, какое состояние свежее и стоит ли отвечать вообще.

DISCERN хранит всё, а разбирается при чтении

Правило метода: сохранять при записи, разбираться при чтении. При записи он строит граф — сеть связанных записей с привязкой ко времени и источнику. Граф только пополняется: похожие объекты не склеиваются, старые значения не стираются.

При чтении агент обходит эту сеть с помощью инструментов, которым не нужна языковая модель. В конце он выбирает ровно одно из четырёх завершающих действий.

Выбор между ответом и отказом у метода точнее, чем у восьми соперников

Ответы оценивал совет из четырёх моделей-судей. Выбор «ответить или отказаться при нехватке доказательств» считали как классификацию и измеряли по F1 — общей оценке точности такого выбора.

У DISCERN F1 равна 0,924, у восьми систем сравнения — не выше 0,802.

Правильность ответов на вопросы, где ответ есть, тоже считали по шкале до 1. При равных весах направлений у DISCERN 0,861, у сильнейшего соперника 0,806. Перевес дало распознавание объекта: 0,800, тогда как ни у одной системы сравнения оно не превысило 0,40.

Что это значит для вас

  • Для агентов, которые ведут клиентскую историю, по выводу авторов важнее не забывать меньше, а выбирать верную запись.
  • Умение отказаться от ответа при нехватке данных авторы измеряют отдельно, и в их тесте у DISCERN оно лучше, чем у восьми систем сравнения.

Что делать

Пока ничего: следите за независимыми проверками DISCERN.

Чего пока неизвестно

Основной тест синтетический. В основе не указано, как метод поведёт себя в рабочих системах и опубликуют ли код.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме