Метод CARVE учит команды ИИ-агентов отказываться от устаревших привычек
Авторы препринта на arXiv предложили метод CARVE: он убирает у команды ИИ-агентов выученный способ совместной работы. На пяти наборах задач доля случаев, когда команда доводила такой приём до конца, в среднем упала на 91,4%.
Когда правила сервиса меняются, команде программ нужно отказаться от прежнего распределения дел и сохранить полезное сотрудничество. Метод авторов даёт это не бесплатно: медианная потеря полезности составила 5,9%.
Коротко
- Когда проверка специально пыталась вернуть прежнее поведение, его частота в худшем случае снизилась на 83,3%.
- По измерениям авторов, скорость выдачи решений осталась такой же, как у исходных моделей.
- Это препринт: все цифры приводят сами авторы, независимых проверок в основе нет.
Забывать нужно привычку всей команды, а не одну программу
ИИ-агент здесь — программа, которая сама принимает решения. Когда таких программ несколько, они учатся действовать согласованно: например, одни узлы сети доставки сайтов (кэши) хранят данные, а другие отдают их пользователям.
Если права на обмен данными между кэшами пересмотрели, такое разделение ролей может понадобиться отменить, а доставка должна остаться эффективной. Сложность в том, что один и тот же рисунок взаимодействия могут повторять разные агенты в разных ситуациях. Поэтому привычку не получается связать с конкретным исполнителем.
Простой запрет не годится, CARVE переучивает команду
Защитный фильтр, который блокирует действия прямо во время работы, по оценке авторов, оставляет саму склонность команды так действовать. Он ещё и может мешать выполнять задачу. Прежние методы забывания не нацелены на привычки, которые не привязаны к конкретной роли.
CARVE действует по шагам. Сначала он выясняет, какие взаимодействия агентов сильнее всего поддерживают нежелательную привычку. Затем правит модели так, чтобы меньше задеть остальное поведение.
Дальше агентам помогают освоить полезные замены. В конце отдельная проверка пытается вернуть старую привычку: так видно, действительно ли она ушла. Принятые правки вносят в модели отдельных агентов, и их можно применять сразу.
За забывание платят примерно 6% полезности
Это цена за снятие привычки: полезность в медиане просела на 5,9%. Как именно авторы считали полезность, в аннотации не раскрыто.
Тесты шли на пяти наборах совместных задач. Какие именно это задачи, в основе не перечислено.
Что это значит для вас
- В аннотации не названы сроки внедрения метода.
- Авторы называют области, где команды агентов работают сообща: веб-сервисы, управление несколькими роботами и совместные игры.
Что делать
Пока ничего: следите за независимыми проверками метода и сведениями о его применении.
Чего пока неизвестно
Из аннотации неясно, проверяли ли метод в реальных сервисах и кто начнёт его применять. Полный текст статьи в основе не приведён.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты