Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнес

Лишь один из семи ИИ-агентов стабильно обошёл простое правило в тесте

Лишь один из семи передовых ИИ-агентов стабильно обошёл простой алгоритм на правилах в тесте OutfitterBench, сообщают авторы на arXiv. Агенты 200 дней вели бизнес по прокату уличного снаряжения.

ИИ-агент — это языковая модель, которой поручили самостоятельно вести дело шаг за шагом. Если доверить такому помощнику брони или закупки, важно, чтобы новые решения не ломали прежние обещания.

Коротко

  • Каталог из 46 товаров, около 1100 заявок на бронь и жёсткий потолок капитала.
  • Часть агентов применяла известные ограничения непоследовательно, а их новые решения конфликтовали с взятыми обязательствами.
  • Код теста открыт на GitHub, его может изучить любой желающий.

Каждая бронь связывает агента обязательствами на будущее

Агент закупает снаряжение и принимает заявки на бронь. Бронь и непредсказуемый спрос клиентов без записи борются за одну и ту же технику, а её доступность меняется со временем.

По словам авторов, выбор агента сам создаёт будущие ограничения. Занятая техника означает обязательства и закрывает другие возможности. Поэтому нужно и держать план выполнимым, и сравнивать выгоду распределения с отвергнутыми вариантами.

Надёжное выполнение не гарантирует хороший заработок

Анализ действий показал: некоторые агенты непоследовательно применяли известные ограничения. Их новые решения противоречили уже взятым обязательствам.

Агенты с более надёжным выполнением могли получать низкую отдачу от сопоставимых обязательств или медлить с перераспределением ресурсов.

Даже лидер упускает более выгодное использование ресурсов

Лидер лучше связывает подготовку с экономическими решениями. Но и он упускает возможности использовать активы выгоднее.

Авторы делают вывод об ограничениях моделей: им не хватает умения поддерживать согласованные планы использования ресурсов и пересматривать их ценность со временем.

Что это значит для вас

  • Слабость агентов видна на длинной дистанции: проверяется согласованность решений во времени, а не один удачный ответ.
  • Простой алгоритм на правилах оказался серьёзной планкой: стабильно превзойти её удалось только лидеру.

Что делать

Пока ничего: это научная работа, а не готовый продукт. Следите за проверками агентов на длинных задачах с ограниченными ресурсами.

Чего пока неизвестно

В аннотации не названы конкретные модели и не сказано, насколько лидер опередил простой алгоритм. Это первая версия работы.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме