Лишь один из семи ИИ-агентов стабильно обошёл простое правило в тесте
Лишь один из семи передовых ИИ-агентов стабильно обошёл простой алгоритм на правилах в тесте OutfitterBench, сообщают авторы на arXiv. Агенты 200 дней вели бизнес по прокату уличного снаряжения.
ИИ-агент — это языковая модель, которой поручили самостоятельно вести дело шаг за шагом. Если доверить такому помощнику брони или закупки, важно, чтобы новые решения не ломали прежние обещания.
Коротко
- Каталог из 46 товаров, около 1100 заявок на бронь и жёсткий потолок капитала.
- Часть агентов применяла известные ограничения непоследовательно, а их новые решения конфликтовали с взятыми обязательствами.
- Код теста открыт на GitHub, его может изучить любой желающий.
Каждая бронь связывает агента обязательствами на будущее
Агент закупает снаряжение и принимает заявки на бронь. Бронь и непредсказуемый спрос клиентов без записи борются за одну и ту же технику, а её доступность меняется со временем.
По словам авторов, выбор агента сам создаёт будущие ограничения. Занятая техника означает обязательства и закрывает другие возможности. Поэтому нужно и держать план выполнимым, и сравнивать выгоду распределения с отвергнутыми вариантами.
Надёжное выполнение не гарантирует хороший заработок
Анализ действий показал: некоторые агенты непоследовательно применяли известные ограничения. Их новые решения противоречили уже взятым обязательствам.
Агенты с более надёжным выполнением могли получать низкую отдачу от сопоставимых обязательств или медлить с перераспределением ресурсов.
Даже лидер упускает более выгодное использование ресурсов
Лидер лучше связывает подготовку с экономическими решениями. Но и он упускает возможности использовать активы выгоднее.
Авторы делают вывод об ограничениях моделей: им не хватает умения поддерживать согласованные планы использования ресурсов и пересматривать их ценность со временем.
Что это значит для вас
- Слабость агентов видна на длинной дистанции: проверяется согласованность решений во времени, а не один удачный ответ.
- Простой алгоритм на правилах оказался серьёзной планкой: стабильно превзойти её удалось только лидеру.
Что делать
Пока ничего: это научная работа, а не готовый продукт. Следите за проверками агентов на длинных задачах с ограниченными ресурсами.
Чего пока неизвестно
В аннотации не названы конкретные модели и не сказано, насколько лидер опередил простой алгоритм. Это первая версия работы.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты