EvoX: оболочка для ИИ-агентов набрала 56,2% и обошла среднее по пяти аналогам
Учёные представили EvoX — оболочку для ИИ-агентов, она на 3 пункта обошла среднее по пяти аналогам. Агент — это нейросеть, которой дали доступ к программам и разрешили выполнять действия, а результат авторы выложили на arXiv, где работы публикуют до рецензирования.
Бывает, что агенты сообщают о выполненной задаче, которую на деле не сделали, или бросают работу на полпути. Если агент бронирует или заполняет что-то за вас, хорошая оболочка нужна, чтобы он реже говорил «готово», ничего не сделав.
Коротко
- EvoX написана на языке Rust и работает с моделями разных поставщиков.
- Оболочка следит за тремя вещами: верным вызовом инструментов, непрерывностью работы и подтверждением итога.
- Результат получен без памяти, механизма эволюции и расширений.
Оболочка следит, чтобы решение модели дошло до результата
Оболочка (по-английски harness) — программа вокруг модели, которая управляет её работой с инструментами. Модель решает, что делать, а оболочка помогает довести это до конца.
По словам авторов, разумное решение модели не гарантирует успеха. Мешают несовпадения при вызове инструментов, прерванные цепочки действий и заявления о завершении без подтверждения.
На разных моделях прирост оболочки отличается
Проверка шла на пяти наборах задач, шести моделях и шести оболочках. По 691 общей паре «задача — модель» EvoX набрала 56,2%.
На GLM-5.3 преимущество составило 10,7 пункта, на Kimi K3 — 7,9. Авторы делают вывод, что польза зависит от модели, и видят потенциал для работы с разными поставщиками.
Для честного сравнения авторы создали систему Contrast
Contrast задаёт общие правила теста: явные ограничения ради справедливости, проверку запросов к поставщику модели и выводы на основе доказательств. Авторы называют такую оценку контролируемой и проверяемой.
Что это значит для вас
- Качество агента зависит не только от модели, но и от оболочки вокруг неё — так считают авторы.
- Одна и та же оболочка по-разному работает на разных моделях.
- Это научная работа: из аннотации не видно, можно ли уже пользоваться EvoX.
Что делать
Пока ничего: это исследование. Следите, выложат ли авторы EvoX в открытый доступ.
Чего пока неизвестно
В аннотации нет данных о доступности EvoX, цене и работе из России. Результаты получены самими авторами, сведений о независимой проверке в основе нет.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты