Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

EvoX: оболочка для ИИ-агентов набрала 56,2% и обошла среднее по пяти аналогам

Учёные представили EvoX — оболочку для ИИ-агентов, она на 3 пункта обошла среднее по пяти аналогам. Агент — это нейросеть, которой дали доступ к программам и разрешили выполнять действия, а результат авторы выложили на arXiv, где работы публикуют до рецензирования.

Бывает, что агенты сообщают о выполненной задаче, которую на деле не сделали, или бросают работу на полпути. Если агент бронирует или заполняет что-то за вас, хорошая оболочка нужна, чтобы он реже говорил «готово», ничего не сделав.

Коротко

  • EvoX написана на языке Rust и работает с моделями разных поставщиков.
  • Оболочка следит за тремя вещами: верным вызовом инструментов, непрерывностью работы и подтверждением итога.
  • Результат получен без памяти, механизма эволюции и расширений.

Оболочка следит, чтобы решение модели дошло до результата

Оболочка (по-английски harness) — программа вокруг модели, которая управляет её работой с инструментами. Модель решает, что делать, а оболочка помогает довести это до конца.

По словам авторов, разумное решение модели не гарантирует успеха. Мешают несовпадения при вызове инструментов, прерванные цепочки действий и заявления о завершении без подтверждения.

На разных моделях прирост оболочки отличается

Проверка шла на пяти наборах задач, шести моделях и шести оболочках. По 691 общей паре «задача — модель» EvoX набрала 56,2%.

На GLM-5.3 преимущество составило 10,7 пункта, на Kimi K3 — 7,9. Авторы делают вывод, что польза зависит от модели, и видят потенциал для работы с разными поставщиками.

Для честного сравнения авторы создали систему Contrast

Contrast задаёт общие правила теста: явные ограничения ради справедливости, проверку запросов к поставщику модели и выводы на основе доказательств. Авторы называют такую оценку контролируемой и проверяемой.

Что это значит для вас

  • Качество агента зависит не только от модели, но и от оболочки вокруг неё — так считают авторы.
  • Одна и та же оболочка по-разному работает на разных моделях.
  • Это научная работа: из аннотации не видно, можно ли уже пользоваться EvoX.

Что делать

Пока ничего: это исследование. Следите, выложат ли авторы EvoX в открытый доступ.

Чего пока неизвестно

В аннотации нет данных о доступности EvoX, цене и работе из России. Результаты получены самими авторами, сведений о независимой проверке в основе нет.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме