Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Vanguard проверяет шаги ИИ-агента по скриншоту и реже зовёт большую модель

Vanguard — метод проверки шагов ИИ-агента: судья смотрит на скриншот и решает, годится ли черновик малой модели. Его описали авторы препринта на arXiv, о рецензии в основе не сказано.

ИИ-агент — программа, которая сама ходит по сайтам и управляет телефоном. Если часть шагов делает малая модель, задачи могут идти быстрее и дешевле. Результаты получены на исследованных авторами задачах.

Коротко

  • Метод работает без дообучения: ни малую, ни большую модель менять не нужно.
  • Большая модель пишет лишь меньшую часть шагов, остальные предлагает малая.
  • Проверяли на агентах для сайтов, телефонов и домашних сред, а также на математике.

Судья должен видеть экран, а не только текст шага

Агент рассуждает перед каждым действием, и каждый шаг ждёт большую модель. Авторы называют это задержкой и затратами, которые мешают внедрению.

Малая модель набрасывает шаг, а большую зовут, только если черновик отвергнут. Всё зависит от судьи, который проверяет черновик. Если он читает лишь текст, он не видит, подходит ли шаг к экрану.

По наблюдению авторов, несколько попыток малой модели содержат верный шаг почти так же часто, как большая делает его верно. Причём не всегда на тех же шагах.

Судья оценивает действия по скриншоту

Малая модель предлагает несколько вариантов следующего действия. Общая модель-судья смотрит на скриншот и оценивает, какие из них верны.

Если лучшее действие получило достаточно высокую оценку, его принимают. Если ни одно не дотянуло, шаг пишет большая модель.

По данным авторов, настроенная планка оценки переносится на сайты, которых система раньше не видела.

Малая модель с судьёй не уступает большой

В основном сравнении малая модель с Vanguard работает не хуже большой, которая иначе делала бы все шаги сама. На тестах Mind2Web и EB-ALFRED она заметно точнее.

Во втором сравнении большая модель взята из другого семейства, и связка получается и быстрее, и точнее. Среди сравниваемых судей Vanguard самый точный на задачах агентов.

Что это значит для вас

  • Агентов на малых моделях, возможно, удастся удешевить без потери точности.
  • Действия агента полезно проверять по экрану, а не только по тексту.
  • Это препринт: выводы принадлежат авторам, независимой проверки в основе нет.

Что делать

Пока ничего: дождитесь сведений о коде и о том, появится ли метод в продуктах.

Чего пока неизвестно

В основе не указано, опубликован ли код и появится ли метод в продуктах. Не названо, сколько денег и времени он экономит.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме