ИИ-агенты могут улучшать свой код: авторы описали общую схему
Авторы работы на arXiv предложили четыре этапа улучшения управляющего кода ИИ-агентов. ИИ-агент — система, в которой модель выполняет задачу по шагам с помощью инструментов.
Успех такой системы зависит и от обвязки — кода, который управляет работой модели. Ошибки в нём могут приводить к зацикливанию и лишним затратам.
Коротко
- Настройки обвязки для одной модели могут мешать работе другой.
- Полная перезапись кода может нарушить связи между его частями.
- Авторы разбирают защиту от попыток подменить оценку результата.
Менять предлагают отдельные части управляющего кода
Схема охватывает четыре части обвязки. Это контекст и состояние, управление агентом, работа с инструментами, проверка и восстановление. Они отвечают за сведения для модели, ход работы, действия и контроль результата.
Цикл начинается с разбора неудач по записям выполненных действий. Затем система предлагает правку кода, проверяет её и внедряет обновление. Такой разбор отделяет ошибки обвязки от ограничений самой модели.
Система ищет способы вовремя остановиться и сохранить опыт
По длинным цепочкам действий система находит решения, которые можно применять повторно. Среди примеров — проверка перед завершением и механизм разрыва зацикливания. Ещё один пример — постоянная память.
Самостоятельная правка кода тоже создаёт риски. Авторы рассматривают разрастание инструкций и подгонку поведения под проверочные задания. Для таких сбоев предложены защитные меры.
Правки с проверкой выиграли в испытаниях на исправление кода
Авторы испытали подход на SWE-bench Lite — наборе задач по исправлению ошибок в программном коде. По их результатам, модульные изменения с проверкой превзошли оба способа сравнения. Это пересмотр инструкций по итогам ошибок и переписывание всей обвязки.
Преимущество наблюдалось на разных моделях и хранилищах кода. При этом подход требовал существенно меньше токенов — единиц объёма текста, который обрабатывает модель.
Что это значит для вас
- При выборе агента имеет значение не только модель, но и программа, которая управляет её действиями.
- Результат исследования относится к испытаниям на SWE-bench Lite. Он не даёт основания обещать такое же преимущество в любой задаче.
Что делать
Пока ничего: следите за дальнейшими результатами проверки предложенной схемы.
Чего пока неизвестно
В аннотации нет численных результатов: насколько выросла успешность и во сколько раз сократился расход токенов.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты