ИИ-агент сам проверяет результат: новый метод обошёл аналоги на 2–4 пункта
Исследователи описали метод Verify by Doing: ИИ-агент проверяет итог задачи сам, когда внешней оценки нет. ИИ-агент — это программа на основе ИИ, которая выполняет задачи сама, с помощью инструментов. Об этом сказано в статье на arXiv.
Если агенту не у кого узнать, справился ли он, нужна собственная проверка: иначе неполная проверка может закрепить ошибки.
В методе одна часть выполняет задачу, а другая проверяет результат: изучает созданные файлы и то, что изменилось в системе. Обе части улучшаются прямо во время одной задачи, а сама модель не переобучается.
Метод проверили на трёх наборах задач, включая автоматизацию и банковские операции. Среди способов без внешней оценки он набрал лучший общий балл: на 3,3, 4,1 и 2,3 пункта выше сильнейшего аналога.
Авторы также показали, что более точная проверка помогает находить удачные ответы среди уже готовых, не создавая новых.
Что делать
Пока ничего: это исследование, о готовом сервисе в источнике не сказано.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты