Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Проверка ИИ-агентов выявила действия вопреки отказу человека

Авторы исследования на arXiv обнаружили сбои в исполнении решений человека ИИ-агентами. ИИ-агент — программа на основе ИИ, которая выполняет действия через инструменты.

При поручении задачи ИИ действие может выполниться после вашего отказа или остаться незавершённым после одобрения.

Исследователи проверяли выбор команды моделью, её запуск и продолжение работы после решения человека. Записи вызовов инструментов сопоставляли с фактическими изменениями в рабочих системах.

В парных испытаниях трёх моделей 7 из 300 одобрений остались без завершения. Действий вопреки отказу в этой серии не было.

Отдельно авторы изучили общедоступные сценарии рабочих процессов. В четырёх из 59 сопоставимых сценариев действие выполнилось после отказа.

Что делать

При использовании ИИ-агентов проверяйте фактический результат после одобрения или отказа.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме