Обучение ИИ-агентов снизило точность в другой задаче до 6,6%
Авторы работы на arXiv проверили, как обучение ИИ-агентов влияет на другие задачи. ИИ-агент — программа на основе ИИ, которая использует инструменты для выполнения задач.
После обучения одной задаче агент может хуже справляться с другими.
В исследовании проверяли математику, бытовые действия и запросы покупателей. Обучение общим рассуждениям повысило точность в математике с 16,7% до 38%. Доля попыток применить инструменты при этом сократилась с 70,4% до 14,4%.
После обучения на бытовых задачах точность в другом тесте упала с 41,5% до 6,6%. При вызовах инструментов агенты часто не учитывали, какие сведения нужны от пользователя. Например, вызов зависел от информации пользователя, а агент эту связь нарушал.
Что делать
После обучения проверяйте все задачи, для которых используете агента.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты