Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Обучение ИИ-агентов снизило точность в другой задаче до 6,6%

Авторы работы на arXiv проверили, как обучение ИИ-агентов влияет на другие задачи. ИИ-агент — программа на основе ИИ, которая использует инструменты для выполнения задач.

После обучения одной задаче агент может хуже справляться с другими.

В исследовании проверяли математику, бытовые действия и запросы покупателей. Обучение общим рассуждениям повысило точность в математике с 16,7% до 38%. Доля попыток применить инструменты при этом сократилась с 70,4% до 14,4%.

После обучения на бытовых задачах точность в другом тесте упала с 41,5% до 6,6%. При вызовах инструментов агенты часто не учитывали, какие сведения нужны от пользователя. Например, вызов зависел от информации пользователя, а агент эту связь нарушал.

Что делать

После обучения проверяйте все задачи, для которых используете агента.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме