Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнес

Банк сравнил 10 платформ с ИИ-агентами и заметил эффект ореола в оценках

Лаборатория глобального банка сравнила десять платформ с ИИ-агентами, сообщает препринт на arXiv. Агент — это программа, которая сама планирует шаги и пользуется другими программами, например меняет данные в корпоративной системе.

Компании покупают такие платформы в основном по показам поставщиков. Исследование говорит, что оценка по показам отражает подачу в той же мере, что и возможности.

Коротко

  • Оценивала группа сотрудников разных подразделений: девять критериев, три задачи — кредитный риск контрагента, ответы по найденным документам и автоматизация процессов.
  • Платформы разделились на три группы, и деление не менялось при другой важности критериев.
  • Авторы предлагают другой порядок: сначала проверки-допуски, потом баллы.

Десять платформ разошлись на три группы

В тест вошли открытые программы, коммерческие продукты и наборы сервисов облачных гигантов. Общий балл скрыл сильные стороны платформ на отдельных задачах.

Публичные тесты гоняют модель в одинаковой заранее заданной настройке, а банки покупают платформу целиком: с управлением агентами, памятью и инструментами.

Разные критерии давали почти одинаковые оценки

Коэффициент Кронбаха показывает, насколько оценки по разным критериям движутся вместе; при единице критерии работают как один. Здесь он равен 0,98.

Ранговая корреляция сравнивает порядок платформ по одному критерию с порядком по общему баллу. У восьми критериев из девяти она не ниже 0,93.

Авторы называют это эффектом ореола: общее впечатление переносится на каждую оценку. Значит, оценка по показам измеряет подачу так же, как возможности.

Авторы предлагают сначала допуск, потом баллы

Протокол состоит из четырёх слоёв: возможности, надёжность выполнения, проверки допуска, связанные с управлением, и бизнес-ценность. Платформа сначала проходит проверки и лишь затем получает баллы.

Надёжность предлагают считать по записям шагов программы при повторных запусках одной задачи. Добавлена и шкала готовности платформы к самостоятельной работе.

Что это значит для вас

  • Яркий показ не доказывает, что платформа справится с вашей задачей.
  • Высокий общий балл может скрывать слабость платформы в нужной вам задаче.

Что делать

  1. Проверяйте платформу на своих задачах, а не только по показу поставщика.
  2. Смотрите оценки по критериям отдельно от общего балла.
  3. Просите повторить одну задачу несколько раз и сравните, насколько результаты совпадают.

Чего пока неизвестно

Банк и платформы не названы, и по аннотации неясно, какая платформа в какую группу попала. Протокол пока остаётся предложением авторов.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме