Банк сравнил 10 платформ с ИИ-агентами и заметил эффект ореола в оценках
Лаборатория глобального банка сравнила десять платформ с ИИ-агентами, сообщает препринт на arXiv. Агент — это программа, которая сама планирует шаги и пользуется другими программами, например меняет данные в корпоративной системе.
Компании покупают такие платформы в основном по показам поставщиков. Исследование говорит, что оценка по показам отражает подачу в той же мере, что и возможности.
Коротко
- Оценивала группа сотрудников разных подразделений: девять критериев, три задачи — кредитный риск контрагента, ответы по найденным документам и автоматизация процессов.
- Платформы разделились на три группы, и деление не менялось при другой важности критериев.
- Авторы предлагают другой порядок: сначала проверки-допуски, потом баллы.
Десять платформ разошлись на три группы
В тест вошли открытые программы, коммерческие продукты и наборы сервисов облачных гигантов. Общий балл скрыл сильные стороны платформ на отдельных задачах.
Публичные тесты гоняют модель в одинаковой заранее заданной настройке, а банки покупают платформу целиком: с управлением агентами, памятью и инструментами.
Разные критерии давали почти одинаковые оценки
Коэффициент Кронбаха показывает, насколько оценки по разным критериям движутся вместе; при единице критерии работают как один. Здесь он равен 0,98.
Ранговая корреляция сравнивает порядок платформ по одному критерию с порядком по общему баллу. У восьми критериев из девяти она не ниже 0,93.
Авторы называют это эффектом ореола: общее впечатление переносится на каждую оценку. Значит, оценка по показам измеряет подачу так же, как возможности.
Авторы предлагают сначала допуск, потом баллы
Протокол состоит из четырёх слоёв: возможности, надёжность выполнения, проверки допуска, связанные с управлением, и бизнес-ценность. Платформа сначала проходит проверки и лишь затем получает баллы.
Надёжность предлагают считать по записям шагов программы при повторных запусках одной задачи. Добавлена и шкала готовности платформы к самостоятельной работе.
Что это значит для вас
- Яркий показ не доказывает, что платформа справится с вашей задачей.
- Высокий общий балл может скрывать слабость платформы в нужной вам задаче.
Что делать
- Проверяйте платформу на своих задачах, а не только по показу поставщика.
- Смотрите оценки по критериям отдельно от общего балла.
- Просите повторить одну задачу несколько раз и сравните, насколько результаты совпадают.
Чего пока неизвестно
Банк и платформы не названы, и по аннотации неясно, какая платформа в какую группу попала. Протокол пока остаётся предложением авторов.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты