ИИ-агенты находили больше фактов, но реже замечали противоречия
Авторы работы на arXiv представили тест передачи фактов между ИИ-агентами. Это программы на основе ИИ, которым поручают отдельные задачи. Помощники изучают документы, а ведущий агент собирает итоговый ответ.
При анализе документов найденные помощниками факты могут не попасть в общий вывод.
В тесте на задачах Harvey LAB сравнили три модели при сопоставимых расходах на генерацию. При обязательном разделении работы обе противоречащие версии находились в 68,7% случаев против 50,2% у одиночного агента. Но доля выявленных противоречий снизилась с 16,2% до 13,2%.
Помощники сообщали обе версии лишь для 35,2% найденных пар. Когда обе версии читал один помощник, противоречия выявлялись чаще, чем при работе одиночного агента. Когда версии распределялись между помощниками — реже.
Что делать
При анализе документов уделите внимание передаче противоречащих сведений от помощников ведущему агенту: авторы выделяют её как одно из главных направлений улучшения.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты