ИИ-рынки приближались к объявленной цели в опытах на пяти моделях
Авторы исследования на arXiv проверили, как объявленная цель влияет на пять искусственных рынков с ИИ-участниками. Вместо людей в них действуют языковые модели, а общий результат выражен одним индексом.
При чтении результатов моделирования рынка нужно учитывать, сообщали ли ИИ желаемый итог. В этих опытах такое сообщение сдвигало результат к цели.
Коротко
- Исследователи ежедневно объявляли ориентир, не вмешиваясь в отдельные решения, заявки и сведение сделок.
- Проверка разделяет реакцию участников на информацию и формирование общего результата из их действий.
- Метод позволяет оценивать оба этапа по общим входным сведениям и итогам рынка.
Объявленный путь менял движение рыночного индекса
Искусственный рынок здесь состоит из ИИ-агентов — участников на основе языковых моделей. Среди условий опыта авторы меняли соотношение акций и денег. Объявленная цель задавала путь общего индекса по дням.
Исследователи использовали исходный путь и его перевёрнутую версию. Для каждого варианта считали оценку того, насколько итог следует объявленному пути. Сравнением служил опыт, где ориентир не сообщали.
Без новостей оценка выросла на 0,306 и 0,415 для двух вариантов цели. Это прибавка к оценке следования пути, а не процент роста рынка. При добавлении новостей прибавки составили 0,183 и 0,329.
С новостями оценки приходится читать иначе
Когда участникам сообщают только ориентир, авторы сопоставляют оценки двух противоположных путей. Их общий уровень показывает, насколько рынок воспроизводит объявленную цель. Разница отражает систематическое смещение в пользу одного из направлений.
Внешние сведения ослабляют влияние ориентира. Тогда, по подходу авторов, содержательный смысл сохраняет лишь разница оценок двух путей. Общий уровень уже нельзя трактовать так же, как в опыте без внешних сведений.
Разница составила 0,0341 с фундаментальными данными и 0,0487 с новостями. Это отдельные условия проверки. Один сводный балл не позволяет различить два исследуемых этапа.
Что это значит для вас
- Близость результата к цели ещё не объясняет, на каком этапе она возникла: при реакции на сведения или при сложении действий участников.
- Работа проверяет искусственные рынки. Её результаты сами по себе не показывают, как поведёт себя реальный рынок.
Что делать
- Проверьте, объявляли ли участникам желаемый итог.
- Уточните, получали ли они новости или другие внешние сведения.
- Сопоставьте результат с опытом без объявленной цели.
Редакция «Применяй ИИ» · Как мы готовим новости