Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Языковые модели проиграли ИИ-переговорщикам в 32 из 36 сравнений

Исследователи свели девять ИИ-агентов, то есть программ, которые сами ведут переговоры, в турнир на модельном рынке грузоперевозок. Результаты опубликованы в препринте на arXiv (так называют предварительную научную публикацию), и общего победителя там нет.

Если ИИ-агентам поручат торговаться за людей и бизнес, нужно знать, где они дают сбой. Авторы показывают, что одиночные дуэли и один рынок такие провалы прячут.

Коротко

  • Девять стратегий торговались одновременно с обеих сторон рынка, и лидера во всех условиях не оказалось.
  • Одна стратегия при нехватке грузоотправителей потеряла в доле сделок: было 62%, стало 16%.
  • Девять языковых моделей от 1 до 72 млрд параметров не выиграли ни одного сравнения, а две сильнейшие стратегии обошли их в 32 из 36.

Лидера на всех рынках не нашлось

Авторы построили девять стратегий переговоров пяти типов: на правилах, на поиске, на оптимизации, на подражании и на обучении с подкреплением. Последнее значит, что программа учится на наградах за удачные действия.

Все девять работали одновременно и за грузоотправителей, и за перевозчиков. Стороны торгуются о цене, а затем алгоритм Гейла — Шепли решает, кто с кем окажется в паре.

Сценарий прогнали при балансе спроса и предложения и при двух вариантах дефицита. На сбалансированном рынке перевозчиков первое место поделили три стратегии: статистически они шли вровень.

Сильная на одном рынке стратегия слабеет на другом

Назовём первую стратегию с подкреплением RL: её учили только на одиночных переговорах. Когда не хватало перевозчиков, она обыграла всех восьмерых соперников.

Когда дефицитными стали грузоотправители, RL пришлось делить спрос с другими перевозчиками. Доля её сделок упала с 62% до 16%.

Вторую стратегию, RL2, учили уже против других агентов. Доля сделок у неё везде держалась выше 91%, но по реальной выгоде она проиграла всем восьмерым соперникам со стороны грузоотправителей в двух из трёх условий.

Языковые модели не выиграли ни одного сравнения

Исследователи проверили и девять больших языковых моделей, от 1 до 72 млрд параметров. Условия были те же, что у остальных стратегий.

Две сильнейшие стратегии выиграли у моделей со статистически подтверждённым преимуществом в 32 из 36 сравнений. Сами модели не победили ни разу.

Что это значит для вас

  • Оценка ИИ-переговорщика по одиночным дуэлям или одному рынку может скрыть его слабые места, считают авторы.
  • Доля заключённых сделок и итоговая выгода — разные показатели: RL2 был силён по первому и проигрывал по второму.
  • В этом тесте языковые модели уступили специализированным стратегиям, но переносить вывод на другие задачи нельзя.

Что делать

Пока ничего: это лабораторный турнир на модельном рынке, практических шагов в нём нет.

Чего пока неизвестно

Из аннотации не ясно, повторятся ли результаты на реальных площадках и с другими языковыми моделями.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме