Языковые модели проиграли ИИ-переговорщикам в 32 из 36 сравнений
Исследователи свели девять ИИ-агентов, то есть программ, которые сами ведут переговоры, в турнир на модельном рынке грузоперевозок. Результаты опубликованы в препринте на arXiv (так называют предварительную научную публикацию), и общего победителя там нет.
Если ИИ-агентам поручат торговаться за людей и бизнес, нужно знать, где они дают сбой. Авторы показывают, что одиночные дуэли и один рынок такие провалы прячут.
Коротко
- Девять стратегий торговались одновременно с обеих сторон рынка, и лидера во всех условиях не оказалось.
- Одна стратегия при нехватке грузоотправителей потеряла в доле сделок: было 62%, стало 16%.
- Девять языковых моделей от 1 до 72 млрд параметров не выиграли ни одного сравнения, а две сильнейшие стратегии обошли их в 32 из 36.
Лидера на всех рынках не нашлось
Авторы построили девять стратегий переговоров пяти типов: на правилах, на поиске, на оптимизации, на подражании и на обучении с подкреплением. Последнее значит, что программа учится на наградах за удачные действия.
Все девять работали одновременно и за грузоотправителей, и за перевозчиков. Стороны торгуются о цене, а затем алгоритм Гейла — Шепли решает, кто с кем окажется в паре.
Сценарий прогнали при балансе спроса и предложения и при двух вариантах дефицита. На сбалансированном рынке перевозчиков первое место поделили три стратегии: статистически они шли вровень.
Сильная на одном рынке стратегия слабеет на другом
Назовём первую стратегию с подкреплением RL: её учили только на одиночных переговорах. Когда не хватало перевозчиков, она обыграла всех восьмерых соперников.
Когда дефицитными стали грузоотправители, RL пришлось делить спрос с другими перевозчиками. Доля её сделок упала с 62% до 16%.
Вторую стратегию, RL2, учили уже против других агентов. Доля сделок у неё везде держалась выше 91%, но по реальной выгоде она проиграла всем восьмерым соперникам со стороны грузоотправителей в двух из трёх условий.
Языковые модели не выиграли ни одного сравнения
Исследователи проверили и девять больших языковых моделей, от 1 до 72 млрд параметров. Условия были те же, что у остальных стратегий.
Две сильнейшие стратегии выиграли у моделей со статистически подтверждённым преимуществом в 32 из 36 сравнений. Сами модели не победили ни разу.
Что это значит для вас
- Оценка ИИ-переговорщика по одиночным дуэлям или одному рынку может скрыть его слабые места, считают авторы.
- Доля заключённых сделок и итоговая выгода — разные показатели: RL2 был силён по первому и проигрывал по второму.
- В этом тесте языковые модели уступили специализированным стратегиям, но переносить вывод на другие задачи нельзя.
Что делать
Пока ничего: это лабораторный турнир на модельном рынке, практических шагов в нём нет.
Чего пока неизвестно
Из аннотации не ясно, повторятся ли результаты на реальных площадках и с другими языковыми моделями.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты