ИИ-агенты провели 1097 экспериментов с поисковой моделью и приняли 325 правок
Авторы статьи на arXiv построили автономных ИИ-агентов, которые улучшают модели ранжирования в крупных поисковых системах. В одной кампании система довела до конца 1097 экспериментов и приняла 325 правок.
Раньше было неясно, справятся ли такие агенты с системами промышленного масштаба, а не с тестовыми задачами. По словам авторов, справились: лучшая модель дала прирост в крупном A/B-тесте.
Коротко
- Доля принятых правок составила 29,6%, а в прошлой кампании с другим критерием оценки и другим ограничением поиска было 15,6%.
- Лучшая модель увеличила показатель search volume на 0,23% в крупном A/B-тесте.
- Часть улучшений оказалась архитектурными изменениями, которые команда раньше не пробовала: их взяли из практики отрасли и научной литературы.
Агенты ведут цикл инженера, а решения остаются за людьми
Обычно улучшение таких моделей идёт медленно. Инженер формулирует гипотезу, меняет код, обучает модель и оценивает её офлайн и онлайн, часто полагаясь на собственный опыт и интуицию.
В новой системе предложение изменений, код, обучение и оценку берут на себя агенты. Инженеры сохраняют контроль над постановкой цели, направлением поиска и финальной проверкой модели.
Три препятствия авторы обходили тремя приёмами
Первое препятствие: результат каждого эксперимента приходится ждать часами. Второе: офлайн-метрики не всегда предсказывают эффект онлайн. Третье: после первых побед улучшения становятся всё меньше.
Против этого авторы запускали обучение нескольких вариантов параллельно. Они настроили цель оптимизации так, чтобы она соответствовала онлайн-эффекту. Ещё они тщательно проработали контекст, с которым работают агенты.
Устройство цикла вокруг модели важно не меньше её силы
Авторы пишут, что интуитивно кажется достаточным взять более сильную модель. По их опыту, дизайн цикла вокруг неё так же критичен.
Сравнивать 29,6% и 15,6% напрямую нельзя: между кампаниями менялись и критерий оценки, и ограничение поиска вариантов. Чем именно они различались, в аннотации не раскрыто.
Авторы также считают, что агенты способны исследовать варианты, которые человеческая интуиция упускает.
Что это значит для вас
- Авторы утверждают, что автономные агенты могут выполнять настоящую инженерную работу с моделями машинного обучения в системах промышленного масштаба.
- Люди остаются в цикле: цель, направление поиска и итоговую модель контролируют инженеры.
- Эксперименты шли на крупных поисковых моделях, а прирост проверили в большом A/B-тесте. Какой это сервис, в аннотации не названо.
Что делать
Пока ничего: практических шагов для читателя в аннотации нет, следите за подробностями от авторов.
Чего пока неизвестно
В аннотации не сказано, что именно измеряет search volume и что рост на 0,23% значит для пользователей. Не названы сервис, затраты вычислений и доступность подхода другим компаниям.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты