Symbolic Swapper ломает планирование ИИ: качество падает более чем на 70%
Исследователи создали атаку Symbolic Swapper, которая снижает качество планирования языковых моделей более чем на 70%. Об этом сказано в научной статье на arXiv, опубликованной в ноябре 2026 года.
Если ИИ-агент самостоятельно выполняет работу по шагам, непривычные названия в задаче могут снизить надёжность его плана. В источнике нет данных о таком эффекте в готовых сервисах.
Коротко
- Модели хуже строят планы, когда названия действий и объектов не подсказывают смысл. Авторы считают это слабым местом ИИ-агентов.
- Новые модели рассуждения лучше справлялись с запутанными названиями, но авторы нашли способ сломать и их.
- Атаку создаёт другая языковая модель: она сама сочиняет описания задач с нестандартными названиями.
Модели опираются на смысл названий
ИИ-агент — это ИИ, которому дали задачу и разрешили действовать самостоятельно. Авторы отмечают, что таких агентов используют всё чаще, и умение планировать для них важно.
Любую задачу планирования описывают названиями действий, признаков и объектов. Если названия подсказывают смысл, модель может опереться на здравый смысл. Без таких подсказок её планирование ненадёжно, пишут авторы.
Атака подбирает названия автоматически
Главный вклад работы — Symbolic Swapper, атакующая модель на основе языковой. Она сама создаёт описания задач с нестандартными названиями. По словам авторов, такие описания систематически ломают планирование даже у сильных моделей рассуждения.
Проверяли базовые модели и подходы к планированию, которые считаются надёжными. По данным авторов, у обоих вариантов качество упало более чем на 70%.
Модель разбирается в задаче, но плана не строит
Авторы изучили, почему планирование рушится. После удачной подмены названий рассуждения моделей выглядят заметно хуже.
При этом сами модели показывают некоторую способность разобраться в задаче. Авторы видят здесь разрыв между восприятием задачи и умением спланировать действия в ней.
Что это значит для вас
- Результаты получены на задачах автоматического планирования. В источнике нет сведений о том, как это отразится на конкретных продуктах.
- Работа показывает: умение модели планировать зависит от того, как названы действия и объекты в задаче.
Что делать
Пока ничего: следите за тем, как разработчики ИИ-агентов отреагируют на такие атаки.
Чего пока неизвестно
В источнике не указано, как атака сработает в готовых продуктах и какие способы защиты возможны. Это научная работа, а не заявление разработчиков агентов.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты