Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Symbolic Swapper ломает планирование ИИ: качество падает более чем на 70%

Исследователи создали атаку Symbolic Swapper, которая снижает качество планирования языковых моделей более чем на 70%. Об этом сказано в научной статье на arXiv, опубликованной в ноябре 2026 года.

Если ИИ-агент самостоятельно выполняет работу по шагам, непривычные названия в задаче могут снизить надёжность его плана. В источнике нет данных о таком эффекте в готовых сервисах.

Коротко

  • Модели хуже строят планы, когда названия действий и объектов не подсказывают смысл. Авторы считают это слабым местом ИИ-агентов.
  • Новые модели рассуждения лучше справлялись с запутанными названиями, но авторы нашли способ сломать и их.
  • Атаку создаёт другая языковая модель: она сама сочиняет описания задач с нестандартными названиями.

Модели опираются на смысл названий

ИИ-агент — это ИИ, которому дали задачу и разрешили действовать самостоятельно. Авторы отмечают, что таких агентов используют всё чаще, и умение планировать для них важно.

Любую задачу планирования описывают названиями действий, признаков и объектов. Если названия подсказывают смысл, модель может опереться на здравый смысл. Без таких подсказок её планирование ненадёжно, пишут авторы.

Атака подбирает названия автоматически

Главный вклад работы — Symbolic Swapper, атакующая модель на основе языковой. Она сама создаёт описания задач с нестандартными названиями. По словам авторов, такие описания систематически ломают планирование даже у сильных моделей рассуждения.

Проверяли базовые модели и подходы к планированию, которые считаются надёжными. По данным авторов, у обоих вариантов качество упало более чем на 70%.

Модель разбирается в задаче, но плана не строит

Авторы изучили, почему планирование рушится. После удачной подмены названий рассуждения моделей выглядят заметно хуже.

При этом сами модели показывают некоторую способность разобраться в задаче. Авторы видят здесь разрыв между восприятием задачи и умением спланировать действия в ней.

Что это значит для вас

  • Результаты получены на задачах автоматического планирования. В источнике нет сведений о том, как это отразится на конкретных продуктах.
  • Работа показывает: умение модели планировать зависит от того, как названы действия и объекты в задаче.

Что делать

Пока ничего: следите за тем, как разработчики ИИ-агентов отреагируют на такие атаки.

Чего пока неизвестно

В источнике не указано, как атака сработает в готовых продуктах и какие способы защиты возможны. Это научная работа, а не заявление разработчиков агентов.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме