Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Новый метод учит ИИ отражать атаки и сохранять прежнюю защиту

Авторы исследования на arXiv предложили метод обучения защиты ИИ от обхода ограничений. Он нацелен на два сбоя при совместном обучении атаки и защиты.

Способы обхода меняются, и защита на заранее собранных примерах отстаёт. Авторы предлагают обновлять её, сохраняя способность модели решать обычные задачи.

Коротко

  • Новизна текста запроса ещё не означает, что появился новый способ атаки.
  • Оценки угроз должны учитывать случайные различия ответов и изменения самой модели.
  • Метод проверили в испытаниях безопасности, автоматических атак и общих способностей.

Обучение поощряет разные стратегии обхода

В предложенном подходе две стороны обучаются совместно. Одна создаёт запросы для обхода ограничений, другая учится противостоять им. По мере обучения меняются обе стороны.

Первый сбой — сужение набора атак. Атакующая сторона закрепляется на нескольких удачных вариантах. Прежние способы поощрения разнообразия оценивают новизну текста, а не стратегии.

Авторы разделяют стратегии по категории риска и стилю атаки. Награда — оценка, направляющая обучение, — зависит от расширения охвата этих сочетаний. Её величина ограничена, но сигнал для поиска новых стратегий не исчезает.

Прежние атаки возвращаются с обновлённой оценкой угрозы

Второй сбой возникает у защищающейся модели. При смене атак она может утратить способность противостоять прежним. Метод сохраняет примеры для повторного обучения в общей базе.

Авторы указывают на слабость прежних оценок для отбора таких примеров. Они не учитывают неопределённость оценки, случайные различия ответов и изменения защиты. Поэтому прежнего балла недостаточно для выбора атак.

Новый подход использует вероятностные оценки угроз. Они обновляются с учётом давности, а примеры выбираются с учётом этих оценок. Так повторное обучение подстраивается под меняющийся набор угроз.

Что это значит для вас

  • По сообщению авторов, защита стала устойчивее к атакам за пределами обучающего набора. Это результат испытаний; он не даёт гарантии безопасности каждого ответа.
  • В испытаниях сохранились общие способности моделей, а охват стратегий атак расширился. Авторы сообщают об усилении защиты без потери этих способностей.

Что делать

Пока ничего: следите за дальнейшими результатами исследования.

Чего пока неизвестно

Аннотация не приводит численных результатов и не называет проверенные модели. По ней нельзя оценить величину улучшения.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме