Новый метод учит ИИ отражать атаки и сохранять прежнюю защиту
Авторы исследования на arXiv предложили метод обучения защиты ИИ от обхода ограничений. Он нацелен на два сбоя при совместном обучении атаки и защиты.
Способы обхода меняются, и защита на заранее собранных примерах отстаёт. Авторы предлагают обновлять её, сохраняя способность модели решать обычные задачи.
Коротко
- Новизна текста запроса ещё не означает, что появился новый способ атаки.
- Оценки угроз должны учитывать случайные различия ответов и изменения самой модели.
- Метод проверили в испытаниях безопасности, автоматических атак и общих способностей.
Обучение поощряет разные стратегии обхода
В предложенном подходе две стороны обучаются совместно. Одна создаёт запросы для обхода ограничений, другая учится противостоять им. По мере обучения меняются обе стороны.
Первый сбой — сужение набора атак. Атакующая сторона закрепляется на нескольких удачных вариантах. Прежние способы поощрения разнообразия оценивают новизну текста, а не стратегии.
Авторы разделяют стратегии по категории риска и стилю атаки. Награда — оценка, направляющая обучение, — зависит от расширения охвата этих сочетаний. Её величина ограничена, но сигнал для поиска новых стратегий не исчезает.
Прежние атаки возвращаются с обновлённой оценкой угрозы
Второй сбой возникает у защищающейся модели. При смене атак она может утратить способность противостоять прежним. Метод сохраняет примеры для повторного обучения в общей базе.
Авторы указывают на слабость прежних оценок для отбора таких примеров. Они не учитывают неопределённость оценки, случайные различия ответов и изменения защиты. Поэтому прежнего балла недостаточно для выбора атак.
Новый подход использует вероятностные оценки угроз. Они обновляются с учётом давности, а примеры выбираются с учётом этих оценок. Так повторное обучение подстраивается под меняющийся набор угроз.
Что это значит для вас
- По сообщению авторов, защита стала устойчивее к атакам за пределами обучающего набора. Это результат испытаний; он не даёт гарантии безопасности каждого ответа.
- В испытаниях сохранились общие способности моделей, а охват стратегий атак расширился. Авторы сообщают об усилении защиты без потери этих способностей.
Что делать
Пока ничего: следите за дальнейшими результатами исследования.
Чего пока неизвестно
Аннотация не приводит численных результатов и не называет проверенные модели. По ней нельзя оценить величину улучшения.
Редакция «Применяй ИИ» · Как мы готовим новости