Скатерть с подобранным узором сбивает ИИ-робота в тестах авторов

Исследователи описали DMT-Attack — атаку на ИИ, который управляет роботом-манипулятором по изображению с камеры. Метод подбирает естественно выглядящую текстуру для обычного предмета, например скатерти, пишут авторы в аннотации на arXiv.
Обычный на вид предмет может мешать роботу выполнять задачу, но о проверке на реальных роботах в аннотации не сказано.
Естественный узор реже вызывает подозрения
Такие модели постоянно опираются на изображение с камеры. Оптимизированные узоры выделяются на фоне, и их легче заметить и убрать, поэтому авторы ищут текстуры, выглядящие естественно.
Метод проверили на двух моделях в четырёх наборах LIBERO. Усреднённый показатель успеха атаки cASR составил 57,9%, у UPA-RFAS — 44,7%, у случайных естественных текстур — 19,7%.
Показатель срабатывания детектора, настроенного на чистых сценах, у DMT-Attack равен 45%, а у оптимизированных заплаток — 97,5–100%.
Что делать
Пока ничего: в аннотации нет рекомендаций для пользователей.
Редакция «Применяй ИИ» · Как мы готовим новости




