Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Скатерть с подобранным узором сбивает ИИ-робота в тестах авторов

Скатерть с цветным растительным узором и полупрозрачным двоением листьев в центре.
Узор на ткани — метафора визуальной помехи для ИИ, управляющего роботом. · Иллюстрация редакции, создана в Codex

Исследователи описали DMT-Attack — атаку на ИИ, который управляет роботом-манипулятором по изображению с камеры. Метод подбирает естественно выглядящую текстуру для обычного предмета, например скатерти, пишут авторы в аннотации на arXiv.

Обычный на вид предмет может мешать роботу выполнять задачу, но о проверке на реальных роботах в аннотации не сказано.

Естественный узор реже вызывает подозрения

Такие модели постоянно опираются на изображение с камеры. Оптимизированные узоры выделяются на фоне, и их легче заметить и убрать, поэтому авторы ищут текстуры, выглядящие естественно.

Метод проверили на двух моделях в четырёх наборах LIBERO. Усреднённый показатель успеха атаки cASR составил 57,9%, у UPA-RFAS — 44,7%, у случайных естественных текстур — 19,7%.

Показатель срабатывания детектора, настроенного на чистых сценах, у DMT-Attack равен 45%, а у оптимизированных заплаток — 97,5–100%.

Что делать

Пока ничего: в аннотации нет рекомендаций для пользователей.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме