ConfGuard проверяет прогнозы ИИ перед решением о ремонте
Авторы исследования на arXiv представили ConfGuard — защиту ИИ для обслуживания техники. Её испытали на 10 196 фрагментах показаний датчиков.
ИИ уже оценивает срок до отказа оборудования и отправляет заявки на обслуживание. Подмена текста инструкции или показаний датчиков может исказить решение о ремонте.
Коротко
- Проверка прогноза по фиксированным физическим границам оставила оба способа атаки открытыми.
- Оператор может задать ожидаемую долю срабатываний на показаниях без вмешательства.
- Авторы описали класс атак, который один из механизмов защиты пропускает.
Прогноз сверяют с историей работы и правилами износа
ИИ читает показания датчиков, ищет инструкции и направляет заявки на работы. По словам авторов, существующая защита проверяет происхождение данных и права доступа. Но она не определяет, согласуется ли прогноз с физикой износа.
ConfGuard опирается на историю оборудования, уже принятую системой. Проверяемую оценку срока до отказа ограничивают сверху: она не должна расти. За один рабочий цикл такая оценка может сократиться максимум на один цикл.
Отдельная проверка касается срочности обслуживания. Система сопоставляет выбор ИИ с решением, полученным по фиксированному правилу. Оба решения опираются на один и тот же интервал оценки срока до отказа.
На чистых показаниях защита сработала в 2,7% случаев
Порог срабатывания настраивают по полным историям работы оборудования. В тесте C-MAPSS защита направила на дополнительную проверку 2,7% фрагментов без атаки. Целевой уровень составлял 5%.
Это доля срабатываний на чистых показаниях, а не доля отражённых атак. Настройка задаёт ожидаемую частоту таких срабатываний.
С моделью Qwen3-14B авторы проверили два вмешательства. Первое — подмена текста в найденном документе ради изменения срочности ремонта. Второе — искажение показаний датчиков, влияющее на оценку срока до отказа.
В этих испытаниях сочетание проверок лучше сдерживало атаки, чем защитная инструкция для модели. При этом вмешательство через датчики полностью остановить не удалось.
Что это значит для вас
- Для ИИ, который назначает обслуживание техники, контроль доступа дополняется проверкой самого прогноза.
- Устойчивость к подмене инструкции ещё не гарантирует защиты от искажённых показаний.
Что делать
Пока ничего: следите за дальнейшими результатами испытаний ConfGuard.
Чего пока неизвестно
Аннотация не раскрывает устройство атаки, которую пропускает отдельный механизм. По ней нельзя судить, позволяет ли это обойти всю защиту.
Редакция «Применяй ИИ» · Как мы готовим новости