Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Механизм внимания плохо объясняет решения автопилота: тест на 80 000 сцен

Исследователи в препринте на arXiv проверили, можно ли по «вниманию» нейросети судить, какие объекты повлияли на решение автопилота. Выяснилось, что высокий вес объекта ещё не доказывает его влияние на решение.

Внимание — механизм нейросети, который придаёт одним входным данным больший вес, чем другим. Им часто объясняют, какие объекты важны беспилотнику, поэтому неточная оценка требует оговорок.

Коротко

  • Авторы сверили несколько способов оценки на основе внимания с эталоном из контрфактического анализа. В общем смысле это сравнение реального исхода с тем, каким он был бы при изменённых условиях.
  • Такие способы пропускают часть важных объектов и ошибочно относят к важным те, что почти не влияют на езду.
  • Лучше всего внимание работает на прямой однополосной дороге, а на многополосных и на перекрёстках точность падает.

Внимание показывает совпадение, а не причину

Споры о том, отражает ли внимание реальное влияние входных данных на ответ модели, раньше шли в основном в обработке естественного языка. Авторы перенесли вопрос в область автономного вождения.

Причинным эталоном служил контрфактический анализ. Какие именно изменения в сцене он включал, в описании работы не уточняется.

Ошибки в обе стороны, в сложных сценах их больше

Проверку провели более чем на 80 000 синтетических сцен. Использовали беспилотник на основе PlanT 2.0, современной модели для планирования движения.

Методы на основе внимания не всегда находят все значимые объекты. Они же склонны считать значимыми те, что почти или совсем не влияли на движение.

На простых прямых однополосных участках внимание неплохо выделяет нужное. На многополосных дорогах и перекрёстках точность снижается.

Авторы просят новых методов оценки

По их выводам, внимание плохо заменяет настоящую важность объектов. Нужны способы, которые точно измеряют причинное влияние каждого объекта и отделяют его от простых совпадений.

Что это значит для вас

  • Карты внимания в объяснениях беспилотников не стоит принимать за доказательство, что именно этот объект повлиял на решение.
  • Особенно осторожно стоит относиться к таким объяснениям для перекрёстков и многополосных дорог, где точность оказалась ниже.

Что делать

Пока ничего: следите за появлением методов, которые оценивают причинное влияние объектов на вождение.

Чего пока неизвестно

Тест шёл на синтетических сценах и на одной модели, PlanT 2.0. Как поведут себя другие системы и реальные дороги, из описания не следует.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме