Исследователи улучшили ИИ для автопилота: качество выросло на 29,7%
Исследователи описали на arXiv модель MD-Drive для автопилота: после оптимизации её качество выросло на 29,7%. Сравнивали с версией той же модели без оптимизации, а не с другими системами, и конкретный показатель в аннотации не назван.
По данным авторов, MD-Drive превосходит модели того же устройства, а с системами другой архитектуры даёт более выгодный баланс качества и вычислительных затрат. Пока это научная работа: о применении в реальных машинах в основе ничего не сказано.
Коротко
- Авторы взяли стандартную модель, которая понимает и картинку с камеры, и текст, и не добавляли к ней отдельных узлов для действий.
- Доработки сделаны на трёх этапах: при дообучении, при обучении с подкреплением и при работе готовой модели.
- Проверки шли на замкнутом тесте NAVSIM и на двух наборах данных для оценки в открытом контуре.
Модель уточняет весь ответ сразу, а не пишет по порядку
Дискретная диффузия, по описанию авторов, обрабатывает всю последовательность токенов целиком и улучшает её за несколько шагов очистки. Авторегрессионные модели, с которыми её сравнивают, строят ответ последовательно.
Авторы считают, что планирование сразу всего ответа и постепенное исправление хорошо подходят для автопилота. Но при переносе из общих задач в вождение возникают заметные расхождения и в обучении, и в работе модели.
Разрыв с вождением закрывают тремя доработками
В основе лежит VLM: модель, которая работает и с изображением, и с текстом. Авторы оставили её стандартной, без вспомогательных модулей действий и без специальной архитектуры экспертов.
При дообучении они изменили способ записи входных данных для планирования. Так модель реже галлюцинирует, то есть выдаёт выдумку за факт.
При обучении с подкреплением авторы фильтруют попытки по метрикам и разнообразию. Это помогает найти более сильные стартовые точки и шире перебирать варианты.
Наконец, метод DAD при работе модели подбирает режим декодирования под сложность дорожной сцены.
Преимущество подтверждено тестами самих авторов
Проверки шли на замкнутом тесте NAVSIM и на наборах данных nuScenes и DriveCoT, рассчитанных на оценку в открытом контуре (open loop). По словам авторов, MD-Drive превзошла авторегрессионные модели с той же архитектурой.
С системами другой архитектуры авторы сравнили баланс между качеством и вычислительными затратами и называют его более выгодным.
Что это значит для вас
- Это исследование, а не готовый продукт: сведений о запуске в автомобилях нет.
- Авторы показывают, что можно улучшить результат на стандартной модели, без сложных надстроек.
- Все выводы о превосходстве основаны на тестах самих авторов.
Что делать
Пока ничего: дождитесь независимых проверок и сообщений о применении MD-Drive.
Чего пока неизвестно
Аннотация не называет, какой именно показатель вырос, и не приводит результаты по каждому набору данных. Числовых оценок вычислительных затрат там тоже нет.
Редакция «Применяй ИИ» · Как мы готовим новости