Тест MVDriveBench: ИИ-модели плохо справляются с видео со всех камер авто
Авторы научной статьи представили MVDriveBench — набор вопросов по видео с камер вокруг беспилотного автомобиля. Мультимодальные модели, то есть нейросети для текста и видео, опираются в основном на переднюю камеру. По итогам проверки им не хватает умения разбирать обзор со всех сторон во времени и пространстве.
Для надёжного управления машиной важен обзор со всех камер, а текущие модели с ним справляются недостаточно.
В тест вошли 12 категорий заданий: от простого восприятия картинки до решений за рулём. Авторы проверили 23 модели: открытые, закрытые и специализированные.
Специализированные модели испытали ещё и в симуляторе вождения AlpaSim. По данным авторов, чем лучше модель работает с обзором со всех камер, тем лучше она управляет машиной.
Что делать
Пока ничего: это научный тест, а не продукт, который можно купить или включить.
Чего пока неизвестно
В описании работы нет оценок отдельных моделей и итоговых цифр.
Редакция «Применяй ИИ» · Как мы готовим новости