Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

QL-VLM сжимает ИИ для картинок до 4 бит и ускоряет ответы в 6,4 раза

График точности и объёма моделей QL-VLM и базовых методов на ScienceQA-IMG
График QL-VLM. Круги сравнивают точность, объём модели и затраты на ответ в тесте ScienceQA-IMG. · Yanjing Li, Sheng Xu, Baochang Zhang, Xianbin Cao, Yawei Li · CC BY 4.0 · График переведён из SVG в PNG, данные и подписи сохранены.

Авторы препринта на arXiv представили метод QL-VLM: он сжимает до 4 бит модели, которые работают с картинками и текстом. На тесте ScienceQA-IMG с Qwen2-VL-2B-Instruct точность составила 90,43%.

Чем меньше памяти и вычислений нужно модели, тем проще её запускать. Но это научная работа: в аннотации один тест, о продуктах и ценах там нет ни слова.

Коротко

  • Метод состоит из двух частей: особого способа округлять числа и дообучения по образцу полноточной версии модели.
  • Улучшение к базовому подходу составило 40,33%, но аннотация не называет, что взято за базу.
  • Результат приведён для одной модели на одном тесте.

Прямое сжатие до 4 бит сильно портит рассуждения

Часть методов заменяет текстовые пояснения модели «непрерывными мыслями»: внутренними числовыми представлениями шагов. Шагов становится меньше, но такие модели в полной точности по-прежнему занимают много места.

Снизить точность чисел можно квантованием. По словам авторов, прямое квантование сильно ухудшает рассуждения, особенно когда 4 бита отводят и весам модели, и активациям, то есть промежуточным результатам расчётов.

Два приёма берегут поиск сведений и ход рассуждения

Анализ авторов показал: мало точно воспроизвести числа. Важно сохранить поиск нужной информации и последующие шаги рассуждения.

Приём DGQ округляет числа по специально составленным наборам значений, а не с равным шагом. Так сжатие меньше искажает поиск сведений в картинке и тексте.

Приём DPD дообучает сжатую модель с помощью полноточной версии-учителя. Промежуточные шаги и ответы сжатой модели подгоняют под ответы учителя.

Вычислений в 16,64 раза меньше, задержка ниже в 6,40 раза

Явная цепочка рассуждений означает, что модель выписывает шаги текстом. По сравнению с ней 4-битный QL-VLM требует в 16,64 раза меньше битовых операций, а измеренная задержка ниже в 6,40 раза.

Что это значит для вас

  • Это исследовательская работа, а не продукт: готовых сервисов, цен и сроков в аннотации нет.
  • Авторы показывают, что сжатие до 4 бит можно сочетать с рассуждениями по картинкам. Подтверждено это для одной модели на одном тесте.

Что делать

Пока ничего: в аннотации описан результат на ScienceQA-IMG с Qwen2-VL-2B-Instruct, сведений о готовых инструментах в ней нет.

Чего пока неизвестно

Аннотация не называет базовый подход, с которым сравнивали улучшение в 40,33%. Точности полноточной модели в ней тоже нет.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме