Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

ИИ, ищущий по документам и разбирающий картинки, влез в 8,37 ГБ видеопамяти

Исследователи описали на arXiv, сайте научных препринтов, ИИ-систему с поиском по документам и работой с изображениями. Перед ответом модель подсматривает в подключённую базу документов, а не отвечает по памяти.

По словам авторов, такую систему можно запускать на видеокарте с 12–16 ГБ памяти, без облака.

Обычная модель на 7 млрд параметров занимает 14 ГБ видеопамяти, и рядом не помещаются данные для поиска. Помогло квантование: сжатие модели, чтобы она занимала меньше места.

Быстрый способ сжатия выдаёт 51,6 токена в секунду (токен — кусочек слова), но на текстах от 2048 токенов работает нестабильно. Более надёжный держит длинные тексты, хотя медленнее. Модуль для картинок добавляет лишь 430 МБ.

После сжатия точность в математике была 35,0%. Авторы добавили в запрос чёткую структуру и несколько примеров решения, и по 200 испытаниям точность выросла до 92,0%. Структура ещё снизила задержку на 47%.

Что делать

Пока ничего: об открытом коде в аннотации не сказано.

Чего пока неизвестно

Проверяли на видеокартах одного поколения, например Tesla T4; о других данных нет.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме