ИИ, ищущий по документам и разбирающий картинки, влез в 8,37 ГБ видеопамяти
Исследователи описали на arXiv, сайте научных препринтов, ИИ-систему с поиском по документам и работой с изображениями. Перед ответом модель подсматривает в подключённую базу документов, а не отвечает по памяти.
По словам авторов, такую систему можно запускать на видеокарте с 12–16 ГБ памяти, без облака.
Обычная модель на 7 млрд параметров занимает 14 ГБ видеопамяти, и рядом не помещаются данные для поиска. Помогло квантование: сжатие модели, чтобы она занимала меньше места.
Быстрый способ сжатия выдаёт 51,6 токена в секунду (токен — кусочек слова), но на текстах от 2048 токенов работает нестабильно. Более надёжный держит длинные тексты, хотя медленнее. Модуль для картинок добавляет лишь 430 МБ.
После сжатия точность в математике была 35,0%. Авторы добавили в запрос чёткую структуру и несколько примеров решения, и по 200 испытаниям точность выросла до 92,0%. Структура ещё снизила задержку на 47%.
Что делать
Пока ничего: об открытом коде в аннотации не сказано.
Чего пока неизвестно
Проверяли на видеокартах одного поколения, например Tesla T4; о других данных нет.
Редакция «Применяй ИИ» · Как мы готовим новости