Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

SpecSearch выдал в 2,01 раза больше текста за секунду в тестах

Авторы работы на arXiv представили SpecSearch: в тестах он поднял пропускную способность в среднем в 2,01 раза. Это суммарный объём текста за единицу времени по всем запросам; база сравнения — обычная последовательная генерация.

Подбор настроек пригодится тем, кто запускает языковые модели для одновременного обслуживания запросов. Метод ускорения при росте нагрузки может снизить общую выдачу текста — авторы приводят такой пример.

Коротко

  • SpecSearch совместно подбирает способ генерации, длину предварительного варианта текста и точность вычислений.
  • Расчётная модель учитывает доступную память и вычислительные ограничения. Она помогает отсеять неподходящие настройки.
  • Испытания охватили видеокарты NVIDIA RTX 5090, H100, L40 и AMD MI300X.

При большом числе запросов метод ускорения дал замедление

Работа посвящена спекулятивной генерации: предварительный вариант текста помогает ускорить выдачу ответа. Результат зависит от оборудования и характера запросов.

На RTX 5090 метод DFlash увеличил пропускную способность в 3,50 раза при малом числе одновременных запросов. При большом числе запросов с короткими ответами показатель упал до 0,76 от базового.

В обоих случаях авторы сравнивали DFlash с обычной последовательной генерацией. Выбор метода ускорения сам по себе не гарантировал выигрыша.

Полный поиск повысил результат спекулятивной генерации

После расчётного отбора поиск опирается на замеры с нескольких видеокарт. С полным набором замеров SpecSearch превысил пропускную способность спекулятивной генерации в среднем в 1,36 раза.

Оба базовых варианта сравнения авторы запускали через vLLM. Это программа для работы с языковыми моделями.

Обученная модель выбирала настройки без замеров на новой карте

Авторы также обучили модель выбирать настройки по собранным измерениям. Её проверили на видеокартах, замеры с которых не входили в обучение.

Этот вариант дал в 1,30 раза большую пропускную способность, чем спекулятивная генерация через vLLM. Он сохранил 97,36% результата полного поиска SpecSearch.

Предварительные замеры на видеокарте, для которой выбирали настройки, не потребовались.

Что это значит для вас

  • Результат относится к суммарной выдаче текста системой. Он не обещает такого же сокращения времени ожидания каждого ответа.
  • При выборе настроек для своей модели имеет значение и число одновременных запросов. Выигрыш из испытаний нельзя переносить на любую нагрузку.

Что делать

Пока ничего: следите за инструкциями авторов на странице работы SpecSearch в arXiv.

Чего пока неизвестно

В аннотации нет инструкций по запуску инструмента.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме