SpecSearch выдал в 2,01 раза больше текста за секунду в тестах
Авторы работы на arXiv представили SpecSearch: в тестах он поднял пропускную способность в среднем в 2,01 раза. Это суммарный объём текста за единицу времени по всем запросам; база сравнения — обычная последовательная генерация.
Подбор настроек пригодится тем, кто запускает языковые модели для одновременного обслуживания запросов. Метод ускорения при росте нагрузки может снизить общую выдачу текста — авторы приводят такой пример.
Коротко
- SpecSearch совместно подбирает способ генерации, длину предварительного варианта текста и точность вычислений.
- Расчётная модель учитывает доступную память и вычислительные ограничения. Она помогает отсеять неподходящие настройки.
- Испытания охватили видеокарты NVIDIA RTX 5090, H100, L40 и AMD MI300X.
При большом числе запросов метод ускорения дал замедление
Работа посвящена спекулятивной генерации: предварительный вариант текста помогает ускорить выдачу ответа. Результат зависит от оборудования и характера запросов.
На RTX 5090 метод DFlash увеличил пропускную способность в 3,50 раза при малом числе одновременных запросов. При большом числе запросов с короткими ответами показатель упал до 0,76 от базового.
В обоих случаях авторы сравнивали DFlash с обычной последовательной генерацией. Выбор метода ускорения сам по себе не гарантировал выигрыша.
Полный поиск повысил результат спекулятивной генерации
После расчётного отбора поиск опирается на замеры с нескольких видеокарт. С полным набором замеров SpecSearch превысил пропускную способность спекулятивной генерации в среднем в 1,36 раза.
Оба базовых варианта сравнения авторы запускали через vLLM. Это программа для работы с языковыми моделями.
Обученная модель выбирала настройки без замеров на новой карте
Авторы также обучили модель выбирать настройки по собранным измерениям. Её проверили на видеокартах, замеры с которых не входили в обучение.
Этот вариант дал в 1,30 раза большую пропускную способность, чем спекулятивная генерация через vLLM. Он сохранил 97,36% результата полного поиска SpecSearch.
Предварительные замеры на видеокарте, для которой выбирали настройки, не потребовались.
Что это значит для вас
- Результат относится к суммарной выдаче текста системой. Он не обещает такого же сокращения времени ожидания каждого ответа.
- При выборе настроек для своей модели имеет значение и число одновременных запросов. Выигрыш из испытаний нельзя переносить на любую нагрузку.
Что делать
Пока ничего: следите за инструкциями авторов на странице работы SpecSearch в arXiv.
Чего пока неизвестно
В аннотации нет инструкций по запуску инструмента.
Редакция «Применяй ИИ» · Как мы готовим новости