Inclusion AI выложила UBTree — метод ускорения LLM через спекулятивное декодирование

⚡ Inclusion AI выложила UBTree — метод ускорения LLM через спекулятивное декодирование. По словам авторов, на Qwen3-8B при жадном декодировании среднее ускорение 6,94×, и это без потери качества.
🧠 Суть: маленькая черновая модель угадывает токены вперёд, большая проверяет их за один проход. У параллельных черновиков вроде DFlash один путь, и при неуверенности модели он рано расходится. UBTree строит дерево вариантов и проверяет сразу много веток.
📊 На Ling3-Flash 124B в SGLang авторы приводят 5,36× (TP4, batch size 1, без thinking). На Qwen3-8B при температуре 1 выходит 5,84×.
🛠 Запуск идёт через ветку SGLang asahi/ubtree (Python 3.11+, CUDA). Чекпоинты под MIT лежат на Hugging Face: Ling-3.0-flash-UBTree (в примере запуска 4 GPU) и Ling-3.0-tiny-UBTree (в примере одна GPU). По их карточкам ускорение 3,43× и 3,17×, там настройки другие.
Команды запуска — по ссылке.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





