DeepSeek выложила DeepInfer — свой фреймворк инференса
🛠 DeepSeek выложила DeepInfer — свой фреймворк инференса
DeepSeek открыла исходники DeepInfer. По словам компании, на этом фреймворке инференса работают её крупные продакшен-сервисы. В релиз вошёл офлайн-инференс, из моделей пока поддерживается только DeepSeek-V4.1-Flash.
Что внутри:
— оптимизированные ядра: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и кастомные на TileLang
— параллелизм: Attention DP / balanced CP, MoE EP + EPLB
— DSpark: ускоряет декодинг черновыми токенами, а проверку планирует по оценке уверенности
— асинхронный планировщик батчей, включён по умолчанию
— детерминированный сэмплинг и одинаковый результат при любом составе батча (только NVIDIA)
— structured outputs: regex, JSON-схема или EBNF-грамматика
⚠️ Железо: NVIDIA SM100 или Huawei Ascend 950. По софту: Linux, GCC 13+, Python 3.12, а также CUDA 13 или CANN 9.2.
Запуск: в чистом окружении Python 3.12 выставить DEEPINFER_ACCELERATOR=nvidia (или ascend), выполнить ./build.sh, потом python examples/offline_inference.py. При первом старте чекпойнт скачается в кэш Hugging Face, можно указать и локальную копию.
Чего в релизе нет: системы KV-кэша, разделения VE/prefill/decode (хотя большая часть нужного в движке уже реализована) и балансировки между репликами. Для полноценного сервиса эти части нужны.
Бенчмарки сняты на 4 GPU SM100 для prefill и на 64 для decode. Лицензия Apache 2.0, изначально фреймворк построен в основном на vLLM.
👉 Если у вас есть SM100 или Ascend 950, можно собрать и запустить офлайн-инференс DeepSeek-V4.1-Flash на стеке, который, по словам DeepSeek, используется у них в проде.
Источник: https://github.com/deepseek-ai/DeepInfer
Темы:Китай
Справка:Досье: DeepSeek
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение