Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

DeepSeek выложила DeepInfer — свой фреймворк инференса

🛠 DeepSeek выложила DeepInfer — свой фреймворк инференса

DeepSeek открыла исходники DeepInfer. По словам компании, на этом фреймворке инференса работают её крупные продакшен-сервисы. В релиз вошёл офлайн-инференс, из моделей пока поддерживается только DeepSeek-V4.1-Flash.

Что внутри:
— оптимизированные ядра: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и кастомные на TileLang
— параллелизм: Attention DP / balanced CP, MoE EP + EPLB
— DSpark: ускоряет декодинг черновыми токенами, а проверку планирует по оценке уверенности
— асинхронный планировщик батчей, включён по умолчанию
— детерминированный сэмплинг и одинаковый результат при любом составе батча (только NVIDIA)
— structured outputs: regex, JSON-схема или EBNF-грамматика

⚠️ Железо: NVIDIA SM100 или Huawei Ascend 950. По софту: Linux, GCC 13+, Python 3.12, а также CUDA 13 или CANN 9.2.

Запуск: в чистом окружении Python 3.12 выставить DEEPINFER_ACCELERATOR=nvidia (или ascend), выполнить ./build.sh, потом python examples/offline_inference.py. При первом старте чекпойнт скачается в кэш Hugging Face, можно указать и локальную копию.

Чего в релизе нет: системы KV-кэша, разделения VE/prefill/decode (хотя большая часть нужного в движке уже реализована) и балансировки между репликами. Для полноценного сервиса эти части нужны.

Бенчмарки сняты на 4 GPU SM100 для prefill и на 64 для decode. Лицензия Apache 2.0, изначально фреймворк построен в основном на vLLM.

👉 Если у вас есть SM100 или Ascend 950, можно собрать и запустить офлайн-инференс DeepSeek-V4.1-Flash на стеке, который, по словам DeepSeek, используется у них в проде.

Источник: https://github.com/deepseek-ai/DeepInfer

Темы:Китай

Справка:Досье: DeepSeek

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме