NVIDIA выложила веса Nemotron 3.5 Bolt E4B — компактной модели для локального запуска на видеокартах GeForce RTX, платах Jetson и мини-компьютерах Spark

🧠 NVIDIA выложила веса Nemotron 3.5 Bolt E4B — компактной модели для локального запуска на видеокартах GeForce RTX, платах Jetson и мини-компьютерах Spark.
В ней 8 млрд параметров, на каждый токен работают 4 млрд. Контекст 64 тысячи токенов, 35 языков. После квантования до 4 бит модель занимает около 4 ГБ памяти. Собрана на Gemma 4 E4B от Google, которую дообучили под инструкции и вызов инструментов.
⚡️ На RTX 5070 это 133 токена в секунду, на Jetson Orin Nano — 15,5. Первый токен там появляется через 548 мс и 5,8 секунды соответственно.
⚖️ Qwen3.5 4B всё же сильнее в инструментах (61,7 против 52,3 на Tau2-Bench) и длинном контексте.
Есть BF16 и GGUF, а ещё черновые модели DFlash: по словам NVIDIA, они ускоряют генерацию до 21%. Поддержка уже есть в llama.cpp, Ollama, LM Studio, vLLM и SGLang. Лицензия — OpenMDW 1.1.
Веса и техотчёт по ссылке.
Темы:Чипы и видеокартыЛокальные моделиGoogle и GeminiДеньги и рынок
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





