Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Энтузиаст выложил llama-modchip: патчи для llama.cpp, чтобы гонять DeepSeek-V4-Flash на CPU без видеокарты

💻 Энтузиаст выложил llama-modchip: патчи для llama.cpp, чтобы гонять DeepSeek-V4-Flash на CPU без видеокарты.

По словам автора, модель на 284 млрд параметров (13,17 млрд активных) сжата до 56,56 GiB и влезает в 64 ГБ оперативной памяти без свопа. Исходный квант Unsloth UD-IQ1_S весит 76,87 GiB. Пиковое потребление с контекстом 256K — 57,61 GiB.

🧠 Замеры автора на Ryzen 9 9955HX с 64 ГБ DDR5: обработка промпта до 44,36 токена/с, генерация 9,06–10,74 токена/с.

🛠 Есть и модель поменьше, Nemotron-3.5-30B-A3B на 16–32 ГБ: по таблице проекта 25–60,4 токена/с на CPU. Проект открытый, лицензия Apache 2.0, в репозитории есть таблица замеров от других пользователей на разных процессорах.

Темы:Чипы и видеокартыКитайЛокальные моделиДеньги и рынок

Справка:Досье: DeepSeek

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме