Энтузиаст выложил llama-modchip: патчи для llama.cpp, чтобы гонять DeepSeek-V4-Flash на CPU без видеокарты

💻 Энтузиаст выложил llama-modchip: патчи для llama.cpp, чтобы гонять DeepSeek-V4-Flash на CPU без видеокарты.
По словам автора, модель на 284 млрд параметров (13,17 млрд активных) сжата до 56,56 GiB и влезает в 64 ГБ оперативной памяти без свопа. Исходный квант Unsloth UD-IQ1_S весит 76,87 GiB. Пиковое потребление с контекстом 256K — 57,61 GiB.
🧠 Замеры автора на Ryzen 9 9955HX с 64 ГБ DDR5: обработка промпта до 44,36 токена/с, генерация 9,06–10,74 токена/с.
🛠 Есть и модель поменьше, Nemotron-3.5-30B-A3B на 16–32 ГБ: по таблице проекта 25–60,4 токена/с на CPU. Проект открытый, лицензия Apache 2.0, в репозитории есть таблица замеров от других пользователей на разных процессорах.
Темы:Чипы и видеокартыКитайЛокальные моделиДеньги и рынок
Справка:Досье: DeepSeek
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

