Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и кодГлавное

На Хабре разобрали, как самому перегнать модель с Hugging Face в GGUF

🧠 На Хабре разобрали, как самому перегнать модель с Hugging Face в GGUF.

🔍 Пригодится, если у модели нет готового .gguf или среди сборок не нашлось нужного кванта вроде Q4_K_M, Q5_K_M или Q8_0.

🛠 Скрипт convert_to_gguf.sh делает всё от и до: ставит зависимости, конвертирует веса из .safetensors, квантует и подчищает промежуточные данные.

Сами с усами 💪

Темы:Локальные модели

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме