На Хабре разобрали, как самому перегнать модель с Hugging Face в GGUF

🧠 На Хабре разобрали, как самому перегнать модель с Hugging Face в GGUF.
🔍 Пригодится, если у модели нет готового .gguf или среди сборок не нашлось нужного кванта вроде Q4_K_M, Q5_K_M или Q8_0.
🛠 Скрипт convert_to_gguf.sh делает всё от и до: ставит зависимости, конвертирует веса из .safetensors, квантует и подчищает промежуточные данные.
Сами с усами 💪
Темы:Локальные модели
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение