Prism ML выложила Ternary Bonsai 2 9B — 9B-модель на 2,42 ГБ вместо ~17,9 ГБ в FP16

🧠 Prism ML выложила Ternary Bonsai 2 9B — 9B-модель на 2,42 ГБ вместо ~17,9 ГБ в FP16. Веса троичные: только −1, 0 и +1.
Модель умеет работать и с картинками: зрение лежит отдельным файлом, который грузится, только когда приходит изображение. Контекст — 262 тысячи токенов, база — Qwen3.5-9B, лицензия Apache 2.0.
🛠 Запускается через llama.cpp на CUDA, Metal и CPU. Файлы PQ2_0 и PTQ1_0 (самый компактный, 2,00 ГБ) идут на форке PrismML. Версия Q2_0 (2,56 ГБ) по их словам работает и на обычном llama.cpp, начиная с релиза b11556.
⚡ Для ускорения есть встроенная MTP-голова, которая предсказывает несколько токенов сразу. Для правок кода и переписывания можно подключить драфтер DFlash2.
Команды запуска и рекомендуемые настройки сэмплинга — на странице модели по ссылке.
Темы:Локальные модели
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





