Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Prism ML выложила Ternary Bonsai 2 9B — 9B-модель на 2,42 ГБ вместо ~17,9 ГБ в FP16

🧠 Prism ML выложила Ternary Bonsai 2 9B — 9B-модель на 2,42 ГБ вместо ~17,9 ГБ в FP16. Веса троичные: только −1, 0 и +1.

Модель умеет работать и с картинками: зрение лежит отдельным файлом, который грузится, только когда приходит изображение. Контекст — 262 тысячи токенов, база — Qwen3.5-9B, лицензия Apache 2.0.

🛠 Запускается через llama.cpp на CUDA, Metal и CPU. Файлы PQ2_0 и PTQ1_0 (самый компактный, 2,00 ГБ) идут на форке PrismML. Версия Q2_0 (2,56 ГБ) по их словам работает и на обычном llama.cpp, начиная с релиза b11556.

⚡ Для ускорения есть встроенная MTP-голова, которая предсказывает несколько токенов сразу. Для правок кода и переписывания можно подключить драфтер DFlash2.

Команды запуска и рекомендуемые настройки сэмплинга — на странице модели по ссылке.

Темы:Локальные модели

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме