Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Prism ML выложила Ternary Bonsai 2 2B: языковая часть весит 0,52 ГБ вместо 3,8 ГБ

🧠 Prism ML выложила Ternary Bonsai 2 2B: языковая часть весит 0,52 ГБ вместо 3,8 ГБ.

Это модель на 2 млрд параметров с троичными весами, 3,8 ГБ — размер в FP16. Понимает текст и картинки, контекст — 262 тысячи токенов. Сделана на основе Qwen3.5-2B, лицензия Apache 2.0. Для зрения нужен отдельный файл mmproj на 0,36 ГБ, он подгружается, только когда приходит картинка.

🛠 Запускается через llama.cpp на CUDA, Metal и CPU. Файлы PTQ1_0 и PQ2_0 идут только на форке PrismML, а Q2_0 (0,55 ГБ) — ещё и на свежем upstream, начиная с релиза b11556. На старых сборках, по описанию, вывод будет неверным без предупреждений.

Самый компактный вариант — PTQ1_0 на 0,43 ГБ, по умолчанию авторы советуют PQ2_0. Команды запуска и настройки сэмплинга — по ссылке.

Справка:Досье: Qwen Chat (Qwen Studio)

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме