Qwen3.8-Flash-Next выдаёт 94 токена в секунду на RTX 5070 с 64 ГБ оперативки

🧠 Qwen3.8-Flash-Next выдаёт 94 токена в секунду на RTX 5070 с 64 ГБ оперативки.
У модели 24 576 экспертов, но на каждый токен работают примерно десять. Остальные простаивают, а места в памяти занимают все. Чтобы это влезло в ПК с 12 ГБ видеопамяти, модель пришлось изрядно ужать.
🛠 Проекты Strata и Maya, по тексту Хабра, позволяют запускать на потребительском железе даже гигантов с сотнями миллиардов параметров.
Но влезть мало: можно потерять в качестве или получить черепашью скорость. Всё упирается в баланс между размером модели, её возможностями и железом.
Влезть — полдела ⚖️
Темы:Чипы и видеокарты
Справка:Досье: Qwen Chat (Qwen Studio)
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





