Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Qwen3.8-Flash-Next выдаёт 94 токена в секунду на RTX 5070 с 64 ГБ оперативки

🧠 Qwen3.8-Flash-Next выдаёт 94 токена в секунду на RTX 5070 с 64 ГБ оперативки.

У модели 24 576 экспертов, но на каждый токен работают примерно десять. Остальные простаивают, а места в памяти занимают все. Чтобы это влезло в ПК с 12 ГБ видеопамяти, модель пришлось изрядно ужать.

🛠 Проекты Strata и Maya, по тексту Хабра, позволяют запускать на потребительском железе даже гигантов с сотнями миллиардов параметров.

Но влезть мало: можно потерять в качестве или получить черепашью скорость. Всё упирается в баланс между размером модели, её возможностями и железом.

Влезть — полдела ⚖️

Темы:Чипы и видеокарты

Справка:Досье: Qwen Chat (Qwen Studio)

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме