Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

m10dis запускает Qwen3.8-Flash-Next-FP8 на RTX 3070 Ti и 24 GPU Maxwell 2016 года: 52,5 токена/с

🖥 m10dis запускает Qwen3.8-Flash-Next-FP8 на RTX 3070 Ti и 24 GPU Maxwell 2016 года: 52,5 токена/с.

RTX 3070 Ti (8 ГБ) ведёт attention и роутер под vLLM, а эксперты MoE-модели лежат на 24 GPU Maxwell, это 192 ГБ в сумме. Всё висит на одном PCIe-свитче, трафик между RTX и M10 идёт напрямую, мимо CPU.

По замерам автора, MMLU-Redux 90,98 (у официальной базовой модели 90,68). Префилл около 277 токенов/с, максимальная длина контекста 90 112 токенов.

⚠️ Это исследовательская сборка под одну машину, а не готовый пакет. Нужны патченое ядро Linux и патченый модуль NVIDIA UVM, плюс около 350 ГБ быстрого диска. При неправильном запуске система может повиснуть, так что сначала RUNNING.md.

Свой код проект выложил под MIT, патчи сохраняют исходные лицензии. Лучше читать как разбор идеи 🛠

Темы:Чипы и видеокарты

Справка:Досье: Qwen Chat (Qwen Studio)

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме