Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Человек запустил дома GLM 5.3 на 8 DGX по 128 ГБ: 55 токенов в секунду на генерации

🖥 Человек запустил дома GLM 5.3 на 8 DGX по 128 ГБ: 55 токенов в секунду на генерации.

Это не Flash-версия, а квантизация до 3.25 бит. По метрикам она на уровне DeepSeek Flash 4.1, которой хватало 4 карт. Prefill около 1800. Есть проблемы с передачей данных между картами.

🔓 Главную ценность, возможно, видят в abliterated-моделях (без отказов) для security audit. У Claude и Codex ограничений на использование становится всё больше.

💸 Восемь DGX обходятся в 4 млн рублей (около $6000), вроде по старым ценам, и это без стойки, блока питания и охлаждения. Под нагрузкой выходит 900 кВт·ч, около 8 тысяч рублей в месяц, как подписка за $100. Ещё нужна отдельная комната: шумно.

Дорого, но дешевле парковки в Москве 🚗

Справка:Досье: DeepSeek

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме