Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Энтузиаст на Reddit запустил модель Kimi K3 на 2,8 трлн параметров на одном процессоре, без видеокарты

💾 Энтузиаст на Reddit запустил модель Kimi K3 на 2,8 трлн параметров на одном процессоре, без видеокарты.

В сборке 40-ядерный Xeon 3-го поколения и снятая с производства память Intel Optane PMem 200. Скорость скромная: 0,85 токена в секунду при 1-битном квантовании, при 3-битном — 0,75. Даже самый маленький квант, по данным Tom's Hardware, требует минимум 610 ГБ памяти, а б/у Optane, по словам автора, стоит «малую долю» от цены обычной DRAM.

🔥 Главная засада — нагрев. Модули Optane при длительной работе становятся «очень горячими» и могут вредить соседней оперативке. Автор советует считать активное охлаждение обязательным: он направил на планки два блоуэра по 12 Вт. По спецификации Intel, троттлинг начинается при 83 °C, а отключение — при 85 °C.

Дальше он планирует добавить видеокарты и держать часть модели в DRAM как более быстрый слой.

Глянуть разбор можно по ссылке.

Темы:Чипы и видеокартыКитай

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме