Энтузиаст на Reddit запустил модель Kimi K3 на 2,8 трлн параметров на одном процессоре, без видеокарты

💾 Энтузиаст на Reddit запустил модель Kimi K3 на 2,8 трлн параметров на одном процессоре, без видеокарты.
В сборке 40-ядерный Xeon 3-го поколения и снятая с производства память Intel Optane PMem 200. Скорость скромная: 0,85 токена в секунду при 1-битном квантовании, при 3-битном — 0,75. Даже самый маленький квант, по данным Tom's Hardware, требует минимум 610 ГБ памяти, а б/у Optane, по словам автора, стоит «малую долю» от цены обычной DRAM.
🔥 Главная засада — нагрев. Модули Optane при длительной работе становятся «очень горячими» и могут вредить соседней оперативке. Автор советует считать активное охлаждение обязательным: он направил на планки два блоуэра по 12 Вт. По спецификации Intel, троттлинг начинается при 83 °C, а отключение — при 85 °C.
Дальше он планирует добавить видеокарты и держать часть модели в DRAM как более быстрый слой.
Глянуть разбор можно по ссылке.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





