Разработчик выложил kimi-k3-in-c: модель на 2,78 трлн параметров крутится на одном CPU и 8 ГБ RAM

💻 Разработчик выложил kimi-k3-in-c: модель на 2,78 трлн параметров крутится на одном CPU и 8 ГБ RAM.
Это инференс Kimi K3 на чистом C99: без GPU, без BLAS и фреймворков, сам движок весит 176 КБ. Чекпоинт занимает 1,56 ТБ на диске, и модель стримится с него на каждом шаге. По замерам автора, пик памяти — 8,24 ГБ.
🐌 Скорость соответствующая: на 8 ГБ около 26,5 секунды на токен. На машине со 128 ГБ+ и всей моделью в памяти — 5,6 секунды. Ответ при этом байт в байт одинаковый, меняется только время.
🛠 Собрать и прогнать тесты можно за минуту без модели и сети: make -j и make test. Для генерации нужно около 1,7 ТБ свободного места, лучше на быстром NVMe. Линукс, macOS на arm64 и Windows тоже поддерживаются.
Репозиторий с лицензией Apache-2.0. Для практики не годится, а как учебник по запуску гигантов на скромном железе — отлично.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





