MegaCapybara — движок для Qwen3.8-27B на RTX 5090: по словам автора, 500+ токенов/с на агента

⚡ MegaCapybara — движок для Qwen3.8-27B на RTX 5090: по словам автора, 500+ токенов/с на агента.
Речь про кодинг одним агентом. Для команды из двенадцати агентов заявлено до 2800 токенов/с. Работает на Windows 11 и Linux. Веса хранятся в 4- и 6-битных форматах MXFP4/MXFP6, которые карта считает нативно. Плюс спекулятивное декодирование: маленькая модель-черновик угадывает токены, а основная проверяет их за один шаг.
🛠 Есть лаунчер: перед загрузкой показывает, как каждая настройка влияет на точность, скорость и память. Есть и готовые скрипты запуска для терминала. Агенты делят общий пул контекста, а кэш разговоров уходит из VRAM в RAM и на диск.
📌 Моделей пять размеров: Tiny занимает 12,70 GiB VRAM, XXL — 23,58 GiB. Скорость автор мерил на RTX 5090 с памятью, разогнанной на 20%. Нужны драйвер R580+ и 32 ГБ RAM. Исходники обещают выложить позже.
Темы:ИИ-агентыЧипы и видеокарты
Справка:Досье: Qwen Chat (Qwen Studio)
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

