Команда spinf выложила spinf-serve: сервер, который за один проход читает текст и отвечает на десятки вопросов о нём сразу

🛠 Команда spinf выложила spinf-serve: сервер, который за один проход читает текст и отвечает на десятки вопросов о нём сразу. Работает на одной 24 ГБ видеокарте NVIDIA, лицензия Apache 2.0.
Ответ здесь не сгенерированный текст, а вероятности по заданным вариантам (да/нет, метка, уровень). API совместим с OpenAI. Для массовой разметки новостей, обращений и модерации самое то, а для чата не подходит.
📊 По замерам авторов на RTX 4090 и Gemma 4 12B: 491 вопрос в секунду против 200 у vLLM с prefix caching. Набор из 1344 вопросов обработан за 2,7 с вместо 6,7 с.
🚀 Запуск: `pip install "spinf-serve[server]"`, затем `spinf-serve serve spinf/gemma-4-12b-fp8`. Есть и Docker-образ. Нужна карта с fp8 (Ada, Hopper, Blackwell), на Ampere работает int8. Есть готовые наборы вопросов, например для модерации.
Репозиторий по ссылке.
Темы:Чипы и видеокарты
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение




