Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и кодГлавное

Команда spinf выложила spinf-serve: сервер, который за один проход читает текст и отвечает на десятки вопросов о нём сразу

🛠 Команда spinf выложила spinf-serve: сервер, который за один проход читает текст и отвечает на десятки вопросов о нём сразу. Работает на одной 24 ГБ видеокарте NVIDIA, лицензия Apache 2.0.

Ответ здесь не сгенерированный текст, а вероятности по заданным вариантам (да/нет, метка, уровень). API совместим с OpenAI. Для массовой разметки новостей, обращений и модерации самое то, а для чата не подходит.

📊 По замерам авторов на RTX 4090 и Gemma 4 12B: 491 вопрос в секунду против 200 у vLLM с prefix caching. Набор из 1344 вопросов обработан за 2,7 с вместо 6,7 с.

🚀 Запуск: `pip install "spinf-serve[server]"`, затем `spinf-serve serve spinf/gemma-4-12b-fp8`. Есть и Docker-образ. Нужна карта с fp8 (Ada, Hopper, Blackwell), на Ampere работает int8. Есть готовые наборы вопросов, например для модерации.

Репозиторий по ссылке.

Темы:Чипы и видеокарты

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме