Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Юрист собрал локальный ИИ-сервер из восьми б/у Nvidia Tesla V100 для работы с материалами дел

⚖️ Юрист собрал локальный ИИ-сервер из восьми б/у Nvidia Tesla V100 для работы с материалами дел.

На нём крутится открытая модель DeepSeek V4.1 Flash, сжатая в основном до 2 бит (весит 248,8 ГБ). Все «эксперты» модели лежат в видеопамяти: до 215 токенов в секунду на коде и до 118 на юридических текстах.

🛠 Железо: две платы по 4 карты с NVLink (прямая связь между GPU), у каждой карты 32 ГБ памяти HBM2. Четырёхкарточная плата стоила около $2400 на момент покупки. Сейчас такие карты на eBay около $900 за штуку, а не $400, как в посте.

🔥 Были грабли: хост дважды сбрасывался из-за ошибки PCIe. Сбросы прекратились после ограничения частот GPU и снятия платы с подпалённым разъёмом питания. Ошибки памяти ECC ушли после снижения частоты RAM до DDR4-2666.

Пока сервер обрабатывает по одному запросу за раз.

Темы:Чипы и видеокартыМаск, xAI и TeslaЛокальные модели

Справка:Досье: DeepSeek

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме