Автор статьи на Хабре прогнал девять лёгких LLM на VPS за около 1,5 тыс. ₽ в месяц

🖥 Автор статьи на Хабре прогнал девять лёгких LLM на VPS за около 1,5 тыс. ₽ в месяц.
Конфигурация: 4 vCPU, 4 ГБ RAM, без видеокарты, шаблон с Ollama. Моделям дали семь бизнес-задач плюс нагрузочный тест.
Идея в том, что для многих таких задач фронтирные модели избыточны, а лёгкие модели размером 1–4B работают и на обычных процессорах. По словам автора, экономика и законы о персональных данных подталкивают бизнес к локальному инференсу, а большие открытые модели требуют дорогих GPU.
Подробности — в статье по ссылке.
Темы:Чипы и видеокарты
Справка:Арсенал: Ollama
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





