Команда llama.cpp вместе с Hugging Face выпустила Llama — приложение для Mac и Windows, которое запускает открытые модели локально

🦙 Команда llama.cpp вместе с Hugging Face выпустила Llama — приложение для Mac и Windows, которое запускает открытые модели локально. Скачивать нужно всего 1 МБ, оно бесплатное и с открытым кодом.
🛠 Внутри локальный API, совместимый с OpenAI: в редакторах, агентах и скриптах достаточно поменять базовый URL на localhost:9931/v1. Настройки под железо приложение подбирает само, а модели лежат в кэше Hugging Face и общие с llama.cpp. На Linux есть консольная версия.
Локалки без возни 💾
Темы:Локальные моделиMicrosoft и WindowsMeta и Llama
Справка:Досье: ChatGPT
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение