Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

AWS показала, как собрать шлюз к Claude с лимитами на каждого разработчика

AWS в своём блоге показала, как собрать шлюз, через который разработчики работают с Claude в Amazon Bedrock по личным ключам. Шлюз — это общая точка входа к моделям, которой компания управляет централизованно.

Платформенным командам нужно следить за задержками, финансистам — раскладывать расходы по командам, безопасникам — задавать единые правила доступа. По словам авторов, шлюз закрывает эти задачи в одном месте.

Коротко

  • Разработчик меняет в программе только адрес и ключ, а лимиты расходов задаёт администратор.
  • Если не указать цену токена (мелкой порции текста, за которую берут плату), бюджеты не сработают: расход останется нулевым.
  • Бесплатно LiteLLM рассчитан на пять пользователей, а самообслуживание ключей требует версии Enterprise.

Разработчику нужны только адрес шлюза и личный ключ

Amazon Bedrock — сервис AWS, через который доступны ИИ-модели. LiteLLM — программа, через которую проходят запросы: она принимает их в формате OpenAI и передаёт в Bedrock. Авторы запускают её на сервисе AWS Fargate.

Инструменты вроде Claude Code, Continue и Cursor настраиваются одним адресом и одним ключом. Ключ разработчик выпускает сам на веб-портале, а администраторы заранее задают политику расходов. Модели можно менять и добавлять запасные, не трогая настройки на компьютерах.

Без цены токена лимиты расходов молча не работают

Авторы называют главную ловушку. Токен — мелкая порция текста, по которой считают плату за работу модели.

Если в настройке указан адрес профиля Bedrock, LiteLLM не находит его в своей таблице цен и записывает ноль за токен. Из-за этого бюджеты и ограничения по расходам не срабатывают, а счётчик остаётся на нуле. Выход: вручную указать цену входных и выходных токенов для каждой модели.

Шлюзу нужно около 2 ГБ памяти, а бесплатной версии хватит на пятерых

При 512 МБ памяти шлюз не запускается: система обрывает его до проверки готовности. Безопасный минимум, по оценке авторов, около 2 ГБ.

Бесплатный шлюз рассчитан на пять пользователей, дальше нужна лицензия. Самообслуживание ключей, о котором идёт речь, требует версии Enterprise.

Что это значит для вас

  • Руководитель сможет видеть расходы на ИИ-помощников по каждому сотруднику, не строя собственный учёт.
  • Это схема с фрагментами кода, а не готовый продукт. Развёртываемый вариант авторы называют Guidance for Multi-Provider Generative AI Gateway on AWS.

Что делать

  1. Начните с пилота на одной команде и проверьте, что лимиты расходов срабатывают.
  2. Укажите цену входных и выходных токенов для каждой модели в настройках LiteLLM.
  3. Выделите шлюзу не меньше 2 ГБ памяти.
  4. Проверьте, что нужная модель доступна в вашем аккаунте и регионе: список моделей меняется.

Чего пока неизвестно

В статье нет итоговой стоимости решения, а защитные фильтры Bedrock Guardrails авторы не разбирают. Работа из России в ней не обсуждается.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Claude и Anthropic

Справка:Досье: Claude

Ещё по теме