AWS показала, как собрать шлюз к Claude с лимитами на каждого разработчика
AWS в своём блоге показала, как собрать шлюз, через который разработчики работают с Claude в Amazon Bedrock по личным ключам. Шлюз — это общая точка входа к моделям, которой компания управляет централизованно.
Платформенным командам нужно следить за задержками, финансистам — раскладывать расходы по командам, безопасникам — задавать единые правила доступа. По словам авторов, шлюз закрывает эти задачи в одном месте.
Коротко
- Разработчик меняет в программе только адрес и ключ, а лимиты расходов задаёт администратор.
- Если не указать цену токена (мелкой порции текста, за которую берут плату), бюджеты не сработают: расход останется нулевым.
- Бесплатно LiteLLM рассчитан на пять пользователей, а самообслуживание ключей требует версии Enterprise.
Разработчику нужны только адрес шлюза и личный ключ
Amazon Bedrock — сервис AWS, через который доступны ИИ-модели. LiteLLM — программа, через которую проходят запросы: она принимает их в формате OpenAI и передаёт в Bedrock. Авторы запускают её на сервисе AWS Fargate.
Инструменты вроде Claude Code, Continue и Cursor настраиваются одним адресом и одним ключом. Ключ разработчик выпускает сам на веб-портале, а администраторы заранее задают политику расходов. Модели можно менять и добавлять запасные, не трогая настройки на компьютерах.
Без цены токена лимиты расходов молча не работают
Авторы называют главную ловушку. Токен — мелкая порция текста, по которой считают плату за работу модели.
Если в настройке указан адрес профиля Bedrock, LiteLLM не находит его в своей таблице цен и записывает ноль за токен. Из-за этого бюджеты и ограничения по расходам не срабатывают, а счётчик остаётся на нуле. Выход: вручную указать цену входных и выходных токенов для каждой модели.
Шлюзу нужно около 2 ГБ памяти, а бесплатной версии хватит на пятерых
При 512 МБ памяти шлюз не запускается: система обрывает его до проверки готовности. Безопасный минимум, по оценке авторов, около 2 ГБ.
Бесплатный шлюз рассчитан на пять пользователей, дальше нужна лицензия. Самообслуживание ключей, о котором идёт речь, требует версии Enterprise.
Что это значит для вас
- Руководитель сможет видеть расходы на ИИ-помощников по каждому сотруднику, не строя собственный учёт.
- Это схема с фрагментами кода, а не готовый продукт. Развёртываемый вариант авторы называют Guidance for Multi-Provider Generative AI Gateway on AWS.
Что делать
- Начните с пилота на одной команде и проверьте, что лимиты расходов срабатывают.
- Укажите цену входных и выходных токенов для каждой модели в настройках LiteLLM.
- Выделите шлюзу не меньше 2 ГБ памяти.
- Проверьте, что нужная модель доступна в вашем аккаунте и регионе: список моделей меняется.
Чего пока неизвестно
В статье нет итоговой стоимости решения, а защитные фильтры Bedrock Guardrails авторы не разбирают. Работа из России в ней не обсуждается.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Claude и Anthropic
Справка:Досье: Claude
