AWS выпустила плейбук по контролю расходов на Amazon Bedrock: по её словам, дело не в дешёвой модели или коротком промпте, а в операционной модели из пяти шагов

🧾 AWS выпустила плейбук по контролю расходов на Amazon Bedrock: по её словам, дело не в дешёвой модели или коротком промпте, а в операционной модели из пяти шагов.
Сначала привязать каждый доллар к владельцу, затем логировать каждый запрос, поставить бюджеты (уведомления как минимум, жёсткие блокировки там, где этого требует риск), настроить дефолты платформы (роутинг моделей, кэш, лимиты токенов) и регулярно разбирать цифры.
🤖 С агентами это важнее: одна задача даёт много вызовов модели с большим контекстом, поэтому траты растут с автономностью воркфлоу и размером контекста, а не с числом обращений пользователей.
⚠️ Частая ловушка: шлюз к Bedrock с одной IAM-ролью. Все расходы падают на неё, и кто тратит, не видно. AWS советует выдавать отдельную сессию на каждого пользователя.
🛑 Ограничения бывают трёх уровней: просто алерты, запрет через IAM с задержкой от секунд до минут или шлюз, который сразу отвечает ошибкой 429.
Сначала учёт, потом оптимизация.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





