Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнесГлавное

AWS выпустила плейбук по контролю расходов на Amazon Bedrock: по её словам, дело не в дешёвой модели или коротком промпте, а в операционной модели из пяти шагов

🧾 AWS выпустила плейбук по контролю расходов на Amazon Bedrock: по её словам, дело не в дешёвой модели или коротком промпте, а в операционной модели из пяти шагов.

Сначала привязать каждый доллар к владельцу, затем логировать каждый запрос, поставить бюджеты (уведомления как минимум, жёсткие блокировки там, где этого требует риск), настроить дефолты платформы (роутинг моделей, кэш, лимиты токенов) и регулярно разбирать цифры.

🤖 С агентами это важнее: одна задача даёт много вызовов модели с большим контекстом, поэтому траты растут с автономностью воркфлоу и размером контекста, а не с числом обращений пользователей.

⚠️ Частая ловушка: шлюз к Bedrock с одной IAM-ролью. Все расходы падают на неё, и кто тратит, не видно. AWS советует выдавать отдельную сессию на каждого пользователя.

🛑 Ограничения бывают трёх уровней: просто алерты, запрет через IAM с задержкой от секунд до минут или шлюз, который сразу отвечает ошибкой 429.

Сначала учёт, потом оптимизация.

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме