Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Amazon Bedrock: четыре настройки запроса меняют счёт за ИИ без смены модели

AWS в блоге разобрала четыре настройки запроса к Amazon Bedrock — сервису, через который программы обращаются к ИИ-моделям. Они влияют на счёт: срок кэша, тариф, уровень рассуждений и лимит ответа.

Кэш — это сохранённая часть запроса, которую не нужно обрабатывать заново, а объём работы считают в токенах, то есть фрагментах текста. Совет пригодится тем, кто подключает модели к своим программам: менять модель не нужно.

Коротко

  • Часовой кэш выигрывает у пятиминутного со второго запроса в час, если паузы между ними длиннее 5 минут.
  • Тариф Flex для Nova 2 Lite вдвое дешевле Standard, но Sonnet 5 и Opus 5 его не поддерживают.
  • В тесте агента на Opus 5 уровень low дал медиану 936 токенов вывода против 2 521 на high, и все запуски были верными.

Часовой кэш выгоден только при частых повторах

Для Claude Sonnet 5 и Opus 5 запись в кэш на 5 минут стоит 1,25 входной ставки, на час — 2, а чтение — 0,1. Расчёт верен, если начало запроса повторяется точно.

Если запросы с одним началом идут реже чем раз в 5 минут, короткий кэш записывается заново каждый раз. Тогда часовой дешевле со второго запроса. Чтобы обойти работу без кэша, ему нужны три запроса в час.

Правка системной инструкции или описания инструмента даёт промах и новую запись. В тесте на Sonnet 5 каждая такая правка дала ноль чтений из кэша.

Flex вдвое дешевле, но есть не у всех моделей

Flex рассчитан на фоновые задачи, где скорость не критична. Включается он значением flex в поле serviceTier.type запроса.

Nova 2 Lite прогнали по 200 запросов в каждом режиме: токенов было поровну, разница задержки не отделилась от шума. Ставка Flex в us-west-2 на момент записи вдвое ниже Standard, и счёт это подтвердил.

Запрос Flex к Sonnet 5 вернул ошибку ValidationException и не ушёл тихо на обычный тариф.

Низкий уровень рассуждений сократил вывод в тесте агента

Токены рассуждений оплачиваются как выходные. Sonnet 5 и Opus 5 по умолчанию работают на уровне high, даже если поле thinking не указано.

Агент — это программа, которая с помощью ИИ выполняет задачу в несколько шагов. В тесте такого агента на Opus 5 все 24 запуска на каждом уровне дали верный ответ. Медиана выхода: 936 токенов на low и 2 521 на high.

В генерации кода разница осталась в пределах разброса между запусками.

Лимит ответа сокращает траты, но обрезает текст

Лимит maxTokens в 155 вместо 2 048 избавил от 1 893 токенов вывода. Но оба ответа обрезались.

В цепочке шагов обрезанный ход может сломать следующие.

Что это значит для вас

  • Часть расходов задаёт не модель, а настройки каждого запроса.
  • Поддержка зависит от конкретной модели: параметр, работающий на одной, на другой вернёт ошибку.
  • Сокращение токенов, после которого задача не решается, экономией не считается.

Что делать

  1. Проверьте в документации, что ваша модель поддерживает нужный срок кэша, тариф и уровень рассуждений.
  2. Меняйте одну настройку за раз и сверяйте результат по метаданным ответа, логам и счёту.
  3. Сравните low и high на своих задачах и следите за долей успешных запусков, а не только за токенами.
  4. Задайте maxTokens для каждого типа задач по длине реальных ответов и добавьте запас.

Чего пока неизвестно

Цифры взяты из тестов авторов и ставок на момент записи, для другой модели и региона они могут отличаться. В источнике нет данных о доступности для пользователей из России.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме