Amazon SageMaker сократил ожидание в тесте с 1284 до 237 мс
AWS объявила в своём блоге о новом способе распределять запросы к ИИ в Amazon SageMaker AI. Сервис учитывает, какой сервер уже сохранил расчёты для текста запроса.
Это может сократить ожидание ответа в чатах с длинной перепиской. Раньше SageMaker умел выбирать сервер по началу запроса, но не проверял, сохранились ли там расчёты.
Коротко
- Новый режим действует при наличии хотя бы двух серверов или двух копий компонента модели.
- За сам режим доплачивать не нужно: оплачиваются используемые серверы.
- Первое обращение с новым текстом ускорения от повторного использования расчётов не получит.
Сервис проверяет, где сохранились расчёты
Кеш — это сохранённые промежуточные расчёты модели для уже обработанного текста. При следующем вопросе в том же диалоге их можно использовать повторно.
Серверы сообщают SageMaker о добавлении и удалении записей кеша. Сервис выбирает сервер с самым длинным сохранённым совпадением и учитывает его загрузку. Если подходящие серверы заняты, выбор зависит от нагрузки.
Указатель на сохранённые расчёты не содержит самих запросов или их текста. После добавления новых серверов кеш на них пуст: задержка может временно вырасти.
В тесте быстрее начинались ответы на повторные вопросы
AWS сравнила новый режим со случайным выбором сервера на модели Qwen3-4B-Instruct-2507. В каждом запуске 32 условных пользователя задавали по четыре вопроса о документах. Проверка шла на двух серверах ml.g5.xlarge.
Для вопросов со второго по четвёртый медиана ожидания первого токена, фрагмента ответа, упала с 1284 до 237 мс. Во второй паре запусков — с 1632 до 245 мс. Доля текста запроса, обслуженная из кеша, достигла 90% против 76% и 70%.
При этом средняя задержка вне контейнера модели выросла на 14–19 мс. AWS проверила одну модель и одну нагрузку с длинными общими документами. Эти результаты не обещают такого же выигрыша в другом приложении.
Приложению не придётся менять способ отправки запросов
Настройка затрагивает среду запуска модели и конфигурацию сервиса. Клиентское приложение продолжает отправлять запросы прежним способом. Нужна поддерживаемая среда запуска.
Для коротких запросов, стабильного общего начала и умеренной нагрузки AWS считает прежний режим более простым выбором. Новый режим полезен для растущих диалогов и частого удаления записей кеша.
Что это значит для вас
- Для пользователя чата возможный выигрыш связан с продолжением разговора, когда часть текста уже обработана.
- Для команды приложения выбор режима зависит от её запросов: результат чужого теста не заменяет собственную проверку.
Что делать
- Проверьте поддержку нового режима в среде запуска модели.
- Включите передачу событий кеша и задайте RoutingStrategy значение KV_AWARE.
- Сравните режимы на копии своего трафика: замерьте задержку и долю повторно использованных расчётов.
- После эксперимента удалите созданные ресурсы, чтобы остановить начисления.
Редакция «Применяй ИИ» · Как мы готовим новости