Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Amazon SageMaker сократил ожидание в тесте с 1284 до 237 мс

AWS объявила в своём блоге о новом способе распределять запросы к ИИ в Amazon SageMaker AI. Сервис учитывает, какой сервер уже сохранил расчёты для текста запроса.

Это может сократить ожидание ответа в чатах с длинной перепиской. Раньше SageMaker умел выбирать сервер по началу запроса, но не проверял, сохранились ли там расчёты.

Коротко

  • Новый режим действует при наличии хотя бы двух серверов или двух копий компонента модели.
  • За сам режим доплачивать не нужно: оплачиваются используемые серверы.
  • Первое обращение с новым текстом ускорения от повторного использования расчётов не получит.

Сервис проверяет, где сохранились расчёты

Кеш — это сохранённые промежуточные расчёты модели для уже обработанного текста. При следующем вопросе в том же диалоге их можно использовать повторно.

Серверы сообщают SageMaker о добавлении и удалении записей кеша. Сервис выбирает сервер с самым длинным сохранённым совпадением и учитывает его загрузку. Если подходящие серверы заняты, выбор зависит от нагрузки.

Указатель на сохранённые расчёты не содержит самих запросов или их текста. После добавления новых серверов кеш на них пуст: задержка может временно вырасти.

В тесте быстрее начинались ответы на повторные вопросы

AWS сравнила новый режим со случайным выбором сервера на модели Qwen3-4B-Instruct-2507. В каждом запуске 32 условных пользователя задавали по четыре вопроса о документах. Проверка шла на двух серверах ml.g5.xlarge.

Для вопросов со второго по четвёртый медиана ожидания первого токена, фрагмента ответа, упала с 1284 до 237 мс. Во второй паре запусков — с 1632 до 245 мс. Доля текста запроса, обслуженная из кеша, достигла 90% против 76% и 70%.

При этом средняя задержка вне контейнера модели выросла на 14–19 мс. AWS проверила одну модель и одну нагрузку с длинными общими документами. Эти результаты не обещают такого же выигрыша в другом приложении.

Приложению не придётся менять способ отправки запросов

Настройка затрагивает среду запуска модели и конфигурацию сервиса. Клиентское приложение продолжает отправлять запросы прежним способом. Нужна поддерживаемая среда запуска.

Для коротких запросов, стабильного общего начала и умеренной нагрузки AWS считает прежний режим более простым выбором. Новый режим полезен для растущих диалогов и частого удаления записей кеша.

Что это значит для вас

  • Для пользователя чата возможный выигрыш связан с продолжением разговора, когда часть текста уже обработана.
  • Для команды приложения выбор режима зависит от её запросов: результат чужого теста не заменяет собственную проверку.

Что делать

  1. Проверьте поддержку нового режима в среде запуска модели.
  2. Включите передачу событий кеша и задайте RoutingStrategy значение KV_AWARE.
  3. Сравните режимы на копии своего трафика: замерьте задержку и долю повторно использованных расчётов.
  4. После эксперимента удалите созданные ресурсы, чтобы остановить начисления.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме