Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

AWS запустила перенос ИИ-запросов между регионами SageMaker AI

AWS открыла межрегиональный перенос запросов в SageMaker AI, сообщает блог компании. Это сервис для размещения и запуска ИИ-моделей.

При нехватке местных мощностей запросы приложения могут уйти в другой регион. Но медленный ответ сам по себе не запускает переключение.

Коротко

  • Механизм доступен во всех коммерческих регионах AWS с поддержкой запуска моделей в реальном времени.
  • Запросы с требованием обработки в определённом регионе Salesforce оставляет внутри его границ.
  • Каждый ответ показывает место обработки и причину выбора площадки.

Salesforce передала переключение площадок сервису AWS

Salesforce обслуживает ИИ-модели более чем в 30 регионах. В одних серверы простаивают, а в других мощности заканчиваются. Держать ресурсы под совпадающие пики нагрузки слишком дорого.

Раньше компания сама поддерживала проверки доступности и перенос запросов. Теперь этим занимается маршрутизатор — механизм выбора площадки для обработки. Он использует уже размещённые модели и сам не добавляет серверы.

В тесте перенос начался только после ошибок

Команда Salesforce намеренно перегрузила местную площадку. За примерно пять минут медианное время ответа выросло с 0,2 до 45–58 секунд. Медиана — граница, быстрее которой завершалась половина контрольных запросов.

Первые запросы дошли до другого региона примерно через две минуты после начала ошибок. Ещё через минуту туда поступало около 78% контрольного потока.

После переключения медианное время ответа вернулось к исходному уровню. Возврат потока после восстановления занял около десяти минут. Контрольные запросы прошли оба переключения без ошибок.

Запас мощности всё равно нужен в каждом регионе

Принимающая площадка должна выдерживать свою нагрузку и входящие запросы из других регионов. Если заняты все разрешённые направления, приложение получит ошибки. Для защиты местных пользователей можно ограничить входящий межрегиональный поток.

До более широкого внедрения Salesforce планирует продлить тест перегрузки. Также команда проверит поведение нескольких регионов при достижении лимита входящих запросов.

Что это значит для вас

  • Для владельца приложения сокращается объём собственного кода для переключения между регионами.
  • Результаты проверки описывают опыт Salesforce: более длительную перегрузку компания ещё планирует испытать.

Что делать

  1. Разместите одинаковую модель, её файлы и программное окружение во всех выбранных регионах.
  2. Рассчитайте запас мощности для входящего потока и настройте автоматическое добавление серверов.
  3. Задайте ограничения на входящие запросы из других регионов.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме