AWS запустила единый шлюз для ИИ-кластеров в разных регионах

AWS запустила Global Inference Gateway: один адрес для ИИ-моделей на кластерах в одном или нескольких регионах. Шлюз сам выбирает кластер для запроса, сообщает блог AWS.
Это касается команд, чьи модели работают на кластерах SageMaker HyperPod, то есть на группах серверов с графическими процессорами (GPU), где запускаются ИИ-модели. Запросы уходят на свободные, уже оплаченные мощности, а не ждут в очереди.
Коротко
- Шлюз оценивает кластеры по свободной памяти, очереди, близости региона и доле ошибок.
- Упавший кластер шлюз обходит сам, а неудачный запрос повторяет один раз на другом кластере.
- Запросы идут к кластерам только через PrivateLink, частное соединение внутри сети AWS. Сервис доступен в 13 регионах.
Без шлюза кластер выбирает клиент
В пик запрос может стоять в очереди на загруженном кластере, пока GPU в другом регионе простаивают.
В примере блога четыре модели на пяти кластерах в двух регионах дают 20 адресов. Прежний Inference Gateway сводит их к пяти, но кластер всё равно выбирает клиент.
Веса сигналов можно менять
Каждый сигнал имеет вес от 0,0 до 1,0, и четыре веса в сумме дают 1,0. По умолчанию близость региона весит 0,40, очередь 0,25, свободная память 0,20, ошибки 0,15.
Если надёжность важнее близости, блог советует поднять вес ошибок.
При сбое кластера клиентам не нужно менять настройки
Шлюз проверяет здоровье кластеров и переводит трафик с упавшего на следующий по оценке. Неудачный запрос повторяется один раз, но не тогда, когда ответ уже пошёл потоком.
Если исправных кластеров не осталось, шлюз отвечает ошибкой 503. По словам Jinhyung Park из Bagelcode, в бета-тесте шлюз провёл запросы через два региона и продолжал работать, когда один кластер перестал обслуживать модель.
Что это значит для вас
- Команде не нужно самой настраивать распределение запросов между кластерами в разных регионах.
- Пиковую нагрузку можно направить на кластеры со свободными GPU, в том числе в другом регионе.
- Кластер, открытый для шлюза, но не добавленный в него, трафика не получает, а его сетевой балансировщик всё равно оплачивается.
Что делать
- Узнайте у инженеров, работают ли ваши модели на нескольких кластерах HyperPod.
- Если да, решите, какие кластеры объединить: у кластеров, которые должны делить трафик одной модели, имя модели (modelName) должно совпадать.
- Попросите инженеров открыть выбранные кластеры для шлюза и создать сам шлюз.
- Разрешите отправлять запросы через шлюз только нужным пользователям и ролям.
- Точные команды и настройки доступа смотрите в документации AWS.
Чего пока неизвестно
В источнике не указана цена шлюза и нет данных о доступе из России.
Редакция «Применяй ИИ» · Как мы готовим новости




