Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Amazon добавила Dynamo для запуска ИИ на нескольких серверах

Amazon добавила NVIDIA Dynamo в SageMaker HyperPod Inference — облачный сервис для запуска языковых моделей. В блоге AWS компания приводит пример: модель GLM-5.3 превышает 640 ГБ памяти одного сервера.

Обновление помогает командам запускать модели, которым тесно на одном сервере. Также можно разделить обработку входного текста и создание ответа, чтобы длинные запросы не замедляли его выдачу.

Коротко

  • HyperPod следит за состоянием оборудования и заменяет отказавшие узлы.
  • Для обработки запросов и создания ответов можно отдельно менять число обработчиков.
  • Настройки по умолчанию упрощают подключение программ к модели.

Обработку длинных запросов можно отделить от выдачи ответов

Dynamo — инструмент с открытым кодом для работы моделей на нескольких серверах. Он позволяет вынести обработку входного текста и генерацию ответа в разные группы. По объяснению AWS, эти задачи могут мешать друг другу на общих видеокартах.

Обе группы загружают модель целиком. Между ними передаются промежуточные результаты обработки текста. Поэтому при подборе оборудования нужна память не только для самой модели.

Есть и совместный режим: один обработчик принимает запрос и создаёт ответ. В обоих вариантах система учитывает уже обработанные начала запросов и загрузку исполнителей. Это может сократить повторные вычисления и время до начала ответа.

Тест сохранил 99,1% скорости при переходе на два сервера

AWS сравнила восемь видеокарт на одном сервере и столько же поровну на двух. Для проверки взяли Qwen3.5-397B-A17B-FP8. Эта модель помещается на одном сервере: разделение использовали как контрольный опыт.

При распределении сохранилось 99,1% производительности в расчёте на видеокарту. В тесте было 32 одновременных запроса и часто повторялись их начальные части. Модель, настройки и нагрузка в обоих вариантах совпадали.

Результат относится к условиям этого опыта. AWS рекомендует проверять систему на запросах с характерной для команды длиной и повторяемостью. Выбор схемы зависит от замеров стоимости и задержки ответа.

Что это значит для вас

  • Команда может использовать настройки HyperPod или перенести свою схему Dynamo.
  • При настройке через HyperPod сервис загружает модель и управляет точкой доступа. Это адрес, через который программа отправляет модели запросы. При переносе своей схемы команда сама настраивает загрузку и точку доступа.

Что делать

  1. Выберите готовый пример Dynamo под модель, программу её запуска и тип видеокарт.
  2. Учтите память для модели, промежуточных результатов и работы программы.
  3. Проверьте связь между серверами до замеров скорости.
  4. Испытайте типичную нагрузку, затем меняйте по одному параметру.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме