Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Amazon SageMaker сам следит за замедлением моделей и простоем видеокарт

Amazon SageMaker AI, сервис для запуска ИИ-моделей, теперь по умолчанию следит за их задержкой и простоем видеокарт, пишет блог AWS. Слежение включено для моделей на vLLM (программе, которая запускает модель) и на GPU-серверах.

Тихое ухудшение работы обычно замечают по жалобам пользователей или по счёту. Теперь о нём сообщит сам сервис.

Коротко

  • Находок три вида: рост задержки, недогруженные видеокарты и пробелы в настройке.
  • Уведомление приходит через AWS Health и на почту, по одному на эндпоинт, то есть на развёрнутую модель.
  • Замеры идут на отдельных мощностях, рабочая модель не меняется без вашей команды.

Сервис смотрит на метрики, а не на ваши запросы

SageMaker AI изучает задержку, загрузку видеокарт и настройки обслуживания. Содержимое запросов и ответов он не читает, а за слежение не берут плату за видеокарты.

Отключить его можно при вызове CreateModel: в окружение контейнера (пакета с программой модели) добавляют переменную OPT_OUT_TRACKING с любым значением. Тогда телеметрии и уведомлений по эндпоинту не будет.

Три вида находок и путь от письма до замеров

Первая: за неделю выросла медианная задержка ответа или время до первого токена, то есть до первого фрагмента ответа. Вторая: вы платите за почти простаивающие видеокарты.

В примере из блога большую часть недели даже самая занятая видеокарта использовала не более 12 процентов мощности.

Третья касается настройки: устаревший контейнер без патчей безопасности или неиспользуемая оптимизация, например ускорение ответов.

Уведомление открывает SageMaker Studio с уже подставленными эндпоинтом и трафиком. Там настройки сравнивают по времени ответа, пропускной способности и цене.

Ничего не применяется без вашего подтверждения

В Studio работает агент — ИИ-помощник в чате. Он пересказывает находку и перед действием спрашивает согласия.

Затем он создаёт ноутбук — документ с кодом по ячейкам. Каждый шаг можно поправить до запуска.

AWS советует применять изменение сначала на одном варианте эндпоинта и оставить прежнюю настройку для отката. Отказ тоже нормальный исход: команда может сохранить размер ради запаса под рост.

Что это значит для вас

  • Команды с собственными моделями узнают о тихом ухудшении сами, а не из жалоб.
  • Решение о применении остаётся за вами, а слежение описано только для vLLM и GPU-серверов.

Что делать

  1. Проверьте доступ к AWS Health и консоли User Notifications, где настраивают письма.
  2. Попросите администратора создать домен SageMaker Studio и выдать права доступа IAM на запуск рекомендаций и обновление эндпоинтов.
  3. Проверьте квоту на мощности для тестовых замеров.
  4. Применяйте изменение сначала на одном варианте и держите прежнюю настройку для отката.

Чего пока неизвестно

Блог не называет порогов, после которых загрузка видеокарт считается низкой. Цифра из примера не служит правилом.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Чипы и видеокарты

Ещё по теме