Amazon SageMaker сам следит за замедлением моделей и простоем видеокарт
Amazon SageMaker AI, сервис для запуска ИИ-моделей, теперь по умолчанию следит за их задержкой и простоем видеокарт, пишет блог AWS. Слежение включено для моделей на vLLM (программе, которая запускает модель) и на GPU-серверах.
Тихое ухудшение работы обычно замечают по жалобам пользователей или по счёту. Теперь о нём сообщит сам сервис.
Коротко
- Находок три вида: рост задержки, недогруженные видеокарты и пробелы в настройке.
- Уведомление приходит через AWS Health и на почту, по одному на эндпоинт, то есть на развёрнутую модель.
- Замеры идут на отдельных мощностях, рабочая модель не меняется без вашей команды.
Сервис смотрит на метрики, а не на ваши запросы
SageMaker AI изучает задержку, загрузку видеокарт и настройки обслуживания. Содержимое запросов и ответов он не читает, а за слежение не берут плату за видеокарты.
Отключить его можно при вызове CreateModel: в окружение контейнера (пакета с программой модели) добавляют переменную OPT_OUT_TRACKING с любым значением. Тогда телеметрии и уведомлений по эндпоинту не будет.
Три вида находок и путь от письма до замеров
Первая: за неделю выросла медианная задержка ответа или время до первого токена, то есть до первого фрагмента ответа. Вторая: вы платите за почти простаивающие видеокарты.
В примере из блога большую часть недели даже самая занятая видеокарта использовала не более 12 процентов мощности.
Третья касается настройки: устаревший контейнер без патчей безопасности или неиспользуемая оптимизация, например ускорение ответов.
Уведомление открывает SageMaker Studio с уже подставленными эндпоинтом и трафиком. Там настройки сравнивают по времени ответа, пропускной способности и цене.
Ничего не применяется без вашего подтверждения
В Studio работает агент — ИИ-помощник в чате. Он пересказывает находку и перед действием спрашивает согласия.
Затем он создаёт ноутбук — документ с кодом по ячейкам. Каждый шаг можно поправить до запуска.
AWS советует применять изменение сначала на одном варианте эндпоинта и оставить прежнюю настройку для отката. Отказ тоже нормальный исход: команда может сохранить размер ради запаса под рост.
Что это значит для вас
- Команды с собственными моделями узнают о тихом ухудшении сами, а не из жалоб.
- Решение о применении остаётся за вами, а слежение описано только для vLLM и GPU-серверов.
Что делать
- Проверьте доступ к AWS Health и консоли User Notifications, где настраивают письма.
- Попросите администратора создать домен SageMaker Studio и выдать права доступа IAM на запуск рекомендаций и обновление эндпоинтов.
- Проверьте квоту на мощности для тестовых замеров.
- Применяйте изменение сначала на одном варианте и держите прежнюю настройку для отката.
Чего пока неизвестно
Блог не называет порогов, после которых загрузка видеокарт считается низкой. Цифра из примера не служит правилом.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Чипы и видеокарты