AWS добавила три способа искать сбои обучения ИИ в HyperPod
AWS представила новые проверки и восстановление задач в SageMaker HyperPod — сервисе для обучения ИИ. В официальном блоге компания объяснила, какие сбои они находят.
Зависшая задача может занимать графические процессоры и расходовать оплаченные ресурсы без пользы. Обновление помогает командам замечать такие потери раньше.
Коротко
- Проверка обучения доступна для поддерживаемых графических процессоров NVIDIA в кластерах Amazon EKS.
- Отдельный агент связывает сбои инфраструктуры с задачами, узлами и программными компонентами.
- Обнаружение зависаний добавили для Slurm. Для некоторых способов запуска на EKS оно уже работало.
Исправное оборудование тоже может ошибаться
Прежние средства HyperPod проверяли оборудование каждого узла — отдельного сервера в группе. Но процессор способен пройти диагностику и затем выдавать неверные результаты при обучении.
Новая проверка MultiNodeTrainingValidation запускает небольшую модель сначала на одном сервере, затем на нескольких. Она отмечает сбой, если обучение не укладывается в срок или расчёт ошибки даёт недопустимое значение.
При включённом автоматическом восстановлении HyperPod заменяет сервер, который не прошёл проверку. Тест можно запускать при подготовке оборудования или по запросу.
Зависание можно заметить по выводу задачи и нагрузке
Slurm — программа, которая распределяет задачи между серверами. Зависшее обучение может оставаться для неё работающим, удерживая процессоры и память.
Новый агент следит за выводом задачи и активностью процессоров либо за заданными признаками в журналах. В тесте AWS стандартная проверка обнаружила остановку через 15 минут после последнего вывода.
Масштаб потерь компания показала на расчётном примере с 256 процессорами H100. Восемь часов незамеченного зависания расходуют 2048 часов их работы. Это иллюстрация, а не результат испытания.
Ошибка в правилах оставляет задачу без наблюдения
Amazon EKS управляет группой серверов через Kubernetes — систему запуска программ. Агент мониторинга наблюдает за её компонентами и записывает сведения о сбоях в журналы CloudWatch.
У обнаружения зависаний есть отдельная ловушка: неверный или отсутствующий файл правил отключает наблюдение. Агент записывает CONFIG_ERROR, но задача продолжает работать. В выводе самой задачи предупреждения может не быть.
Что это значит для вас
- Автоматический возврат задачи в очередь ограничен настройками Slurm: бесконечных повторов не будет.
- Если при запуске запретили повторную постановку в очередь, отменённая задача останется отменённой.
Что делать
- Начните с режима notify: он сообщает о зависании без отмены задачи.
- Проверьте новый файл правил на коротком запуске и найдите в CloudWatch возможные события CONFIG_ERROR.
- Настройте оповещения по событиям HANG_DETECTED.
- После проверки правил переходите к автоматической отмене зависших задач.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Чипы и видеокарты