NVIDIA заявила о росте отдачи от энергии более чем в 10 раз в тесте ИИ
По сообщению NVIDIA, платформа Vera Rubin выполнила более чем в 10 раз больше работы ИИ на ватт, чем система GB300. Результат для модели Kimi K3 пока предварительный.
Электропитание ограничивает работу центров обработки данных. Рост отдачи на ватт позволяет обслуживать больше ИИ-помощников при доступной мощности.
Коротко
- В тестах обучения NVIDIA представила результаты по всем заданиям раунда.
- В проверке обучения участвовали 20 организаций-партнёров NVIDIA.
- Компания ожидает дальнейшего ускорения Vera Rubin за счёт доработки программ.
Сравнение учитывает и расход энергии, и скорость ответа
ИИ-агент выполняет задачу в несколько шагов: обращается к инструментам и проверяет результат. MLPerf Endpoints проверяет такую работу с кодом и бизнес-задачами. При этом тест учитывает, удалось ли агенту выполнить задание правильно.
В сравнении Kimi K3 использовали общий порог скорости ответа. Для обеих систем задали одинаковый минимальный темп выдачи ответа пользователю.
Системы различались по составу: у Vera Rubin было 32 ускорителя, у GB300 — 48. Потребляемая мощность составляла 100,89 и 60 кВт соответственно. Выигрыш относится к объёму работы на единицу мощности, а не к снижению общего потребления.
Четырёхкратное число ускорителей сократило обучение до четырёх минут
MLPerf Training измеряет время обучения модели до заданной точности. В первом участии Vera Rubin показала до двукратного прироста на один графический ускоритель относительно GB300.
В задании DeepSeek-V3 число ускорителей увеличили с 256 до 1024. Время обучения сократилось с 16 минут примерно до четырёх. Эффективность такого наращивания составила около 97%.
Добавление ускорителей помогает, когда они слаженно работают вместе. NVIDIA связывает результат с сетями внутри систем и между ними, а также с настройкой программ.
Что это значит для вас
- Для пользователя ИИ-сервиса важен баланс: сколько людей могут работать одновременно и как быстро каждый получает ответ.
- Более быстрое обучение позволяет раньше обновлять модели. В источнике приведены примеры поиска лекарств и выявления мошенничества.
Что делать
Пока ничего: дождитесь проверки результата Vera Rubin ассоциацией MLCommons.
Чего пока неизвестно
Проверка предварительного результата ещё не завершена. После экспертной оценки показатели могут измениться; результат GB300 уже проверен.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Чипы и видеокарты