Amazon открыла SGLang-Neuron: модели можно запускать на чипах Trainium
Amazon объявила, что SGLang-Neuron стал общедоступным: с ним программа SGLang работает на чипах Trainium. Плагин выпустила компания RadixArk совместно с Annapurna Labs.
SGLang — программа, которая запускает модель как сервер и принимает запросы. Для тех, кто с ней работает, появляется ещё один вариант оборудования.
Коротко
- Плагин добавляет в SGLang поддержку чипов Trainium, а интерфейс сервера и запросы остаются привычными.
- Плагин развивается отдельно от основной программы, поэтому, по словам авторов, обновляется быстрее.
- В примере на сервере с Trainium3 запускают модель openai/gpt-oss-120b.
Плагин учит SGLang работать с чипами Amazon
Trainium — семейство ИИ-чипов AWS. По словам Amazon, оно даёт выгодную экономику при обучении и работе моделей.
Основная программа по-прежнему принимает запросы и ведёт их обработку, а плагин отвечает за всё, что связано именно с Trainium. Внутри он работает на PyTorch.
Пример запуска укладывается в три шага
Нужен облачный сервер Amazon EC2 с чипами Trainium3 и контейнер — готовый пакет с программой и всем для её запуска.
Сначала запускают контейнер, затем сервер модели, затем отправляют запрос: в примере модель просят объяснить, почему небо голубое.
Команды и параметры приведены в статье; дополнительные инструкции по настройке — в руководстве по началу работы.
Запрос и ответ можно разнести по двум серверам
Плагин поддерживает режим, где первый сервер разбирает запрос и готовит промежуточные данные, а второй дописывает ответ. Передачу данных между ними по сети Elastic Fabric Adapter берёт на себя плагин.
Что это значит для вас
- Если вы запускаете модели через SGLang, Trainium становится ещё одним вариантом оборудования: нужно установить плагин и указать SGLANG_PLATFORM=neuron.
- Если вы пользуетесь готовыми чат-ботами, о влиянии новости на вас источник не говорит.
Что делать
- Откройте руководство по началу работы и документацию репозитория.
- Запустите контейнер на сервере с Trainium3 и повторите пример.
- Проверьте результат на своих задачах и отправьте отзыв через репозиторий.
Чего пока неизвестно
В источнике нет данных о скорости, стоимости и сравнении с другим оборудованием. Список поддерживаемых моделей авторы предлагают искать в документации репозитория.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Чипы и видеокарты