Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Amazon открыла SGLang-Neuron: модели можно запускать на чипах Trainium

Amazon объявила, что SGLang-Neuron стал общедоступным: с ним программа SGLang работает на чипах Trainium. Плагин выпустила компания RadixArk совместно с Annapurna Labs.

SGLang — программа, которая запускает модель как сервер и принимает запросы. Для тех, кто с ней работает, появляется ещё один вариант оборудования.

Коротко

  • Плагин добавляет в SGLang поддержку чипов Trainium, а интерфейс сервера и запросы остаются привычными.
  • Плагин развивается отдельно от основной программы, поэтому, по словам авторов, обновляется быстрее.
  • В примере на сервере с Trainium3 запускают модель openai/gpt-oss-120b.

Плагин учит SGLang работать с чипами Amazon

Trainium — семейство ИИ-чипов AWS. По словам Amazon, оно даёт выгодную экономику при обучении и работе моделей.

Основная программа по-прежнему принимает запросы и ведёт их обработку, а плагин отвечает за всё, что связано именно с Trainium. Внутри он работает на PyTorch.

Пример запуска укладывается в три шага

Нужен облачный сервер Amazon EC2 с чипами Trainium3 и контейнер — готовый пакет с программой и всем для её запуска.

Сначала запускают контейнер, затем сервер модели, затем отправляют запрос: в примере модель просят объяснить, почему небо голубое.

Команды и параметры приведены в статье; дополнительные инструкции по настройке — в руководстве по началу работы.

Запрос и ответ можно разнести по двум серверам

Плагин поддерживает режим, где первый сервер разбирает запрос и готовит промежуточные данные, а второй дописывает ответ. Передачу данных между ними по сети Elastic Fabric Adapter берёт на себя плагин.

Что это значит для вас

  • Если вы запускаете модели через SGLang, Trainium становится ещё одним вариантом оборудования: нужно установить плагин и указать SGLANG_PLATFORM=neuron.
  • Если вы пользуетесь готовыми чат-ботами, о влиянии новости на вас источник не говорит.

Что делать

  1. Откройте руководство по началу работы и документацию репозитория.
  2. Запустите контейнер на сервере с Trainium3 и повторите пример.
  3. Проверьте результат на своих задачах и отправьте отзыв через репозиторий.

Чего пока неизвестно

В источнике нет данных о скорости, стоимости и сравнении с другим оборудованием. Список поддерживаемых моделей авторы предлагают искать в документации репозитория.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Чипы и видеокарты

Ещё по теме