Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Amazon ускорила старт ИИ-агентов: новая сессия занимает около 2 секунд

Amazon Web Services описала в блоге версию V2 сервиса AgentCore Runtime: новая сессия агента стартует примерно за 2 секунды. AgentCore Runtime — среда, где работают ИИ-агенты, то есть программы, которые сами проверяют код или обрабатывают заявки; сессия — один сеанс работы такого агента.

Если агент отвечает в чате или голосом, человек ждёт первой реплики. Для таких сценариев и 2 секунды долго, поэтому авторы показывают, как уложиться в долю секунды.

Коротко

  • Большинству агентов хватит переключить одну настройку, но некоторым придётся переделать код.
  • Крупные файлы и программы, которые агент не держит в памяти, готовят отдельным шагом сборки.
  • Чтобы ответить быстрее секунды, сессию запускают заранее, когда человек открыл чат.

Среду готовят один раз, а не для каждого пользователя

Раньше платформа для каждой сессии скачивала образ контейнера, то есть упакованную программу агента. Поэтому старт зависел от размера образа.

В V2 агента запускают один раз и сохраняют его состояние как снимок. Это как сохранение в игре: новая сессия стартует с готового места. Зато каждое создание или обновление теперь занимает несколько минут.

Файлы из образа подгружаются при первом чтении. Ещё V2 возвращает неиспользованную память, и счёт растёт только за то, что агент реально потратил.

Сначала стоит выяснить, на что уходит время

Мониторинг Amazon показывает отдельно время работы платформы и время кода агента. Смотреть лучше на самые медленные запросы, а не на среднее: оно прячет задержки.

Секреты и случайные значения нельзя замораживать в снимке

Всё, что создано при подготовке, попадает в снимок и одинаково у всех сессий. Секреты и случайные значения тогда совпали бы у всех пользователей, а это риск для безопасности.

Такие данные создают уже при обработке запроса. Меняющиеся данные, например прайс-листы, загружают один раз на сессию и периодически обновляют.

Для ответа быстрее секунды сессию запускают заранее

Уже идущая сессия отвечает примерно за 200 мс. Когда человек открыл чат, система в фоне шлёт агенту пробный запрос и запоминает номер сессии.

Платить придётся и за тех, кто ничего не написал. Короткое время простоя до закрытия сессии снижает этот расход.

Что это значит для вас

  • Команде с готовым агентом часть ускорения может дать смена версии без переписывания кода.
  • Прогрев убирает ожидание в чате, но добавляет расход на тех, кто ничего не спросил.

Что делать

  1. Включите версию V2 при создании или обновлении среды запуска.
  2. Выполняйте всю подготовку агента до старта, а случайные значения и секреты создавайте при обработке запроса.
  3. Сравните время платформы и время кода при реальной доле новых сессий.
  4. Для чата отправляйте пробный запрос, когда человек открывает окно.

Чего пока неизвестно

В источнике не указано, доступен ли сервис из России и сколько стоит V2.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме