Amazon ускорила старт ИИ-агентов: новая сессия занимает около 2 секунд
Amazon Web Services описала в блоге версию V2 сервиса AgentCore Runtime: новая сессия агента стартует примерно за 2 секунды. AgentCore Runtime — среда, где работают ИИ-агенты, то есть программы, которые сами проверяют код или обрабатывают заявки; сессия — один сеанс работы такого агента.
Если агент отвечает в чате или голосом, человек ждёт первой реплики. Для таких сценариев и 2 секунды долго, поэтому авторы показывают, как уложиться в долю секунды.
Коротко
- Большинству агентов хватит переключить одну настройку, но некоторым придётся переделать код.
- Крупные файлы и программы, которые агент не держит в памяти, готовят отдельным шагом сборки.
- Чтобы ответить быстрее секунды, сессию запускают заранее, когда человек открыл чат.
Среду готовят один раз, а не для каждого пользователя
Раньше платформа для каждой сессии скачивала образ контейнера, то есть упакованную программу агента. Поэтому старт зависел от размера образа.
В V2 агента запускают один раз и сохраняют его состояние как снимок. Это как сохранение в игре: новая сессия стартует с готового места. Зато каждое создание или обновление теперь занимает несколько минут.
Файлы из образа подгружаются при первом чтении. Ещё V2 возвращает неиспользованную память, и счёт растёт только за то, что агент реально потратил.
Сначала стоит выяснить, на что уходит время
Мониторинг Amazon показывает отдельно время работы платформы и время кода агента. Смотреть лучше на самые медленные запросы, а не на среднее: оно прячет задержки.
Секреты и случайные значения нельзя замораживать в снимке
Всё, что создано при подготовке, попадает в снимок и одинаково у всех сессий. Секреты и случайные значения тогда совпали бы у всех пользователей, а это риск для безопасности.
Такие данные создают уже при обработке запроса. Меняющиеся данные, например прайс-листы, загружают один раз на сессию и периодически обновляют.
Для ответа быстрее секунды сессию запускают заранее
Уже идущая сессия отвечает примерно за 200 мс. Когда человек открыл чат, система в фоне шлёт агенту пробный запрос и запоминает номер сессии.
Платить придётся и за тех, кто ничего не написал. Короткое время простоя до закрытия сессии снижает этот расход.
Что это значит для вас
- Команде с готовым агентом часть ускорения может дать смена версии без переписывания кода.
- Прогрев убирает ожидание в чате, но добавляет расход на тех, кто ничего не спросил.
Что делать
- Включите версию V2 при создании или обновлении среды запуска.
- Выполняйте всю подготовку агента до старта, а случайные значения и секреты создавайте при обработке запроса.
- Сравните время платформы и время кода при реальной доле новых сессий.
- Для чата отправляйте пробный запрос, когда человек открывает окно.
Чего пока неизвестно
В источнике не указано, доступен ли сервис из России и сколько стоит V2.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты