Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнес

BMW ограничивает ИИ-агентов по шагам: три уровня доверия и проверки в коде

BMW Group рассказала в блоге AWS, как контролирует сотни ИИ-агентов. ИИ-агент — программа, которая выполняет задачу по шагам и обращается к другим сервисам.

Агент может изменить рабочие данные или отправить сообщение, поэтому такие действия требуют отдельного контроля. BMW показывает, как это устроено, когда агентов делают сотни команд.

Коротко

  • Свободу агенту выдают постепенно: сначала человек одобряет каждое действие.
  • Правила работают вне самого агента, поэтому его подсказки их не отменят.
  • Агент без записи своих действий не проходит проверку до оценки качества.

Доверие выдают каждому шагу, а не агенту целиком

В BMW три уровня самостоятельности. На нулевом человек одобряет каждое действие: так начинают новые агенты и рискованные операции. На первом агент действует сам, а человек позже разбирает его решения.

На втором агент работает сам, но в жёстких границах: для малорисковых, хорошо изученных операций. Уровень назначают шагу, поэтому в одном сценарии бывают все три.

Правила стоят снаружи и срабатывают до запуска

Проверки доступа, лимитов и фильтрации вынесены из кода агентов на общий уровень подключения. Поэтому они переживают смену модели.

Основные проверки идут в CI/CD, автоматической цепочке проверки и выпуска версий. Перед запуском новой версии проверяют права доступа и соблюдение правил. Если проверка не пройдена, запуск блокируется.

Исходящие сообщения уходят только разрешённым получателям, а содержимое проверяют на секреты.

Качество измеряют с первого дня и после запуска

Над кодом работают более 12 500 разработчиков исследований и разработок BMW. Любая правка агента, будь то подсказка или другая модель, запускает цепочку заново: сначала быстрые тесты, затем оценка по эталонному набору запросов.

После запуска следят за дрейфом. Дрейф данных виден по новым запросам и изменениям в API, способе обмена данными между программами. Дрейф модели виден по росту ошибок; такие сигналы и жалобы клиентов идут человеку.

Что это значит для вас

  • Чем опаснее действие агента, тем строже контроль: черновик и запись в рабочую базу требуют разного надзора.
  • Одних просьб в подсказке мало: правила вынесены в код проверок, и агент их не отменит.

Что делать

  1. Если вы создаёте агентов, начинайте с режима, где человек одобряет каждое действие.
  2. Назначайте уровень самостоятельности каждому шагу и повышайте его по измеренным результатам.
  3. Выносите проверки прав в автоматическую проверку перед запуском, а не в текст подсказки.

Чего пока неизвестно

В блоге нет цифр экономии и ускорения: авторы лишь пишут, что затраты снизились, а выход в работу ускорился.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме