BMW ограничивает ИИ-агентов по шагам: три уровня доверия и проверки в коде
BMW Group рассказала в блоге AWS, как контролирует сотни ИИ-агентов. ИИ-агент — программа, которая выполняет задачу по шагам и обращается к другим сервисам.
Агент может изменить рабочие данные или отправить сообщение, поэтому такие действия требуют отдельного контроля. BMW показывает, как это устроено, когда агентов делают сотни команд.
Коротко
- Свободу агенту выдают постепенно: сначала человек одобряет каждое действие.
- Правила работают вне самого агента, поэтому его подсказки их не отменят.
- Агент без записи своих действий не проходит проверку до оценки качества.
Доверие выдают каждому шагу, а не агенту целиком
В BMW три уровня самостоятельности. На нулевом человек одобряет каждое действие: так начинают новые агенты и рискованные операции. На первом агент действует сам, а человек позже разбирает его решения.
На втором агент работает сам, но в жёстких границах: для малорисковых, хорошо изученных операций. Уровень назначают шагу, поэтому в одном сценарии бывают все три.
Правила стоят снаружи и срабатывают до запуска
Проверки доступа, лимитов и фильтрации вынесены из кода агентов на общий уровень подключения. Поэтому они переживают смену модели.
Основные проверки идут в CI/CD, автоматической цепочке проверки и выпуска версий. Перед запуском новой версии проверяют права доступа и соблюдение правил. Если проверка не пройдена, запуск блокируется.
Исходящие сообщения уходят только разрешённым получателям, а содержимое проверяют на секреты.
Качество измеряют с первого дня и после запуска
Над кодом работают более 12 500 разработчиков исследований и разработок BMW. Любая правка агента, будь то подсказка или другая модель, запускает цепочку заново: сначала быстрые тесты, затем оценка по эталонному набору запросов.
После запуска следят за дрейфом. Дрейф данных виден по новым запросам и изменениям в API, способе обмена данными между программами. Дрейф модели виден по росту ошибок; такие сигналы и жалобы клиентов идут человеку.
Что это значит для вас
- Чем опаснее действие агента, тем строже контроль: черновик и запись в рабочую базу требуют разного надзора.
- Одних просьб в подсказке мало: правила вынесены в код проверок, и агент их не отменит.
Что делать
- Если вы создаёте агентов, начинайте с режима, где человек одобряет каждое действие.
- Назначайте уровень самостоятельности каждому шагу и повышайте его по измеренным результатам.
- Выносите проверки прав в автоматическую проверку перед запуском, а не в текст подсказки.
Чего пока неизвестно
В блоге нет цифр экономии и ускорения: авторы лишь пишут, что затраты снизились, а выход в работу ускорился.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты