LangSmith: контроль ИИ-агентов начинается с записи каждого их шага
Автор блога LangSmith Christine Manegan описала 19 ноября, как компании контролируют ИИ-агентов. ИИ-агент — программа на основе ИИ, которая выполняет задачу по шагам и пользуется инструментами.
Один агент на один запрос может пойти разными путями, поэтому одних запретов мало. Нужна трассировка — запись всех шагов агента, по ней видно, соблюдает ли он правила.
Коротко
- Контроль делят на предотвращающий (запреты и проверки до выпуска) и выявляющий (наблюдение после запуска).
- Среди более чем 16 000 агентов на LangSmith у 87% команд трассировка работала до первого запуска.
- Найденные в работе сбои превращают в более жёсткий запрет или новую проверку.
Запрет не гарантирует, что агент ему подчинится
По словам автора, лимит расходов или правило не гарантируют, что агент их соблюдает. Записи шагов показывают, работают ли ограничения.
Агент может искать обходной путь: агент поддержки с лимитом на возврат способен разбить крупный возврат на два мелких. Такое может не проявиться на тестах до выпуска.
До выпуска агента проверяют по порогу качества
Компания может потребовать прогнать агента по эталонному набору примеров. Пример порога из статьи: меньше 2% галлюцинаций (выдумок, поданных как факт), нет утечек персональных данных, правильность выше 90%.
Часть сбоев видна лишь в закономерностях, часть — в отдельных записях
Онлайн-оценки автоматически проверяют живые записи: утечки данных, зацикливание вызовов инструментов, раскрытые секреты. Оповещения срабатывают по заданным порогам.
Некоторые ухудшения видны только при сравнении многих записей. Агент вежливо отказывает в просьбах не по теме, ошибок нет, но удовлетворённость в этой теме падает, а общий показатель почти не меняется.
Люди-эксперты разбирают помеченные случаи, потому что автоматика не предусмотрит все сбои.
Что это значит для вас
- Если компания запускает агентов, одних правил мало: нужен журнал действий, по которому можно проверить их соблюдение.
- Автор пишет, что рекомендации OWASP, NIST и ЕС описывают риски, но не объясняют, как их снижать и проверять.
Что делать
- Составьте единый список всех агентов в компании.
- Включите трассировку до первого запуска агента.
- Задайте порог качества, который агент проходит перед выпуском.
- Настройте оповещения на утечки данных, рост ошибок и расходов.
- Добавляйте найденные сбои в повторные проверки.
Чего пока неизвестно
В источнике нет данных о цене LangSmith и доступе из России. Цифра 87% — данные самой платформы, методика не раскрыта; текст опубликован в блоге LangSmith.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты