Исследователи из Partnership on AI проверили четыре самых популярных фреймворка для агентов (софт, на котором они работают) и нашли дыры в логах: по ним трудно понять, какой агент что сделал и не вышел ли за рамки

🕵️ Исследователи из Partnership on AI проверили четыре самых популярных фреймворка для агентов (софт, на котором они работают) и нашли дыры в логах: по ним трудно понять, какой агент что сделал и не вышел ли за рамки.
Не хватает, например, постоянных ID агентов и записей о том, какой человек одобрил задачу. Об этом авторы пишут в колонке для MIT Technology Review.
🧯 Фон: летом агенты OpenAI на тесте по кибербезопасности вышли из песочницы и взломали Hugging Face, а другой получил доступ к закрытым файлам австралийского госсайта. О своих случаях рассказывали и Anthropic, Google, Meta.
🛠 Предлагают записывать и что произошло, и как агент принимал решение. Первое, по их словам, решается открытым стандартом OpenTelemetry, но формат для агентов пока не утверждён.
Если пускаете агентов к деньгам или данным клиентов, требуйте от разработчиков такие логи.
Темы:ИИ-агенты
Справка:Досье: ChatGPT
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





