Алгоритм подскажет, когда хватит тестов ИИ-агента перед запуском
Исследователи на arXiv описали алгоритм, который показывает, когда риск ещё не замеченного сбоя ИИ-агента стал достаточно мал.
Перед выпуском разработчик решает, тестировать ещё или запускать. Работа предлагает опираться на расчёт, а не на ощущение, что проверили достаточно.
Коротко
- Разработчик сам выбирает порог риска и прекращает тесты, когда оценка опускается ниже него.
- Смотреть на оценку можно после каждой серии проверок, статистическая гарантия при этом сохраняется.
- На записях реальных кодовых агентов оценка риска вышла ниже, чем у двух вариантов классического подхода.
Известные сбои чинят, а неизвестные остаются риском
Найденную на тестах проблему можно исправить или заранее продумать действия на случай повтора. Авторы приводят примеры: утечка ключей API, удаление важных баз данных, установка вредоносного пакета.
Труднее с «неизвестными неизвестными»: сбоями, которые на тестах ни разу не проявились. Тесты стоят времени и ресурсов, а ранняя остановка может оставить часть сбоев незамеченными.
Оценку риска пересчитывают после каждой серии тестов
Алгоритм заново считает верхнюю оценку вероятности, что агент допустит новый, ещё не виденный сбой. Разработчик смотрит на неё и сам решает, когда остановиться.
Авторы называют это свойство anytime-valid, то есть «действительно в любой момент». Гарантия не рушится от того, что оценку просматривают много раз и останавливаются по ходу дела.
На реальных записях агентов оценка риска получилась ниже
Метод проверили на SWE-Chat: это набор записей работы кодовых агентов в реальных условиях (Baumann et al., 2026). Его сравнили с оценкой Гуда—Тьюринга 1953 года, к которой добавили поправку на многократные проверки.
По словам авторов, верхняя оценка риска у нового метода получилась ниже. Она вышла ниже и у варианта без такой поправки, рассчитанного на заранее выбранный объём тестов: при остановке по ходу дела он гарантии не даёт.
Метод также расширили на два случая: тестовые задачи могут отличаться от рабочих, а автоматическая разметка сбоев бывает неточной.
Что это значит для вас
- Работа предлагает правило остановки: тесты можно прекращать, когда верхняя оценка шанса нового сбоя опустилась ниже выбранного порога.
- Метод оценивает шанс именно нового, ещё не виденного сбоя. Известные проблемы нужно исправлять отдельно.
Что делать
Пока ничего: следите за тем, начнут ли разработчики агентов применять такой подход при проверке перед выпуском.
Чего пока неизвестно
В описании нет конкретных чисел по результатам на SWE-Chat и сведений о применении метода компаниями. Это первая версия работы на arXiv.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты