WindPilot улучшил численные результаты расчётов ветра: 17 задач против 6
В исследовании на arXiv система WindPilot получила баллы за численные результаты в 17 из 30 задач о городском ветре.
Если вы сравниваете расчёты городского ветра, нужны сопоставимые условия и проверяемые числа. Сообщения об успешном запуске мало, чтобы выбрать пригодный результат.
Коротко
- Набор UrbanWind-AgentBench охватывает 200 заданий и 367 случаев в десяти группах инженерных задач.
- Число заданий с полной оценкой выросло с нуля до трёх.
- Среднее число шагов при выполнении задания сократилось со 130,4 до 104,9.
Комплект материалов ещё не подтверждает правильность чисел
ИИ-агент — программа, которая с помощью ИИ выполняет задачу по шагам и запускает инструменты. Такие программы уже могут настраивать и запускать расчёты движения воздуха.
В наборе заданий заранее описано, что разрешено менять, а что нужно сохранить. Указаны также численные пороги и требования к итоговым материалам.
Авторы разделили оценку на две части. Структурная часть учитывает материалы, сведения о выполнении и исходные результаты. Численную часть оценивают через независимый пересчёт и сравнение с эталонами.
Проверки во время работы повысили средний балл
Испытание провели на заданиях для расчётной программы OpenFOAM с независимыми эталонами. Базовый агент в 28 заданиях набрал максимум структурной части — 60 баллов. Но за численную часть он получил баллы лишь в 6 заданиях.
WindPilot включает проверки в процесс выполнения задачи. Система разбирает требования, сохраняет сведения о ходе работы и проверяет результаты по заданным правилам.
Средняя оценка с WindPilot выросла с 62,5 до 72,5 балла. Средний расход токенов — единиц текста, которые обрабатывает модель, — снизился на 12,9%.
Что это значит для вас
- Результат относится к конкретному испытанию: название модели и бюджет в сравнении были одинаковыми.
- Улучшение не означает, что все задания выполнены безупречно: максимальную оценку получила лишь часть работ.
Что делать
- При сравнении расчётов зафиксируйте условия, которые не должны меняться.
- Сверьте итоговые показатели с исходными результатами.
- Пересчитайте показатели независимо и сравните с эталонами.
Редакция «Применяй ИИ» · Как мы готовим новости