Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

WindPilot улучшил численные результаты расчётов ветра: 17 задач против 6

В исследовании на arXiv система WindPilot получила баллы за численные результаты в 17 из 30 задач о городском ветре.

Если вы сравниваете расчёты городского ветра, нужны сопоставимые условия и проверяемые числа. Сообщения об успешном запуске мало, чтобы выбрать пригодный результат.

Коротко

  • Набор UrbanWind-AgentBench охватывает 200 заданий и 367 случаев в десяти группах инженерных задач.
  • Число заданий с полной оценкой выросло с нуля до трёх.
  • Среднее число шагов при выполнении задания сократилось со 130,4 до 104,9.

Комплект материалов ещё не подтверждает правильность чисел

ИИ-агент — программа, которая с помощью ИИ выполняет задачу по шагам и запускает инструменты. Такие программы уже могут настраивать и запускать расчёты движения воздуха.

В наборе заданий заранее описано, что разрешено менять, а что нужно сохранить. Указаны также численные пороги и требования к итоговым материалам.

Авторы разделили оценку на две части. Структурная часть учитывает материалы, сведения о выполнении и исходные результаты. Численную часть оценивают через независимый пересчёт и сравнение с эталонами.

Проверки во время работы повысили средний балл

Испытание провели на заданиях для расчётной программы OpenFOAM с независимыми эталонами. Базовый агент в 28 заданиях набрал максимум структурной части — 60 баллов. Но за численную часть он получил баллы лишь в 6 заданиях.

WindPilot включает проверки в процесс выполнения задачи. Система разбирает требования, сохраняет сведения о ходе работы и проверяет результаты по заданным правилам.

Средняя оценка с WindPilot выросла с 62,5 до 72,5 балла. Средний расход токенов — единиц текста, которые обрабатывает модель, — снизился на 12,9%.

Что это значит для вас

  • Результат относится к конкретному испытанию: название модели и бюджет в сравнении были одинаковыми.
  • Улучшение не означает, что все задания выполнены безупречно: максимальную оценку получила лишь часть работ.

Что делать

  1. При сравнении расчётов зафиксируйте условия, которые не должны меняться.
  2. Сверьте итоговые показатели с исходными результатами.
  3. Пересчитайте показатели независимо и сравните с эталонами.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме