ИИ выполнил 86,78% задач по правке цифровых моделей зданий
ИИ успешно выполнил 86,78% заданий по редактированию моделей зданий. Авторы исследования на arXiv проверили его на 1990 задачах.
При правке модели здания нужно учитывать связанные элементы и сохранять остальные. Работа показывает, как обучать ИИ с учётом этих требований.
Коротко
- После начального обучения модель выполняла 79,15% заданий.
- В среде IfcGym агент — ИИ, который действует через инструменты, — вносит изменения кодом.
- При равном доступе к инструментам ученики обошли все модели с готовыми инструкциями, кроме учителя.
Успех засчитывают только после четырёх проверок
Авторы работают с IFC — форматом цифровых моделей зданий. Прежние агенты получали инструкции, но не учились на результатах правок.
В IfcGym результат сверяют с исходной моделью и заданием. Проверяют корректность, выполнение запроса, учёт зависимостей и сохранность прочих элементов. Для успеха нужны все четыре проверки.
Одного сравнения с образцовым файлом недостаточно. Оно не описывает допустимые варианты правок. Также оно не определяет, какие элементы менять нельзя.
Полный набор проверок добавил 4,83 пункта к результату
Метод обучения назвали IfcEdit. Сначала модель Qwen3.5-9B обучили на проверенных примерах работы модели-учителя. Затем её стали награждать за прохождение всех проверок.
Это дало на 4,83 процентного пункта больше успешных решений. Для сравнения использовали награду лишь за выполнение запроса и корректность.
Более крупный ученик превзошёл учителя
Задания IfcEditBench взяли из 13 реальных проектов, отложенных для проверки. Тот же метод применили к модели с 27 млрд параметров. Она достигла 91,76% успеха и обошла учителя.
Для меньшей модели вывод осторожнее. Доверительный интервал разницы с учителем включает ноль. То есть оценка допускает отсутствие разницы между ними.
Что это значит для вас
- Для оценки правок важна не только точность выполнения запроса. Результат должен сохранять части модели, которые менять не просили.
- Показатели относятся к заданиям исследования. Оценки меньшей и более крупной модели нужно рассматривать отдельно.
Что делать
Пока ничего: следите за исследованием IfcEdit и условиями применения метода.
Редакция «Применяй ИИ» · Как мы готовим новости