Новый способ поиска решений повысил точность ИИ на 4,96 процентного пункта
Авторы исследования на arXiv предложили новый способ поиска решений для ИИ. Его проверили на 12 наборах математических и поисковых задач.
Метод помог ИИ чаще правильно решать математические задачи в тестах. Улучшение повседневных ответов пока не показано.
Коротко
- Одна стратегия может получать повторное поощрение за разные формулировки.
- Небольшая нейросеть помогает совместно учитывать похожие варианты.
- Авторы проверили метод при решении задач, а также в сочетании с обучением.
Разные формулировки мешают учитывать уже проверенное
MCTS — метод поиска решения через перебор возможных шагов. Эти варианты называют ветвями. Число обращений к ним влияет на выбор следующих шагов.
Обычный метод считает обращения к каждой текстовой ветви отдельно. Одна стратегия в разных формулировках может снова получать поощрение к проверке. Теоретический анализ авторов показывает, что такое дробление может снижать отдачу от поиска.
Новый метод LPC-MCTS меняет только способ подсчёта, который направляет дальнейший поиск. Небольшая нейросеть использует внутренние представления модели. Это позволяет связанным ветвям совместно учитывать накопленную историю поиска.
Замена счётчика улучшила результаты двух моделей
В одной серии опытов авторы взяли модели, уже обученные с LPC-MCTS. Их оставили без изменений и сравнили способы подсчёта при решении задач. Так исследователи отдельно оценили вклад нового счётчика.
На пяти математических наборах средняя точность Qwen2.5-7B выросла на 3,79 процентного пункта. У Qwen3-4B прирост составил 2,71 пункта. Базой сравнения служил обычный MCTS.
Применение метода и при обучении, и при решении дало больший выигрыш относительно обычного MCTS. Для Qwen2.5-7B он составил 4,96 процентного пункта, для Qwen3-4B — 4,37. По сообщению авторов, метод также превзошёл сильные варианты MCTS в семи поисковых тестах.
Что это значит для вас
- Результат можно улучшить за счёт способа поиска, сохранив обученную модель без изменений.
- Прирост в процентных пунктах — разница с обычным MCTS. Это не общая доля правильных ответов модели.
Что делать
Пока ничего: следите за дальнейшими результатами авторов LPC-MCTS.
Редакция «Применяй ИИ» · Как мы готовим новости