Пересказ условия задачи поднял точность ИИ на 27,6% при лучшем выборе
Исследователи проверили, помогает ли языковой модели переписанное условие задачи. Если для каждой задачи выбрать лучший вариант пересказа, точность растёт в среднем на 27,6%. Об этом пишут авторы работы на arXiv.
Универсального приёма нет: неподходящий пересказ может ухудшить результат.
Авторы проверили три вида пересказа. Первый выделяет скрытые подцели, второй переводит задачу в более удобную форму, третий убирает лишние детали. Смысл, ограничения и верный ответ не меняются.
Тесты прошли на восьми наборах задач по математике, логике и коду, с восемью моделями. Лучший вариант выбирали уже после ответа, поэтому 27,6% получены с подсказкой задним числом.
Простое правило, выведенное на одних задачах, частично перенеслось на новые. На переписанных по нему задачах прирост составил 11,0%. Если переписывать вслепую примерно такую же долю задач, точность падает на 5,6%.
Редакция «Применяй ИИ» · Как мы готовим новости