Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Смена записи задач повысила точность ИИ в опытах с 4 моделями

Авторы исследования на arXiv проверили способ повысить точность ответов на 4 языковых моделях. Они меняли запись условия и объединяли ответы.

Модель может давать разные ответы на одну задачу после смены обозначений. В таких случаях исследование показало пользу равнозначных записей при тех же затратах вычислений.

Коротко

  • В опытах были задачи о связях между объектами, логические выводы и вопросы с выбором ответа.
  • Авторы доказали: сколько ни повторяй запрос с одним условием, это не заменит смену его записи.
  • Для получения информации от всех допустимых записей достаточно небольшой случайной выборки.

Обозначения меняются, правильное решение — нет

Переменным программы можно дать другие имена, а вершинам графа — другие номера. Граф описывает объекты и связи между ними. Такие замены сохраняют задачу, но способны изменить ответ модели.

Авторы предлагают объединять ответы на равнозначные условия. Они называют это симметризацией при получении ответа. Подход позволяет учитывать такие преобразования без их встраивания в модель.

В опытах участвовали Qwen2.5-7B, Phi-4-mini, Llama-3.1-8B и Qwen2.5-14B. Ответы сопровождались пошаговыми рассуждениями. Смена записи заметно выигрывала у повторных ответов там, где модель зависела от вида условия.

Проверять каждую допустимую запись не нужно

Авторы доказали, что случайная выборка позволяет приблизить информацию от полного набора записей. Число нужных вариантов растёт медленно. В теоретической оценке рост общего числа записей в одинаковое число раз даёт одинаковую прибавку к выборке.

Это называют логарифмическим ростом. Возможных записей может становиться многократно больше, а проверять нужно лишь небольшую их часть. Перебирать весь набор не требуется.

Одна выборка позволяет получить такое приближение для разных моделей и способов выдачи ответа. Вывод охватывает и разные цепочки рассуждений. В общем случае ещё более медленный рост выборки уже не гарантирует такого результата.

Что это значит для вас

  • Результат полезен для задач, где можно менять обозначения, сохраняя условие. Произвольное редактирование запроса исследование не проверяет.
  • При ограниченном числе запусков имеет значение, на что их потратить. Польза смены записи показана для случаев, когда от неё зависит ответ модели.

Что делать

Пока ничего: следите за исследованиями этого метода.

Чего пока неизвестно

В аннотации нет численных оценок прироста точности. По ней нельзя определить выигрыш для конкретной задачи читателя.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме