Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Gemma 4 проверили на 98 задачах: польза напоминания не подтвердилась

В препринте arXiv авторы проверили напоминания для Gemma 4 на 98 парных задачах с кодом. С напоминанием ИИ решил 47 задач, без него — 48.

Добавить ИИ напоминание о прошлом результате ещё не значит улучшить его работу. В этой проверке случайные колебания между запусками мешали оценить пользу приёма.

Коротко

  • В первой части теста напоминание выглядело полезным, но продолжение показало обратный результат.
  • При двух запусках без напоминаний исход различался у 19% задач.
  • Исследование проверяет способ передачи напоминаний, а не память, которую ИИ ведёт сам.

Первый положительный результат не повторился

Агент — это ИИ, который выполняет задачи; здесь он работал с кодом. Когда доступное место для переписки заканчивается, прежние находки могут исчезнуть. Авторы автоматически возвращали ему последнюю находку.

Правила проверки закрепили заранее. В первых 48 парах напоминание дало прибавку в 8,3 процентного пункта. Но статистически убедительного отличия от работы без него не получилось.

После этого авторы решили добавить ещё 50 задач. Там доля решений с напоминанием оказалась ниже на 10 процентных пунктов. В тексте также отмечено отступление от заранее заявленного плана оценки.

Тест ограничивает размер пользы, но не исключает её

Общий результат — без измеримого улучшения. Интервал с уровнем доверия 95% простирается от −8,3 до +6,3 процентного пункта. Это оставляет место и для небольшого вреда, и для небольшой пользы.

Проверка могла обнаружить эффект около 12 процентных пунктов или больше с вероятностью 80%. Поэтому отсутствие убедительного результата не доказывает, что влияние строго нулевое.

Напоминание увеличивало объём первого запроса. При сокращении истории оно добавлялось лишь в 47–65% случаев. По второму заранее выбранному показателю — повторным действиям после сокращения — различий тоже не нашли.

Что это значит для вас

  • Один удачный запуск с памятью ещё не подтверждает пользу настройки: результат может меняться и без неё.
  • Вывод относится к Gemma 4 31B и проверенному способу напоминания. Переносить его на любую память ИИ оснований нет.

Что делать

Пока ничего: дождитесь подтверждения пользы этого приёма в повторных проверках.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Google и Gemini

Ещё по теме