Gemma 4 проверили на 98 задачах: польза напоминания не подтвердилась
В препринте arXiv авторы проверили напоминания для Gemma 4 на 98 парных задачах с кодом. С напоминанием ИИ решил 47 задач, без него — 48.
Добавить ИИ напоминание о прошлом результате ещё не значит улучшить его работу. В этой проверке случайные колебания между запусками мешали оценить пользу приёма.
Коротко
- В первой части теста напоминание выглядело полезным, но продолжение показало обратный результат.
- При двух запусках без напоминаний исход различался у 19% задач.
- Исследование проверяет способ передачи напоминаний, а не память, которую ИИ ведёт сам.
Первый положительный результат не повторился
Агент — это ИИ, который выполняет задачи; здесь он работал с кодом. Когда доступное место для переписки заканчивается, прежние находки могут исчезнуть. Авторы автоматически возвращали ему последнюю находку.
Правила проверки закрепили заранее. В первых 48 парах напоминание дало прибавку в 8,3 процентного пункта. Но статистически убедительного отличия от работы без него не получилось.
После этого авторы решили добавить ещё 50 задач. Там доля решений с напоминанием оказалась ниже на 10 процентных пунктов. В тексте также отмечено отступление от заранее заявленного плана оценки.
Тест ограничивает размер пользы, но не исключает её
Общий результат — без измеримого улучшения. Интервал с уровнем доверия 95% простирается от −8,3 до +6,3 процентного пункта. Это оставляет место и для небольшого вреда, и для небольшой пользы.
Проверка могла обнаружить эффект около 12 процентных пунктов или больше с вероятностью 80%. Поэтому отсутствие убедительного результата не доказывает, что влияние строго нулевое.
Напоминание увеличивало объём первого запроса. При сокращении истории оно добавлялось лишь в 47–65% случаев. По второму заранее выбранному показателю — повторным действиям после сокращения — различий тоже не нашли.
Что это значит для вас
- Один удачный запуск с памятью ещё не подтверждает пользу настройки: результат может меняться и без неё.
- Вывод относится к Gemma 4 31B и проверенному способу напоминания. Переносить его на любую память ИИ оснований нет.
Что делать
Пока ничего: дождитесь подтверждения пользы этого приёма в повторных проверках.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Google и Gemini