В разборе голосового ассистента нашли причину лишних ответов LLM: с полной историей модель правильно молчала лишь в 16% случаев, без неё — в 78%
🧠 В разборе голосового ассистента нашли причину лишних ответов LLM: с полной историей модель правильно молчала лишь в 16% случаев, без неё — в 78%.
В историю сохраняли только ответы, показанные пользователю. Служебный NOOP, означавший пропуск реплики, туда не попадал. В итоге модель видела множество примеров ответов и ни одного примера молчания.
Так история непреднамеренно задавала образец поведения: отвечать даже на «угу». Правки системного промпта почти не помогали, а нулевая температура подняла долю нужных пропусков только до 21%.
🔧 Удаление истории тоже имело цену: доля ответов там, где они требовались, упала со 100% до 82%. Причину нашли, но простой победы одной настройкой не получилось.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





