Студенты ШАДа и исследователи Яндекса выпустили MTGBench — открытый бенчмарк, который проверяет, когда рассуждения окупаются
🧠 Студенты ШАДа и исследователи Яндекса выпустили MTGBench — открытый бенчмарк, который проверяет, когда рассуждения окупаются. Внутри семь игровых испытаний на двух языках: русском и английском.
Авторы проверили 16 моделей. Дополнительные рассуждения сильнее помогали с символами и разбором подсказок, а в заданиях на знания и понимание смысла прибавка была меньше и зависела от модели.
💸 Общего рейтинга мало: в части заданий модели хуже справлялись на русском. Код доступен на GitHub, статью приняли на EMNLP 2026.
Темы:Россия
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





