Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Студенты ШАДа и исследователи Яндекса выпустили MTGBench — открытый бенчмарк, который проверяет, когда рассуждения окупаются

🧠 Студенты ШАДа и исследователи Яндекса выпустили MTGBench — открытый бенчмарк, который проверяет, когда рассуждения окупаются. Внутри семь игровых испытаний на двух языках: русском и английском.

Авторы проверили 16 моделей. Дополнительные рассуждения сильнее помогали с символами и разбором подсказок, а в заданиях на знания и понимание смысла прибавка была меньше и зависела от модели.

💸 Общего рейтинга мало: в части заданий модели хуже справлялись на русском. Код доступен на GitHub, статью приняли на EMNLP 2026.

Темы:Россия

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме