Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и кодГлавное

Вышел MTGBench — бенчмарк, который проверяет языковые модели в семи играх на английском и русском: Wordle, «20 вопросов», «Поле чудес», Alias и других

🎮 Вышел MTGBench — бенчмарк, который проверяет языковые модели в семи играх на английском и русском: Wordle, «20 вопросов», «Поле чудес», Alias и других.

В четырёх играх результат считает алгоритм, в трёх — ограниченная LLM-проверка. Сравнивают ответ сразу, chain-of-thought (пошаговые рассуждения) и встроенный ризонинг. Есть датасеты, траектории моделей и результаты людей, но русскоязычная выборка небольшая.

🛠 Запуск через CLI `mtgbench`: нужны Python 3.11+ и ключ к OpenAI-совместимому API. Примеры в README рассчитаны на клонированный репозиторий, а wheel полные датасеты не включает. Для Wordle ещё качаются WordNet и RuWordNet.

📊 Готовые результаты можно посмотреть без API-вызовов, есть и интерактивный лидерборд. Код под MIT, оригинальные данные под CC BY 4.0, сторонние ресурсы сохраняют свои лицензии. Статья принята в Findings of EMNLP 2026.

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме