Epoch AI проверила шесть моделей в работе: все не дотянули до её норм
В проверке Epoch AI модель GPT-6.2 Astra набрала в среднем 65%, уступив Fable 5.2 семнадцать пунктов. Ни одна из шести моделей не достигла уровня, которого исследователи ждут от сотрудников.
Высокое место в тестах ещё не гарантирует готовую работу. Даже близкие по общим оценкам модели по-разному справились с рабочими заданиями.
Коротко
- Задания взяли из работы самой Epoch AI, а ответы оценивали вручную.
- В обновлённых инструкциях подробнее объяснили, что влияет на оценку.
- После смены условий результаты двух выпусков нельзя сравнивать напрямую.
В анализе дата-центра две модели достигли уровня подрядчика
Моделям поручили добавить EcoDataCenter 1 в базу центров обработки данных для ИИ. Для этого требовались новости, документы регуляторов и спутниковые снимки. Участникам предоставили подробное руководство и инструменты.
Fable 5.2 получила 97,5%, Opus 5.5 — 87,5%. Их результаты аналитик Epoch счёл сопоставимыми с работой подрядчиков. Такие материалы обычно тоже требуют исправлений перед публикацией.
Подрядчик тратит на один объект около 16 часов. Opus справилась менее чем за три часа и обошлась дешевле. Fable работала около 6,5 часа: результат был качественнее, чем у Opus, но дороже работы подрядчика.
Осторожность тоже приводила к ошибкам
Astra пропустила существенные сведения о том же объекте. Источники указывали на несколько зданий для ИИ, но модель описала лишь одно. Также она не привела оценки числа чипов и вычислительных мощностей.
По оценке Epoch, сведений для расчётов хватало. Модель требовала отдельного подтверждения для каждого исходного числа. Из-за этого выводы оказались неполными.
С исследовательскими заданиями трудности возникли у всех моделей. Они часто брали готовые идеи, которые плохо подходили к поставленному вопросу. Были проблемы и с выделением главных результатов.
Самопроверка моделей не заменяла оценку человека
Моделям давали сравнить свой ответ с человеческим, скрыв авторство обоих. Почти всегда они выбирали собственный вариант. Исключением стал один выбор Gemini 4 Argon.
Объясняя выбор, модели нередко переоценивали внешние признаки строгости. Например, число экспериментов получало вес независимо от их пользы для вопроса.
Результат ограничен задачами Epoch: каждую модель запускали лишь раз на задание. Оценки отчасти субъективны и могут измениться при других проверяющих. Авторы считают разбор ошибок полезнее точных баллов.
Что это значит для вас
- Уровень подрядчика здесь означает результат с последующей правкой. Это ещё не готовый к публикации материал.
- Выводы этой проверки нельзя переносить на все профессии и рабочие задачи.
Что делать
Пока ничего: следите за следующими оценками Epoch AI.
Чего пока неизвестно
Дополнительные запуски могут изменить баллы. Насколько устойчивы результаты, эта проверка не устанавливает.
Редакция «Применяй ИИ» · Как мы готовим новости
Справка:Досье: ChatGPT