Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Epoch AI проверила шесть моделей в работе: все не дотянули до её норм

В проверке Epoch AI модель GPT-6.2 Astra набрала в среднем 65%, уступив Fable 5.2 семнадцать пунктов. Ни одна из шести моделей не достигла уровня, которого исследователи ждут от сотрудников.

Высокое место в тестах ещё не гарантирует готовую работу. Даже близкие по общим оценкам модели по-разному справились с рабочими заданиями.

Коротко

  • Задания взяли из работы самой Epoch AI, а ответы оценивали вручную.
  • В обновлённых инструкциях подробнее объяснили, что влияет на оценку.
  • После смены условий результаты двух выпусков нельзя сравнивать напрямую.

В анализе дата-центра две модели достигли уровня подрядчика

Моделям поручили добавить EcoDataCenter 1 в базу центров обработки данных для ИИ. Для этого требовались новости, документы регуляторов и спутниковые снимки. Участникам предоставили подробное руководство и инструменты.

Fable 5.2 получила 97,5%, Opus 5.5 — 87,5%. Их результаты аналитик Epoch счёл сопоставимыми с работой подрядчиков. Такие материалы обычно тоже требуют исправлений перед публикацией.

Подрядчик тратит на один объект около 16 часов. Opus справилась менее чем за три часа и обошлась дешевле. Fable работала около 6,5 часа: результат был качественнее, чем у Opus, но дороже работы подрядчика.

Осторожность тоже приводила к ошибкам

Astra пропустила существенные сведения о том же объекте. Источники указывали на несколько зданий для ИИ, но модель описала лишь одно. Также она не привела оценки числа чипов и вычислительных мощностей.

По оценке Epoch, сведений для расчётов хватало. Модель требовала отдельного подтверждения для каждого исходного числа. Из-за этого выводы оказались неполными.

С исследовательскими заданиями трудности возникли у всех моделей. Они часто брали готовые идеи, которые плохо подходили к поставленному вопросу. Были проблемы и с выделением главных результатов.

Самопроверка моделей не заменяла оценку человека

Моделям давали сравнить свой ответ с человеческим, скрыв авторство обоих. Почти всегда они выбирали собственный вариант. Исключением стал один выбор Gemini 4 Argon.

Объясняя выбор, модели нередко переоценивали внешние признаки строгости. Например, число экспериментов получало вес независимо от их пользы для вопроса.

Результат ограничен задачами Epoch: каждую модель запускали лишь раз на задание. Оценки отчасти субъективны и могут измениться при других проверяющих. Авторы считают разбор ошибок полезнее точных баллов.

Что это значит для вас

  • Уровень подрядчика здесь означает результат с последующей правкой. Это ещё не готовый к публикации материал.
  • Выводы этой проверки нельзя переносить на все профессии и рабочие задачи.

Что делать

Пока ничего: следите за следующими оценками Epoch AI.

Чего пока неизвестно

Дополнительные запуски могут изменить баллы. Насколько устойчивы результаты, эта проверка не устанавливает.

Редакция «Применяй ИИ» · Как мы готовим новости

Справка:Досье: ChatGPT

Ещё по теме