Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

GPT-6.2 Astra вышла на 2-е место в рейтинге Artificial Analysis

GPT-6.2 Astra прибавила пять баллов к результату GPT-6 Astra в общем рейтинге Artificial Analysis. По оценке авторов тестов, впереди осталась только Claude Fable 5.2.

Обновление даёт выбор между более высоким результатом и меньшими расходами на задачу. Но общий рост оценок не означает улучшения в программировании.

Коротко

  • Цена GPT-6.2 Astra снизилась на 20% относительно GPT-6 Astra.
  • GPT-6.2 Sol получила 57 баллов: на два больше предшественницы.
  • В научных тестах OpenAI лидирует в Terminal-Bench-Science 0.1. Он проверяет работу ИИ над исследовательскими задачами.

Sol достигла уровня прежней Astra при меньших затратах

По общему баллу GPT-6.2 Sol сравнялась с GPT-6 Astra. При этом стоимость выполнения задачи составила около 15% от уровня прежней Astra. Это сравнение расходов на тестовые задания, а не скидка на тариф.

Цена Sol за обработку текста осталась такой же, как у GPT-6.1 Sol. У Astra отдельно подешевела работа с сохранённым входным текстом. За миллион токенов — фрагментов текста — цена снизилась с $1 до $0,40.

В программировании Astra не выросла, а Sol потеряла баллы

В рейтинге ИИ для работы с кодом GPT-6.2 Astra повторила результат GPT-6 Astra. У GPT-6.2 Sol оценка оказалась на три балла ниже, чем у GPT-6.1 Sol. Проверку проводили через Codex при максимальном уровне усилий модели.

Падение Sol связано с тестом SWE-Atlas-QnA-AA: там она потеряла 14 баллов. По наблюдению Artificial Analysis, новая версия чаще пропускает ключевые факты в ответах.

Высокие оценки соседствуют со склонностью угадывать

В AA-Omniscience показатель склонности угадывать ответ составил 59% у Astra и 55% у Sol. Обе модели проверяли при максимальном уровне усилий. Тест оценивает случаи, когда модель не знает верного ответа на фактический вопрос.

Это отдельное измерение от точности фактических знаний. По точности в AA-Omniscience v1.1 Astra уступила только Claude Fable 5.2. Смешивать эти оценки в одну долю правильных ответов нельзя.

Что это значит для вас

  • Для выбора модели под работу с кодом общий рейтинг даёт неполную картину. Отдельная проверка показала другую динамику.
  • Меньшие расходы Sol на тестовую задачу не означают, что она повторяет все результаты Astra.

Что делать

Пока ничего: следите за следующими проверками Artificial Analysis.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ChatGPT и OpenAI

Справка:Досье: ChatGPTДосье: Claude

Ещё по теме