GPT-6.2 Astra вышла на 2-е место в рейтинге Artificial Analysis
GPT-6.2 Astra прибавила пять баллов к результату GPT-6 Astra в общем рейтинге Artificial Analysis. По оценке авторов тестов, впереди осталась только Claude Fable 5.2.
Обновление даёт выбор между более высоким результатом и меньшими расходами на задачу. Но общий рост оценок не означает улучшения в программировании.
Коротко
- Цена GPT-6.2 Astra снизилась на 20% относительно GPT-6 Astra.
- GPT-6.2 Sol получила 57 баллов: на два больше предшественницы.
- В научных тестах OpenAI лидирует в Terminal-Bench-Science 0.1. Он проверяет работу ИИ над исследовательскими задачами.
Sol достигла уровня прежней Astra при меньших затратах
По общему баллу GPT-6.2 Sol сравнялась с GPT-6 Astra. При этом стоимость выполнения задачи составила около 15% от уровня прежней Astra. Это сравнение расходов на тестовые задания, а не скидка на тариф.
Цена Sol за обработку текста осталась такой же, как у GPT-6.1 Sol. У Astra отдельно подешевела работа с сохранённым входным текстом. За миллион токенов — фрагментов текста — цена снизилась с $1 до $0,40.
В программировании Astra не выросла, а Sol потеряла баллы
В рейтинге ИИ для работы с кодом GPT-6.2 Astra повторила результат GPT-6 Astra. У GPT-6.2 Sol оценка оказалась на три балла ниже, чем у GPT-6.1 Sol. Проверку проводили через Codex при максимальном уровне усилий модели.
Падение Sol связано с тестом SWE-Atlas-QnA-AA: там она потеряла 14 баллов. По наблюдению Artificial Analysis, новая версия чаще пропускает ключевые факты в ответах.
Высокие оценки соседствуют со склонностью угадывать
В AA-Omniscience показатель склонности угадывать ответ составил 59% у Astra и 55% у Sol. Обе модели проверяли при максимальном уровне усилий. Тест оценивает случаи, когда модель не знает верного ответа на фактический вопрос.
Это отдельное измерение от точности фактических знаний. По точности в AA-Omniscience v1.1 Astra уступила только Claude Fable 5.2. Смешивать эти оценки в одну долю правильных ответов нельзя.
Что это значит для вас
- Для выбора модели под работу с кодом общий рейтинг даёт неполную картину. Отдельная проверка показала другую динамику.
- Меньшие расходы Sol на тестовую задачу не означают, что она повторяет все результаты Astra.
Что делать
Пока ничего: следите за следующими проверками Artificial Analysis.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ChatGPT и OpenAI
Справка:Досье: ChatGPTДосье: Claude