Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

GPT-6.2 Sol набрала 57 баллов: как отличаются пять режимов

Модель OpenAI GPT-6.2 Sol получила 57 баллов в тестах Artificial Analysis. По сведениям сервиса, модель вышла в ноябре.

При выборе модели имеет значение режим: результаты тестов у них заметно различаются. Для расчёта цены и лимитов используют токены — единицы объёма текста.

Коротко

  • Модель принимает текст и изображения, а ответы выдаёт текстом.
  • Лимит одного запроса вместе с ответом — 1 млн токенов.
  • Параметры модели закрыты: скачать их для самостоятельного запуска нельзя.

Оценка зависит от выбранного уровня усилий

Самую высокую оценку получил режим Max. У Xhigh результат — 56 баллов, у High — 55, у Medium — 53. На уровне Low оценка снижается до 41 балла.

Для сравнимых моделей медиана составляет 43 балла. Это середина ряда оценок: половина результатов ниже, половина выше. Artificial Analysis сопоставляет закрытые модели с открытыми в том же ценовом диапазоне.

Общий индекс объединяет девять проверок. Они охватывают работу с документами, программирование, научные задачи и знания. Сервис предупреждает: для конкретной работы отдельный тест может быть полезнее общей оценки.

Входной текст и ответы оплачиваются по разным ставкам

Для Max указаны $2 за миллион входных токенов и $10 за миллион выходных. Эти ставки совпадают с медианами в группе сравнения. Для ранее обработанного входного текста карточка указывает скидку 95%.

Средняя стоимость задания в тестах составила $1,01. Это взвешенный расчёт по набору проверок с учётом разных типов токенов. Он описывает расходы на тестовые задания, а не фиксированную цену любого запроса.

При прохождении тестов Max выдал 60,9 млн токенов против медианы 71,1 млн. Это объём ответов за оценивание, а не предел одного ответа. Общий лимит контекста тоже нельзя считать допустимой длиной ответа.

Что это значит для вас

  • Название модели без уровня усилий не позволяет точно сопоставить результаты.
  • Для оценки расходов нужны объёмы входного текста и ответа: одной цены тестовой задачи недостаточно.

Что делать

  1. Сопоставьте нужный вам тип работы с отдельными тестами, а не только с общей оценкой.
  2. Учитывайте выбранный режим при сравнении результатов.
  3. Рассчитывайте стоимость входного текста и ответа отдельно.

Чего пока неизвестно

Время выполнения тестовых задач в карточке не приведено. Поэтому по этим данным нельзя оценить, сколько придётся ждать ответа.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ChatGPT и OpenAI

Справка:Досье: ChatGPT

Ещё по теме