Astra for Law 6.2 вышла с контекстом до миллиона токенов
Artificial Analysis указала выпуск модели OpenAI Astra for Law 6.2 с контекстом до миллиона токенов.
Такой объём позволяет передавать много текста в одном запросе. Но оценок качества и скорости на странице пока нет: выбрать модель по этим показателям не получится.
Коротко
- Модель принимает тексты и изображения, а ответы выдаёт текстом.
- Веса модели — файлы с её параметрами — не опубликованы.
- Для повторно используемого текста в кеше указана скидка 95%.
Цены на вход и ответ вчетверо выше указанных медиан
Входной текст стоит $8 за миллион токенов, ответ — $40 за тот же объём. Токены — единицы, которыми измеряют объём текста. Страница приводит медианные цены для сравнения: $2 и $10 соответственно.
Есть и смешанная ставка — $5,88 за миллион токенов. Она рассчитана для пропорции 7:2:1: кеш, обычный вход и ответ. Это расчёт для конкретного соотношения, а не единая цена любого запроса.
Кеш хранит ранее обработанный текст. Указанная цена его повторного использования не включает запись и хранение. Эти расходы считают отдельно, и они зависят от поставщика.
Страница противоречит себе в вопросе доступа
В ответах на частые вопросы указан один поставщик — OpenAI. Там же сказано, что модель доступна через API, то есть интерфейс для подключения из программ.
Однако возле графиков качества, времени и стоимости задания написано: публичного API нет. Условия доступа требуют уточнения: страница содержит оба утверждения.
Числовых результатов модели в общем индексе Artificial Analysis нет. В разделе проверок также упомянут Harvey LAB-AA для юридических задач. Но оценка Astra for Law 6.2 в сохранённом тексте не приведена.
Что это значит для вас
- Лимит контекста охватывает вход и ответ вместе. Поэтому весь заявленный объём нельзя считать местом только для загружаемых документов.
- Большой контекст не заменяет проверку качества. По приведённой странице нельзя судить, насколько успешно модель решает юридические задачи.
Что делать
Уточните доступ к модели у OpenAI: сведения на странице Artificial Analysis расходятся.
Чего пока неизвестно
OpenAI не раскрыла размер модели и число её параметров.
Редакция «Применяй ИИ» · Как мы готовим новости
Справка:Досье: ChatGPT