Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

OpenAI усилила защиту рассуждений GPT-6.2 Astra: успех атак упал с 54% до 0,2%

OpenAI усилила защиту скрытых рассуждений GPT-6.2 Astra и GPT-6.2 Sol, сообщает компания в блоге. Во внутренней проверке успех атак на рассуждения из прошлого запроса упал с 54,0% у GPT-6 Astra до 0,2%.

Так компания мешает злоумышленникам скопировать сильные навыки модели. Копия без защиты могла бы помогать, например, в кибератаках.

Коротко

  • Для атак на рассуждения из текущего запроса показатель снизился с 22,9% до 0,9%. Это среднее по шести моделям-атакующим.
  • Меры против кампаний копирования применяют каждую неделю: они затрагивают от тысяч до десятков тысяч аккаунтов.
  • В сентябре OpenAI приписала ключевую часть одной такой кампании людям, связанным с Moonshot AI, разработчиком Kimi.

Копия может перенять навыки, но не защиту оригинала

Дистилляция — это когда одна модель учится на данных другой: на её ответах, рассуждениях или оценках ответов.

По словам OpenAI, при несанкционированной дистилляции вторая модель может перенять сильные навыки без защиты оригинала.

Особенно ценны скрытые рассуждения. Это промежуточные шаги, которые модель проходит перед ответом. В них бывает информация, которой нет в итоговом тексте.

Точные записи рассуждений в целом учат лучше пересказов

В исследовании сравнили двух моделей-учеников. Одного учили на пересказах рассуждений, которые видит пользователь, другого — на точных записях модели-учителя.

После первого этапа дообучения ученик на точных записях в целом выступал лучше. После лёгкого раунда обучения с подкреплением при самом высоком из проверенных бюджетов вывода он по-прежнему набирал больше, а при более низких впереди был ученик на пересказах.

Защита работает на двух уровнях: запросы и кампании

На уровне запросов модель учат отказываться раскрывать защищённые рассуждения. Помогают также проверки и ограничения API.

На уровне кампаний OpenAI ищет закономерности в сигналах запросов и аккаунтов. Найденные атаки компания превращает в примеры для обучения и тестов.

Что это значит для вас

  • Это публикация о безопасности. Новых функций и цен для пользователей в ней нет.
  • Цифры получены во внутренних проверках компании. Независимая проверка в тексте не упомянута.

Что делать

  1. Если вы разрабатываете модели или платформы, проверяйте сообщения ассистента и аргументы вызовов инструментов на утечки приватных рассуждений.
  2. Сохраняйте найденные атаки на извлечение рассуждений и повторяйте их после каждого обновления защиты.
  3. Сочетайте защиту отдельных запросов с расследованием и пресечением целых кампаний.

Чего пока неизвестно

Для GPT-6.2 Sol цифры проверки в основе не приведены. Подробности недавних кампаний OpenAI обещает рассказать позже.

Редакция «Применяй ИИ» · Как мы готовим новости

Справка:Досье: ChatGPT

Ещё по теме