Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнес

Microsoft и более 40 организаций готовят правила проверки ИИ-агентов

Microsoft объявила о работе с более чем 40 организациями над прозрачностью ИИ. Об этом компания сообщила в Microsoft Source.

ИИ-агентам — программам, которые выполняют действия без одобрения каждого шага, — дают доступ к рабочим данным. Компаниям нужны доказательства того, что такие помощники делают с этим доступом.

Коротко

  • Среди участников — Adobe, Accenture, KPMG, Mastercard и Volvo Cars.
  • Подход должен охватить модели разных поставщиков.
  • Microsoft планирует внедрить результаты работы в Microsoft AI, Foundry и Copilot.

Отчёта самого ИИ недостаточно для проверки

По оценке Microsoft, нынешние средства контроля видят многое вокруг модели. Но восстановить весь путь от запроса до результата часто не удаётся. Это мешает независимо проверить поведение ИИ.

Компания предлагает различать источники сведений о действиях агента. Отчёт модели нужно сопоставлять с записями независимых систем. Например, тех, которые проверяют права доступа.

Проверка должна показывать, какое поручение получил агент и что ему разрешили. Также нужны сведения о модели, затронутых данных, инструментах и выполненных действиях.

Общие стандарты ещё предстоит разработать

Инициатива получила название AI Transparency Initiative. Microsoft расширит участие в работе Национального института стандартов и технологий США. Его исследования станут одной из основ открытых отраслевых правил.

Будущие свидетельства действий ИИ можно будет использовать со средствами защиты разных компаний. Замысел в том, чтобы смена модели не лишала службу безопасности возможности контроля. Проверяющие тоже должны сохранить доступ к истории действий.

Microsoft предлагает фиксировать цель рабочего процесса, его владельца и выданные полномочия. Такие сведения должны помогать применять правила до значимых действий. Позже они пригодятся для расследований и восстановления после сбоев.

Что это значит для вас

  • За последствия отвечает организация. В заявлении Microsoft эта ответственность остаётся перед клиентами, сотрудниками и проверяющими.
  • Для команд, внедряющих ИИ, речь идёт о постоянном надзоре. Активность агентов и признаки риска предполагается сверять с правилами непрерывно.

Что делать

Пока ничего: следите за развитием AI Transparency Initiative и публикацией общих стандартов.

Чего пока неизвестно

В сообщении нет сроков готовности стандартов и внедрения изменений в продукты. Подробные технические требования также не приведены.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Microsoft и WindowsИИ-агенты

Ещё по теме