Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Amazon SageMaker добавил подготовку данных для ИИ в двух регионах США

AWS объявила о запуске средств подготовки данных для ИИ в Amazon SageMaker AI. Они доступны в двух регионах США: Северной Вирджинии и Орегоне.

Новые средства помогают готовить примеры для обучения и проверки моделей. По оценке AWS, такая подготовка часто задерживает проекты на недели.

Коротко

  • Можно создавать искусственные примеры на основе своих документов.
  • Спорную разметку можно передавать экспертам на проверку.
  • Сервис ищет повторы, ошибки разметки и утечки ответов в наборах.

Оценка уверенности помогает отбирать записи для эксперта

Разметка задаёт, какой ответ или категория соответствует примеру. Сервис может начать с небольшого набора образцов или без готовых меток. Сначала описание задачи проверяется на примерах пользователя.

Для ряда задач каждую запись размечают несколько моделей. Степень согласия между ними определяет оценку уверенности. Записи ниже выбранного порога попадают в очередь проверки в SageMaker Studio.

Исправления эксперта используются при последующей автоматической разметке. По результатам можно получить отчёты и показатели согласия.

Проверку можно провести до затрат на обучение

AWS приводит пример с помощником службы поддержки. В инструкции к устройству сказано: сброс удаляет сохранённые настройки. Команда проверяет, сохраняют ли эталонные ответы это предупреждение.

Сначала команда задаёт требования и изучает небольшую партию примеров. Затем оценивает качество, отдаёт спорные ответы эксперту и исправляет набор. Проверку повторяют до его использования для оценки помощника.

Данные также можно привести к формату выбранного способа обучения. Нужные изменения описывают обычным языком или задают своим кодом на Python.

Код подготовки остаётся доступен для правок

Работать можно через код или помощника по программированию. Помощнику подключают навык AI-ML — инструкции для вызова средств SageMaker. Описания задач и полученный код можно просматривать и менять.

Исходные материалы, созданные наборы и метки остаются в хранилищах Amazon S3 пользователя. Права доступа задаёт роль, которой он управляет.

Что это значит для вас

  • Для узкой задачи качество примеров может быть важнее размера модели. По словам AWS, небольшая дообученная модель иногда превосходит крупную универсальную.
  • Можно подключить отдельную операцию к существующему процессу. Всю цепочку собирать заново не требуется.

Что делать

  1. Выберите одну задачу обучения или проверки модели.
  2. Подключите навык подготовки данных в поддерживаемой среде разработки.
  3. Проверьте описание задачи и создайте небольшую партию примеров.
  4. Сверьте примеры с исходными документами, исправьте ошибки и повторите оценку.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме