Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Агенты и бизнес

Amazon добавила запись запросов к ИИ-моделям для дообучения на реальных данных

Amazon добавила в сервис SageMaker HyperPod запись запросов к ИИ-модели и её ответов в хранилище S3, сообщает блог AWS. HyperPod — сервис, где компании запускают и дообучают свои модели, S3 — облачное хранилище файлов.

Если компания включит запись, ваше сообщение боту поддержки может сохраниться целиком, с именем и номером заказа, и пойти на обучение модели. AWS советует защищать такие данные.

Коротко

  • Запись настраивают на трёх уровнях, их можно сочетать.
  • Дообучение научило модель новому товару, но часть вопросов она путает.
  • Задержка выросла меньше, чем колеблются сами замеры.

Три уровня сохраняют разное, выбирать надо по задаче

Первый уровень работает через сам SageMaker и хранит полные запросы и ответы для отчётности и контроля модели. Второй берёт из журналов балансировщика нагрузки служебные поля: коды ответа, время, адрес устройства клиента. Третий работает в контейнере с моделью, хранит полные тексты с данными о событии и нужен для обучения.

Первый и третий вместе хранят каждую запись дважды. В примере AWS включила только третий.

Записи нашли слепое пятно, дообучение закрыло его, но с изъяном

В примере на синтетических данных бот поддержки техники сортирует обращения. Запросы через Athena, сервис запросов к файлам в S3, показали: нового товара бот не знает.

Записям присвоили категории правилом на SQL. Это разметка: подписи к примерам, по которым модель учится. Минутное дообучение подняло полноту по новой категории с 0% до полной, без ухудшений в старых.

На 24 трудных вопросах верны 20: модель решила, что любой вопрос об Arctis относится к кондиционерам, даже о наличии. Причина в разметке: все обращения об Arctis ушли в кондиционеры, вопросов до покупки в записях не было.

Задержка почти не выросла, но запись стоит денег

На 400 запросах при восьми одновременных медиана была 200,0 мс через запись и 200,7 мс напрямую. Разброс между раундами оказался больше разницы.

Платить придётся за хранение файлов, запросы к ним и дополнительные вычислительные мощности: четверть процессорного ядра и 640 МиБ памяти на копию модели.

Что это значит для вас

  • Ваши обращения в поддержку компания может копить как материал для обучения.
  • Ошибка в разметке переходит в модель, поэтому результат проверяют на трудных вопросах.

Что делать

  1. Не пишите в чат поддержки лишние личные данные: полные тексты могут сохраняться.
  2. Если модель на HyperPod ваша, выберите один уровень записи, чтобы не хранить всё дважды.
  3. Настройте шифрование, срок хранения и удаление персональных данных.
  4. Проверьте права хранилища: без них записи не появятся, хотя модель отвечает.

Чего пока неизвестно

Замеры сделаны на небольшой модели и синтетических данных; о других нагрузках в блоге не сказано.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме