Amazon добавила запись запросов к ИИ-моделям для дообучения на реальных данных
Amazon добавила в сервис SageMaker HyperPod запись запросов к ИИ-модели и её ответов в хранилище S3, сообщает блог AWS. HyperPod — сервис, где компании запускают и дообучают свои модели, S3 — облачное хранилище файлов.
Если компания включит запись, ваше сообщение боту поддержки может сохраниться целиком, с именем и номером заказа, и пойти на обучение модели. AWS советует защищать такие данные.
Коротко
- Запись настраивают на трёх уровнях, их можно сочетать.
- Дообучение научило модель новому товару, но часть вопросов она путает.
- Задержка выросла меньше, чем колеблются сами замеры.
Три уровня сохраняют разное, выбирать надо по задаче
Первый уровень работает через сам SageMaker и хранит полные запросы и ответы для отчётности и контроля модели. Второй берёт из журналов балансировщика нагрузки служебные поля: коды ответа, время, адрес устройства клиента. Третий работает в контейнере с моделью, хранит полные тексты с данными о событии и нужен для обучения.
Первый и третий вместе хранят каждую запись дважды. В примере AWS включила только третий.
Записи нашли слепое пятно, дообучение закрыло его, но с изъяном
В примере на синтетических данных бот поддержки техники сортирует обращения. Запросы через Athena, сервис запросов к файлам в S3, показали: нового товара бот не знает.
Записям присвоили категории правилом на SQL. Это разметка: подписи к примерам, по которым модель учится. Минутное дообучение подняло полноту по новой категории с 0% до полной, без ухудшений в старых.
На 24 трудных вопросах верны 20: модель решила, что любой вопрос об Arctis относится к кондиционерам, даже о наличии. Причина в разметке: все обращения об Arctis ушли в кондиционеры, вопросов до покупки в записях не было.
Задержка почти не выросла, но запись стоит денег
На 400 запросах при восьми одновременных медиана была 200,0 мс через запись и 200,7 мс напрямую. Разброс между раундами оказался больше разницы.
Платить придётся за хранение файлов, запросы к ним и дополнительные вычислительные мощности: четверть процессорного ядра и 640 МиБ памяти на копию модели.
Что это значит для вас
- Ваши обращения в поддержку компания может копить как материал для обучения.
- Ошибка в разметке переходит в модель, поэтому результат проверяют на трудных вопросах.
Что делать
- Не пишите в чат поддержки лишние личные данные: полные тексты могут сохраняться.
- Если модель на HyperPod ваша, выберите один уровень записи, чтобы не хранить всё дважды.
- Настройте шифрование, срок хранения и удаление персональных данных.
- Проверьте права хранилища: без них записи не появятся, хотя модель отвечает.
Чего пока неизвестно
Замеры сделаны на небольшой модели и синтетических данных; о других нагрузках в блоге не сказано.
Редакция «Применяй ИИ» · Как мы готовим новости