AssemblyAI сократила расходы на видеокарты на 70% за счёт скидочных серверов
AssemblyAI, сервис расшифровки речи, снизил расходы на вычисления на 70% по сравнению с обычным тарифом, пишет блог AWS. Для этого компания берёт часть серверов со скидкой, а Amazon может забрать их, предупредив за 2 минуты.
Дешёвые вычисления помогают сервисам, которые превращают аудио в текст, держать расходы под контролем. Клиент замечает отзыв серверов лишь как небольшую задержку.
Коротко
- Нагрузка на вычисления за год выросла почти вчетверо.
- Один запрос обрабатывается от 15 секунд до нескольких минут, в зависимости от длины записи.
- Работают тысячи серверов, на каждой видеокарте — одна модель.
Базу держат по обычной цене, пики берут со скидкой
Каждый аудиофайл проходит цепочку нейросетей на видеокартах Nvidia, поэтому работают тысячи серверов. Аренда целиком по обычному тарифу, по словам авторов, обошлась бы слишком дорого.
Постоянную базу держат серверы по обычной цене. Когда очередь задач растёт, система заказывает скидочные серверы, а когда спрос падает, отключает лишние.
Компания не привязана к одной модели видеокарт: в парке три семейства серверов с Nvidia T4, A10G и L4. Они берут мощности из независимых запасов, и нехватка в одном семействе не мешает остальным. По опыту компании, именно это сильнее всего снижает число отзывов.
Отозванная задача возвращается в очередь и не пропадает
Запрос на расшифровку попадает в очередь, как в электронной очереди в банке: задача ждёт, пока освободится сервер.
Получив предупреждение, сервер дорабатывает то, что успевает за две минуты. Остальные задачи возвращаются в очередь, и их подхватывает другой сервер, возможно другого типа.
Чтобы замена включалась быстрее, компания заранее собирает готовые копии системы с моделями.
Клиентам со строгими правилами нужны два региона
Среди клиентов медицина, финансы и юридические услуги: их аудио должно оставаться в определённых географических границах. Поэтому сервис работает в американском Орегоне и в Лондоне, а в каждом регионе стоит независимая копия системы.
Что это значит для вас
- В этом сервисе отзыв серверов проявляется небольшой задержкой, расшифровка всё равно приходит.
- Экономия получена устройством системы: короткие задачи, которые можно повторить, и очередь между запросом и обработкой.
Что делать
- Выбирая сервис расшифровки, спросите у поставщика, где хранится аудио и что происходит при сбое серверов.
- Если сами запускаете сервисы в облаке, проверьте, делится ли нагрузка на короткие задачи, которые можно безопасно повторить.
- Поставьте очередь между запросом и обработкой и разнесите нагрузку по нескольким типам серверов.
- Оцените доступность скидочных серверов инструментом Spot placement scores от Amazon.
Чего пока неизвестно
В источнике нет доли скидочных серверов в парке и абсолютных сумм экономии.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:Чипы и видеокарты