Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Airbnb снизила свои затраты на ИИ для кода у части сотрудников примерно в 7 раз

Airbnb сократила свои расходы на основную ИИ-модель у группы сотрудников примерно в семь раз, сообщает блог AWS. Модель использовали для работы с кодом.

Для тех, кто оплачивает ИИ в работе, важна стоимость выполненной задачи. В описанном случае число запросов почти не изменилось, а расходы снизились после смены модели.

Коротко

  • Внутренним инструментом AirChat еженедельно пользуются тысячи сотрудников.
  • Примерно за пять недель появились восемь новых моделей.
  • К середине октября эти новинки обслуживали около двух третей запросов через агентов для программирования.

Airbnb оценивает всю задачу вместе с качеством результата

Агент для программирования — ИИ, который выполняет задачи с кодом. Для одной задачи ему может понадобиться много обращений к модели. При каждом она заново читает контекст — накопленные к этому моменту материалы.

Airbnb считает стоимость всей задачи, суммируя расходы на каждый запрос. Среднее включает и попытки с низкой оценкой. Для расчёта берут публичные тарифы на дату испытания.

Тестовые задания собирают из реальных правок кода и замечаний к ним. Для каждого задают исходное состояние проекта, запрос и способ проверки. Результаты помогают выбрать модель и допустимый объём её рассуждений перед ответом.

После запуска расходы сверяют с результатами испытаний

После одного внедрения недельные затраты на пользователя выросли в несколько раз. Airbnb перевела активных пользователей этой модели на более новую. Снижение расходов измерили за первую полную неделю после перехода.

Для каждой основной модели компания подбирает замену с сопоставимой оценкой на своих заданиях. Перед переносом нагрузки проверяет её доступную мощность и лимиты. По словам Airbnb, решение о внедрении можно принять за ночь.

Что это значит для вас

  • Токены — фрагменты текста, которыми сервис измеряет объём работы модели. Повторное чтение уже обработанных материалов из сохранённой копии стоит дешевле нового ввода. Если такое повторное использование происходит реже, запрос может дорожать.
  • При получении запроса сервис заранее резервирует часть лимита под входной текст и максимально разрешённый ответ. Завышенный предел ответа занимает место для других запросов. Поэтому счёт за фактический объём текста не показывает весь запас по лимитам.

Что делать

  1. Соберите задания из своей работы с кодом и определите способ проверки результата.
  2. Сравните качество и стоимость всей задачи у разных моделей и настроек.
  3. После внедрения сопоставьте реальные расходы с испытаниями, используя те же тарифы.
  4. Заранее определите действия, требующие проверки человеком. Запускайте код в изолированной среде и проверяйте правки перед включением в проект.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме