Airbnb снизила свои затраты на ИИ для кода у части сотрудников примерно в 7 раз
Airbnb сократила свои расходы на основную ИИ-модель у группы сотрудников примерно в семь раз, сообщает блог AWS. Модель использовали для работы с кодом.
Для тех, кто оплачивает ИИ в работе, важна стоимость выполненной задачи. В описанном случае число запросов почти не изменилось, а расходы снизились после смены модели.
Коротко
- Внутренним инструментом AirChat еженедельно пользуются тысячи сотрудников.
- Примерно за пять недель появились восемь новых моделей.
- К середине октября эти новинки обслуживали около двух третей запросов через агентов для программирования.
Airbnb оценивает всю задачу вместе с качеством результата
Агент для программирования — ИИ, который выполняет задачи с кодом. Для одной задачи ему может понадобиться много обращений к модели. При каждом она заново читает контекст — накопленные к этому моменту материалы.
Airbnb считает стоимость всей задачи, суммируя расходы на каждый запрос. Среднее включает и попытки с низкой оценкой. Для расчёта берут публичные тарифы на дату испытания.
Тестовые задания собирают из реальных правок кода и замечаний к ним. Для каждого задают исходное состояние проекта, запрос и способ проверки. Результаты помогают выбрать модель и допустимый объём её рассуждений перед ответом.
После запуска расходы сверяют с результатами испытаний
После одного внедрения недельные затраты на пользователя выросли в несколько раз. Airbnb перевела активных пользователей этой модели на более новую. Снижение расходов измерили за первую полную неделю после перехода.
Для каждой основной модели компания подбирает замену с сопоставимой оценкой на своих заданиях. Перед переносом нагрузки проверяет её доступную мощность и лимиты. По словам Airbnb, решение о внедрении можно принять за ночь.
Что это значит для вас
- Токены — фрагменты текста, которыми сервис измеряет объём работы модели. Повторное чтение уже обработанных материалов из сохранённой копии стоит дешевле нового ввода. Если такое повторное использование происходит реже, запрос может дорожать.
- При получении запроса сервис заранее резервирует часть лимита под входной текст и максимально разрешённый ответ. Завышенный предел ответа занимает место для других запросов. Поэтому счёт за фактический объём текста не показывает весь запас по лимитам.
Что делать
- Соберите задания из своей работы с кодом и определите способ проверки результата.
- Сравните качество и стоимость всей задачи у разных моделей и настроек.
- После внедрения сопоставьте реальные расходы с испытаниями, используя те же тарифы.
- Заранее определите действия, требующие проверки человеком. Запускайте код в изолированной среде и проверяйте правки перед включением в проект.
Редакция «Применяй ИИ» · Как мы готовим новости