AWS показала, как сократить расход токенов ИИ-агента на 71%
В блоге AWS разобрали опыт Flightscape: расход токенов снизился примерно на 71%, а средняя задержка — почти на 80%. Токены — небольшие фрагменты текста, которые обрабатывает модель.
Пример полезен тем, кто внедряет ИИ для работы с большими файлами. Он показывает, как сократить объём текста, который модель обрабатывает при каждом запросе.
Коротко
- Помощник проверял расписания обучения экипажей и использовал более 40 инструментов.
- Испытания проводили на наборе структурированных данных объёмом 23 МБ.
- Полные результаты сохранили в хранилище: модель могла запрашивать нужные подробности.
Большие файлы вынесли из памяти беседы
ИИ-агент — помощник, который вызывает инструменты для выполнения задач. У Flightscape каждый такой вызов добавлял в беседу весь результат. На крупных наборах модель исчерпывала доступное место для текста до завершения работы.
Авторы применили три приёма. Сначала перенесли тяжёлые файлы в облачное хранилище Amazon S3. Между сообщениями стали сохранять ссылки на них, а содержимое загружать по необходимости.
Длинные списки начали выдавать частями по запросу. Для вложенных структур подготовили сводки: размер списков с примерами и число полей. Отдельные значения оставили прямо в ответе, где это было полезно.
Результат зависел от набора вопросов
До и после изменений авторы задавали одинаковые вопросы по одному набору данных. В беседе из пяти вопросов расход снизился примерно с 289,5 тыс. до 82,9 тыс. токенов. Именно к этому прогону относятся проценты из начала статьи.
В том же прогоне средняя задержка сократилась с 15,4 до 3,1 секунды. Для выборки из 100 вопросов результаты были другими. Расход токенов упал на 64%, а средняя задержка — на 69%.
Что это значит для вас
- Для команды, чей помощник обрабатывает большие файлы, это способ снизить затраты на токены. Экономию авторы связывают прежде всего с отказом от повторной передачи полных результатов модели.
- Проценты описывают испытания Flightscape. Их нельзя считать обещанием такой же экономии для любого другого помощника.
Что делать
- Определите, какие ответы инструментов сильнее всего заполняют память беседы.
- Начните с переноса тяжёлых файлов в отдельное хранилище.
- Затем добавьте выдачу списков частями и краткие описания вложенных структур.
- Сравните расход токенов и задержки на одинаковых вопросах до и после изменений.
Редакция «Применяй ИИ» · Как мы готовим новости
Темы:ИИ-агенты