Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

AWS показала, как сократить расход токенов ИИ-агента на 71%

В блоге AWS разобрали опыт Flightscape: расход токенов снизился примерно на 71%, а средняя задержка — почти на 80%. Токены — небольшие фрагменты текста, которые обрабатывает модель.

Пример полезен тем, кто внедряет ИИ для работы с большими файлами. Он показывает, как сократить объём текста, который модель обрабатывает при каждом запросе.

Коротко

  • Помощник проверял расписания обучения экипажей и использовал более 40 инструментов.
  • Испытания проводили на наборе структурированных данных объёмом 23 МБ.
  • Полные результаты сохранили в хранилище: модель могла запрашивать нужные подробности.

Большие файлы вынесли из памяти беседы

ИИ-агент — помощник, который вызывает инструменты для выполнения задач. У Flightscape каждый такой вызов добавлял в беседу весь результат. На крупных наборах модель исчерпывала доступное место для текста до завершения работы.

Авторы применили три приёма. Сначала перенесли тяжёлые файлы в облачное хранилище Amazon S3. Между сообщениями стали сохранять ссылки на них, а содержимое загружать по необходимости.

Длинные списки начали выдавать частями по запросу. Для вложенных структур подготовили сводки: размер списков с примерами и число полей. Отдельные значения оставили прямо в ответе, где это было полезно.

Результат зависел от набора вопросов

До и после изменений авторы задавали одинаковые вопросы по одному набору данных. В беседе из пяти вопросов расход снизился примерно с 289,5 тыс. до 82,9 тыс. токенов. Именно к этому прогону относятся проценты из начала статьи.

В том же прогоне средняя задержка сократилась с 15,4 до 3,1 секунды. Для выборки из 100 вопросов результаты были другими. Расход токенов упал на 64%, а средняя задержка — на 69%.

Что это значит для вас

  • Для команды, чей помощник обрабатывает большие файлы, это способ снизить затраты на токены. Экономию авторы связывают прежде всего с отказом от повторной передачи полных результатов модели.
  • Проценты описывают испытания Flightscape. Их нельзя считать обещанием такой же экономии для любого другого помощника.

Что делать

  1. Определите, какие ответы инструментов сильнее всего заполняют память беседы.
  2. Начните с переноса тяжёлых файлов в отдельное хранилище.
  3. Затем добавьте выдачу списков частями и краткие описания вложенных структур.
  4. Сравните расход токенов и задержки на одинаковых вопросах до и после изменений.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:ИИ-агенты

Ещё по теме