Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Exa ускорила на 50% подготовку документов для ИИ-поиска

Exa сообщает в блоге AWS, что ускорила обработку документов для поиска примерно на 50%. Компания настроила свои модели для чипов Amazon.

От этой обработки зависит, как быстро свежие страницы попадут в поиск. Данные Exa используют люди и ИИ-агенты — программы для выполнения задач.

Коротко

  • Для перехода на новую модель компания выбрала 30 млрд документов.
  • Оптимизации разрабатывали ИИ-агенты с проверкой на реальном оборудовании.
  • Настройки для чипов Inferentia2 удалось применить и на Trainium2.

Смена модели временно удвоила нагрузку

Exa развивает поиск по смыслу: запрос можно описать обычными словами. Модель превращает документы и запросы в числовые представления. По ним система сопоставляет содержание.

Каждый отобранный документ проходит эту обработку до появления в выдаче. При смене модели Exa одновременно наполняла прежний индекс и готовила новый. Двойная нагрузка стала поводом пересмотреть оборудование.

Готовых компонентов оказалось недостаточно

Сначала команда изменила размещение числовых параметров модели. Затем подключила готовые вычислительные компоненты. Но анализ показал, что обращения к памяти всё ещё тормозят работу.

Собственный код помог сократить эти задержки и убрать лишние вычисления. В подробном итоге Exa заявляет о 47% улучшения производительности и стоимости обработки миллиона документов. Сравнение идёт с начальной версией на Inferentia2.

Агенты работали с эталоном и тестом под нагрузкой

Результаты каждой правки сравнивали с эталонной моделью. Для числовых представлений установили порог сходства 0,999. После проверки запускали получасовой тест под нагрузкой на настоящих чипах.

Задачи распределяли между моделями разной стоимости. Лёгкие перебирали настройки, более сложные искали причины задержек. Сильнейшим генераторам кода поручали собственные вычислительные компоненты.

Что это значит для вас

  • Для команд, которые готовят данные для поиска, затраты на документ имеют значение при большом объёме. Exa подчёркивает это для десятков и сотен миллиардов документов.
  • Выбор оборудования зависит и от его доступности. Exa распределяет обработку между регионами и выбирает узлы по соотношению скорости и цены.

Что делать

  1. Для похожей задачи используйте описанную Exa последовательность: сначала сравните результаты с эталоном.
  2. Затем измерьте скорость под длительной нагрузкой на реальном оборудовании.
  3. Сопоставьте производительность и стоимость доступных вариантов.

Чего пока неизвестно

Публикация не приводит замеров скорости ответов поиска или качества выдачи для пользователей.

Редакция «Применяй ИИ» · Как мы готовим новости

Темы:Чипы и видеокартыИИ-агенты

Ещё по теме