Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

TokenGate учит языковые модели выбирать, какие токены длинного контекста обрабатывать полностью

🧠 TokenGate учит языковые модели выбирать, какие токены длинного контекста обрабатывать полностью. Авторы заявляют до 11,3 раза быстрее при обработке входного текста и в 3,4 раза меньше памяти без потери точности в своих тестах.

Компонент добавляют к уже обученной модели, затем дообучают отбор токенов. При запуске можно задать, сколько токенов документа оставить для полной обработки.

🛠 В репозитории есть готовый чекпойнт и пример поиска факта среди примерно 32 тысяч токенов. Для запуска нужны Python ≥ 3.10 и PyTorch ≥ 2.9 с CUDA.

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме