TokenGate учит языковые модели выбирать, какие токены длинного контекста обрабатывать полностью
🧠 TokenGate учит языковые модели выбирать, какие токены длинного контекста обрабатывать полностью. Авторы заявляют до 11,3 раза быстрее при обработке входного текста и в 3,4 раза меньше памяти без потери точности в своих тестах.
Компонент добавляют к уже обученной модели, затем дообучают отбор токенов. При запуске можно задать, сколько токенов документа оставить для полной обработки.
🛠 В репозитории есть готовый чекпойнт и пример поиска факта среди примерно 32 тысяч токенов. Для запуска нужны Python ≥ 3.10 и PyTorch ≥ 2.9 с CUDA.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





