Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Исследователи предложили обучать ИИ до завершения ответа другой модели

На arXiv описали способ обучения небольшой модели на ответах более крупной. Текст передают частями, пока большая модель продолжает его писать.

Для разработчиков это способ сократить ожидание примеров для обучения, но общее ускорение пока не доказано.

В опытах Qwen3-0.6B училась на ответах Qwen3-4B. С каждым фрагментом ей передавали весь предшествующий текст. Ошибки для корректировки модели рассчитывали только по новой части.

Авторы разделили создание ответа, передачу примеров и изменение настроек обучаемой модели. Это позволяет отдельно выбирать объём примеров и момент их использования.

Прототип сократил время ожидания данных. Однако ускорение при одинаковом числе корректировок модели не доказано. Отбор более свежих примеров давал отдельные пики качества без устойчивого преимущества.

Что делать

При оценке метода учитывайте затраты на продолжение обучения: от них зависит итоговый выигрыш.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме