Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Google Research представила подход, в котором нейронка чередует работу с фазой «сна»

🧠 Google Research представила подход, в котором нейронка чередует работу с фазой «сна». По словам исследователей, он помогает закреплять новые сведения и сохранять знания из контекста объёмом до 10 млн токенов.

Проблема такая: информация из переписки обычно остаётся в пределах контекста, а дообучение на новых данных может ухудшить усвоенные раньше навыки.

Во время «сна» модель приостанавливает приём новых запросов и обновляет веса на примерах, которые генерирует сама. Для новых знаний задействуются заранее предусмотренные блоки памяти.

Это цикл дообучения по заданным людьми правилам. Исследователи заявляют, что он помогает усваивать факты, улучшать рассуждения и уменьшать забывание старого.

Темы:Google и Gemini

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме