Google Research hat ein Framework für kontinuierliches Lernen vorgestellt, das großen Modellen eine „Schlafphase“ einplant. Autoren der Arbeit sind Ali Behrouz, Farnoosh Hashemi, Adel Javanmard und Vahab Mirrokni; Behrouz ist zugleich bei Google und an der Cornell University angegeben. Die Idee stammt vom menschlichen Gehirn: tagsüber nimmt es Informationen auf, nachts ordnet es das Kurzzeitgedächtnis zum Langzeitgedächtnis.
Nach dem Einsatz bleiben die Parameter eines Modells in der Regel unverändert, das Wissen endet also am Stichtag des Trainings. Will man es weiterlernen lassen, droht beim direkten Feintuning katastrophales Vergessen: Neues Wissen verdrängt alte Fähigkeiten. Lernen im Kontext hält dagegen nur bis zum Ende der Sitzung, ist das Fenster geleert, bleibt nichts zurück. Das Schlaf-Framework soll beide Fallen zugleich umgehen.
Wach Notizen machen, schlafend Parameter ändern
Das Framework lässt das Modell zwischen zwei Phasen wechseln. In der Wachphase verarbeitet es Eingaben ganz normal; neue Informationen landen zunächst im hochfrequent aktualisierten Kurzzeitgedächtnis, etwa im Kontext. In der Schlafphase nimmt das Modell keine neuen Eingaben mehr an und erledigt zwei Dinge.
Das erste ist die Gedächtniskonsolidierung. Das Modell hält in seiner Mixture-of-Experts-Struktur (MoE) vorab eine Reihe von Low-Rank-Experten bereit, die normalerweise gesperrt sind. Im Schlaf werden sie freigeschaltet und an die seltener aktualisierten Langzeitgedächtnisschichten gehängt, während die alten Parameter unangetastet bleiben. Der Inhalt des Kurzzeitgedächtnisses wird per Destillation in diese neuen Experten „hochgeschoben“: Ein Weg ist die Online-Policy-Destillation, bei der das Schülermodell auf selbst gezogenen Sequenzen die Token-Verteilung des Lehrers nachbildet. Der andere heißt „Lernen durch Nachahmung“: Der Schüler setzt das Präfix eines vom Lehrer erzeugten Textes fort, bewertet wird mit semantischer Ähnlichkeit und Editierdistanz, anschließend folgt Reinforcement Learning. Danach werden die hochfrequenten temporären Parameter auf null gesetzt, um Platz für die nächste Runde zu schaffen; die Autoren vergleichen diesen Schritt mit dem Beschneiden von Synapsen.
Das zweite nennen die Autoren Träumen. Beim Erzeugen synthetischer Daten aktiviert der Router absichtlich Experten, die sonst selten zusammenarbeiten, und mischt so verschiedene Fachgebiete zu einer Reihe von „Traumproben“. Mit einer gradientenbasierten Datenauswahl werden dann diejenigen herausgesucht, die am ehesten eine Verbesserung bringen, und für das überwachte Feintuning genutzt; zuletzt wird geprüft, ob sich die Leistung bei nachgelagerten Aufgaben verbessert hat. Die Hauptarchitektur und die Trainingsregeln des Modells bleiben dabei unverändert.
Zeugnis und Leerstellen
Im Test zum kontinuierlichen Übersetzen ließen die Forscher das Modell in Etappen Sprachen wie Mandschu und Kalamang lernen, die im Trainingskorpus kaum vorkommen. Laut Blog sank die Leistung der Schlafmethode kaum, während Lernen im Kontext, Cartridges und SFT jeweils starkes Vergessen zeigten. Im Langkontext-Test BABILong mit bis zu 10 Millionen Token lag das Ergebnis nahe der Höchstpunktzahl und über GPT-4 und Titans. Beim mathematischen Schlussfolgern kommt AIME 24 auf 79,2 %, AIME 25 auf 69,0 % und HMMT 25 auf 46,1 %; beim Faktenwissen erreicht SQuAD als Einzelaufgabe 48,9 %, im Setting des kontinuierlichen Vortrainings 46,2 %.
Diesen Zahlen fehlt der Vergleich. Der Blog nennt weder die konkreten Werte der Baselines bei Mathematik und Faktenfragen, noch gibt es für kontinuierliches Übersetzen und klasseninkrementelles Lernen Zahlenwerte, nur Diagramme. Wie groß das Modell ist und wie viel Rechenaufwand ein Schlafdurchgang kostet, wird nicht erwähnt; einen eigenen Abschnitt zu Einschränkungen gibt es ebenfalls nicht, und unabhängige Reproduktionen liegen bislang nicht vor.
Der dritte Schritt derselben Gruppe
Ordnet man die Arbeit in die Forschungslinie von Behrouz und Mirrokni ein, ist der Verlauf recht klar. Ende 2024 stellten sie Titans vor, das dem Transformer ein neuronales Langzeitgedächtnismodul hinzufügt, das auch zur Inferenzzeit aktualisiert werden kann. Die anschließende Hope-Architektur zerlegt das Modell in mehrere Gedächtnisebenen mit unterschiedlicher Aktualisierungsfrequenz; das Schlaf-Framework baut nun direkt auf Hope und MoE auf. Über die drei Schritte hat sich die Frage verschoben: von „Wie trägt der Kontext noch weiter“ zu „Wie setzt sich der Inhalt des Kontexts in den Parametern ab“.
Ähnliche Ansätze gibt es auch, etwa SEAL vom MIT, bei dem das Modell selbst Feintuning-Daten erzeugt und seine Gewichte aktualisiert; der Blog führt es unter den Vergleichs-Baselines auf. Das Schlaf-Framework bringt zusätzlich den Mechanismus aus reservierten Experten und regelmäßigem Zurücksetzen mit, der altes und neues Wissen strukturell trennt.
Bis zum Produkt ist es noch ein Stück. Würde ein Onlinemodell jede Nacht einmal „schlafen“ und seine Parameter ändern, müssten Sicherheitsbewertung und Versionsverwaltung neu gedacht werden; Nutzer hätten heute und morgen womöglich zwei leicht unterschiedliche Modelle vor sich. Google hat bislang keine Einsatzpläne bekannt gegeben, die Arbeit ist auf arXiv veröffentlicht.
Quellen: Google-Research-Blog, CocoLoop, arXiv-Paper; geprüft wurden die Bewertungsgrundlagen von AIME, HMMT und SQuAD sowie die Kontextlänge des BABILong-Tests.