Google Research a publié un cadre d'apprentissage continu qui programme du « sommeil » pour les grands modèles. Les auteurs de l'article sont Ali Behrouz, Farnoosh Hashemi, Adel Javanmard et Vahab Mirrokni ; Behrouz est rattaché à la fois à Google et à l'université Cornell. L'idée vient du cerveau humain : le jour, il reçoit des informations ; la nuit, il range la mémoire à court terme en mémoire à long terme.
Une fois déployé, un modèle ne voit généralement plus ses paramètres changer, et ses connaissances restent figées à la date de fin d'entraînement. Pour qu'il continue d'apprendre, le réglage fin direct provoque facilement un oubli catastrophique : les connaissances nouvelles écrasent les capacités anciennes. L'apprentissage en contexte, lui, ne tient que jusqu'à la fin de la session ; une fois la fenêtre vidée, il ne reste rien. Le cadre du sommeil entend éviter ces deux écueils à la fois.
Éveillé, il prend des notes ; endormi, il modifie ses paramètres
Le cadre fait alterner le modèle entre deux phases. En phase d'éveil, il traite les entrées normalement et l'information nouvelle est d'abord placée dans une mémoire à court terme mise à jour à haute fréquence, comme le contexte. En phase de sommeil, le modèle cesse de recevoir de nouvelles entrées et accomplit deux tâches.
La première est la consolidation de la mémoire. Le modèle réserve à l'avance, dans sa structure de mélange d'experts (MoE), un lot d'experts de faible rang, normalement verrouillés. Pendant le sommeil, ils sont déverrouillés et rattachés aux couches de mémoire à long terme, mises à jour moins souvent, tandis que les anciens paramètres restent intacts. Le contenu de la mémoire à court terme est « remonté » vers ces nouveaux experts par distillation : une voie est la distillation on-policy, où le modèle élève aligne la distribution de tokens du professeur sur des séquences qu'il échantillonne lui-même ; l'autre s'appelle « apprendre à imiter » : l'élève poursuit le préfixe d'un texte généré par le professeur, le résultat est noté par similarité sémantique et distance d'édition, puis entraîné par apprentissage par renforcement. Le transfert terminé, les paramètres temporaires à haute fréquence sont remis à zéro pour faire place au tour suivant ; les auteurs comparent cette étape à l'élagage synaptique.
La seconde est appelée par les auteurs le rêve. Lors de la génération de données synthétiques, le routeur active à dessein des experts qui travaillent rarement ensemble et mélange des domaines différents pour produire un lot d'« échantillons de rêve » ; une sélection de données fondée sur les gradients retient ensuite la part la plus susceptible d'apporter un gain pour le réglage fin supervisé, puis on vérifie si les performances sur les tâches en aval se sont améliorées. Tout au long du processus, l'architecture principale et les règles d'entraînement du modèle restent inchangées.
Le bulletin de notes et les zones d'ombre
Dans le test de traduction continue, les chercheurs ont fait apprendre au modèle, par étapes, des langues presque absentes du corpus d'entraînement, comme le mandchou et le kalamang. Selon le blog, les performances de la méthode du sommeil n'ont presque pas baissé, tandis que l'apprentissage en contexte, Cartridges et SFT ont tous subi un oubli sévère. Sur le test de contexte long BABILong, jusqu'à 10 millions de tokens, le résultat frôle le score maximal, au-dessus de GPT-4 et de Titans. En raisonnement mathématique, AIME 24 atteint 79,2 %, AIME 25 69,0 % et HMMT 25 46,1 % ; en connaissances factuelles, SQuAD en tâche isolée obtient 48,9 % et 46,2 % dans le cadre du préentraînement continu.
Ces chiffres manquent de points de comparaison. Le blog ne donne pas les scores précis de chaque référence en mathématiques et en questions factuelles, et la traduction continue comme l'apprentissage incrémental par classes ne sont présentés que sous forme de graphiques, sans valeurs. La taille du modèle et le coût de calcul d'un sommeil ne sont pas précisés, il n'y a pas de section dédiée aux limites, et aucune reproduction externe n'est apparue pour l'instant.
La troisième étape du même groupe
Si l'on replace ce travail dans la lignée de recherche de Behrouz et Mirrokni, le fil est assez net. Fin 2024, ils ont proposé Titans, qui ajoute au Transformer un module de mémoire neuronale à long terme pouvant aussi se mettre à jour au moment de l'inférence ; l'architecture Hope a ensuite découpé le modèle en plusieurs couches de mémoire à fréquences de mise à jour différentes ; le cadre du sommeil se construit directement sur Hope et le MoE. En trois étapes, la question est passée de « comment étirer encore le contexte » à « comment ce qui est dans le contexte se dépose dans les paramètres ».
Des travaux d'orientation proche existent aussi, comme SEAL du MIT, où le modèle génère lui-même ses données de réglage fin et met à jour ses poids ; le blog l'a classé parmi les références de comparaison. Ce que le cadre du sommeil ajoute, c'est le mécanisme d'experts réservés avec remise à zéro périodique, qui sépare par la structure les connaissances nouvelles des anciennes.
Il reste du chemin avant le produit. Si un modèle en ligne « dormait » chaque nuit et modifiait ses paramètres, l'évaluation de sécurité et la gestion des versions devraient être repensées, et l'utilisateur d'aujourd'hui et celui de demain pourraient avoir affaire à deux modèles légèrement différents. Google n'a divulgué pour l'instant aucun plan de déploiement ; l'article est déjà disponible sur arXiv.
Sources : blog de Google Research, CocoLoop, article arXiv ; vérification des modes de calcul des scores AIME, HMMT et SQuAD et de la longueur de contexte du test BABILong.