Google Research ha publicado un marco de aprendizaje continuo que programa "sueño" para los grandes modelos. Los autores del artículo son Ali Behrouz, Farnoosh Hashemi, Adel Javanmard y Vahab Mirrokni, y Behrouz figura a la vez en Google y en la Universidad de Cornell. La idea se toma del cerebro humano: de día recibe información y de noche ordena la memoria a corto plazo en memoria a largo plazo.
Una vez desplegado, los parámetros de un modelo normalmente ya no cambian, así que su conocimiento se queda en la fecha de corte del entrenamiento. Si se quiere que siga aprendiendo, el ajuste fino directo suele provocar el olvido catastrófico: el conocimiento nuevo arrasa con las capacidades antiguas. El aprendizaje en contexto, por su parte, solo dura hasta que termina la sesión; al vaciar la ventana no queda nada. El marco del sueño quiere sortear ambas trampas a la vez.
Despierto toma notas, dormido cambia parámetros
El marco hace que el modelo alterne entre dos fases. En la fase de vigilia procesa las entradas con normalidad y la información nueva se coloca primero en una memoria a corto plazo de actualización frecuente, como el contexto. Al entrar en la fase de sueño, el modelo deja de recibir entradas nuevas y hace dos cosas.
La primera es la consolidación de la memoria. El modelo reserva de antemano, dentro de su estructura de mezcla de expertos (MoE), un conjunto de expertos de rango bajo que normalmente permanecen bloqueados. Durante el sueño se desbloquean y se acoplan a las capas de memoria a largo plazo, de actualización menos frecuente, mientras los parámetros antiguos quedan intactos. El contenido de la memoria a corto plazo se "sube" a estos nuevos expertos mediante destilación: una vía es la destilación on-policy, en la que el modelo alumno alinea la distribución de tokens del profesor sobre secuencias muestreadas por él mismo; la otra se llama "aprender a imitar", en la que el alumno continúa el prefijo de un texto generado por el profesor, se puntúa con similitud semántica y distancia de edición, y se entrena con aprendizaje por refuerzo. Terminado el traspaso, los parámetros temporales de alta frecuencia se ponen a cero para dejar sitio a la siguiente ronda; los autores comparan este paso con la poda sináptica.
La segunda la llaman los autores soñar. Al generar datos sintéticos, el enrutador activa a propósito expertos que rara vez trabajan juntos, mezcla dominios distintos y produce un lote de "muestras de sueño"; después, una selección de datos basada en gradientes escoge la parte con más probabilidad de aportar mejora para el ajuste fino supervisado y, por último, se comprueba si el rendimiento en tareas posteriores ha mejorado. En todo el proceso, la arquitectura principal y las reglas de entrenamiento del modelo no cambian.
El boletín de notas y los huecos
En la prueba de traducción continua, los investigadores hicieron que el modelo aprendiera por etapas lenguas casi ausentes del corpus de entrenamiento, como el manchú y el kalamang. Según el blog, el rendimiento del método del sueño apenas cayó, mientras que el aprendizaje en contexto, Cartridges y SFT mostraron un olvido grave. En la prueba de contexto largo BABILong, de hasta 10 millones de tokens, el resultado se acercó a la nota máxima y superó a GPT-4 y a Titans. En razonamiento matemático, AIME 24 obtuvo un 79,2 %, AIME 25 un 69,0 % y HMMT 25 un 46,1 %; en conocimiento factual, SQuAD como tarea individual alcanzó un 48,9 % y, en el escenario de preentrenamiento continuo, un 46,2 %.
A estas cifras les falta comparación. El blog no enumera las puntuaciones concretas de cada línea base en matemáticas y preguntas factuales, y la traducción continua y el aprendizaje incremental por clases solo muestran gráficos, sin valores. No se indica el tamaño del modelo ni cuánto cómputo cuesta cada sueño, no hay una sección propia de limitaciones y por ahora no han aparecido reproducciones externas.
El tercer paso del mismo grupo
Si se sitúa este trabajo en la línea de investigación de Behrouz y Mirrokni, el hilo es bastante claro. A finales de 2024 propusieron Titans, que añade al Transformer un módulo de memoria neuronal a largo plazo capaz de actualizarse también durante la inferencia; la arquitectura Hope, después, dividió el modelo en varias capas de memoria con distinta frecuencia de actualización; el marco del sueño se construye directamente sobre Hope y MoE. A lo largo de los tres pasos, la pregunta ha pasado de "cómo estirar más el contexto" a "cómo lo que hay en el contexto se sedimenta en los parámetros".
También hay trabajos de dirección parecida, como SEAL, del MIT, donde el modelo genera sus propios datos de ajuste fino y actualiza los pesos; el blog lo incluyó entre las líneas base de comparación. Lo que añade el marco del sueño es el mecanismo de expertos reservados con puesta a cero periódica, que separa mediante la estructura el conocimiento nuevo del antiguo.
Todavía le queda camino hasta llegar a producto. Si un modelo en línea durmiera cada noche y cambiara de parámetros, la evaluación de seguridad y la gestión de versiones tendrían que rediseñarse, y el usuario de hoy y el de mañana podrían encontrarse ante dos modelos ligeramente distintos. Google no ha divulgado por ahora ningún plan de despliegue; el artículo ya está en arXiv.
Fuentes: blog de Google Research, CocoLoop, artículo en arXiv; se verificaron los criterios de puntuación de AIME, HMMT y SQuAD y la longitud de contexto de la prueba BABILong.