O Google Research publicou um framework de aprendizado contínuo que reserva "sono" para grandes modelos. Os autores do artigo são Ali Behrouz, Farnoosh Hashemi, Adel Javanmard e Vahab Mirrokni, e Behrouz aparece ao mesmo tempo no Google e na Universidade Cornell. A ideia vem do cérebro humano: de dia recebe informações, à noite organiza a memória de curto prazo em memória de longo prazo.
Depois de implantado, o modelo normalmente não altera mais seus parâmetros, e o conhecimento fica parado na data de corte do treinamento. Para que continue aprendendo, o ajuste fino direto tende a causar o esquecimento catastrófico: o conhecimento novo atropela as capacidades antigas. Já o aprendizado em contexto só dura até o fim da sessão; limpa a janela, não sobra nada. O framework do sono quer escapar das duas armadilhas ao mesmo tempo.
Acordado, anota; dormindo, ajusta parâmetros
O framework faz o modelo alternar entre duas fases. Na fase de vigília, ele processa as entradas normalmente, e a informação nova vai primeiro para uma memória de curto prazo atualizada com alta frequência, como o contexto. Ao entrar na fase de sono, o modelo para de receber novas entradas e faz duas coisas.
A primeira é a consolidação da memória. O modelo deixa reservado, na estrutura de mistura de especialistas (MoE), um conjunto de especialistas de baixo posto, normalmente trancados. Durante o sono eles são destravados e acoplados às camadas de memória de longo prazo, de atualização menos frequente, enquanto os parâmetros antigos ficam intocados. O conteúdo da memória de curto prazo é "empurrado para cima" até esses novos especialistas por destilação: um caminho é a destilação on-policy, em que o modelo aluno alinha a distribuição de tokens do professor sobre sequências amostradas por ele mesmo; o outro se chama "aprender a imitar", em que o aluno continua o prefixo de um texto gerado pelo professor, pontuado por similaridade semântica e distância de edição, e treinado por aprendizado por reforço. Concluída a transferência, os parâmetros temporários de alta frequência são zerados para abrir espaço à rodada seguinte; os autores comparam esse passo à poda sináptica.
A segunda os autores chamam de sonhar. Ao gerar dados sintéticos, o roteador ativa de propósito especialistas que raramente trabalham juntos, misturando domínios diferentes para produzir um lote de "amostras de sonho"; depois, uma seleção de dados baseada em gradiente escolhe a parte com maior probabilidade de trazer melhora para o ajuste fino supervisionado, e por fim se verifica se o desempenho nas tarefas posteriores melhorou. Durante todo o processo, a arquitetura principal e as regras de treinamento do modelo permanecem as mesmas.
O boletim e as lacunas
No teste de tradução contínua, os pesquisadores fizeram o modelo aprender por etapas línguas quase ausentes do corpus de treinamento, como o manchu e o kalamang. Segundo o blog, o desempenho do método do sono quase não caiu, enquanto o aprendizado em contexto, o Cartridges e o SFT tiveram esquecimento grave. No teste de contexto longo BABILong, de até 10 milhões de tokens, o resultado ficou perto da nota máxima, acima do GPT-4 e do Titans. Em raciocínio matemático, o AIME 24 marcou 79,2%, o AIME 25 69,0% e o HMMT 25 46,1%; em conhecimento factual, o SQuAD em tarefa isolada ficou em 48,9% e, no cenário de pré-treinamento contínuo, em 46,2%.
Esses números carecem de comparação. O blog não lista as pontuações específicas de cada linha de base em matemática e perguntas factuais, e a tradução contínua e o aprendizado incremental por classes têm apenas gráficos, sem valores. O tamanho do modelo e o custo computacional de cada sono não são informados, não há uma seção própria de limitações e ainda não surgiram reproduções externas.
O terceiro passo do mesmo grupo
Colocando o trabalho na linha de pesquisa de Behrouz e Mirrokni, o percurso fica claro. No fim de 2024 eles propuseram o Titans, que acrescenta ao Transformer um módulo de memória neural de longo prazo que também pode ser atualizado na inferência; a arquitetura Hope, depois, dividiu o modelo em várias camadas de memória com frequências de atualização distintas; o framework do sono foi construído diretamente sobre Hope e MoE. Ao longo dos três passos, a pergunta migrou de "como esticar mais o contexto" para "como o que está no contexto se deposita nos parâmetros".
Há trabalhos com direção parecida, como o SEAL, do MIT, em que o modelo gera seus próprios dados de ajuste fino e atualiza os pesos; o blog o incluiu entre as linhas de base de comparação. O que o framework do sono acrescenta é o mecanismo de especialistas reservados com zeragem periódica, que separa pelo próprio desenho o conhecimento novo do antigo.
Ainda falta caminho até virar produto. Se um modelo em produção dormisse toda noite e mudasse de parâmetros, a avaliação de segurança e o controle de versões teriam de ser repensados, e o usuário de hoje e o de amanhã poderiam estar diante de dois modelos ligeiramente diferentes. O Google não divulgou até agora nenhum plano de implantação; o artigo já está no arXiv.
Fontes: blog do Google Research, CocoLoop, artigo no arXiv; conferidos os critérios de pontuação de AIME, HMMT e SQuAD e o comprimento de contexto do teste BABILong.