구글 리서치가 대형 언어 모델에 '수면'을 배정하는 지속 학습 프레임워크를 공개했다. 논문 저자는 Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni로, Behrouz는 구글과 코넬대학교 소속을 함께 올렸다. 발상은 인간의 뇌에서 빌려왔다. 낮에는 정보를 받아들이고, 밤에는 단기 기억을 장기 기억으로 정리한다는 것이다.
모델은 배포된 뒤에는 보통 파라미터가 바뀌지 않아, 지식이 학습 마감일에 멈춰 있다. 계속 학습시키려고 곧바로 파인튜닝하면 새 지식이 기존 능력을 밀어내는 파국적 망각이 생기기 쉽다. 문맥 내 학습에 기대면 세션이 끝날 때까지만 유지되고, 창이 비워지면 아무것도 남지 않는다. 수면 프레임워크는 이 두 함정을 동시에 피하려는 시도다.
깨어 있을 때는 메모하고, 잠들면 파라미터를 고친다
이 프레임워크에서 모델은 두 단계를 오간다. 각성 단계에서는 평소처럼 입력을 처리하고, 새 정보는 컨텍스트처럼 자주 갱신되는 단기 기억에 먼저 담긴다. 수면 단계에 들어가면 모델은 새 입력을 받지 않고 두 가지 작업을 한다.
첫째는 기억 응고다. 모델은 혼합 전문가(MoE) 구조 안에 저랭크 전문가를 미리 확보해 둔다. 평소에는 잠겨 있다가 수면 중에 풀려, 갱신 빈도가 낮은 장기 기억 층에 붙는다. 기존 파라미터는 건드리지 않는다. 단기 기억의 내용은 증류를 통해 이 새 전문가들로 '올려' 보낸다. 한 경로는 온폴리시 증류로, 학생 모델이 스스로 샘플링한 시퀀스에서 교사의 토큰 분포에 맞춘다. 다른 경로는 '모방 학습'이라 불리며, 학생이 교사가 생성한 텍스트의 앞부분을 이어 쓰게 하고 의미 유사도와 편집 거리로 점수를 매겨 강화 학습을 한다. 옮기기가 끝나면 자주 갱신되는 임시 파라미터는 0으로 초기화되어 다음 회차를 위한 자리를 비우는데, 저자들은 이 단계를 시냅스 가지치기에 비유했다.
둘째는 저자들이 꿈꾸기라 부르는 단계다. 합성 데이터를 만들 때 라우터가 평소 함께 쓰이지 않는 전문가를 일부러 활성화해 서로 다른 분야를 섞고, '꿈 샘플'을 한 묶음 생성한다. 이어 그래디언트 기반 데이터 선별로 가장 개선 효과가 클 것 같은 부분을 골라 지도 미세조정에 쓰고, 마지막으로 하위 과제 성능이 좋아졌는지 점검한다. 이 과정 내내 모델의 기본 아키텍처와 학습 규칙은 그대로다.
성적표와 빈칸
지속 번역 테스트에서 연구진은 모델에게 만주어와 칼라망어처럼 학습 말뭉치에 거의 나오지 않는 언어를 단계별로 익히게 했다. 블로그에 따르면 수면 방식은 성능이 거의 떨어지지 않았고, 문맥 내 학습, Cartridges, SFT는 모두 심각한 망각을 보였다. BABILong 장문 맥락 테스트는 최대 1000만 토큰까지 진행했으며 결과는 만점에 가까워 GPT-4와 Titans를 앞섰다. 수학 추론에서는 AIME 24가 79.2%, AIME 25가 69.0%, HMMT 25가 46.1%였고, 사실 지식에서는 SQuAD 단일 과제가 48.9%, 지속 사전학습 설정에서는 46.2%였다.
이 수치들에는 비교 대상이 빠져 있다. 블로그는 수학과 사실 질의응답에서 각 기준 모델의 구체적인 점수를 싣지 않았고, 지속 번역과 클래스 증분 학습은 그래프만 제시할 뿐 수치가 없다. 모델 파라미터 규모가 얼마인지, 한 번 자는 데 연산이 얼마나 드는지도 본문에 나와 있지 않다. 한계를 다루는 별도 장도 없으며, 외부 재현 결과는 아직 나오지 않았다.
같은 연구진의 세 번째 걸음
이 논문을 Behrouz와 Mirrokni의 연구 흐름 위에 놓고 보면 맥락이 비교적 뚜렷하다. 2024년 말 두 사람은 추론 시점에도 갱신되는 신경 장기 기억 모듈을 트랜스포머에 더한 Titans를 제안했다. 이어 나온 Hope 아키텍처는 모델을 갱신 빈도가 다른 여러 기억 층으로 나눴고, 이번 수면 프레임워크는 Hope와 MoE 위에 곧바로 지어졌다. 세 걸음을 거치며 문제는 '맥락을 어떻게 더 길게 버티게 할까'에서 '맥락 속 내용을 어떻게 파라미터에 가라앉힐까'로 옮겨 갔다.
방향이 비슷한 연구도 있다. 예컨대 MIT의 SEAL은 모델이 스스로 미세조정 데이터를 생성하고 가중치를 갱신하는데, 블로그는 이를 비교 기준 모델로 꼽았다. 수면 프레임워크가 더한 것은 전문가를 미리 확보하고 주기적으로 0으로 초기화하는 장치로, 구조를 통해 새 지식과 옛 지식을 분리한다.
제품화까지는 아직 거리가 있다. 서비스 중인 모델이 매일 밤 '잠들어' 파라미터를 고친다면 안전성 평가와 버전 관리를 처음부터 다시 설계해야 하고, 사용자는 오늘과 내일 조금씩 다른 두 모델을 마주할 수도 있다. 구글은 현재까지 어떤 배포 계획도 밝히지 않았으며, 논문은 이미 arXiv에 올라와 있다.
참고 출처: 구글 리서치 블로그, CocoLoop, arXiv 논문. AIME, HMMT, SQuAD 점수 산출 기준과 BABILong 테스트의 컨텍스트 길이를 확인했다.