Google Research vừa công bố một khung học liên tục dành cho mô hình lớn, trong đó mô hình được xếp lịch "ngủ". Nhóm tác giả gồm Ali Behrouz, Farnoosh Hashemi, Adel Javanmard và Vahab Mirrokni; Behrouz đồng thời mang danh Google và Đại học Cornell. Ý tưởng mượn từ bộ não con người: ban ngày tiếp nhận thông tin, ban đêm sắp xếp trí nhớ ngắn hạn thành trí nhớ dài hạn.
Sau khi triển khai, tham số của mô hình thường không đổi nữa, nên kiến thức dừng lại ở ngày kết thúc huấn luyện. Muốn nó học tiếp, tinh chỉnh trực tiếp dễ gây ra quên thảm khốc: kiến thức mới đè mất năng lực cũ. Còn học trong ngữ cảnh chỉ kéo dài đến hết phiên làm việc, cửa sổ ngữ cảnh vừa xóa là không còn gì lưu lại. Khung giờ ngủ này muốn tránh cùng lúc cả hai cái bẫy đó.
Thức thì ghi chú, ngủ thì sửa tham số
Khung này cho mô hình luân phiên giữa hai giai đoạn. Ở giai đoạn thức, mô hình xử lý đầu vào bình thường, thông tin mới trước hết được đặt vào bộ nhớ ngắn hạn cập nhật tần suất cao, chẳng hạn ngữ cảnh. Khi vào giai đoạn ngủ, mô hình ngừng nhận đầu vào mới và làm hai việc.
Việc thứ nhất là củng cố bộ nhớ. Mô hình dự trữ sẵn trong cấu trúc hỗn hợp chuyên gia (MoE) một nhóm chuyên gia hạng thấp; bình thường chúng bị khóa, đến lúc ngủ mới mở khóa và gắn vào các lớp bộ nhớ dài hạn có tần suất cập nhật thấp hơn, còn tham số cũ được giữ nguyên. Nội dung trong bộ nhớ ngắn hạn được "chuyển lên" các chuyên gia mới này bằng chưng cất: một nhánh là chưng cất theo chính sách trực tuyến, trong đó mô hình học sinh căn chỉnh phân phối token với mô hình giáo viên trên các chuỗi do chính nó lấy mẫu; nhánh còn lại gọi là "học bắt chước", cho mô hình học sinh viết tiếp phần đầu của văn bản do giáo viên sinh ra, chấm điểm bằng độ tương đồng ngữ nghĩa và khoảng cách chỉnh sửa rồi học tăng cường. Chuyển xong, các tham số tạm thời tần suất cao được đặt về không để nhường chỗ cho vòng sau; các tác giả ví bước này với việc tỉa khớp thần kinh.
Việc thứ hai được các tác giả gọi là nằm mơ. Khi sinh dữ liệu tổng hợp, bộ định tuyến cố ý kích hoạt những chuyên gia ít khi đi cùng nhau, trộn các lĩnh vực khác nhau để tạo ra một loạt "mẫu mơ"; sau đó dùng cơ chế chọn dữ liệu dựa trên gradient để lấy ra phần có khả năng cải thiện nhiều nhất cho tinh chỉnh có giám sát, cuối cùng kiểm tra xem kết quả tác vụ hạ nguồn có tốt lên không. Trong suốt quá trình, kiến trúc chính và quy tắc huấn luyện của mô hình không thay đổi.
Bảng điểm và những chỗ còn trống
Trong bài kiểm tra dịch liên tục, các nhà nghiên cứu cho mô hình học theo từng giai đoạn những ngôn ngữ gần như không xuất hiện trong ngữ liệu huấn luyện, như tiếng Mãn và tiếng Kalamang. Theo blog, hiệu năng của phương pháp ngủ hầu như không giảm, trong khi học trong ngữ cảnh, Cartridges và SFT đều bị quên nghiêm trọng. Ở bài kiểm tra ngữ cảnh dài BABILong, độ dài lên tới 10 triệu token, kết quả gần như tuyệt đối, vượt GPT-4 và Titans. Về suy luận toán học, AIME 24 đạt 79,2%, AIME 25 đạt 69,0%, HMMT 25 đạt 46,1%; về tri thức sự kiện, SQuAD đơn tác vụ đạt 48,9%, còn trong thiết lập tiền huấn luyện liên tục là 46,2%.
Những con số này thiếu đối chứng. Blog không liệt kê điểm cụ thể của từng mô hình cơ sở trên toán học và hỏi đáp sự kiện; dịch liên tục và học kiểu gia tăng theo lớp chỉ có biểu đồ, không có số liệu. Quy mô tham số của mô hình, một lần ngủ tốn bao nhiêu sức tính toán đều không được nêu, cũng không có mục riêng về hạn chế, và hiện chưa xuất hiện kết quả tái lập từ bên ngoài.
Bước thứ ba của cùng một nhóm
Đặt bài này vào dòng nghiên cứu của Behrouz và Mirrokni thì mạch phát triển khá rõ. Cuối năm 2024 họ đề xuất Titans, thêm cho Transformer một mô-đun bộ nhớ dài hạn thần kinh có thể cập nhật ngay cả khi suy luận; kiến trúc Hope sau đó chia mô hình thành nhiều tầng bộ nhớ với tần suất cập nhật khác nhau; khung giờ ngủ lần này được xây thẳng trên Hope và MoE. Qua ba bước, câu hỏi đã chuyển từ "làm sao kéo dài ngữ cảnh hơn nữa" sang "những gì trong ngữ cảnh làm sao lắng đọng vào tham số".
Các công trình theo hướng gần cũng có, chẳng hạn SEAL của MIT cho mô hình tự sinh dữ liệu tinh chỉnh và cập nhật trọng số; blog đã xếp nó vào các mô hình cơ sở để so sánh. Điểm khung giờ ngủ có thêm là cơ chế dự trữ chuyên gia kèm đặt về không định kỳ, dùng cấu trúc để tách kiến thức mới khỏi kiến thức cũ.
Nó còn cách sản phẩm một đoạn đường. Nếu mô hình trực tuyến mỗi đêm "ngủ" một lần và đổi tham số một lần, thì đánh giá an toàn và quản lý phiên bản đều phải thiết kế lại, người dùng hôm nay và ngày mai có thể đối diện với hai mô hình hơi khác nhau. Hiện Google chưa công bố kế hoạch triển khai nào; bài báo đã được đăng trên arXiv.
Nguồn tham khảo: blog Google Research, CocoLoop, bài báo trên arXiv; đã đối chiếu cách tính điểm AIME, HMMT, SQuAD và độ dài ngữ cảnh của bài kiểm tra BABILong.