Google Research công bố GlucoFM vào ngày 26/8, một mô hình nền tảng tự giám sát chỉ xử lý đường cong theo dõi đường huyết liên tục (CGM). Bài báo được đăng trên arXiv với mã số 2605.30865, do Ahmed A. Metwally và Zechen Li của Google Research đứng tên. Bài toán mà mô hình giải quyết rất cụ thể: cảm biến đeo trên cánh tay cứ năm phút lại trả về một số đo, gom vài ngày lại thành một đường cong vừa dài vừa nhiễu, còn bác sĩ muốn đọc ra các chỉ số như kháng insulin hay chức năng tế bào beta từ đó thì trước đây phải dựa vào kỹ thuật trích đặc trưng thủ công.
Cách làm của mô hình là tách đường cong thành hai nhánh. Một nhánh xử lý biến thiên chậm – tức xu hướng chuyển hóa trong vài giờ đến một ngày; nhánh còn lại xử lý biến thiên nhanh, như đỉnh đường huyết sau bữa ăn hay hạ đường huyết ban đêm. Hai nhánh được mã hóa riêng rồi gộp lại thành một biểu diễn chung. Nhóm nghiên cứu đã làm thí nghiệm loại bỏ (ablation) và thấy phiên bản chỉ giữ lại "luồng sự kiện" cho kết quả kém nhất – biến động tức thời một mình không đủ dựng nên một bức tranh chuyển hóa ổn định.
Những con số cụ thể
Quá trình tiền huấn luyện dùng 109.000 giờ dữ liệu CGM chưa gán nhãn, lấy từ 477 bản ghi người tham gia/phiên đo trên năm bộ dữ liệu. Đánh giá được thực hiện trên bốn nhóm dân số CGMacros, nhóm Stanford, nhóm Hall và ShanghaiT2DM, với bảy tác vụ dự đoán lâm sàng, tổng cộng 14 tổ hợp nhóm-tác vụ. Đối thủ so sánh là phiên bản tốt nhất của GluFormer: PR-AUC trung bình của GlucoFM cao hơn 5,8 điểm phần trăm, tương đương mức cải thiện tương đối khoảng 7,5%. Hai tác vụ nguy cơ tiểu đường và chức năng tế bào beta thắng toàn bộ, còn kháng insulin thắng 3 trên 4 lượt đánh giá. Sai số MAE khi dự đoán phản ứng đường huyết sau ăn là 21,88 mg/dL, so với mức nền 22,90. Trong 12 lượt đánh giá chuyển giao xuyên bộ dữ liệu, GlucoFM thắng 11, với biên độ dẫn trước từ 0,5 đến 8,6 điểm.
Phần dữ liệu ít mẫu (few-shot) mới sát với tình huống thực tế hơn. Trong thiết lập chỉ có một người tham gia được gán nhãn cho mỗi lớp, hoặc chỉ dùng 1% lượng quan sát, GlucoFM vẫn giữ được ưu thế. Trong nghiên cứu lâm sàng, chi phí gán nhãn thường cao hơn chi phí thu thập dữ liệu cả một bậc độ lớn, và điều này thực dụng hơn nhiều so với điểm số trên bảng xếp hạng.
Quy mô dữ liệu tạo ra một nghịch lý
Ước tính sơ bộ: 109.000 giờ với tần suất lấy mẫu 5 phút/lần tương đương khoảng 1,3 triệu điểm dữ liệu. Trong khi đó các mô hình ngôn ngữ cùng thời thường bắt đầu từ hàng nghìn tỷ token, nên con số này gần như không đáng kể nếu đặt cạnh nhau. 477 bản ghi trên năm bộ dữ liệu cũng còn lâu mới được gọi là quy mô lớn. Chính Google cũng viết thẳng trong phần hạn chế: nhóm dân số tiền huấn luyện còn nhỏ, mô hình hiện chỉ xử lý theo từng cửa sổ 24 giờ độc lập, chưa nhìn thấy xu hướng theo tuần hay theo tháng.
Logic về quy mô của mô hình nền tảng cho tín hiệu và mô hình ngôn ngữ không dùng chung một công thức. Đường cong CGM có bậc tự do thấp, cấu trúc rõ ràng, nên dữ liệu của vài trăm người đã đủ để mô hình học được "thế nào là biến động bình thường". Trong kế hoạch tiếp theo, Google cho biết sẽ mở rộng sang nhóm dân số lớn hơn và đa dạng hơn, xây dựng mô hình hóa đa ngày theo kiểu bản địa, hỗ trợ thích ứng theo thời gian thực, đồng thời muốn làm rõ sự khác biệt về mẫu nhiễu giữa các nhóm dữ liệu.
Áp xuống thiết bị thực tế
Việc đánh giá được thực hiện và xác nhận riêng trên cả cảm biến Dexcom lẫn Libre, cho thấy mô hình không bị bó buộc vào đặc tính lấy mẫu của một loại phần cứng duy nhất. Dữ liệu phản ứng sau bữa ăn gồm 874 cặp sự kiện bữa ăn từ 34 người tham gia – số lượng không lớn nhưng tiêu chuẩn thu thập sạch. Hai năm gần đây, CGM đang lan từ quản lý bệnh tiểu đường sang cả nhóm người khỏe mạnh; khi phiên bản không cần kê đơn xuất hiện, số người đeo thiết bị chỉ có tăng, và lượng đường cong chưa gán nhãn có thể dùng cho học tự giám sát cũng tăng theo. Một mô hình nhẹ, có thể chuyển giao tốt với ít dữ liệu mẫu, lại vừa khớp với vị trí này.
Nguồn tham khảo: Blog chính thức của Google Research, bài báo arXiv 2605.30865, CocoLoop; kiến trúc mô hình, khối lượng dữ liệu tiền huấn luyện và tiêu chí đánh giá 14 tổ hợp nhóm-tác vụ lấy theo nội dung blog chính thức đã công bố.