Ngày 8 tháng 9, Dwarkesh Patel và Jerry Han công bố kết quả một loạt thí nghiệm đối chứng về tiền huấn luyện (pretraining): trong giai đoạn 2019-2025, với ngân sách tính toán cố định ở mức 1e19 FLOPs, mức tăng hiệu suất tính toán đến từ cải tiến dữ liệu là 12.0 lần, đến từ cải tiến mô hình là 3.7 lần — con số đầu gấp 3.24 lần con số sau.
Thí nghiệm được thực hiện như thế nào
Hai tác giả tách công thức mô hình và kho ngữ liệu thành hai trục theo năm, rồi tổ hợp chéo để huấn luyện. Trục mô hình xếp từ GPT-2 (2019) đến OLMo-2 (2025), ở giữa có công thức của GPT-3 và NeoX; trục dữ liệu xếp từ OpenWebText (2019) đến UltraFineWeb (2025), ở giữa là The Pile. OpenWebText có khoảng 9 tỷ token, trong khi các kho ngữ liệu hiện đại lớn hơn nhiều bậc độ lớn.
Nhóm chọn năm mức ngân sách tính toán: 1e17, 3.16e17, 1e18, 3.16e18 và 1e19 FLOPs, tính theo công thức danh nghĩa C = 6ND. Đánh giá dùng bộ OLMES, gộp 10 benchmark tương đối đơn giản, phần lớn là câu hỏi trắc nghiệm. Lý do họ chọn OLMES thay vì cross-entropy loss được nêu thẳng: các thí nghiệm dùng bộ dữ liệu khác nhau nên loss giữa các nhóm không thể so sánh trực tiếp.
Khi đưa kết quả vào hồi quy tuyến tính, một mô hình cộng gộp thành phần dữ liệu và thành phần mô hình giải thích được 88% phương sai.
Quy đổi theo năm thì con số nhỏ hơn hẳn
Quy đổi theo năm, mức tăng hiệu suất tính toán hàng năm từ phía mô hình là 1.24 lần, từ phía dữ liệu là 1.51 lần, gộp cả hai là 1.57 lần.
Con số 1.57 lần thấp hơn các ước tính trước đây của ngành. Anson Ho và cộng sự đưa ra mức trung bình 3 lần, chênh gần một nửa. Các tác giả không né tránh điều này mà quy về hai nguyên nhân: quy mô thí nghiệm của họ quá nhỏ nên nhiều khoản tăng không thể hiện ra ở mức này; huấn luyện quy mô nhỏ cũng không bao quát các tối ưu ở phía suy luận (inference).
Hai bộ số liệu này không thể đặt cạnh nhau dùng trực tiếp. Một bên là thí nghiệm đối chứng quy mô nhỏ, biến số sạch nhưng khả năng ngoại suy hạn chế; bên kia là ước tính vĩ mô cho toàn ngành, bao quát rộng nhưng không tách được nguồn gốc của phần tăng. Giá trị của công trình này nằm ở việc cân riêng "dữ liệu" và "mô hình", còn tỷ lệ cụ thể 3.24 chỉ là thứ yếu.
Khoảng hở chính tác giả để lại
Trong bài gốc có một nhận định đáng nhớ hơn cả kết luận:
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(Nếu phần tăng là có hạn, động lực chính của tiến bộ tiền huấn luyện sẽ chững lại, vì chúng ta không tạo ra thêm internet, và một tập dữ liệu cố định thì chỉ có thể chọn lọc kỹ đến một mức nào đó mà thôi.)
Các tác giả tự liệt kê bốn giới hạn. Thứ nhất, quy mô thí nghiệm quá nhỏ để nắm bắt nhiều khoản tăng. Thứ hai, hệ số nhân hiệu suất tính toán khá nhạy với việc chọn công thức mô hình hay kho ngữ liệu nào, đổi cặp khác kết quả sẽ khác. Thứ ba, họ chỉ nghiên cứu nhóm phương pháp làm sạch dữ liệu từ Common Crawl, chưa bao quát ba hướng: thu thập dữ liệu chất lượng cao từ nguồn mới, dữ liệu do chuyên gia con người tạo ra, và dữ liệu tổng hợp (synthetic data). Thứ tư, đổi sang bộ benchmark khác thì kết luận "sẽ rất khác".
Điểm thứ ba đặc biệt đáng chú ý. Trong hai năm qua, các nguồn tăng trưởng gia tăng được nhắc đi nhắc lại trong thảo luận công khai lại đúng vào ba hướng mà thí nghiệm này chưa đo. Nghiên cứu trả lời được câu hỏi con đường làm sạch dữ liệu internet trong sáu năm qua đã đi được bao xa, còn phía trước còn bao nhiêu đường thì nó chưa đưa ra câu trả lời.
Nguồn tham khảo: bài gốc Dwarkesh Podcast, tài liệu mô tả benchmark OLMES, CocoLoop; các hệ số hiệu suất tính toán và tốc độ quy đổi theo năm lấy theo khung 1e19 FLOPs của bài gốc, ước tính 3 lần của ngành dẫn từ nghiên cứu của Anson Ho và cộng sự.