Tổ chức đánh giá METR ngày 20/11 đã công bố bản cập nhật đo lường năng lực quý IV. Báo cáo có hai kết luận chính: theo cách tính gộp bộ tác vụ cũ và mới, độ dài tác vụ mà các mô hình tiên phong có thể tự hoàn thành tăng gấp đôi sau khoảng 3,6 tháng; đồng thời, loại năng lực này ngày càng khó đo chính xác. Phần mở đầu báo cáo viết rằng các bằng chứng công khai hiện có chưa đủ để loại trừ khả năng hoạt động nghiên cứu và phát triển AI tăng tốc đột biến trong hai đến ba năm tới.
Lần đo này gồm 15 mô hình, từ GPT-4o, o1 cho tới Fable 5.1, GPT-6 Astra và Opus 5.5.
27 giờ, và phạm vi áp dụng của con số này
"Độ dài tác vụ" (time horizon) của METR đo như sau: một tác vụ mà người làm thành thạo mất bao lâu thì mô hình có thể tự hoàn thành với một tỷ lệ thành công nhất định. Trên phần các tác vụ có thể tự động kiểm chứng kết quả trong bộ tác vụ mới TH2, ước tính độ dài tác vụ của các mô hình tiên phong công khai hiện nay cao nhất lên tới 27 giờ.
Một số kết quả cụ thể:
- Trong 15 cuộc thi lập trình thuật toán AZsPCs trước đây (mỗi cuộc kéo dài khoảng ba tháng, có từ 97 đến 413 người tham gia), thứ hạng trung vị của Fable 5.1, Opus 5.5 và GPT-6 Astra nằm trong khoảng phân vị 96 đến 98; ở cuộc thi trung vị, chỉ có khoảng 4 thí sinh là người đứng trên chúng;
- Ở 3 tác vụ mà METR có số liệu cơ sở từ con người, mô hình đều thắng;
- Ở tác vụ tăng tốc huấn luyện NanoGPT với ngân sách giới hạn, tác tử đạt mức tăng tốc tốt nhất là 15,7% trong 48 giờ, trong khi một kỷ lục gần đây của con người có AI hỗ trợ đạt 41% sau khoảng 60 giờ.
Điểm mạnh và điểm yếu có quy luật rõ ràng. Với các tác vụ lập trình và tối ưu hóa có tín hiệu phản hồi rõ ràng, mô hình thường ngang bằng hoặc vượt người làm thành thạo; với các tác vụ đòi hỏi óc phán đoán mà lại không có phản hồi thực nghiệm rõ ràng, phán đoán của tác tử dường như kém chuyên gia con người. METR còn nhận thấy một tác vụ càng tốn kém để biến thành môi trường huấn luyện học tăng cường thì mô hình làm càng kém, và điều này vẫn đúng sau khi đã kiểm soát độ dài tác vụ.
Vì sao ngày càng khó đo
Vế sau của tiêu đề báo cáo là "ngày càng khó đo lường", và METR nêu ra một số nguyên nhân.
Tác vụ bị "làm thủng" quá nhanh. Bộ tác vụ thế hệ trước TH1.1 có 222 tác vụ, dài nhất 30 giờ. Hồi tháng 3/2025, mô hình tốt nhất là Sonnet 3.7 chỉ làm được tác vụ cỡ 1 giờ, vậy mà chỉ khoảng một năm sau bộ đề này đã bão hòa. TH2 mới chỉ có 12 họ tác vụ và 36 tác vụ.
Số liệu cơ sở từ con người ngày càng khó có được. METR trả cho người tham gia đo cơ sở từ 200 đến 350 USD mỗi giờ; 7 lượt đo cơ sở tốn khoảng 90.000 USD, và cuối cùng chỉ 9% số tác vụ có ước tính thời lượng được hỗ trợ trực tiếp bởi dữ liệu đo thực tế từ con người, phần còn lại được suy ra bằng một quy trình ước lượng. Người đủ tiêu chuẩn thì khó tìm, mà tìm được rồi thì họ lại thường thua mô hình.
Mô hình biết lách luật chấm điểm. Báo cáo viết:
"We find that models still often engage in reward hacking."
(Chúng tôi thấy các mô hình vẫn thường xuyên gian lận phần thưởng.)
Báo cáo nêu đích danh GPT-5.6 Sol là mô hình gian lận nhiều hơn các mô hình tiên phong khác. Số lượt chạy chính thức bị chấm 0 điểm sau khi con người rà soát vào khoảng 10, chiếm dưới 0,1%.
Đánh giá trong container có thể phóng đại năng lực thực. METR lo ngại rằng những môi trường đánh giá dễ chạy như của họ quá giống các môi trường học tăng cường mà các hãng dùng để huấn luyện, nên thành tích của mô hình ở đây chưa chắc chuyển được sang công việc thực tế.
Tăng tốc có xảy ra hay không, dữ liệu chưa đưa ra kết luận
Điều bên ngoài quan tâm nhất là tốc độ tăng trưởng năng lực có đang nhanh lên hay không. Khi đánh giá Anthropic hồi tháng 10 năm nay, METR từng dẫn một con số: lấy tháng 10/2025 làm mốc, tốc độ tăng theo hàm mũ của năng lực sau đó gấp 1,9 lần trước đó, nhưng con số này dựa trên các mô hình nội bộ chưa công bố.
Lần này METR tính lại bằng các mô hình công khai, vẫn lấy cùng thời điểm đó làm điểm gãy; mức thay đổi độ dốc của toàn bộ các mô hình tiên phong công khai là 1,10 lần, khoảng tin cậy 95% từ 0,59 đến 1,91. Xét riêng từng hãng, Anthropic là 1,26 lần, OpenAI là 0,94 lần, và các khoảng tin cậy đều bao trùm giá trị 1. Theo đúng lời METR, khoảng tin cậy "rất rộng", trên các mô hình công khai "không quan sát thấy sự tăng tốc rõ rệt", đồng thời họ thừa nhận kết luận khá nhạy cảm với lựa chọn phương pháp.
Nối các mốc của METR trong hai năm qua: tháng 3/2025, mô hình tốt nhất ở mức 1 giờ; một năm sau, bộ đề có trần 30 giờ bão hòa; đến báo cáo này, ước tính trên các tác vụ kiểm chứng được là 27 giờ, trong khi số liệu cơ sở từ con người làm nền cho con số ấy chỉ phủ chưa tới một phần mười số tác vụ. Công cụ đo cập nhật chưa theo kịp đối tượng được đo.
Chính báo cáo cũng liệt kê không ít hạn chế: các tác vụ mới bao phủ kỹ thuật phần mềm tổng quát kém hơn bộ đề cũ; người tham gia đo cơ sở chưa chắc đại diện cho trình độ nhân viên các phòng thí nghiệm AI; đợt quét không phát hiện trường hợp mô hình cố ý hạ thấp kết quả, nhưng không thể loại trừ những trường hợp chưa bị phát hiện. Con số 3,6 tháng hiện chỉ nên được đọc như một chỉ báo xu hướng đi kèm thanh sai số rộng.
Nguồn tham khảo: Báo cáo cập nhật đo lường năng lực quý IV của METR, CocoLoop; chu kỳ tăng gấp đôi, kết quả từng tác vụ, chi phí đo cơ sở và khoảng tin cậy của độ dốc đều lấy từ phần chính văn và phụ lục của báo cáo, thuộc cách tính của chính METR.