Ngày 9/10, ARC Prize công bố bảng điểm ARC-AGI-2 mùa 2026, trong đó TUFA Labs xếp thứ nhất với 88,06%. Từ hạng hai đến hạng năm lần lượt là Rabbithole (80,56%), Yi-Chia Chen (77,22%), Nubanana (77,08%) và _hans (67,64%). Cùng ngày, François Chollet, đồng sáng lập ARC Prize, cũng công khai nhắc rằng điểm ARC-AGI-2 trên Kaggle đã chạm 88,06%.
Đội đầu bảng bỏ xa hạng nhì khoảng 7,5 điểm phần trăm, và trong top 5 chỉ có TUFA Labs vượt được mốc 85%.
Ngưỡng 85%
ARC-AGI-2 là bài kiểm tra suy luận trừu tượng do Chollet cùng các cộng sự thiết kế. Mỗi câu hỏi đưa ra vài cặp ví dụ đầu vào và đầu ra dưới dạng lưới màu; hệ thống dự thi phải tự quy nạp ra quy tắc rồi vẽ đúng lưới đáp án cho đầu vào mới. Mỗi đầu vào kiểm tra được nộp 2 đáp án, chỉ cần một trong hai khớp hoàn toàn là được 1 điểm. Đề bài được chủ ý thiết kế để không thể giải bằng cách học thuộc kiến thức.
Cuộc thi diễn ra trên Kaggle, môi trường chấm điểm không có mạng và giới hạn tài nguyên tính toán. Theo trang quy chế mùa 2026, tổng giải thưởng là 700.000 USD:
- Giải tiến bộ 275.000 USD, chia cho tám đội đứng đầu, hạng nhất nhận 75.000 USD;
- Giải lớn 275.000 USD, trao cho bản mô tả giải pháp có điểm cao nhất;
- Thêm 150.000 USD với điều kiện đạt 85% trên tập đánh giá riêng.
Mọi giải pháp đoạt giải đều phải mã nguồn mở; giải pháp không mở nguồn sẽ bị loại khỏi cuộc thi.
Có một điểm cần phân biệt về cách tính. Trong bài đăng lần này, ARC Prize nói 150.000 USD sẽ do mọi đội vượt 85% chia nhau, nhưng trang quy chế lại ghi là trao cho giải pháp hợp lệ đầu tiên đạt mức đó trên tập riêng. Cách nói nào được áp dụng, phía ban tổ chức hiện chưa giải thích thêm.
Ngoài ra, bảng xếp hạng công khai trên Kaggle chỉ chấm bằng khoảng một nửa số câu hỏi; thứ hạng cuối cùng do nửa còn lại quyết định. Mức 88,06% là điểm tạm thời, việc TUFA Labs có giữ được 85% trên tập riêng hay không phải chờ đến khi chốt mùa giải.
Đặt hai mùa giải cạnh nhau
Mùa ARC Prize 2025 cũng dùng ARC-AGI-2. Năm đó có 1.455 đội nộp 15.154 lượt bài; nhà vô địch NVARC đạt 24,03% trên tập riêng, chi phí khoảng 0,20 USD mỗi câu; hạng nhì the ARChitects đạt 16,53%, và giải lớn không ai nhận. NVARC gồm hai Kaggle Grandmaster của Nvidia, đi theo hướng dữ liệu tổng hợp, huấn luyện ngay lúc kiểm tra và mô hình nhỏ, chứ không dùng mô hình lớn chạy cưỡng ép.
Lùi thêm một bước, mùa 2024 vẫn dùng ARC-AGI thế hệ đầu, thành tích vô địch chỉ hơn 50% một chút. Khi ARC-AGI-2 ra mắt năm 2025, độ khó được nâng lên có chủ đích, và các mô hình tiên phong chủ đạo lúc đó nhìn chung chỉ đạt điểm một chữ số.
Như vậy, thành tích tốt nhất của đường đua Kaggle đã đi từ 24% lên 88% trong một năm. Hai con số có cách tính khác nhau: số trước là bảng chung cuộc trên tập riêng, số sau là điểm tạm thời trên bảng công khai, nên trừ thẳng cho nhau sẽ làm mức tiến bộ trông lớn hơn thực tế; dù vậy, thay đổi về bậc độ lớn vẫn rất đáng kể.
TUFA Labs dùng phương pháp gì hiện chưa được công bố, mức tiêu hao tính toán và chi phí cho mỗi câu phía sau thành tích này cũng chưa được tiết lộ. Theo quy chế, giải pháp đoạt giải phải mở nguồn và nộp bản mô tả, nên chi tiết sớm nhất cũng phải đến khi mùa giải kết thúc mới có thể xem được.
Đề bài còn lại bao nhiêu dư địa
Khi công bố ARC-AGI-2 năm 2025, ban tổ chức đưa ra mức cơ sở của con người như sau: người thử nghiệm đúng trung bình khoảng 60%, và mỗi câu hỏi đều có ít nhất hai người thử làm đúng. Theo cách tính này, thành tích 88% trên bảng công khai đã cao hơn mức trung bình của người thử nghiệm.
Hai năm nay, ARC Prize cũng đang chuyển trọng tâm sang ARC-AGI-3 mang tính tương tác, thế hệ đề bài mới là những trò chơi nhỏ đòi hỏi vừa thử vừa học. Nếu ARC-AGI-2 được tập riêng xác nhận vượt 85% ngay mùa này, nhiều khả năng sứ mệnh làm đề thi có thưởng của bộ câu hỏi lưới tĩnh này sẽ khép lại; bước đi tiếp theo của ban tổ chức hiện vẫn chưa có thông báo.
Nguồn tham khảo: tài khoản chính thức của ARC Prize, trang quy chế ARC Prize 2026, CocoLoop, phân tích kết quả mùa ARC Prize 2025; đã đối chiếu điểm số năm hạng đầu, cơ cấu giải thưởng và cách tính thành tích vô địch mùa 2025.