Pada 9 Oktober, ARC Prize mengumumkan papan skor tertinggi ARC-AGI-2 musim 2026, dengan TUFA Labs di posisi pertama dengan 88,06%. Peringkat kedua sampai kelima berturut-turut adalah Rabbithole (80,56%), Yi-Chia Chen (77,22%), Nubanana (77,08%), dan _hans (67,64%). Salah satu pendiri ARC Prize, François Chollet, pada hari yang sama juga menyebut secara terbuka bahwa skor ARC-AGI-2 di Kaggle telah mencapai 88,06%.
Pemuncak unggul sekitar 7,5 poin persentase dari peringkat kedua, dan dari lima besar hanya TUFA Labs yang melewati 85%.
Garis 85%
ARC-AGI-2 adalah tes penalaran abstrak yang dirancang oleh Chollet dan rekan-rekannya. Setiap soal memberikan beberapa contoh masukan dan keluaran berupa kisi berwarna; sistem peserta harus menyimpulkan aturannya, lalu menggambar kisi yang benar untuk masukan baru. Setiap masukan uji boleh diberi 2 jawaban, dan satu jawaban yang sepenuhnya benar sudah dihitung 1 poin. Soal-soalnya sengaja menghindari pengetahuan yang bisa dijawab hanya dengan hafalan.
Kompetisi berlangsung di Kaggle, dengan lingkungan evaluasi tanpa internet dan batas daya komputasi. Menurut halaman aturan musim 2026, total hadiah mencapai US$700.000:
- Hadiah Kemajuan sebesar US$275.000 dibagikan kepada delapan besar, dengan juara pertama mendapat US$75.000;
- Hadiah Utama sebesar US$275.000 diberikan kepada uraian solusi dengan penilaian tertinggi;
- Ada pula hadiah US$150.000 dengan syarat mencapai 85% di set evaluasi privat.
Semua solusi pemenang wajib bersifat sumber terbuka, dan yang tidak membukanya akan dikeluarkan dari kompetisi.
Ada satu hal yang perlu dipisahkan. Dalam unggahan kali ini, ARC Prize menyebut hadiah US$150.000 dibagi di antara semua tim yang melewati 85%, sedangkan halaman aturan menulis bahwa hadiah itu diberikan kepada solusi layak "pertama" yang mencapai ambang tersebut di set privat. Mana dari kedua pernyataan itu yang berlaku, penyelenggara belum memberi penjelasan lebih lanjut.
Selain itu, papan skor publik Kaggle hanya menggunakan sekitar separuh soal uji untuk penilaian, dan peringkat akhir ditentukan oleh separuh lainnya. Angka 88,06% adalah hasil sementara; apakah TUFA Labs mampu mempertahankan 85% di set privat baru akan diketahui setelah musim diselesaikan.
Menyambungkan dua musim
ARC Prize musim 2025 juga menggunakan ARC-AGI-2. Pada tahun itu 1.455 tim mengirim 15.154 kiriman, dan juaranya, NVARC, meraih 24,03% di set privat dengan biaya sekitar US$0,20 per soal. Peringkat kedua, the ARChitects, mencetak 16,53%, dan Hadiah Utama tidak diambil siapa pun. NVARC dibentuk oleh dua Kaggle Grandmaster dari NVIDIA, dengan pendekatan data sintetis, pelatihan saat pengujian, dan model kecil, bukan dengan menjalankan model besar secara brute force.
Lebih jauh ke belakang, musim 2024 masih memakai ARC-AGI generasi pertama, dengan skor juara sedikit di atas 50%. Saat diluncurkan pada 2025, ARC-AGI-2 sengaja dibuat jauh lebih sulit, dan model frontier arus utama kala itu umumnya hanya mencetak skor satu digit.
Jadi hasil terbaik di jalur Kaggle naik dari 24% menjadi 88% dalam setahun. Kedua angka ini dihitung dengan cara berbeda: yang pertama hasil akhir set privat, yang kedua skor sementara papan skor publik, sehingga mengurangkan keduanya secara langsung akan melebih-lebihkan kemajuan. Meski begitu, perubahan orde besarnya tetap terlihat besar.
Metode yang dipakai TUFA Labs belum dijelaskan ke publik, dan konsumsi komputasi serta biaya per soal di balik hasil tersebut juga belum diungkap. Menurut aturan, solusi pemenang harus dibuka sumbernya dan disertai uraian, sehingga detailnya paling cepat baru bisa dilihat setelah musim berakhir.
Seberapa banyak ruang yang tersisa di soalnya
Saat merilis ARC-AGI-2 pada 2025, penyelenggara memberikan acuan manusia: rata-rata tingkat kebenaran para penguji sekitar 60%, dan setiap soal dijawab benar oleh sedikitnya dua penguji. Dengan ukuran itu, skor 88% di papan skor publik sudah melampaui rata-rata penguji manusia.
Dalam dua tahun terakhir ARC Prize juga menggeser fokus ke ARC-AGI-3 yang interaktif, yang soalnya berubah menjadi permainan kecil yang menuntut peserta belajar sambil mencoba. Jika set privat mengonfirmasi bahwa ARC-AGI-2 melewati 85% musim ini, soal kisi statis ini kemungkinan besar akan berakhir tugasnya sebagai soal berhadiah. Bagaimana penyelenggara mengaturnya selanjutnya belum diumumkan.
Sumber: akun resmi ARC Prize, halaman aturan kompetisi ARC Prize 2026, CocoLoop, analisis hasil musim ARC Prize 2025; digunakan untuk memverifikasi skor lima besar, susunan hadiah, dan dasar penghitungan skor juara musim 2025.