Tolok ukur ARC-AGI telah lama dianggap sebagai indikator ketat untuk mengukur "kemampuan penalaran umum" AI—tidak mengandalkan hafalan atau pencocokan pola, murni menguji apakah model dapat beradaptasi secara fleksibel pada tugas abstrak yang belum pernah dilihat sebelumnya.
GPT-5.2 mencetak 72% pada ARC-AGI-1 dan 18% pada ARC-AGI-2.
Apa Arti Angka-Angka Ini?
72% pada ARC-AGI-1 sudah melampaui sebagian besar model. Namun ARC-AGI-2 adalah batu ujian yang sesungguhnya—tingkat kesulitannya jauh lebih tinggi. Angka 18% menunjukkan bahwa LLM saat ini masih memiliki kemampuan yang sangat terbatas ketika menghadapi tugas penalaran abstrak yang baru dan belum pernah dilatih.
Sebagai analogi: seperti seorang siswa yang mendapat nilai tinggi dalam ujian, tetapi panik ketika menghadapi tipe soal yang belum pernah dilihat. Kesenjangan ini justru mengungkap jurang antara AI yang "tampak pintar" dan kecerdasan umum yang sesungguhnya.
Perubahan Strategi OpenAI
Tren yang cukup jelas pada GPT-5.2 adalah optimalisasi biaya. Dibandingkan dengan generasi sebelumnya, biaya pemanggilan untuk tugas yang sama turun secara signifikan, sementara kemampuan penalaran juga meningkat.
OpenAI jelas menempuh dua jalur:
- Jalur kelas atas: bersaing pada batas kemampuan absolut
- Jalur ekonomi: membuat kemampuan yang sudah ada menjadi lebih murah
Strategi ini membentuk kontras yang menarik dengan pendekatan DeepSeek yang menggunakan MoE untuk menekan biaya. Satu pihak menurunkan harga dari atas, pihak lain meningkatkan kemampuan dari bawah—titik pertemuan keduanya mungkin menjadi harga keseimbangan industri.
Bagi mereka yang memantau perkembangan AGI, angka 18% pada ARC-AGI-2 adalah angka yang lebih informatif dibandingkan berbagai skor MMLU atau HumanEval—karena secara langsung mengukur kemampuan generalisasi, bukan daya ingat.
Sumber: CocoLoop, blog resmi ARC Prize, laporan teknis OpenAI