Lembaga benchmark pihak ketiga, Artificial Analysis, memperbarui hasil pengujian Claude Fable 5.1: indeks kecerdasan gabungan 66, peringkat pertama dari 192 model yang diuji. Generasi sebelumnya, Fable 5, mencetak skor 62 dan berada di peringkat keenam.
Hasil yang sama juga memuat satu rangkaian angka lain. Untuk menjalankan seluruh rangkaian evaluasi indeks kecerdasan, Fable 5.1 menghabiskan biaya $8523.16, sedangkan Fable 5 sebesar $5455.22. Jika dikonversi ke biaya per tugas, angkanya naik dari $3.14 menjadi $3.69.
Harga per token tetap, tapi jawabannya makin panjang
Harga resmi kedua generasi ini sama persis: $10 per juta token input dan $50 per juta token output. Tambahan biaya sekitar $3000 itu seluruhnya berasal dari panjangnya output — Fable 5 menghasilkan 83 juta token untuk seluruh rangkaian benchmark, sementara Fable 5.1 menghasilkan 140 juta token, naik sekitar 69%. Artificial Analysis mencatat median dari 192 model di angka 71 juta token, artinya volume output Fable 5.1 hampir dua kali lipat median tersebut.
Pola ini sejalan dengan tren umum model penalaran (reasoning) selama setahun terakhir: peningkatan kemampuan didapat dengan membiarkan model "berpikir" lebih banyak langkah, sementara penagihan dihitung berdasarkan token, sehingga tagihan ikut membengkak seiring panjangnya proses berpikir itu. Bagi pengguna biasa yang berlangganan bulanan dengan harga tetap, ini tidak berdampak langsung; tapi bagi tim yang membayar lewat API, beban kerja yang sama kini butuh perhitungan ulang anggaran.
Nyaris lima menit menunggu token pertama
Angka kecepatan lebih mencolok lagi. Kecepatan output Fable 5.1 hanya 66.4 token per detik, peringkat ke-84 dari 192 model, di bawah median 70. Waktu tunggu hingga token pertama muncul mencapai 296.81 detik, dibandingkan 116.06 detik pada generasi sebelumnya — lebih dari satu setengah kali lebih lama.
Angka latensi ini praktis tidak terpakai untuk skenario interaktif, tapi yang diukur adalah keseluruhan proses penalaran — model berpikir cukup lama sebelum mengeluarkan karakter pertamanya. Untuk tugas latar belakang yang berjalan tanpa pengawasan, menunggu lima menit bukan masalah; tapi untuk menunggu saran autocomplete di editor kode, itu soal lain sama sekali.
Dibandingkan dengan GPT-5.6 Sol
Di papan peringkat yang sama, GPT-5.6 Sol milik OpenAI meraih skor 61 di peringkat kedelapan, dengan biaya menjalankan seluruh rangkaian benchmark sebesar $2017.29, biaya per tugas $0.95, total output 70 juta token, dan harga resmi $4 per juta token input serta $20 per juta token output.
Hitung-hitungan kasarnya: Fable 5.1 unggul 5 poin di indeks kecerdasan, tapi biaya per tugasnya 3.9 kali lipat dan total biaya menjalankan seluruh rangkaian benchmark 4.2 kali lipat dibanding GPT-5.6 Sol. Sulit menyimpulkan begitu saja mana yang lebih hemat — keduanya cocok untuk jenis pekerjaan yang berbeda, dan waktu yang dihemat karena berhasil menyelesaikan tugas rumit dengan benar sejak percobaan pertama bisa jadi sepadan dengan selisih harga tersebut. Tapi ini menjelaskan mengapa makin banyak tim mulai mengatur model secara berjenjang: masalah sulit diserahkan ke model juara, sementara delapan puluh persen pekerjaan rutin lainnya dialihkan ke opsi yang lebih murah.
Papan peringkat hanya menjawab satu pertanyaan: model mana yang paling pintar. Orang yang membayar tagihan masih harus menjawab pertanyaan kedua: berapa harga satu poin itu.
Sumber: halaman perbandingan model Artificial Analysis, CocoLoop; skor indeks kecerdasan, total biaya benchmark, biaya per tugas, volume token output, dan waktu tunggu token pertama semuanya diambil dari data pengujian yang sama pada halaman publik lembaga tersebut.