Institut Kecerdasan Buatan di bawah Akademi Teknologi Informasi dan Komunikasi Tiongkok (CAICT) bersama sejumlah pihak lain merilis Laporan Pemantauan Kinerja Layanan Token Model Besar (2026) pada 23 Oktober. Angka yang paling disorot adalah harga: harga rata-rata ternormalisasi layanan model besar di Tiongkok naik dari 6,8 yuan pada semester kedua 2025 menjadi 13,46 yuan sepanjang 2026 sejauh ini, kenaikan yang hampir mencapai dua kali lipat.
Laporan ini diterbitkan bersama oleh Institut AI CAICT, Laboratorium Kunci Pengujian Model Besar AI serta Perangkat Lunak dan Keras di bawah Kementerian Industri dan Teknologi Informasi, serta Aliansi Pengembangan Industri Kecerdasan Buatan Tiongkok. Datanya berasal dari pemantauan Januari hingga Agustus 2026, dengan dimensi tingkat keberhasilan panggilan, throughput, latensi token pertama, stabilitas, harga, dan jendela konteks.
Tiga garis: harga, kecepatan, latensi
Mulai dari harga. Menurut laporan, setelah dua tahun perang harga, harga di dalam dan luar negeri sama-sama naik jelas pada 2026. Model-model tipikal yang dirilis di luar negeri sejak awal 2026 memiliki harga ternormalisasi rata-rata sekitar 117,8 yuan, jauh di atas level domestik.
Berikutnya kecepatan. Rata-rata TPS (jumlah token keluaran per detik) model domestik pada Agustus adalah 78,23, sedangkan rata-rata 2025 sebesar 38,25, atau nyaris dua kali lipat. Rata-rata TPS model tipikal luar negeri pada Agustus mencapai 112,82, dari 51,35 pada Desember lalu, juga lebih dari berlipat dua; secara keseluruhan model domestik masih tertinggal.
Latensi justru bergerak sebaliknya. Rata-rata latensi token pertama (TTFT) domestik pada Agustus adalah 1,26 detik, dibandingkan 0,78 detik rata-rata 2025. Untuk model tipikal luar negeri, TTFT Agustus tercatat 2,08 detik, padahal pada April hanya 1,04 detik. Penjelasan laporan:
"Naiknya TTFT bukan sekadar kemunduran kinerja."
Laporan mengaitkannya dengan gabungan beberapa faktor: jumlah parameter model yang membesar, konteks yang memanjang, dan volume panggilan yang naik. Perubahan konteks terlihat jelas: di antara model yang dipantau, yang berkonteks 1 juta token mencapai 47,8%, dan yang berkonteks 200K ke atas totalnya 95,7%, lebih dari 76 poin persentase di atas akhir 2025.
Hitung-hitungan kasar
Jika beberapa angka tersebut disandingkan, muncul beberapa rasio kasar.
- Harga: 13,46 ÷ 6,8 ≈ 1,98 kali; harga rata-rata luar negeri sekitar 117,8 ÷ 13,46 ≈ 8,8 kali harga domestik.
- Kecepatan: TPS domestik naik sekitar 2,05 kali, hampir sejalan dengan kenaikan harga.
- Latensi: latensi token pertama domestik bertambah sekitar 0,48 detik, atau naik kira-kira enam puluh persen.
Jika diperkirakan dengan ukuran "kecepatan keluaran per yuan", tahun ini kurang lebih sama dengan tahun lalu: harga berlipat dua, throughput pun berlipat dua. Uang tambahan yang dibayar pengembang terutama ditukar dengan konteks yang lebih panjang dan model yang lebih besar, sementara waktu tunggu karakter pertama pada setiap permintaan justru lebih lama. Ini adalah perkiraan kami berdasarkan rata-rata yang dipublikasikan laporan; perbedaan antarmodel dan antarwaktu sangat besar, sehingga tidak bisa diterapkan pada tagihan satu vendor tertentu.
Langkah penyesuaian harga vendor domestik tahun ini memberi catatan pendukung bagi rata-rata tersebut. Tencent Cloud beberapa kali menaikkan harga layanan AI seperti Hunyuan sepanjang tahun ini. Menurut laporan media, API DeepSeek-V4 menerapkan harga berdasarkan jam sejak 17 Agustus, dengan harga keluaran pada jam sibuk naik menjadi 4,5 kali dari semula. Harga yang ditekan sampai dasar selama perang harga kini dikembalikan satu per satu oleh para vendor.
Model yang sama, platform berbeda
Laporan juga memantau secara terpisah empat model sumber terbuka, yaitu DeepSeek, Qwen, GLM, dan Kimi, di platform pengembang aslinya dan di platform pihak ketiga. Kesimpulannya, TPS model yang sama bisa berbeda hingga hampir dua kali lipat antarplatform, dan sebagian platform pihak ketiga berjalan lebih cepat daripada platform resmi. Laporan menilai perbedaan pilihan tiap vendor dalam akselerasi inferensi, strategi optimasi, dan pengendalian biaya sebagai penyebab utama divergensi kinerja.
Pada tingkat model individual, TPS DeepSeek-V4-Pro pada Agustus mencapai 2 kali DeepSeek-V3.2. Setelah pergantian generasi model utama pada Mei, latensi token pertama umumnya naik untuk sementara, lalu turun bertahap kembali ke level sebelum pergantian setelah optimasi inferensi diterapkan.
Pertumbuhan penggunaan menjelaskan mengapa vendor berani menaikkan harga. Laporan menyebut konsumsi token harian rata-rata di Tiongkok pada Juni 2026 sekitar 500 triliun, hampir 4 kali lipat Desember 2025.
Ada dua catatan metodologi yang perlu diperhatikan pembaca. Ringkasan publik tidak menjelaskan cara menghitung "harga ternormalisasi" maupun satuan penagihannya, sehingga angka 6,8 yuan, 13,46 yuan, dan 117,8 yuan hanya bisa dibandingkan satu sama lain dengan basis yang sama, dan tidak sepatutnya langsung disandingkan dengan harga resmi vendor tertentu. Daftar model dan platform yang dipantau juga tidak dicantumkan dalam ringkasan; rujukan utamanya adalah laporan lengkap.
Sumber: CAICT, CocoLoop, Jiemian News, ITHome, 21st Century Business Herald; angka harga rata-rata ternormalisasi, TPS, latensi token pertama, dan porsi konteks dicocokkan dengan periode statistiknya.