Studi tokenizer yang dirilis koalisi riset CLEAR (Coalition for Language Equity in AI Research) pada 29 September mulai menyebar dalam dua pekan terakhir setelah diberitakan Rest of World dan sejumlah media lain. Yang diukur sangat spesifik: berapa token yang harus dihasilkan model untuk isi yang sama ketika ditulis dalam bahasa lain. Para peneliti menyebut kelebihan itu "pajak tokenizer" (tokenizer tax).
CLEAR memakai tolok ukur FLORES-200, yaitu kalimat terjemahan profesional dalam sekitar 200 bahasa, yang dalam praktiknya mencakup 203 kombinasi bahasa dan aksara. Kalimat contoh dalam studi ini adalah "People should benefit from AI, regardless of the language they speak": 13 token dalam bahasa Inggris, 26 token dalam bahasa Malayalam, dan 78 token dalam bahasa Amharik.
Sama-sama model terdepan, selisihnya 5 hingga 17 kali lipat
Metrik utama studi ini adalah rasio maksimum terhadap minimum: berapa kali lipat pemakaian token sebuah tokenizer pada bahasa yang paling boros dibandingkan bahasa yang paling hemat. Berikut sebagian hasil yang dimuat dalam laporan publik.
- Kelompok Google Gemini dan Gemma: 5,1 kali, yang terbaik di antara model terdepan serbaguna
- Anthropic Claude: 9,3 kali
- Kelompok Meta Llama 4 Scout: 9,5 kali
- OpenAI GPT-5: 13,8 kali
- Falcon 3: 17 kali, paling buruk
Jika hanya melihat 20 bahasa yang paling banyak dipakai di internet, rasio sebagian besar tokenizer berada di kisaran 1,5 hingga 3,1 kali, sedangkan Falcon 3 mencapai 4,5 kali. Perbedaan antara judul media "1,5 hingga 5 kali" dan "1,5 hingga 3,1 kali" hanya terletak pada apakah Falcon 3 dihitung atau tidak.
Kesenjangan ini lebih terkait dengan sistem aksara ketimbang jumlah penutur. Bahasa Asturias punya penutur yang sedikit, tetapi diuntungkan oleh aksara Latin dan rumpun bahasa Roman. Bahasa Burma, Tibet, Khmer, Laos, serta aksara Tifinagh dan Ol Chiki berada di posisi paling tidak menguntungkan pada hampir semua model. Bahasa dengan ratusan juta penutur seperti Bengali, Urdu, dan Punjabi juga disebut secara khusus.
Rasio ini mengukur panjang pengodean, bukan harga sebenarnya, dan tidak mencerminkan tingkat keberhasilan tugas. Patokan dalam studi adalah bahasa paling hemat bagi masing-masing tokenizer, biasanya bahasa Inggris atau Mandarin sederhana. CLEAR sendiri mengakui bahwa panjang teks memang berbeda antarbahasa, sehingga rasio satu banding satu kemungkinan tidak realistis.
Hitungan kasar biaya dan konteks
Token yang lebih banyak berdampak pada tagihan, latensi, dan kapasitas konteks. Jika diekstrapolasi dari kalimat contoh di atas (sampel satu kalimat, jadi hanya patokan orde besaran): aplikasi yang menghabiskan 1.000 dolar AS per bulan untuk biaya input dalam bahasa Inggris akan membutuhkan sekitar 6.000 dolar AS pada model yang sama jika isinya diganti ke bahasa Amharik. Jendela konteks 128.000 token juga hanya muat sekitar seperenam teks. Tanya jawab dokumen panjang dan agen adalah yang pertama terdampak.
Pendapat yang berlawanan datang dari CEO Maya Research, Dheemanth Reddy. Ia menilai harga per token turun sangat cepat sehingga tekanan biaya langsung akan berkurang:
"Token prices are falling very quickly, so the direct cost impact should become less severe over time" (Harga token turun sangat cepat, sehingga dampak biaya langsung akan makin ringan seiring waktu.)
Ia juga mengingatkan bahwa menambah data pelatihan saja tidak menyelesaikan masalah tokenisasi; laboratorium perlu merancang tokenizer khusus untuk bahasa dan aksara tersebut. Soal konteks yang terpangkas, penurunan harga tidak membantu.
Angka yang perlu diperhatikan model Tiongkok dan tim ekspansi luar negeri
Mandarin sederhana termasuk pihak yang diuntungkan dalam studi ini, sehingga pengguna di Tiongkok mungkin tidak terlalu merasakan pajak ini dalam keseharian. Yang perlu diwaspadai adalah skenario ekspansi ke luar negeri. Bisnis di Asia Tenggara sering berhadapan dengan bahasa Burma, Khmer, dan Laos, yang kebetulan termasuk yang paling dirugikan.
Hasil model buatan Tiongkok pun kurang menggembirakan: rasio Qwen 3 adalah 10,5, sedangkan Qwen 3.6 yang lebih baru naik menjadi 13,1, sehingga pembaruan model tidak otomatis membawa perbaikan. Angka-angka ini juga menunjukkan bahwa kesenjangan bukan jalan buntu secara teknis. Model terjemahan Meta, NLLB-200, hanya 2,7 kali, karena sejak awal dirancang untuk multibahasa.
CLEAR mengajukan beberapa rekomendasi: mencantumkan ketimpangan token antarbahasa dalam kartu model; mencakup lebih banyak bahasa secara sengaja pada generasi model berikutnya; karena tokenizer hanya bisa diganti bersama model baru, vendor sebaiknya segera beralih ke penagihan per karakter atau per bahasa; dan pembeli dalam pengadaan publik menuntut pemasok mengungkapkan biaya untuk tiap bahasa. Pratyush Choudhury, salah satu pendiri Activate AI, meminta hal yang lebih sederhana: setiap laboratorium besar menerbitkan rapor per bahasa. Dalam laporan publik sejauh ini, semuanya masih sebatas rekomendasi.
Sumber: Rest of World; CocoLoop; Trending Topics; ringkasan publik studi CLEAR. Rasio tiap model mengikuti angka CLEAR sebagaimana dikutip dalam pemberitaan; laporan lengkap tidak diperoleh secara langsung.