研究聯盟 CLEAR（Coalition for Language Equity in AI Research）9 月 29 日發布的一份分詞器研究，這兩週經 Rest of World 等媒體報導後開始擴散。它測的是一件很具體的事：同樣的內容換一種語言，模型要切出多少 token。研究者把多出來的部分稱為「分詞器稅」（tokenizer tax）。
CLEAR 使用的是 FLORES-200 基準，也就是約 200 種語言的專業翻譯句子，實際涵蓋 203 個語言與文字的組合。研究給出的例句是 "People should benefit from AI, regardless of the language they speak"：英語 13 個 token，馬拉雅拉姆語 26 個，阿姆哈拉語 78 個。
同樣叫前沿模型，差距從 5 倍到 17 倍
研究的主要指標是最大最小比：一個分詞器處理最耗 token 的語言時，用量是它最省語言的幾倍。公開報導中的部分結果如下。
- Google Gemini、Gemma 一組：5.1 倍，通用前沿模型中最好
- Anthropic Claude：9.3 倍
- Meta Llama 4 Scout 一組：9.5 倍
- OpenAI GPT-5：13.8 倍
- Falcon 3：17 倍，墊底
只看網路上最常用的 20 種語言，多數分詞器的比值落在 1.5 到 3.1 倍，Falcon 3 則是 4.5 倍。媒體標題裡「1.5 到 5 倍」和「1.5 到 3.1 倍」兩種寫法，差別就在是否把 Falcon 3 算進去。
差距與文字系統的關係，比與使用人數的關係更直接。阿斯圖里亞斯語的使用者很少，但沾了拉丁字母和羅曼語族的光。緬甸語、藏語、高棉語、寮語，以及 Tifinagh、Ol Chiki 兩種文字，在幾乎所有模型上都排在最不利的位置。孟加拉語、烏爾都語、旁遮普語這類使用者上億的語言也被點名。
這個比值衡量的是編碼長度，並不等於實際價格，也不代表任務成功率。研究的基準是各分詞器自身最省的語言，通常是英語或簡體中文。CLEAR 自己也承認，各語言的長度本來就不同，要做到一比一大概不切實際。
粗估成本與上下文
token 變多，帳單、延遲和上下文容量都會受到影響。依上面那句例句外推（僅為單句樣本，只作量級參考）：一個英語版每月花 1000 美元輸入費的應用，內容換成阿姆哈拉語後，同一模型粗估要 6000 美元左右。128000 token 的上下文視窗，能容納的文字量也約縮到六分之一，長文件問答和智慧代理最先受到影響。
反方意見來自 Maya Research 執行長 Dheemanth Reddy。他認為 token 單價下跌得很快，直接成本的壓力會減輕：
"Token prices are falling very quickly, so the direct cost impact should become less severe over time"（token 價格下跌得很快，直接成本的影響會逐漸減輕。）
他同時提醒，光補訓練資料解決不了分詞問題，實驗室得專門為這些語言和文字設計分詞器。至於上下文被壓縮這一點，降價也幫不上忙。
中國模型與出海團隊要看的數字
簡體中文在這項研究中屬於受益的一方，所以中國的使用者日常可能不太感覺得到這筆稅。需要留意的是出海場景。東南亞業務常碰到緬甸語、高棉語、寮語，恰好是最吃虧的幾種。
中國模型的成績也不算好看：Qwen 3 的比值是 10.5，較新的 Qwen 3.6 升到 13.1，模型更新並沒有自動帶來改善。這組數字也說明差距並非技術上無法繞過。Meta 的翻譯模型 NLLB-200 只有 2.7 倍，它本來就是為多語言設計的。
CLEAR 提了幾項建議：把各語言的 token 不平等寫進模型卡；下一代模型有意識地涵蓋更多語言；分詞器只能隨新模型更換，所以廠商應立即改按字元或語言計費；公共採購方要求供應商揭露不同語言下的成本。Activate AI 共同創辦人 Pratyush Choudhury 的要求更簡單，就是每家大型實驗室公布一張分語言成績單。目前的公開報導中，這些都還停留在建議階段。
參考來源：Rest of World；CocoLoop；Trending Topics；CLEAR 研究的公開摘要；各模型比值以報導轉述的 CLEAR 口徑為準，未直接取得完整報告。