研究联盟 CLEAR（Coalition for Language Equity in AI Research）9 月 29 日发布的一份分词器研究，这两周经 Rest of World 等媒体报道后开始扩散。它测的是一件很具体的事：同样的内容换一种语言，模型要切出多少 token。研究者把多出来的部分叫“分词器税”（tokenizer tax）。
CLEAR 用的是 FLORES-200 基准，也就是约 200 种语言的专业翻译句子，实际覆盖 203 个语言与文字的组合。研究给出的例句是 “People should benefit from AI, regardless of the language they speak”：英语 13 个 token，马拉雅拉姆语 26 个，阿姆哈拉语 78 个。
同样叫前沿模型，差距从 5 倍到 17 倍
研究的主要指标是最大最小比：一个分词器处理最费 token 的语言时，用量是它最省语言的多少倍。公开报道里的部分结果如下。
- Google Gemini、Gemma 一组：5.1 倍，通用前沿模型里最好
- Anthropic Claude：9.3 倍
- Meta Llama 4 Scout 一组：9.5 倍
- OpenAI GPT-5：13.8 倍
- Falcon 3：17 倍，垫底
只看互联网上最常用的 20 种语言，多数分词器的比值在 1.5 到 3.1 倍，Falcon 3 是 4.5 倍。媒体标题里“1.5 到 5 倍”和“1.5 到 3.1 倍”两种写法，差别就出在是否把 Falcon 3 算进去。
差距更多跟文字有关，跟使用人数的关系反而没那么直接。阿斯图里亚斯语使用者很少，但沾了拉丁字母和罗曼语族的光。缅甸语、藏语、高棉语、老挝语以及 Tifinagh、Ol Chiki 两种文字，在几乎所有模型上都排在最不利的位置。孟加拉语、乌尔都语、旁遮普语这类使用者上亿的语言也被点名。
这个比值量的是编码长度，并不等于实际价格，也不代表任务成功率。研究里的基准是每个分词器自身最省的语言，通常是英语或简体中文。CLEAR 自己也承认，语言长度本来就不同，做到一比一大概不现实。
粗算一下成本和上下文
token 多了，账单、延迟和上下文容量都会受影响。按上面那句例句外推（单句样本，只作量级参考）：一个英语版每月花 1000 美元输入费的应用，内容换成阿姆哈拉语，同一模型粗算要 6000 美元左右。128000 token 的上下文窗口，能装下的文本也约缩到六分之一，长文档问答和智能体最先受影响。
反方意见来自 Maya Research 的 CEO Dheemanth Reddy。他认为 token 单价跌得很快，直接成本的压力会减轻：
“Token prices are falling very quickly, so the direct cost impact should become less severe over time”（token 价格跌得很快，直接成本的影响会逐渐减轻。）
他同时提醒，光补训练数据解决不了分词问题，实验室得专门为这些语言和文字设计分词器。上下文被压缩这一点，降价也帮不上忙。
国产模型和出海团队要看的数字
简体中文在这项研究里算受益的一方，所以国内用户日常可能不太感觉得到这笔税。需要留意的是出海场景。东南亚业务常碰到缅甸语、高棉语、老挝语，恰好是最吃亏的几种。
国产模型的成绩也不算好看：Qwen 3 的比值是 10.5，较新的 Qwen 3.6 升到 13.1，模型更新并没有自动带来改善。这组数字也说明差距并非技术上绕不开。Meta 的翻译模型 NLLB-200 只有 2.7 倍，它本来就是为多语言设计的。
CLEAR 提了几条建议：把各语言的 token 不平等写进模型卡；下一代模型有意识地覆盖更多语言；分词器只能随新模型更换，所以厂商应立即改按字符或语言计费；公共采购方要求供应商披露不同语言下的成本。Activate AI 联合创始人 Pratyush Choudhury 的要求更简单，每家大实验室公布一张分语言成绩单。目前的公开报道里，这些都还停留在建议阶段。
参考来源：Rest of World；CocoLoop；Trending Topics；CLEAR 研究的公开摘要；各模型比值以报道转述的 CLEAR 口径为准，未直接取得完整报告。