研究連合CLEAR(Coalition for Language Equity in AI Research)が9月29日に公開したトークナイザー研究が、Rest of Worldなどの報道を経て、この2週間で広がり始めた。調べているのは非常に具体的な点だ。同じ内容を別の言語で書くと、モデルが何トークンに切り分けるのかである。研究者は、その余分な分を「トークナイザー税」(tokenizer tax)と呼んでいる。
CLEARが使ったのは、約200言語の専門翻訳文からなるFLORES-200ベンチマークで、実際には203の言語・文字の組み合わせをカバーする。研究に示された例文は「People should benefit from AI, regardless of the language they speak」で、英語は13トークン、マラヤーラム語は26トークン、アムハラ語は78トークンだった。
同じ「最先端モデル」でも差は5倍から17倍
研究の主な指標は最大最小比、つまりあるトークナイザーが最もトークンを消費する言語で使う量が、最も少ない言語の何倍かという値だ。公開された報道にある結果の一部は次のとおり。
- Google Gemini、Gemmaのグループ:5.1倍。汎用の最先端モデルでは最良
- Anthropic Claude:9.3倍
- Meta Llama 4 Scoutのグループ:9.5倍
- OpenAI GPT-5:13.8倍
- Falcon 3:17倍で最下位
インターネットで最も使われる上位20言語に限ると、多くのトークナイザーの比は1.5倍から3.1倍で、Falcon 3は4.5倍だった。報道の見出しにある「1.5〜5倍」と「1.5〜3.1倍」という二通りの書き方の違いは、Falcon 3を含めるかどうかによる。
差は話者数よりも、文字体系との関係のほうが大きい。アストゥリアス語は話者こそ少ないが、ラテン文字とロマンス語族という恩恵を受けている。ビルマ語、チベット語、クメール語、ラオ語、そしてTifinaghとOl Chikiの2種類の文字は、ほぼすべてのモデルで最も不利な位置にある。ベンガル語、ウルドゥー語、パンジャーブ語のように話者が1億人を超える言語も名指しされた。
この比が測っているのは符号化の長さであり、実際の価格やタスクの成功率を意味するものではない。研究の基準は、各トークナイザーにとって最も効率のよい言語(通常は英語か簡体字中国語)である。CLEAR自身も、言語ごとに本来の長さが違う以上、1対1にするのは現実的でないだろうと認めている。
コストとコンテキストを大まかに試算する
トークンが増えれば、請求額、遅延、コンテキストの容量のすべてに影響する。上の例文から外挿すると(単一文のサンプルなので桁の目安にとどまる)、英語版で月1000ドルの入力費がかかっているアプリが、内容をアムハラ語に替えると、同じモデルでおよそ6000ドルになる計算だ。128000トークンのコンテキストウィンドウに収まるテキストも、約6分の1まで縮む。影響を最初に受けるのは、長文ドキュメントのQ&Aやエージェントである。
反対意見を述べたのは、Maya ResearchのCEO、Dheemanth Reddy氏だ。トークン単価は急速に下がっており、直接的なコスト圧力は和らぐとみる。
"Token prices are falling very quickly, so the direct cost impact should become less severe over time"(トークン価格は急速に下がっており、直接的なコストへの影響は次第に小さくなるはずだ。)
同氏は同時に、学習データを増やすだけではトークン化の問題は解決しないと指摘する。研究所はこれらの言語と文字のために専用のトークナイザーを設計しなければならない。コンテキストが圧縮される点については、値下げでは助けにならない。
中国発モデルと海外展開チームが見るべき数字
簡体字中国語はこの研究では有利な側に入る。そのため中国国内のユーザーは、日常でこの税をあまり実感しないかもしれない。注意が必要なのは海外展開の場面だ。東南アジア向けの事業ではビルマ語、クメール語、ラオ語に当たることが多く、これらはまさに最も割を食う言語に含まれる。
中国発モデルの成績も芳しくない。Qwen 3の比は10.5で、より新しいQwen 3.6は13.1に上がった。モデルを更新しても自動的に改善するわけではない。一方で、この差が技術的に避けられないものではないことも数字は示している。Metaの翻訳モデルNLLB-200は2.7倍にとどまる。最初から多言語向けに設計されているためだ。
CLEARはいくつかの提言を行っている。モデルカードに言語別のトークン格差を記載すること。次世代モデルでより多くの言語を意識的にカバーすること。トークナイザーは新モデルとともにしか入れ替えられないため、ベンダーはただちに文字数または言語別の課金へ改めること。公共調達の発注側は、言語ごとのコストの開示をベンダーに求めること。Activate AIの共同創業者Pratyush Choudhury氏の要望はもっと単純で、大手ラボがそれぞれ言語別の成績表を公表すべきだというものだ。これまでの公開報道では、いずれもまだ提言の段階にとどまっている。
参考資料:Rest of World、CocoLoop、Trending Topics、CLEAR研究の公開要約。各モデルの比は報道が引用したCLEARの数値に基づき、完全な報告書は直接入手していない。