Une étude sur les tokeniseurs publiée le 29 septembre par la coalition CLEAR (Coalition for Language Equity in AI Research) se diffuse depuis deux semaines, après avoir été relayée par Rest of World et d’autres médias. Elle mesure un point très précis : combien de tokens un modèle doit découper lorsque le même contenu change de langue. Les chercheurs appellent ce surplus la « taxe du tokeniseur » (tokenizer tax).
CLEAR s’appuie sur le benchmark FLORES-200, c’est-à-dire des phrases traduites par des professionnels dans environ 200 langues, qui couvre en pratique 203 combinaisons de langue et d’écriture. La phrase d’exemple de l’étude est « People should benefit from AI, regardless of the language they speak » : 13 tokens en anglais, 26 en malayalam, 78 en amharique.
Tous se disent modèles de pointe, mais l’écart va de 5 à 17 fois
L’indicateur principal de l’étude est le rapport maximum/minimum : lorsqu’un tokeniseur traite la langue la plus gourmande en tokens, combien de fois sa consommation dépasse celle de sa langue la plus économe. Quelques résultats cités dans les articles :
- Google Gemini et le groupe Gemma : 5,1 fois, le meilleur parmi les modèles de pointe généralistes
- Anthropic Claude : 9,3 fois
- Groupe Llama 4 Scout de Meta : 9,5 fois
- OpenAI GPT-5 : 13,8 fois
- Falcon 3 : 17 fois, dernier du classement
Si l’on ne retient que les 20 langues les plus utilisées sur internet, le rapport de la plupart des tokeniseurs se situe entre 1,5 et 3,1 fois ; il est de 4,5 pour Falcon 3. La différence entre les titres qui parlent de « 1,5 à 5 fois » et ceux qui parlent de « 1,5 à 3,1 fois » tient à l’inclusion ou non de Falcon 3.
L’écart dépend davantage de l’écriture que du nombre de locuteurs. L’asturien compte peu de locuteurs, mais profite de l’alphabet latin et de la famille des langues romanes. Le birman, le tibétain, le khmer, le lao ainsi que les écritures tifinagh et ol chiki occupent la position la plus défavorable sur presque tous les modèles. Des langues parlées par des centaines de millions de personnes, comme le bengali, l’ourdou et le pendjabi, sont également citées.
Ce rapport mesure la longueur de l’encodage ; il ne correspond ni au prix réel ni au taux de réussite des tâches. La référence de l’étude est la langue la plus économe de chaque tokeniseur, généralement l’anglais ou le chinois simplifié. CLEAR reconnaît elle-même que les langues ont naturellement des longueurs différentes et qu’un rapport de 1 pour 1 n’est sans doute pas réaliste.
Un calcul rapide sur les coûts et le contexte
Avec plus de tokens, la facture, la latence et la capacité de contexte en pâtissent. En extrapolant à partir de la phrase ci-dessus (échantillon d’une seule phrase, simple ordre de grandeur) : une application dépensant 1 000 dollars par mois en entrée pour une version anglaise passerait, avec un contenu en amharique et le même modèle, à environ 6 000 dollars. Dans une fenêtre de contexte de 128 000 tokens, le texte qui tient est lui aussi réduit à environ un sixième. Les questions-réponses sur de longs documents et les agents seraient les premiers touchés.
La voix contraire vient de Dheemanth Reddy, PDG de Maya Research. Selon lui, le prix des tokens baisse très vite et la pression directe sur les coûts va s’atténuer :
"Token prices are falling very quickly, so the direct cost impact should become less severe over time" (Les prix des tokens baissent très vite, l’impact direct sur les coûts devrait donc s’atténuer avec le temps.)
Il prévient aussi qu’ajouter des données d’entraînement ne suffit pas à résoudre le problème de la tokenisation ; les laboratoires doivent concevoir des tokeniseurs spécifiques pour ces langues et ces écritures. Quant à la compression du contexte, une baisse des prix n’y change rien.
Les chiffres à regarder pour les modèles chinois et les équipes qui visent l’international
Le chinois simplifié fait partie des bénéficiaires de cette étude ; les utilisateurs en Chine ressentent donc peut-être peu cette taxe au quotidien. Le point d’attention, c’est l’expansion à l’étranger : les activités en Asie du Sud-Est rencontrent souvent le birman, le khmer et le lao, précisément parmi les plus pénalisés.
Les résultats des modèles chinois ne sont pas flatteurs non plus : Qwen 3 affiche un rapport de 10,5 et le plus récent Qwen 3.6 passe à 13,1, signe qu’une mise à jour du modèle n’apporte pas automatiquement d’amélioration. Ces chiffres montrent aussi que l’écart n’est pas techniquement inévitable : le modèle de traduction NLLB-200 de Meta n’est qu’à 2,7 fois, car il a été conçu dès l’origine pour le multilinguisme.
CLEAR avance plusieurs recommandations : inscrire l’inégalité de tokens entre langues dans les fiches de modèle (model cards) ; faire couvrir délibérément davantage de langues à la prochaine génération de modèles ; comme un tokeniseur ne peut changer qu’avec un nouveau modèle, les éditeurs devraient passer immédiatement à une facturation au caractère ou par langue ; et les acheteurs publics devraient exiger des fournisseurs la publication des coûts par langue. La demande de Pratyush Choudhury, cofondateur d’Activate AI, est plus simple : que chaque grand laboratoire publie un bulletin de notes par langue. Dans les articles publics à ce jour, tout cela reste au stade de la recommandation.
Sources : Rest of World ; CocoLoop ; Trending Topics ; résumé public de l’étude de CLEAR ; les rapports de chaque modèle suivent la méthode de CLEAR telle que relayée par les articles, sans accès direct au rapport complet.