Un estudio sobre tokenizadores publicado el 29 de septiembre por la coalición CLEAR (Coalition for Language Equity in AI Research) empezó a difundirse en las últimas dos semanas tras ser recogido por Rest of World y otros medios. Mide algo muy concreto: cuántos tokens debe generar un modelo cuando el mismo contenido cambia de idioma. Los investigadores llaman “impuesto del tokenizador” (tokenizer tax) a ese excedente.
CLEAR utilizó el benchmark FLORES-200, es decir, frases traducidas por profesionales a unos 200 idiomas, que en la práctica abarca 203 combinaciones de idioma y escritura. La frase de ejemplo del estudio es "People should benefit from AI, regardless of the language they speak": 13 tokens en inglés, 26 en malayalam y 78 en amhárico.
Todos se llaman modelos de frontera, pero la brecha va de 5 a 17 veces
El indicador principal del estudio es la razón entre máximo y mínimo: cuando un tokenizador procesa el idioma que más tokens le cuesta, cuántas veces supera el consumo de su idioma más económico. Algunos resultados citados en las informaciones:
- Google Gemini y el grupo Gemma: 5,1 veces, el mejor entre los modelos de frontera generalistas
- Anthropic Claude: 9,3 veces
- Grupo Llama 4 Scout de Meta: 9,5 veces
- OpenAI GPT-5: 13,8 veces
- Falcon 3: 17 veces, el último de la lista
Si solo se consideran los 20 idiomas más usados en internet, la razón de la mayoría de los tokenizadores va de 1,5 a 3,1 veces; en Falcon 3 es de 4,5. La diferencia entre los titulares que dicen “de 1,5 a 5 veces” y los que dicen “de 1,5 a 3,1 veces” está en si se incluye o no a Falcon 3.
La brecha depende más de la escritura que del número de hablantes. El asturiano tiene pocos hablantes, pero se beneficia del alfabeto latino y de la familia de lenguas romances. El birmano, el tibetano, el jemer, el laosiano y las escrituras Tifinagh y Ol Chiki ocupan la posición más desfavorable en casi todos los modelos. También se mencionan idiomas con cientos de millones de hablantes, como el bengalí, el urdu y el panyabí.
Esta razón mide la longitud de la codificación; no equivale al precio real ni a la tasa de éxito en las tareas. La referencia del estudio es el idioma más económico de cada tokenizador, normalmente el inglés o el chino simplificado. La propia CLEAR admite que los idiomas tienen longitudes distintas por naturaleza y que lograr una razón de 1 a 1 probablemente no sea realista.
Un cálculo rápido de costes y contexto
Con más tokens se resienten la factura, la latencia y la capacidad de contexto. Extrapolando de la frase anterior (muestra de una sola frase, solo como orden de magnitud): una aplicación que gasta 1.000 dólares al mes en entrada en inglés, con el contenido en amhárico y el mismo modelo, rondaría los 6.000 dólares. En una ventana de contexto de 128.000 tokens, el texto que cabe también se reduce a cerca de una sexta parte. Las preguntas sobre documentos largos y los agentes serían los primeros afectados.
La opinión contraria viene de Dheemanth Reddy, CEO de Maya Research. Considera que el precio por token cae muy rápido y que la presión directa sobre los costes se aliviará:
"Token prices are falling very quickly, so the direct cost impact should become less severe over time" (Los precios de los tokens están cayendo muy rápido, así que el impacto directo en los costes debería ser menos severo con el tiempo.)
También advierte de que añadir datos de entrenamiento no basta para resolver la tokenización; los laboratorios deben diseñar tokenizadores específicos para estos idiomas y escrituras. Y la compresión del contexto tampoco se arregla con rebajas de precio.
Las cifras que deben mirar los modelos chinos y los equipos que salen al exterior
El chino simplificado figura entre los beneficiados de este estudio, así que los usuarios en China quizá apenas noten este impuesto en el día a día. Lo importante es el escenario de expansión internacional: los negocios en el Sudeste Asiático suelen encontrarse con birmano, jemer y laosiano, justo algunos de los más perjudicados.
Los modelos chinos tampoco salen bien parados: Qwen 3 tiene una razón de 10,5 y el más reciente Qwen 3.6 sube a 13,1, así que actualizar el modelo no trae mejoras automáticas. Estas cifras también indican que la brecha no es técnicamente insalvable: el modelo de traducción NLLB-200 de Meta se queda en 2,7 veces, porque se diseñó desde el principio para varios idiomas.
CLEAR plantea varias recomendaciones: reflejar la desigualdad de tokens entre idiomas en las fichas de modelo (model cards); que la próxima generación de modelos cubra de forma deliberada más idiomas; como el tokenizador solo cambia con un modelo nuevo, los proveedores deberían pasar de inmediato a cobrar por carácter o por idioma; y los compradores públicos deberían exigir a los proveedores que revelen los costes en cada idioma. La petición de Pratyush Choudhury, cofundador de Activate AI, es más sencilla: que cada gran laboratorio publique un boletín de notas por idioma. En las informaciones públicas hasta ahora, todo esto sigue en el terreno de las recomendaciones.
Fuentes: Rest of World; CocoLoop; Trending Topics; resumen público del estudio de CLEAR; las razones de cada modelo siguen el criterio de CLEAR según lo relatado en las informaciones, sin acceso directo al informe completo.