Um estudo sobre tokenizadores divulgado em 29 de setembro pela coalizão CLEAR (Coalition for Language Equity in AI Research) começou a se espalhar nas últimas duas semanas, depois de ser noticiado pelo Rest of World e por outros veículos. Ele mede algo bem concreto: quantos tokens o modelo precisa gerar quando o mesmo conteúdo muda de idioma. Os pesquisadores chamam o excedente de “imposto do tokenizador” (tokenizer tax).
A CLEAR usou o benchmark FLORES-200, ou seja, frases traduzidas por profissionais para cerca de 200 idiomas, que na prática cobre 203 combinações de idioma e escrita. A frase de exemplo do estudo é "People should benefit from AI, regardless of the language they speak": 13 tokens em inglês, 26 em malaiala e 78 em amárico.
Todos se dizem modelos de ponta, mas a diferença vai de 5 a 17 vezes
O principal indicador do estudo é a razão entre máximo e mínimo: quando um tokenizador processa o idioma mais caro em tokens, quantas vezes seu consumo supera o do idioma mais econômico. Alguns resultados citados nas reportagens:
- Google Gemini e o grupo Gemma: 5,1 vezes, o melhor entre os modelos de ponta de uso geral
- Anthropic Claude: 9,3 vezes
- Grupo Llama 4 Scout, da Meta: 9,5 vezes
- OpenAI GPT-5: 13,8 vezes
- Falcon 3: 17 vezes, o último colocado
Considerando só os 20 idiomas mais usados na internet, a razão da maioria dos tokenizadores fica entre 1,5 e 3,1 vezes; no Falcon 3, é de 4,5. A diferença entre as manchetes que falam em “1,5 a 5 vezes” e as que falam em “1,5 a 3,1 vezes” está justamente em incluir ou não o Falcon 3.
A distância tem mais a ver com o sistema de escrita do que com o número de falantes. O asturiano tem poucos falantes, mas se beneficia do alfabeto latino e da família das línguas românicas. Birmanês, tibetano, khmer, laosiano e as escritas Tifinagh e Ol Chiki ficam na posição mais desfavorável em quase todos os modelos. Idiomas com centenas de milhões de falantes, como bengali, urdu e panjabi, também são citados.
Essa razão mede o comprimento da codificação; não equivale ao preço real nem à taxa de sucesso nas tarefas. A base de comparação do estudo é o idioma mais econômico de cada tokenizador, geralmente o inglês ou o chinês simplificado. A própria CLEAR admite que os idiomas têm comprimentos naturalmente diferentes e que chegar a uma razão de 1 para 1 provavelmente não é realista.
Uma conta rápida de custo e contexto
Com mais tokens, pesam a fatura, a latência e a capacidade de contexto. Extrapolando a partir da frase acima (amostra de uma única frase, só como ordem de grandeza): um aplicativo que gasta 1.000 dólares por mês em entrada em inglês, com o conteúdo em amárico e o mesmo modelo, chegaria a cerca de 6.000 dólares. Numa janela de contexto de 128.000 tokens, o texto que cabe também cai para cerca de um sexto. Perguntas sobre documentos longos e agentes são os primeiros afetados.
A opinião contrária vem de Dheemanth Reddy, CEO da Maya Research. Para ele, o preço por token cai rápido e a pressão direta sobre os custos deve diminuir:
"Token prices are falling very quickly, so the direct cost impact should become less severe over time" (Os preços dos tokens estão caindo muito rápido, então o impacto direto nos custos deve ficar menos severo com o tempo.)
Ele também alerta que apenas acrescentar dados de treinamento não resolve o problema da tokenização; os laboratórios precisam projetar tokenizadores específicos para esses idiomas e escritas. Quanto à compressão do contexto, a queda de preços tampouco ajuda.
Os números que modelos chineses e equipes que vão ao exterior devem observar
O chinês simplificado está entre os beneficiados neste estudo, então os usuários na China talvez não sintam esse imposto no dia a dia. A atenção deve ir para o cenário de expansão internacional: negócios no Sudeste Asiático costumam lidar com birmanês, khmer e laosiano, justamente alguns dos mais prejudicados.
O desempenho dos modelos chineses também não é bom: o Qwen 3 tem razão de 10,5 e o mais novo Qwen 3.6 sobe para 13,1, o que mostra que atualizar o modelo não traz melhora automática. Os números também indicam que a diferença não é tecnicamente intransponível: o modelo de tradução NLLB-200, da Meta, fica em apenas 2,7 vezes, pois foi desenhado desde o início para vários idiomas.
A CLEAR faz várias recomendações: registrar a desigualdade de tokens entre idiomas nos model cards; fazer a próxima geração de modelos cobrir mais idiomas de forma deliberada; como o tokenizador só muda junto com um novo modelo, os fornecedores devem passar imediatamente a cobrar por caractere ou por idioma; e compradores públicos devem exigir que os fornecedores divulguem o custo em cada idioma. O pedido de Pratyush Choudhury, cofundador da Activate AI, é mais simples: que cada grande laboratório publique um boletim por idioma. Nas reportagens públicas até agora, tudo isso continua no nível de recomendação.
Fontes: Rest of World; CocoLoop; Trending Topics; resumo público do estudo da CLEAR; as razões de cada modelo seguem o critério da CLEAR conforme relatado nas reportagens, sem acesso direto ao relatório completo.