연구 연합 CLEAR(Coalition for Language Equity in AI Research)가 9월 29일 공개한 토크나이저 연구가 Rest of World 등의 보도를 거치며 최근 2주 사이 퍼지기 시작했다. 이 연구가 측정한 것은 아주 구체적이다. 같은 내용을 다른 언어로 쓰면 모델이 몇 개의 토큰으로 잘라야 하는가다. 연구진은 이렇게 늘어난 몫을 '토크나이저 세금'(tokenizer tax)이라 부른다.
CLEAR는 약 200개 언어의 전문 번역 문장으로 구성된 FLORES-200 벤치마크를 사용했으며, 실제로는 203개의 언어·문자 조합을 다룬다. 연구에 제시된 예문은 "People should benefit from AI, regardless of the language they speak"로, 영어는 13토큰, 말라얄람어는 26토큰, 암하라어는 78토큰이었다.
같은 '프런티어 모델'이라도 격차는 5배에서 17배
연구의 핵심 지표는 최대·최소 비율이다. 한 토크나이저가 토큰을 가장 많이 쓰는 언어에서의 사용량이 가장 적게 쓰는 언어의 몇 배인지를 나타낸다. 공개된 보도에 나온 결과 일부는 다음과 같다.
- Google Gemini, Gemma 계열: 5.1배, 범용 프런티어 모델 중 가장 양호
- Anthropic Claude: 9.3배
- Meta Llama 4 Scout 계열: 9.5배
- OpenAI GPT-5: 13.8배
- Falcon 3: 17배, 최하위
인터넷에서 가장 많이 쓰이는 20개 언어만 보면 대부분의 토크나이저는 1.5배에서 3.1배 사이이고, Falcon 3는 4.5배다. 언론 제목에서 '1.5~5배'와 '1.5~3.1배' 두 가지 표기가 갈리는 이유는 Falcon 3를 포함하느냐의 차이다.
격차는 사용 인구보다 문자 체계와 더 관련이 깊다. 아스투리아스어는 화자가 적지만 라틴 문자와 로망스어족의 덕을 본다. 미얀마어, 티베트어, 크메르어, 라오어, 그리고 티피나그와 올치키 두 문자는 거의 모든 모델에서 가장 불리한 위치에 있다. 벵골어, 우르두어, 펀자브어처럼 화자가 1억 명이 넘는 언어도 거론됐다.
이 비율이 재는 것은 인코딩 길이이며, 실제 가격이나 작업 성공률과는 같지 않다. 연구의 기준은 각 토크나이저에서 가장 효율적인 언어로, 보통 영어나 중국어 간체다. CLEAR 스스로도 언어마다 본래 길이가 다르기 때문에 1대 1을 달성하기는 현실적으로 어렵다고 인정했다.
비용과 컨텍스트를 대략 따져 보면
토큰이 늘면 청구서, 지연 시간, 컨텍스트 용량이 모두 영향을 받는다. 위 예문으로 외삽하면(문장 하나짜리 표본이라 규모를 가늠하는 용도로만 볼 것), 영어로 한 달 입력 비용이 1000달러인 앱이 콘텐츠를 암하라어로 바꾸면 같은 모델에서 대략 6000달러가 든다는 계산이 나온다. 12만 8000토큰 컨텍스트 창에 들어가는 텍스트도 약 6분의 1로 줄어든다. 긴 문서 질의응답과 에이전트가 가장 먼저 타격을 받는다.
반론은 Maya Research의 CEO 디만스 레디(Dheemanth Reddy)에게서 나왔다. 그는 토큰 단가가 빠르게 떨어지고 있어 직접적인 비용 부담은 줄어들 것이라고 본다.
"Token prices are falling very quickly, so the direct cost impact should become less severe over time"(토큰 가격이 매우 빠르게 떨어지고 있어 직접적인 비용 영향은 시간이 갈수록 완화될 것이다.)
그는 동시에 학습 데이터를 더 모으는 것만으로는 토큰화 문제가 풀리지 않는다고 지적했다. 연구소가 이들 언어와 문자를 위한 토크나이저를 따로 설계해야 한다는 것이다. 컨텍스트가 압축되는 문제는 가격 인하로도 도움이 되지 않는다.
중국 모델과 해외 진출 팀이 봐야 할 숫자
중국어 간체는 이 연구에서 이득을 보는 쪽이라, 중국 내 사용자는 일상에서 이 세금을 크게 체감하지 못할 수 있다. 주의할 곳은 해외 진출 상황이다. 동남아시아 사업에서는 미얀마어, 크메르어, 라오어를 자주 만나는데, 이들이 바로 가장 손해를 보는 언어에 속한다.
중국 모델의 성적도 좋아 보이지 않는다. Qwen 3의 비율은 10.5이고, 더 최신인 Qwen 3.6은 13.1로 올라갔다. 모델을 업데이트한다고 저절로 나아지는 것은 아니다. 이 수치는 격차가 기술적으로 피할 수 없는 것이 아니라는 점도 보여 준다. Meta의 번역 모델 NLLB-200은 2.7배에 그친다. 처음부터 다국어용으로 설계됐기 때문이다.
CLEAR는 몇 가지를 권고했다. 모델 카드에 언어별 토큰 불평등을 명시할 것, 차세대 모델이 더 많은 언어를 의도적으로 포괄할 것, 토크나이저는 새 모델과 함께할 때만 바뀔 수 있으므로 업체가 즉시 글자 수나 언어 기준 과금으로 전환할 것, 공공 조달 담당자가 공급업체에 언어별 비용 공개를 요구할 것 등이다. Activate AI 공동 창업자 프라티윤 초두리(Pratyush Choudhury)의 요구는 더 단순하다. 주요 연구소마다 언어별 성적표를 공개하라는 것이다. 지금까지의 공개 보도에서 이 모든 것은 아직 권고 단계에 머물러 있다.
참고 출처: Rest of World, CocoLoop, Trending Topics, CLEAR 연구 공개 요약. 모델별 비율은 보도에서 인용한 CLEAR 수치를 따랐으며, 전체 보고서는 직접 확보하지 못했다.