2년 전만 해도 주류 모델의 컨텍스트 윈도우는 4K에서 8K 수준이었다. 이제는 100만 토큰이 플래그십 모델의 표준이 되었다.
현재 상황
- Gemini 2.5 Pro: 100만 토큰 (200만 토큰까지 확장 가능)
- Claude Opus 4.6: 100만 토큰 (베타)
- GPT-5.4: 100만 토큰 (실험적 지원)
- Llama 4 Scout: 1000만 토큰
- Kimi K2: 128K → 256K
Llama 4 Scout의 1000만 토큰은 인상적으로 들리지만, 그렇게 긴 컨텍스트에서 정보 검색 정확도를 얼마나 유지할 수 있을지는 큰 의문이다.
길면 무조건 좋은가?
컨텍스트 길이와 실제 사용성은 별개의 문제다. 핵심 지표는 장문맥 검색 정확도, 즉 모델이 매우 긴 텍스트에서 필요한 정보를 정확히 찾을 수 있는지 여부다.
Opus 4.6 데이터: 256K 컨텍스트에서 8-니들 검색 정확도는 93%지만, 100만 토큰에서는 76%로 떨어진다. 76%가 낮게 들리지 않을 수도 있지만, 입력한 정보의 거의 4분의 1이 '망각'될 수 있음을 의미한다.
또 다른 현실적인 문제는 비용이다. 100만 토큰 입력은 무료가 아니다. 현재 API 가격 기준으로 컨텍스트 윈도우를 가득 채우는 데는 몇 달러에서 수십 달러가 들 수 있다. 통제 없이 에이전트가 수십 번의 대화를 실행하면 토큰 청구서가 무서울 정도로 커질 수 있다.
Compaction 기술
Anthropic의 Compaction API와 GPT-5.4의 auto_compact 메커니즘은 이 문제를 해결하려고 한다. 컨텍스트가 거의 가득 차면 초기 콘텐츠를 자동으로 압축하여 핵심 정보를 유지한다. 이론적으로는 '무한 길이 대화'를 지원하지만, 실제 효과는 압축 과정에서 얼마나 많은 정보가 손실되는지에 달려 있다.
더 긴 컨텍스트 윈도우 자체가 목적이 아니라, 긴 컨텍스트에서 정보를 정확히 재현하는 것이 중요하다. 이 군비 경쟁의 종착점은 '누가 숫자가 더 큰가'가 아니라 '누가 초장문 컨텍스트에서도 신뢰성을 유지하는가'이다.
출처: Anthropic 공식 문서, CocoLoop, 각 모델 발표 보고서