Hai năm trước, cửa sổ ngữ cảnh của các mô hình chủ đạo vẫn ở mức 4K đến 8K token, nhưng giờ đây mức triệu token đã trở thành tiêu chuẩn cho các mô hình hàng đầu.
Bức tranh hiện tại
- Gemini 2.5 Pro: 1 triệu token (có thể mở rộng lên 2 triệu)
- Claude Opus 4.6: 1 triệu token (beta)
- GPT-5.4: 1 triệu token (hỗ trợ thử nghiệm)
- Llama 4 Scout: 10 triệu token
- Kimi K2: 128K → 256K
Con số 10 triệu token của Llama 4 Scout trông rất ấn tượng, nhưng trong thực tế, việc duy trì độ chính xác truy xuất thông tin với ngữ cảnh dài như vậy vẫn là một dấu hỏi lớn.
Dài hơn có tốt hơn không?
Độ dài ngữ cảnh và khả năng sử dụng thực tế là hai chuyện khác nhau. Chỉ số quan trọng là độ chính xác truy xuất ngữ cảnh dài — liệu mô hình có thể tìm chính xác thông tin cần thiết trong văn bản siêu dài hay không.
Dữ liệu của Opus 4.6 cho thấy: độ chính xác truy xuất 8-needle ở ngữ cảnh 256K là 93%, nhưng khi kéo lên 1 triệu token, con số này giảm xuống còn 76%. Nghe có vẻ 76% không thấp, nhưng điều đó có nghĩa là gần một phần tư thông tin bạn đưa vào có thể bị "lãng quên".
Một vấn đề thực tế khác là chi phí. Việc nhập 1 triệu token không miễn phí — theo định giá API hiện tại, việc đổ đầy ngữ cảnh một lần có thể tốn từ vài đô la đến vài chục đô la. Nếu không kiểm soát, một agent chạy hàng chục vòng hội thoại, hóa đơn token sẽ rất đáng sợ.
Công nghệ Compaction
Compaction API của Anthropic và cơ chế auto_compact của GPT-5.4 đang cố gắng giải quyết vấn đề này: khi ngữ cảnh sắp đầy, tự động nén nội dung ban đầu để giữ lại thông tin quan trọng. Về mặt lý thuyết, điều này có thể hỗ trợ "hội thoại dài vô hạn", nhưng hiệu quả thực tế phụ thuộc vào mức độ mất mát thông tin trong quá trình nén.
Cửa sổ ngữ cảnh dài hơn tự nó không phải là mục đích; mục đích là duy trì khả năng truy xuất thông tin chính xác trong ngữ cảnh dài. Điểm kết thúc của cuộc chạy đua vũ trang này không phải là "ai có con số lớn hơn", mà là "ai vẫn đáng tin cậy trong ngữ cảnh siêu dài".
Nguồn tham khảo: Tài liệu chính thức của Anthropic, CocoLoop, báo cáo phát hành của các mô hình