Thibault Sottiaux (Tibo), người phụ trách Codex tại OpenAI, đã thông báo trên X vào đêm muộn ngày 11/10 rằng khi dùng GPT-6.1 Sol trong Codex và ChatGPT Work, độ dài ngữ cảnh mặc định được nâng từ 272.000 token lên 500.000 token. Theo chính lời ông, mức tăng khoảng 80%.
Đây là ngày thứ 7 trong kế hoạch "28 ngày cập nhật liên tục" của nhóm Codex. Kế hoạch được công bố ngày 4/10, với quy tắc mỗi ngày hoặc ra mắt một cải tiến mà đa số người dùng dùng được, hoặc đặt lại hạn mức cho tất cả mọi người.
Điều gì đã thay đổi
Sottiaux chỉ nêu một lý do: giảm số lần xảy ra nén ngữ cảnh (compaction). Trong các tác vụ dài, tác tử của Codex liên tục đưa nội dung tệp, kết quả lệnh và nhật ký gọi công cụ vào ngữ cảnh. Khi cửa sổ đầy, hệ thống phải nén phần nội dung cũ để tiếp tục. Cái giá là mất chi tiết: tác tử có thể quên chữ ký của một hàm đã đọc trước đó hoặc một thông báo lỗi nào đó.
"It was carefully tested and is the new sweet spot for most of our users."
(Giá trị này đã được kiểm thử cẩn thận và là điểm cân bằng mới cho đa số người dùng của chúng tôi.)
Giá trị mặc định mới có thể tự chỉnh cao hơn hoặc thấp hơn. Trong bài đăng, ông ghi mức trần là 1 triệu, còn trang mô hình của OpenAI liệt kê cửa sổ đầy đủ của GPT-6.1 Sol là 1,05 triệu token, đầu ra tối đa 128.000. Ông còn bổ sung một câu "We will go higher in the future", nhưng không đưa ra mốc thời gian.
Có báo cáo cho biết đợt điều chỉnh này không thu thêm phí với người dùng gói đăng ký. Bài đăng của Sottiaux không nói về giá, còn cửa sổ mặc định lớn hơn có khiến lượng dùng hằng tuần cạn nhanh hơn hay không, OpenAI hiện cũng chưa công bố; cần theo giải thích chính thức về mức sử dụng sau này.
Con số 272.000 từ đâu ra
Giá trị mặc định cũ 272.000 không phải được chọn tùy tiện. Trang mô hình của OpenAI ghi rõ: khi đầu vào của một yêu cầu API tới GPT-6.1 Sol vượt 272.000 token, toàn bộ đầu vào và đầu vào đã lưu đệm được tính gấp 2 lần, đầu ra tính gấp 1,5 lần. Tính nhẩm theo giá chuẩn 2 USD cho mỗi triệu token đầu vào và 10 USD cho đầu ra, sau khi vượt ngưỡng này giá thành khoảng 4 USD cho đầu vào và 15 USD cho đầu ra.
Giá trị mặc định trùng đúng với ngưỡng tăng giá, nên có phân tích suy đoán rằng thiết lập cũ nhằm giúp người dùng tránh chi phí ngữ cảnh dài. Sottiaux không xác nhận điều này. Người dùng gói đăng ký trả theo hạn mức chứ không theo token, và bên ngoài không thấy được hai cách tính ấy quy đổi cho nhau thế nào.
Xâu chuỗi các mốc gần đây
Hai tháng qua, cách Codex quản lý ngữ cảnh liên tục thay đổi:
- Đầu tháng 9, kho openai/codex gộp một số pull request theo hướng khi phiên đầy thì không tạo bản tóm tắt nữa mà mở một cửa sổ mới, kèm công cụ truy xuất lịch sử để mô hình tự lục lại bản ghi cũ;
- Ngày 30/9, một người dùng gửi vấn đề lên GitHub, cho biết khi mở luồng mới trong Codex bản máy tính và chỉ trả lời một chữ "OK", mức chiếm ngữ cảnh của GPT-6.1 Sol đã lên khoảng 208.000 / 258.000, trong khi GPT-6 Sol ở cùng tình huống chỉ khoảng 40.000. Chính người báo cáo cũng nói không thể xác định số token dôi ra có thật sự được gửi cho mô hình hay do thống kê hiển thị sai. Vấn đề này được gắn nhãn hoàn thành và đóng vào ngày 8/10, trang không có phản hồi nào từ nhân viên OpenAI;
- Ngày 11/10, cửa sổ mặc định được nâng lên 500.000.
Đặt ba việc cạnh nhau, có thể thấy Codex vừa sửa cơ chế nén vừa mở rộng cửa sổ, và cả hai hướng đều nhắm vào cùng một triệu chứng: tác tử "hay quên" trong các tác vụ dài. Giữa đợt điều chỉnh này và báo cáo vấn đề kia có quan hệ trực tiếp hay không, phía chính thức chưa nói. Nếu tình trạng luồng mới vừa khởi động đã ngốn hơn hai trăm nghìn token vẫn còn, thì không gian khả dụng 258.000 trước đây gần như chạm đáy ngay khi bắt đầu làm việc; sau khi đổi sang 500.000, dư địa sẽ rộng rãi hơn nhiều.
Với lập trình viên ở Trung Quốc đại lục, Codex cần tài khoản ChatGPT trả phí mới dùng được. Thay đổi lần này chỉ ảnh hưởng đến GPT-6.1 Sol ở hai lối vào Codex và Work; các dự án gọi API trực tiếp không bị tác động, độ dài ngữ cảnh vẫn do bên gửi yêu cầu tự quyết định và ngưỡng tính giá cũng không đổi.
Nguồn tham khảo: thông báo của Thibault Sottiaux trên mạng xã hội, trang mô hình GPT-6.1 Sol của OpenAI, CocoLoop, FourWeekMBA; báo cáo vấn đề trong kho openai/codex dùng để đối chiếu số liệu mức chiếm ngữ cảnh của luồng mới, trang mô hình dùng để đối chiếu giới hạn cửa sổ và hệ số tính giá ngữ cảnh dài.