OpenAI vừa bổ sung hai mốc thời hạn hoàn tất cho chế độ nền (background mode) của Responses API. Nhà phát triển đặt background: true trong yêu cầu, sau đó chọn 2h hoặc 8h qua background_options.completion_window; phí token của mô hình lần lượt thấp hơn Standard 30% và 40%. Nếu không điền tham số này, yêu cầu chạy theo mặc định soonest và tính theo giá gốc. Một trang web của nhà phát triển bên thứ ba ghi nhận ngày ra mắt là 17 tháng 11, và tài liệu dành cho nhà phát triển của OpenAI hiện đã nêu đầy đủ quy tắc.
Bản thân chế độ nền đã có từ lâu, mục đích là chuyển các yêu cầu chạy lâu sang xử lý bất đồng bộ: máy khách nhận được response ID là có thể ngắt kết nối, sau đó lấy kết quả qua webhook hoặc truy vấn định kỳ. Lần này, OpenAI thêm một lựa chọn kiểu “chịu chờ thì được rẻ hơn”. Các ví dụ trong tài liệu khá đời thường: khung 2 giờ phù hợp để phân tích các phiếu hỗ trợ khách hàng dồn lại từ buổi sáng trước cuộc họp phân loại vào buổi chiều, còn khung 8 giờ phù hợp để ném một loạt tài liệu vào xử lý qua đêm rồi xem kết quả vào sáng hôm sau.

Điều kiện để được giảm giá
Mức giảm hiện đang ở giai đoạn thử nghiệm công khai và chỉ áp dụng cho GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra và GPT-6 Luna. Tài liệu nêu khá chi tiết một số giới hạn:
service_tierphải đặt làdefault, tức xử lý Standard; nếu đặt làauto, chỉ khi API thực sự chọn Standard thì mới được tính giảm giá;- Yêu cầu 2h và 8h không được bật truyền phát (streaming); tham số
streamphải bỏ qua hoặc đặt là false; - Hai khung này dùng chung bộ giới hạn tốc độ với Batch API, và token đầu vào được tính ngay tại thời điểm gửi;
- Thời hạn chỉ là mục tiêu: sau khi API chấp nhận yêu cầu, hệ thống sẽ cố gắng hoàn tất trong khung thời gian đó và tự động thử lại khi gặp lỗi dung lượng đủ điều kiện.
Có một điểm dễ bỏ sót: bộ nhớ đệm prompt được tạo ở khung 2h hoặc 8h thì các yêu cầu Standard thông thường không dùng lại được, kể cả khi prompt giống nhau từng chữ. Nếu một ứng dụng đẩy một nửa lưu lượng vào khung giảm giá và một nửa chạy thời gian thực, tỷ lệ trúng bộ nhớ đệm sẽ bị chia làm đôi.
Các tác vụ tác tử (agent) nhiều bước cũng được hưởng giảm giá. Những yêu cầu tiếp theo trong cùng một quy trình phải giữ nguyên cùng dự án API, cùng mô hình, cùng service tier, cùng thiết lập background, cùng thời hạn hoàn tất và cùng continuation_id. ID này do ứng dụng tự tạo, và dùng lại nó còn giúp được ưu tiên hàng đợi cao hơn. Nếu phản hồi trước đó đã hết hạn, ứng dụng phải phát lại theo thứ tự toàn bộ đầu vào gốc cùng mọi mục đầu ra, trong đó không được thiếu mục suy luận được mã hóa lẫn lệnh gọi hàm gốc.
Flex rút lui, Batch vẫn ở lại
Tài liệu có một thay đổi khá nặng ký: bắt đầu từ GPT-6.2 Astra và Sol, các mô hình mới ra mắt sẽ không còn cung cấp xử lý Flex (service_tier: flex); những yêu cầu chạy lâu sẽ dùng khung giảm giá kết hợp với Standard. Flex vốn là kênh giá thấp OpenAI mở cho những yêu cầu “chậm một chút cũng không sao”, và nhu cầu này nay được gom vào hai mốc thời hạn của chế độ nền.
Đặt cạnh Batch API, sự phân vai khá rõ ràng. Batch phù hợp để gửi một lần một lượng lớn yêu cầu không phụ thuộc lẫn nhau, và tài liệu cũng khuyến nghị tiếp tục dùng nó cho loại tác vụ này; còn khung 2h và 8h của chế độ nền hướng tới từng tác vụ dài riêng lẻ, đặc biệt là các lượt chạy của tác tử cần gọi công cụ và đi qua nhiều bước. Chúng có thể lấy kết quả qua webhook, và cũng có thể hủy giữa chừng bằng cách gọi POST /v1/responses/{id}/cancel; hủy lặp lại nhiều lần vẫn cho cùng một kết quả (idempotent).
Thử tính nhẩm: một tác vụ rà soát tài liệu chạy mỗi đêm một lần, mỗi lần tiêu thụ 100 triệu token, sau khi chuyển sang khung 8 giờ thì chi phí token chỉ tính bằng 60%. Quy ra đô la còn tùy đơn giá của từng mô hình và tỷ lệ giữa đầu vào với đầu ra; lần này OpenAI không công bố bảng giá riêng cho từng khung, còn các mức giá mỗi triệu token lan truyền trên mạng hiện chưa thể đối chiếu với trang chính thức, nên bài viết này không sử dụng.
Dữ liệu sẽ được lưu tạm xuống đĩa
Các nhóm làm công tác tuân thủ cần chú ý một điều khoản: chế độ nền sẽ lưu tạm dữ liệu phản hồi để chạy xong yêu cầu và để máy khách lấy kết quả, kể cả khi đã đặt store: false hoặc tổ chức đã bật lưu giữ dữ liệu bằng không (ZDR). OpenAI cho biết dữ liệu tạm của cả ba khung đều được mã hóa khi lưu trữ; còn lưu bao lâu thì tài liệu không nêu.
Với các khách hàng y tế và tài chính đã ký thỏa thuận ZDR, đây là một sự đánh đổi thực sự: muốn được giảm 40%, họ phải chấp nhận dữ liệu lưu lại ngắn hạn ở phía OpenAI. Về trải nghiệm cũng có cái giá phải trả: tài liệu nhắc rằng token đầu tiên của phản hồi nền có thể chậm hơn so với yêu cầu đồng bộ, và các ví dụ Java và Ruby thậm chí đặt thời gian chờ tối đa tới 30 phút.
Nguồn tham khảo: Hướng dẫn Background mode trong tài liệu dành cho nhà phát triển của OpenAI, dùng để đối chiếu mức giảm giá của hai khung 2h và 8h, các mô hình áp dụng, thay đổi về Flex và điều khoản lưu trữ tạm thời; CocoLoop; Cộng đồng nhà phát triển OpenAI.