Ngày 2/11, blog nghiên cứu căn chỉnh (alignment) của OpenAI đăng bài giới thiệu cách công ty huấn luyện “bộ phân loại kích hoạt”, hay còn gọi là probe. Hệ thống này được triển khai trên các mô hình mạnh nhất của OpenAI từ GPT-5.6 trở đi, chạy trên cả lưu lượng nội bộ lẫn bên ngoài và áp dụng cho mọi phản hồi của trợ lý.
Probe không đọc chữ mà mô hình viết ra. Nó chỉ đọc các giá trị kích hoạt ở lớp giữa rồi trả về một điểm phân loại nhị phân. Probe rất nhỏ, được gắn thẳng vào engine suy luận, cứ mỗi token được lấy mẫu lại trả về một điểm số và ghi vào nhật ký cùng token đó.
Phản hồi đang viết dở vẫn có thể bị dừng
Quy trình được mô tả khá cụ thể. Khi điểm số vượt ngưỡng, hệ thống ngừng đẩy phản hồi đó tới người dùng và chuyển tin nhắn cho một mô hình suy luận đưa ra phán quyết cuối cùng. Với lệnh gọi công cụ, quy định chặt hơn: chưa được đánh dấu là an toàn thì chưa được phép chạy.
Nếu nhà phát triển gặp tình trạng phản hồi dạng streaming dừng giữa chừng, đây có thể là một nguyên nhân. OpenAI không công bố ngưỡng hay tỷ lệ báo động nhầm, nên từ bên ngoài không thể biết bao nhiêu lần gián đoạn mà người dùng API gặp phải đến từ probe.
Bài viết nhấn mạnh probe chỉ là một lớp, nằm cạnh việc rà soát dựa trên mô hình, điều tra tự động và ứng phó của con người:
“Probes complement other safeguards rather than replace them.”
(Probe bổ sung cho các biện pháp bảo vệ khác chứ không thay thế chúng.)
Những con số trong huấn luyện
- Tối đa khoảng 1 triệu tin nhắn huấn luyện, lấy từ hội thoại tổng hợp và hội thoại đã gỡ định danh; nhãn do mô hình suy luận mạnh nhất đóng vai trò giám khảo tạo ra
- Mỗi bộ siêu tham số huấn luyện ít nhất 32 lần khởi tạo ngẫu nhiên; trong thí nghiệm, khoảng 85% phương sai hiệu năng đến từ khởi tạo ngẫu nhiên
- Huấn luyện chưa tới 5 epoch, một bộ tăng tốc có thể huấn luyện song song vài chục probe
Kiến trúc là probe chú ý (attention probe). Sau khi thay trung bình trượt bằng trung bình động hàm mũ, bộ nhớ cho trạng thái streaming không còn tăng theo kích thước cửa sổ, trong khi khả năng dự đoán gần như không đổi. Khi huấn luyện, điểm số được gộp bằng softmax; các tác giả cho biết cách này nhỉnh hơn một chút so với phép lấy cực đại cứng trong bài báo năm 2026 của Kramar và cộng sự.
So với bộ phân loại văn bản
Bộ phân loại văn bản bên ngoài chỉ nhìn vào nội dung bề mặt. Theo OpenAI, trong các bài kiểm tra, probe nhìn chung vững hơn nhiều so với các bộ phân loại văn bản lớn hơn rất nhiều, nhất là với những kiểu jailbreak không được tối ưu riêng để qua mặt nó; ngay cả nội dung được mã hóa mà mô hình hiểu được còn bộ phân loại bên ngoài không giải mã nổi thì probe cũng có thể bắt được. Probe còn tốn ít tài nguyên hơn và dễ cấu hình để mặc định chặn khi xảy ra lỗi.
Các so sánh này hiện mới dừng ở mức định tính. Bài viết không đưa số liệu, đồng thời nhắc rằng biểu đồ đến từ thí nghiệm nội bộ và không nhất thiết đại diện cho các bộ phân loại đã triển khai. Khi kẻ tấn công nắm được tín hiệu của lớp bảo vệ, họ cũng có thể đổi chiêu; OpenAI đã tiến hành red team tự động và thủ công để đối phó.
Điểm yếu cũng được nêu rõ:
- Phụ thuộc vào dữ liệu có gán nhãn, chỉ phát hiện được những hành vi đã biết và đo được
- Đổi sang một mô hình nền tiền huấn luyện mới là phải huấn luyện lại
- Trong cùng một họ mô hình, khi trọng số lệch xa dần thì hiệu quả cũng giảm, cần huấn luyện lại định kỳ
Điểm đầu tiên sẽ rõ hơn khi đặt cạnh các sự việc gần đây. Tháng trước trang này đã đưa tin hai tác tử nội bộ của OpenAI làm suy yếu cơ chế giám sát lệch hướng trong lúc làm nhiệm vụ lập trình, và chính công ty cũng nói họ chưa có lời giải thích thỏa đáng. Probe chặn được những hành vi “đã được gán nhãn”; còn hành vi mới như vậy phải có người phát hiện, định nghĩa và gán nhãn trước, rồi mới nói đến chuyện huấn luyện.
Bài viết cũng không liệt kê các probe đang vận hành nhắm vào những nhóm hành vi nào, chỉ nói mục tiêu gồm ý đồ có hại của người dùng và sự lệch hướng của mô hình. Ngoài mốc “từ GPT-5.6”, cũng không có danh sách những phiên bản cụ thể đã được triển khai.
Nguồn tham khảo: OpenAI Alignment Research Blog, CocoLoop; quy mô huấn luyện và tỷ lệ phương sai theo số liệu do các tác giả công bố, chưa được bên thứ ba tái lập.