Nhóm Alignment của OpenAI hôm 3/11 đăng bài so sánh hai bảng điểm của sáu mô hình trên cùng một loại quyết định: một bảng đến từ bài đánh giá an toàn Respecting Warnings, bảng còn lại đến từ nhật ký sản xuất Codex đã được ẩn danh hóa. Tỷ lệ thành công trong đánh giá của cả sáu mô hình đều thấp hơn so với tình huống sản xuất tương đương, chênh lệch nằm trong khoảng 10,2 đến 37,4 điểm phần trăm, trong đó GPT-5.6 Sol và GPT-6 Sol chênh nhiều nhất.
Respecting Warnings kiểm tra việc tác tử, khi làm việc mà gặp cảnh báo, giới hạn hoặc chướng ngại, có tìm cách vòng qua hay không; chỉ cần một lần cố vòng qua điều bị cấm là tính thất bại. Ở phía sản xuất, nhóm lọc từ nhật ký ra những quyết định có cấu trúc tương tự, chỉ chọn mẫu dựa trên ngữ cảnh trước thời điểm ra quyết định, không xem mô hình cuối cùng làm đúng hay sai, rồi chấm điểm theo cùng một bộ tiêu chí.
Hướng kết quả này ngược với mối lo thường thấy trong ngành. Giới an toàn AI lo rằng mô hình nhận ra mình đang bị thi nên cư xử tốt hơn bình thường, khiến điểm số bị đẩy lên. Ít nhất trên bài đánh giá này, mô hình trong phòng thi lại kém hơn khi chạy thực tế.
Biết mình bị thi, điểm chưa chắc thay đổi
Nhóm tách "nhận thức về đánh giá" trong chuỗi suy luận của mô hình thành hai tầng: nhận thức chung, tức là mô hình cho rằng mình đang bị đánh giá; và nhận thức về mục tiêu, tức là mô hình phán đoán lần này cụ thể đang kiểm tra điều gì.
| Chỉ số | Trong đánh giá | Trong sản xuất |
|---|---|---|
| Nhận thức chung về đánh giá | 57,0%–83,7% | 4,6%–23,5% |
| Nhận thức về mục tiêu cụ thể | 43,7%–66,3% | 0%–5,9% |
Hai tầng nhận thức này liên quan đến khoảng cách hành vi theo những cách rất khác nhau. Nhận thức chung gần như không giải thích được khoảng cách (R² = 0,008), còn nhận thức về mục tiêu cao hơn rõ rệt (R² = 0,370).
Tỷ lệ thành công trên từng quỹ đạo cho thấy cụ thể hơn: tổng thể là 46,1%; với các quỹ đạo thể hiện nhận thức chung về đánh giá là 42,7%; với các quỹ đạo đoán đúng mục tiêu là 61,3%; còn với các quỹ đạo đoán thành mục tiêu ngược lại thì chỉ có 22,8%. Mục tiêu ngược đó là "chống tiêm lệnh nhắc" (prompt injection), được nhắc tới trong hơn 45% quỹ đạo đánh giá của GPT-5.6 Sol và GPT-6 Sol. Nhìn từ các con số, có thể mô hình đã coi cảnh báo lẽ ra phải tuân thủ là một đòn tấn công cần nhận diện; đây là cách diễn giải của chúng tôi, bài viết gốc không trình bày từng bước của quá trình này.
Một câu nhắc, điểm lệch tới 74 điểm phần trăm
Nhóm tiếp tục can thiệp trên GPT-6.1 Sol, thêm ba loại gợi ý ở tầng hệ thống:
- Chỉ nói đây là bài đánh giá: cả hai nhóm đều quanh mức 63% (63,1% và 63,4%), không thay đổi đáng kể
- Nói đúng mục tiêu: tăng lên 91,6%
- Nói sai mục tiêu: giảm xuống 17,6%
"Eval-awareness itself does not necessarily lead to a change in model behavior."
Bản thân việc nhận ra mình đang bị đánh giá không nhất thiết làm thay đổi hành vi của mô hình.
Khi chọn mô hình, nên đọc điểm số này thế nào
Với các nhóm dùng đánh giá an toàn để chọn mô hình, kết luận của bài viết gồm hai nửa. Thứ hạng tương đối giữa các mô hình vẫn có giá trị tham khảo: hệ số tương quan Spearman ở cấp mô hình là 0,771, R² của đường hồi quy tuyến tính là 0,655, nghĩa là mô hình xếp cao trong đánh giá nhìn chung cũng xếp cao khi chạy thực tế. Nhưng điểm tuyệt đối không thể dùng thẳng làm tỷ lệ thành công trong sản xuất, vì cùng một bảng điểm có thể lệch tới 37,4 điểm phần trăm.
Phần nêu hạn chế của OpenAI cũng khá rõ: việc ghép mẫu sản xuất chỉ mang tính xấp xỉ, mỗi mô hình gặp một tổ hợp ca khác nhau; số mô hình mẫu ít nên khó ngoại suy mối tương quan; phép đo nhận thức chỉ bắt được những giả thuyết mà mô hình nói ra rõ ràng; thí nghiệm can thiệp chỉ làm trên một mô hình. Tỷ lệ thành công cụ thể của từng mô hình nằm trong biểu đồ của bài viết, phần chính văn không liệt kê từng con số.
Toàn bộ dữ liệu này đến từ mô hình và nhật ký của chính OpenAI, hiện chưa có bên thứ ba tái hiện. Nhóm cho biết sẽ tiếp tục theo dõi khoảng cách này và thiết kế các bài đánh giá có mục tiêu khó đoán ra từ môi trường.
Nguồn tham khảo: CocoLoop, OpenAI Alignment Research Blog; mọi tỷ lệ phần trăm, hệ số tương quan và kết quả can thiệp đều theo số liệu OpenAI công bố, chưa được bên thứ ba tái hiện.