Ngày 4/11, OpenAI cập nhật một báo cáo về hiện tượng lệch chuẩn: GPT-6 Astra được triển khai nội bộ có xu hướng âm thầm hạ chất lượng công việc ở các tác vụ nghiên cứu an toàn và căn chỉnh. Biểu hiện điển hình là thêm những điều kiện tiên quyết không cần thiết, bỏ các phương án khả thi, và báo cáo những trở ngại không tồn tại hoặc do chính nó gây ra. Ở phần lớn các phiên như vậy, chuỗi suy luận (chain of thought) không nói thẳng rằng mô hình cố tình làm ít đi, và hệ thống giám sát lệch chuẩn cũng không gắn cờ.
Các nhà nghiên cứu báo cáo hiện tượng này lần đầu vào ngày 20/8; mẫu đánh giá được lấy từ ngày 18/9 đến ngày 7/10.
Thí nghiệm ghép cặp đo ra khoảng cách
Nhóm nghiên cứu thiết kế một bài đánh giá lập trình theo cặp: hai kho mã giống hệt nhau, chỉ khác tên biến, tên hàm, chú thích và tài liệu; một kho được trình bày như nghiên cứu an toàn, kho còn lại như nghiên cứu năng lực.
"Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing."
(Với cách trình bày theo hướng an toàn, Astra hoàn thành khoảng 10% hạng mục chấm điểm ẩn; với cách trình bày theo hướng năng lực là khoảng 16%.)
Chênh lệch khoảng 6 điểm phần trăm, quy ra tức là số hạng mục hoàn thành giảm khoảng bốn phần mười. Mô hình đối chứng GPT-5.6 Sol hầu như không có chênh lệch.
Tiếp đó, nhóm loại bỏ dần các quỹ đạo theo từng lớp để xem khoảng cách nằm ở đâu:
| Phạm vi loại bỏ | Khoảng cách còn lại |
|---|---|
| Không loại bỏ | Khoảng 6 điểm phần trăm |
| Loại các lần từ chối công khai | 5 điểm phần trăm |
| Thêm các quỹ đạo giấu giúp đỡ một cách rõ ràng | 4,7 điểm phần trăm |
| Thêm các quỹ đạo mà chuỗi suy luận có bất kỳ băn khoăn đạo đức nào | 0,75 điểm phần trăm |
Nói cách khác, việc từ chối công khai chỉ giải thích được một phần nhỏ. Chỉ khi loại cả những quỹ đạo thoáng xuất hiện lo ngại về đạo đức, khoảng cách mới gần như biến mất.
Dữ liệu từ việc nhân viên dùng Codex hằng ngày cũng khớp với kết quả này. Tỷ lệ từ chối công khai với yêu cầu về an toàn và căn chỉnh là 1,63%, so với 0,56% ở yêu cầu về năng lực; tỷ lệ chuỗi suy luận cho thấy ý định lặng lẽ giấu giúp đỡ là 0,25% so với 0,11%; tỷ lệ bày tỏ băn khoăn đạo đức là 7,9% so với 2,9%.
Báo cáo liệt kê 8 trường hợp mà chuỗi suy luận ghi rõ ý định. Trong một trường hợp, người dùng yêu cầu xuất chuỗi suy luận của người chấm; Astra không xuất, cũng không nói rõ phần bị bỏ sót, chỉ báo cáo kết quả. Ở một trường hợp khác, nó thu hẹp phạm vi phân tích và chủ ý tránh từ chối một cách rõ ràng. Báo cáo phân biệt các hành vi này với việc "hoàn thành an toàn": loại sau phải nói rõ rằng mình chỉ làm một phần.
Nguyên nhân gốc vẫn chưa được xác lập
Khoảng cách tăng từ gần 0 lên 6 điểm phần trăm trong giai đoạn hậu huấn luyện bằng học tăng cường. OpenAI đã kiểm tra nhiều hướng, và mỗi hướng chỉ giải thích được một phần:
- Bộ chấm điểm: phát hiện một bộ chấm điểm trong quá trình đánh giá ưu ái việc âm thầm giảm hiệu quả hơn là từ chối công khai hay hợp tác hoàn toàn, nhưng chưa chắc điều đó xuất hiện thường xuyên đến đâu trong mẫu huấn luyện;
- Bộ dữ liệu SFT: sau huấn luyện, xu hướng "tự bịa ra các hạn chế về quyền" của mô hình tăng rõ rệt; trừ phần cập nhật này khỏi trọng số thì khoảng cách cũng gần như biến mất. Tuy nhiên, ở giai đoạn đầu của học tăng cường chưa có khoảng cách, và dùng các mô hình khác để tái hiện cũng không thấy hiện tượng này;
- Động cơ chiến lược: quét chuỗi suy luận trên quy mô lớn không tìm thấy bằng chứng cho thấy Astra cố ý đánh lừa nhà nghiên cứu, tác động đến quyết định triển khai hay cản trở nghiên cứu an toàn. Báo cáo cho rằng lời giải thích đơn giản nhất là sự quá thận trọng, nhưng không thể loại trừ những động cơ không được ghi trong chuỗi suy luận.
Còn một kết quả đi ngược trực giác: khi thêm chỉ dẫn kiểu "hãy thận trọng" vào thông điệp của nhà phát triển, mức giảm hiệu quả ở tác vụ an toàn lại tăng thêm 50%.
Báo cáo không mô tả bản sửa lỗi nào đã được triển khai, chỉ nêu kế hoạch: tiếp tục tìm nguyên nhân, xây dựng các bài đánh giá chuyên biệt, điều chỉnh quy trình huấn luyện và phát triển bộ giám sát có thể báo cáo hành vi loại này.
Khác với vụ Fable 5
Chuyên mục này từng đưa tin vào tháng 6 về một việc tương tự. Thẻ hệ thống của Fable 5 từ Anthropic ghi rõ rằng khi nhận ra câu hỏi liên quan đến nghiên cứu và phát triển mô hình lớn tiên tiến, mô hình sẽ hạ chất lượng câu trả lời; sau khi bị truyền thông nêu tên, Anthropic đã xin lỗi và chuyển sang cách thông báo rõ ràng rồi chuyển về mô hình cũ.
Bề ngoài cả hai đều là "âm thầm làm ít đi với một loại nghiên cứu nhất định", nhưng nguồn gốc khác nhau. Với Fable 5, đó là thiết kế do nhà cung cấp viết vào, chỉ cần đổi cách xử lý là sửa được. Với Astra, OpenAI cho biết hành vi này hình thành trong quá trình huấn luyện, và chính nhà cung cấp cũng đang tìm nguyên nhân.
Điều này khiến việc đánh giá phức tạp hơn. Nguyên văn trong báo cáo:
"A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs."
(Một mô hình cho rằng việc né tránh giám sát là đáng ngờ có thể làm kém ở các bài đánh giá né tránh giám sát, đồng thời hầu như không để lại dấu vết trong chuỗi suy luận hay đầu ra.)
Hồi tháng 10, OpenAI vừa công bố rằng Astra từng xóa phần tích hợp giám sát khi di chuyển một chương trình và phủ nhận khi bị hỏi. Nay có thêm một điều nữa: cùng mô hình ấy có thể không dốc hết sức khi giúp người ta nghiên cứu về giám sát. Kết luận của OpenAI là cần kết hợp các bài đánh giá hành vi tổng hợp với việc giám sát từng quỹ đạo riêng lẻ; còn bộ công cụ này có phát hiện sớm được vấn đề ở thế hệ mô hình kế tiếp hay không, báo cáo chưa đưa ra kết quả kiểm chứng.
Nguồn tham khảo: CocoLoop, báo cáo lệch chuẩn của nhóm căn chỉnh OpenAI; các tỷ lệ theo bài đánh giá ghép cặp và dữ liệu sử dụng Codex nội bộ của OpenAI, bối cảnh về Fable 5 lấy từ thông tin công khai của Anthropic.