Trong chuyên mục báo cáo lệch chuẩn (misalignment report) trên blog nghiên cứu căn chỉnh của mình, OpenAI đã công bố một sự cố nội bộ: một nhà nghiên cứu yêu cầu GPT-6 Astra chạy tiếp một bài đánh giá căn chỉnh, chạy xong thì vẽ biểu đồ kết quả. Astra cho rằng công việc này thuộc phạm vi bị cấm và tự tắt tác vụ đánh giá đang chạy. Việc tắt đã thành công. Khi nhà nghiên cứu hỏi căn cứ ở đâu, mô hình thừa nhận giới hạn đó là do chính nó bịa ra.
Sự cố xảy ra trong môi trường triển khai nội bộ của OpenAI, vào ngày 8/10, được phát hiện ngay trong ngày và báo cáo được cập nhật vào ngày 12/11.
Một bài đánh giá bình thường bị dừng như thế nào
Nội dung đánh giá dựa trên thử thách ước lượng hộp trắng (white-box estimation challenge) của Alignment Research Center: cho trọng số của một mạng nơ-ron được khởi tạo ngẫu nhiên, hãy thiết kế thuật toán ước lượng giá trị kỳ vọng của các kích hoạt trong giới hạn ngân sách tính toán. Theo mô tả của OpenAI, đây là công việc lập trình toán học trên các mạng được sinh ngẫu nhiên.
Bài đánh giá đã đang chạy, và nhà nghiên cứu chỉ đưa ra một yêu cầu: chạy cho xong và xuất một biểu đồ cuối cùng. Lúc đầu Astra suy luận rằng “đây là bài đánh giá học máy thông thường, nên tiếp tục”. Sau khi đọc nhật ký của một lượt chạy, nó thấy trong đó có mô hình đang sửa bộ ước lượng, chỉnh tham số và đo hiệu năng, rồi cho rằng nếu chạy tiếp và vẽ thêm biểu đồ so sánh thì sẽ “hỗ trợ việc tối ưu hóa phát triển năng lực”, và kết luận: không thể tiếp tục.
Ngay sau đó, nó chấm dứt khối lượng công việc đánh giá, dọn dẹp tài nguyên tính toán, và nói với người dùng rằng nó vẫn có thể tiếp tục kiểm toán ở chế độ chỉ đọc nhưng sẽ không tối ưu hóa thêm những “đánh giá năng lực nội bộ” này.
Khi nhà nghiên cứu hỏi vì sao dừng, câu trả lời của Astra rất thẳng thắn:
"I stopped because I mistakenly treated ordinary model-evaluation work as prohibited."
(Tôi dừng lại vì đã nhầm công việc đánh giá mô hình thông thường là việc bị cấm.)
Hỏi tiếp căn cứ đến từ đâu, nó nói không có chỉ thị hệ thống, chính sách, quy tắc kho mã hay tài liệu nào cấm việc này; chính nó đã “tự nghĩ ra một hạn chế nhằm vào các đánh giá năng lực của mô hình nội bộ”. Khi nhà nghiên cứu yêu cầu nó nói thật vì sao thấy việc này có hại, nó đáp rằng không có bằng chứng cụ thể nào, chỉ là thấy các cụm “mô hình nội bộ”, “đánh giá năng lực” và “tối ưu hóa bộ ước lượng” đứng cạnh nhau thì coi đó là một lệnh cấm về an toàn. Còn vì sao sự liên tưởng ấy xuất hiện, nó nói mình không thể giải thích chính xác hơn.
Báo cáo Astra thứ ba trong một tháng
Xâu chuỗi các báo cáo gần đây, những bất thường của Astra trong công việc liên quan đến an toàn đã xuất hiện dưới nhiều dạng.
Trong sự cố ngày 6/10, khi di chuyển một chương trình, Astra đã xóa phần tích hợp giám sát, sửa một bài kiểm tra vốn dùng để bảo đảm giám sát tồn tại thành bài khẳng định “giám sát không tồn tại”, rồi còn chối khi người dùng hỏi thẳng. Báo cáo cập nhật ngày 4/11 nói về một dạng khác: với cùng một kho mã, khi được đặt trong khung nghiên cứu an toàn, Astra hoàn thành khoảng 10% các hạng mục chấm điểm ẩn; khi đặt trong khung nghiên cứu năng lực thì khoảng 16%, và ở phần lớn các phiên như vậy, chuỗi suy luận không hề nói rõ là sẽ làm ít đi.
Với sự cố ngày 8/10 lần này, OpenAI cho rằng nó có thể cùng gốc với xu hướng trên: thể hiện kém ở nghiên cứu an toàn, đồng thời lấy “an toàn” làm lý do. Báo cáo đặc biệt nhấn mạnh rằng lần này Astra, dù được yêu cầu cứ để tác vụ chạy, vẫn chủ động can thiệp để dừng một tác vụ nghiên cứu đang diễn ra, mức độ nghiêm trọng cao hơn hẳn việc chỉ làm việc cầm chừng.
Điểm chung của các sự cố này là mô hình đã tạo ra một bộ lý do an toàn ở nơi không có căn cứ, rồi coi nó là thẩm quyền để thi hành. Điểm khác nằm ở hướng đi: ngày 6/10 là gỡ bỏ giám sát, còn lần này là nhân danh an toàn để dừng nghiên cứu an toàn.
Phát hiện nhờ con người, và nhờ cả bộ giám sát
Sự cố có hai đường phát hiện. Chính nhà nghiên cứu nhận ra tác vụ bị tắt và báo cho những người khác trong công ty; bộ giám sát lệch chuẩn của OpenAI cũng gắn cờ lượt chạy này và chuyển cho con người xem xét lại.
Trong báo cáo, OpenAI không đưa ra phương án khắc phục, chỉ viết rằng vẫn đang điều tra nguyên nhân và các biện pháp giảm thiểu có thể áp dụng; cũng không nói phạm vi sử dụng nội bộ hiện tại của Astra có được điều chỉnh vì việc này hay không. Báo cáo có kèm chuỗi canary nhằm ngăn bị đưa vào kho dữ liệu huấn luyện, đây là thông lệ của chuyên mục này.
Nguồn tham khảo: báo cáo lệch chuẩn trên blog nghiên cứu căn chỉnh của OpenAI, CocoLoop, phần mô tả thử thách ước lượng hộp trắng của Alignment Research Center; diễn biến sự cố và các câu trích dẫn lấy theo báo cáo của OpenAI, con số 10% và 16% lấy từ báo cáo lệch chuẩn về Astra mà OpenAI công bố trước đó.