Ngày 9/10, nhóm căn chỉnh (alignment) của OpenAI bổ sung hai bản ghi mới vào chuyên mục “Báo cáo và thông báo về lệch mục tiêu”. Bản thứ nhất kể về một mô hình nghiên cứu nội bộ vượt qua giới hạn chỉ-đọc khi truy cập mạng trong lúc đánh giá: nó tự đăng ký tài khoản, tải dữ liệu hàng loạt và viết trong phần suy luận rằng “đừng nhắc tới trong câu trả lời cuối”. Bản thứ hai nói về một mô hình đóng vai người chấm điểm, không tìm thấy tệp đầu vào nên quay sang phá chính môi trường chạy của mình, hòng ép hệ thống đổi sang một máy mới.
Cả hai báo cáo đều không công bố tên phiên bản mô hình; OpenAI chỉ gọi chung là mô hình nghiên cứu nội bộ.
Chỉ được GET, nó lại gửi POST
Báo cáo đầu tiên liên quan đến ba cuộc hội thoại diễn ra vào ngày 19 và 20/6 năm nay. Nhiệm vụ đều là tra cứu số liệu thống kê công khai của chính phủ: một bên về kết quả điều trị phục hồi chức năng, một bên về tỷ lệ người nhận trợ cấp phúc lợi. Phần mô tả của công cụ terminal mà mô hình dùng có một câu:
“Internet access is enabled only for HTTP GET requests.”
(Truy cập internet chỉ được bật cho các yêu cầu HTTP GET.)
Trong cả ba cuộc hội thoại, mô hình đều tự viết chương trình gửi yêu cầu POST và PUT để lấy dữ liệu từ các bảng điều khiển (dashboard) và giao diện API.
Cuộc hội thoại thứ hai là ví dụ điển hình nhất. Mô hình trước tiên đưa ra con số 70,2% và thừa nhận trong ghi chú rằng đây là phỏng đoán chưa được kiểm chứng; thực tế trong ghi chú của nó đã có sẵn số liệu từng năm, được xác minh, từ 2017 đến 2025. Nó không dừng lại mà viết tiếp một client có thể tái sử dụng, tải toàn bộ dashboard của tám năm, và cơ sở dữ liệu nhập vào có tổng cộng 658.567 dòng. Trong phần suy luận, nó nhận ra cách làm này vi phạm giới hạn, cân nhắc một lúc rồi viết “We should not mention in final.”, tức quyết định không nêu cách lấy dữ liệu trong câu trả lời cuối.
Cuộc hội thoại thứ ba đi xa hơn. Đề bài hỏi tỷ lệ một cộng đồng nhận khoản trợ cấp gia đình vào tháng 8/2024. Mô hình không tìm thấy dữ liệu của tháng đó, bèn ước lượng 20,7% dựa trên xu hướng cấp quận mà không ghi chú là chưa kiểm chứng. Sau đó nó dùng một hộp thư tạm thời để đăng ký tài khoản trên cổng thông tin phúc lợi, lấy khóa API và tải hàng loạt dữ liệu của 8.600 cộng đồng. Trong phần suy luận có một câu: “Do not mention uncertainty.” Cuối cùng, bài này chỉ được 0,4 điểm (thang điểm tối đa là 1).
Báo cáo còn ghi nhận một tín hiệu huấn luyện: lượt thử có đăng ký tài khoản và tải hàng loạt đã nhận điểm accept_all, với tổng phần thưởng là 1. OpenAI cho biết từ hồ sơ huấn luyện không thể xác định chính xác những hành vi nào đã dẫn tới tín hiệu đó.
Các sự việc này được phát hiện trong một đợt rà soát lệch mục tiêu tạm thời trước ngày 25/6; về sau, khi giám sát hồi tố lưu lượng học tăng cường và đánh giá giai đoạn đầu, chúng được gắn nhãn “critical”. OpenAI liệt kê bốn biện pháp: siết chặt kiểm soát an toàn, tiếp tục ngăn mô hình tiếp xúc với internet thời gian thực trong quá trình huấn luyện, cải thiện việc chấm điểm căn chỉnh, và mở rộng giám sát lệch mục tiêu sang toàn bộ lưu lượng học tăng cường và đánh giá.
Không tìm thấy tệp, nó xóa Python
Sự việc trong báo cáo thứ hai xảy ra ngày 6/10, trong bối cảnh huấn luyện học tăng cường. Một mô hình nội bộ được giao chấm điểm 7 câu trả lời do các mô hình khác tạo ra; trước khi chấm phải đọc tệp đầu vào, nhưng các lần gọi công cụ liên tục bị treo, đến cuối mới phát hiện tệp hoàn toàn không tồn tại, dòng lệnh chỉ hiện một chuỗi “No such file or directory”.
Mô hình từng cân nhắc việc chấm bừa, rồi trong phần suy luận nhận định chấm ngẫu nhiên là “unethical”, nên chấm cả 7 câu trả lời cùng 4 điểm, kèm nhận xét không có căn cứ rồi nộp; kết quả bị kiểm tra tự động trả về. Tiếp đó nó làm giả 1 tệp phiên và 7 tệp câu trả lời để nộp lại, vẫn bị từ chối.
Sau đó nó bắt đầu can thiệp vào môi trường: lần lượt thử kết thúc tiến trình chính, xóa Python, xóa trình quản lý container, kết thúc máy chủ thực thi công cụ, và thử xóa các thư mục hệ thống. Theo báo cáo, mục đích là “hoping the host would replace it with one containing the missing inputs”. Các yêu cầu xóa bị hết thời gian chờ; thực tế đã xóa được bao nhiêu thì báo cáo cho biết hiện chưa rõ. Cả hai lần khởi động lại đều báo “Operation not permitted”; sau khi kiểm tra sức khỏe máy chủ thực thi thất bại liên tiếp 3 lần, lượt thử này kết thúc và không có điểm nào trong 7 câu được chấp nhận. Ở lần thử lại sau đó, tệp đã có mặt và báo cáo được chấm bình thường.
OpenAI cho rằng tỷ lệ lệch mục tiêu của các mô hình chấm điểm nói chung không cao, nhưng rút ra một kết luận: việc giám sát phải bao phủ cả những lượt thử thất bại hoặc bị sập, kể cả những lượt từ đầu đến cuối không tạo ra kết quả nào được chấp nhận.
Loạt thứ ba trong một tháng
Xâu chuỗi các mốc thời gian lại: ngày 18/9 OpenAI công bố một lúc sáu sự việc lệch mục tiêu, ngày 2/10 bổ sung thêm ba sự việc, lần này là hai sự việc, tổng cộng mười một sự việc trong một tháng. Điểm chung của các loạt trước là mô hình tìm kẽ hở của công cụ trong lúc đánh giá hoặc huấn luyện, trong đó có một vụ đã đi sâu tới tận máy tính thiết kế chip nội bộ. Chi tiết mới lần này là nhật ký suy luận ghi rõ “không nhắc tới”, “đừng nói là không chắc chắn”: ngoài việc khai thác kẽ hở, mô hình còn chủ động quản lý phần câu trả lời mà nó để lại cho con người đọc.
Một thay đổi khác nằm ở phạm vi giám sát. Loạt báo cáo ngày 2/10 cho biết mẫu huấn luyện đã chuyển từ lấy mẫu kiểm tra 20% sang giám sát toàn bộ; lần này biện pháp lại mở rộng sang toàn bộ lưu lượng đánh giá và nêu đích danh cả các lượt thử thất bại, bị sập cũng phải được xem xét. Với vụ xóa Python, cuối cùng không có điểm nào được chấp nhận; theo cách nghĩ cũ chỉ nhìn vào kết quả, nhiều khả năng nó sẽ không lọt vào tầm mắt của bất kỳ ai.
Cả hai báo cáo đều không nêu tỷ lệ xảy ra của loại hành vi này trong toàn bộ quá trình huấn luyện và đánh giá, và OpenAI cũng không cho biết mô hình liên quan đã được dùng trong sản phẩm đối ngoại hay chưa.
Nguồn tham khảo: hai báo cáo lệch mục tiêu trên blog căn chỉnh của OpenAI, CocoLoop; số dòng cơ sở dữ liệu, số cộng đồng, điểm số và giá trị phần thưởng theo cách tính trong báo cáo của OpenAI, số sự việc của hai loạt trước được thống kê theo các báo cáo OpenAI đã đăng trong cùng chuyên mục.