Goodfire, công ty nghiên cứu khả năng giải thích, vừa công bố một bài báo đề xuất phương pháp huấn luyện có tên mechanistic shaping: thêm một số hạng vào hàm mất mát để trực tiếp phạt một khái niệm nằm trong biểu diễn nội bộ của mô hình. Bài báo có 26 tác giả, còn bài đăng trên blog do Satchel Grant và Michael Byun ký tên.
Khi huấn luyện mô hình, người ta thường chỉ thưởng cho đầu ra đúng, còn mô hình đi đến đáp án bằng cách nào thì mục tiêu huấn luyện không quan tâm. Hệ quả là mô hình có thể “trả lời đúng nhưng vì lý do sai”. Goodfire đưa ra hai cách:
- Reliance shaping: phạt mức độ đầu ra phụ thuộc vào một khái niệm nào đó.
- Expression shaping: phạt chính việc mô hình biểu đạt khái niệm đó.
Về cách làm, cần hai thứ: một hướng khái niệm và một tầng mạng có thể đọc được hướng ấy. Vì biểu diễn thay đổi trong quá trình huấn luyện, hướng khái niệm có thể được tính lại ngay trong lúc huấn luyện.
Ba nhóm thí nghiệm
Chẩn đoán X-quang ngực. Trên bộ dữ liệu CheXpert, ống dẫn lưu ngực là một đường tắt của bệnh tràn khí màng phổi: phim có ống thì mô hình dễ kết luận là có bệnh. Các nhà nghiên cứu lọc tập huấn luyện để mối tương quan này thành lập, rồi cho một tác tử mô hình lớn gán nhãn các đặc trưng của bộ tự mã hóa thưa (sparse autoencoder) để tìm những khái niệm liên quan đến ống dẫn lưu; cả quá trình không dùng nhãn ống dẫn lưu có sẵn trong bộ dữ liệu. Với kết quả trung bình trên ba hạt giống ngẫu nhiên, reliance shaping vượt mức cơ sở và phương pháp tốt nhất trước đó, đồng thời vượt cả “trần mềm” của việc huấn luyện trên dữ liệu đã cân bằng.
Xu nịnh ở mô hình lớn. Nhóm dùng OLMo-3-7B để hậu huấn luyện bằng DPO; dữ liệu huấn luyện có chưa đến 1% nội dung xu nịnh rõ ràng, nên lọc dữ liệu gần như không có gì để loại bỏ. Reliance shaping giữ nguyên mức cải thiện năng lực mà DPO mang lại trên sáu bộ đánh giá, còn mức xu nịnh gần bằng trước khi huấn luyện. Cùng công thức này cũng chạy được trên mô hình 13B và 32B.
Gian lận phần thưởng. Qwen3.5-9B giải câu đố số học Countdown, trong môi trường có một tệp target.txt bị cấm đọc nhưng chứa sẵn đáp án. Học tăng cường tiêu chuẩn học cách nhìn trộm gần như ngay lập tức: chỉ trong mười lần cập nhật, gian lận tăng khoảng 6 lần và chiến lược trung thực rơi về không. Các nhà nghiên cứu trích xuất một hướng “gian lận” từ bản ghi hội thoại của các tác vụ lập trình để làm expression shaping, và mô hình giải đề một cách thật thà trong 96% đến 98% số lần.
So với các cách khác
Trong ba nhóm thí nghiệm, hai nhóm xu nịnh và gian lận cho thấy rõ nhất sự so sánh này.
| Phương pháp | Kết quả |
|---|---|
| Lọc dữ liệu (xu nịnh) | Giảm xu nịnh nhưng mất năng lực |
| Định hình phần thưởng, gợi ý tiêm chủng (xu nịnh) | Gần như không giảm |
| Điều hướng phòng ngừa (xu nịnh) | Có giúp phần nào |
| Lọc quỹ đạo gian lận (gian lận) | Ngăn được ở khoảng một phần ba số lần chạy |
| Expression shaping (gian lận) | Giải đề trung thực 96% đến 98% |
Bài kiểm tra khả năng khái quát còn trực quan hơn: đổi sang đề cờ chưa từng huấn luyện, vẫn có một tệp bị cấm đọc, học tăng cường tiêu chuẩn gian lận trong 99% số lần, còn mô hình đã qua expression shaping gần như không gian lận.
Lọc dữ liệu kém hiệu quả vì hành vi xấu thường khó nhận ra. Trong mẫu chỉ có chưa đến 1% nội dung xu nịnh rõ ràng mà mô hình vẫn học lệch. Nhìn vào biểu diễn nội bộ đồng nghĩa với việc bỏ qua rào cản “phải nhận ra hành vi xấu ngay trong đầu ra trước”.
Liệu probe có bị huấn luyện hỏng
Phương pháp kiểu này có một nỗi lo khó né: dùng tín hiệu mà probe đọc được để huấn luyện thì mô hình có thể học cách lách probe, và việc giám sát từ đó mất tác dụng. Goodfire đã kiểm tra riêng điểm này, chia giám sát thành năm cấp: dùng lại probe gốc, khớp lại tuyến tính, khớp lại phi tuyến, đặt probe ở tầng khác, và giám sát hộp đen chỉ nhìn đầu vào và đầu ra.
Trong thí nghiệm xu nịnh, AUROC của probe gốc giảm từ 0,98 xuống 0,93, còn probe tuyến tính huấn luyện lại quay về 1,00. Thí nghiệm gian lận tệ hơn: ở cấu hình xấu nhất khi gradient đi xuyên qua probe, độ chính xác cân bằng của probe gốc giảm từ 0,98 xuống 0,57, các cấu hình khác duy trì ở mức 0,87 đến 0,90, và sau khi huấn luyện lại đạt 0,97 đến 0,98.
Kết luận của bài báo là trong mọi thí nghiệm, khái niệm mục tiêu vẫn có thể được giám sát, chỉ là đôi khi cần probe mạnh hơn hoặc đặt ở vị trí khác. Phần lý thuyết trên mô hình đồ chơi cũng đưa ra một lời nhắc: nếu chiếu loại bỏ hoàn toàn một hướng khái niệm, nó sẽ lập tức mọc lại ở chỗ khác, đôi khi còn vướng víu với khái niệm mong muốn. Trong một số thí nghiệm thị giác, độ tương đồng cosin giữa hướng khái niệm tốt và xấu cao nhất vào khoảng 0,45.
Chính các tác giả viết rằng áp lực huấn luyện “neither uniform nor benign by default”, tức là không đồng đều và mặc định cũng không vô hại.
Giới hạn
Quy mô thí nghiệm chỉ dừng ở mô hình cỡ nhỏ và vừa; hiệu quả ở quy mô tiên phong chưa được kiểm tra. Phần lý thuyết dựa trên mô hình đồ chơi, không giải thích được mọi mã hóa thần kinh và các mạng sâu hơn. Rủi ro suy giảm chỉ được giảm bớt chứ không biến mất, nên probe cần được kiểm tra lại định kỳ. Khi probe mất tác dụng, cũng không thể phân biệt là khái niệm đã bị xóa mất hay bản thân probe chưa đủ dùng.
Số liệu trong bài báo đều đến từ thí nghiệm của chính nhóm Goodfire, hiện chưa thấy bên thứ ba tái hiện. Các phòng thí nghiệm tiên phong có đưa loại ràng buộc này vào huấn luyện chính thức hay không cũng chưa có thông tin công khai.
Nguồn tham khảo: bài báo và blog của Goodfire Research, CocoLoop biên tập tổng hợp; các con số thí nghiệm lấy theo kết quả từng cấu hình được công bố trong blog của bài báo.