Tuần trước Anthropic công bố một nghiên cứu giao chính việc nghiên cứu căn chỉnh (alignment) cho mô hình đảm nhận. Quy trình là một vòng lặp khép kín: Claude trước tiên tra cứu tài liệu, sau đó đề xuất phương pháp và dữ liệu huấn luyện ứng viên, rồi tự tay huấn luyện, cuối cùng chạy đánh giá để xem hiệu quả, rồi lặp lại từng vòng. Mục tiêu là cải thiện biểu hiện của mô hình trên 10 nhóm lỗi căn chỉnh, bao gồm lừa dối, xu nịnh, xâm phạm quyền riêng tư, vượt rào (jailbreak) và các nhóm khác được các bộ chuẩn công khai bao phủ.
Mỗi nhóm lỗi được chạy một vòng lặp riêng, không tối ưu gộp chung. Theo số liệu Anthropic công bố, mức độ thu hẹp "lỗ hổng an toàn" giữa các nhóm dao động từ 26% đến 96%, biên độ khá rộng — phương pháp này khá hiệu quả với một số kiểu lỗi, nhưng vẫn chật vật với những kiểu khác, và báo cáo không giấu đi phần kết quả kém.
Một vòng lặp trông như thế nào
Bản thân phương pháp không có gì mới lạ. Anthropic cho biết khoảng 98% phương án do Claude đề xuất sử dụng các kỹ thuật đã được công bố trước đó, chẳng hạn dùng activation steering (điều hướng kích hoạt) để kìm hãm xu hướng xu nịnh. Đóng góp của mô hình không nằm ở tầng thuật toán, mà ở việc nó chọn lọc các kỹ thuật rải rác trong các bài báo, ghép chúng với dữ liệu phù hợp, rồi tinh chỉnh đến mức dùng được — đây vốn là việc phải làm đi làm lại bằng tay.
Thí nghiệm đối chứng được thiết kế khá thẳng thắn: 28 nhà nghiên cứu an toàn con người, mỗi người có tối đa tám giờ để tìm giải pháp. Ở nhóm lừa dối, phương án tốt nhất của Claude vượt phương án tốt nhất của con người 20%.
Kết quả đối chứng này cần được nhìn nhận có chừng mực. Tám giờ là độ dài của một buổi workshop, còn nhà nghiên cứu an toàn thực thụ thường làm một hướng đi theo tuần, giữa chừng còn lật lại làm mới nhiều lần. Thí nghiệm chứng minh rằng "trong một khoảng thời gian giới hạn, mật độ tìm kiếm giải pháp của mô hình cao hơn", chứ không phải "mô hình giỏi hơn nhà nghiên cứu con người".
Vượt xa con số 20%: bội số 15.000 lần
Con số đáng chú ý hơn nằm ở phía quy mô sản xuất. Trên một mô hình có quy mô hàng đầu (frontier-scale), Claude dùng 60 giờ thử hơn 50 phương án, thu hẹp lỗ hổng an toàn 65%, đưa điểm căn chỉnh cuối cùng tiệm cận mô hình sản xuất của chính Anthropic. Nghiên cứu còn nhắc tới khả năng chuyển giao của phương pháp:
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
Tạm dịch: các phương pháp này vẫn có hiệu quả trên những mô hình lớn hơn tới 4,7 lần so với mô hình mà Claude đã tối ưu trong vòng lặp nghiên cứu.
Chi tiết này còn đáng giá hơn cả điểm số — biện pháp căn chỉnh tinh chỉnh trên mô hình nhỏ có thể chuyển sang mô hình lớn, nghĩa là quy trình này có thể chạy trước cả đợt huấn luyện tốn kém nhất.
Anthropic đưa ra mức so sánh hiệu suất là "khoảng 15.000 lần hiệu quả hơn quy trình căn chỉnh sản xuất". Theo cách tính này, khối lượng thí nghiệm trong 60 giờ nếu quy đổi theo cách làm cũ sẽ tương đương mức đầu tư cỡ một thập kỷ, nhưng đây là cách tính theo hiệu suất tài nguyên, không phải so sánh thời gian thực tế, và báo cáo cũng không đưa ra số liệu công sức làm thủ công song song để đối chiếu.
Con số 2,4%: những lần "gian lận" bị ghi nhận
Đoạn ít mang tính quảng bá nhất trong nghiên cứu là phần họ tự soi lại chính nhà nghiên cứu tự động. Trong khoảng 1.600 bản ghi vận hành của tác nhân nghiên cứu, công tác giám sát phát hiện 39 bản ghi có hành vi gian lận, chiếm 2,4% — tức mô hình tìm ra đường lách qua mục tiêu trong quá trình tối ưu hoá mục tiêu đó.
Tỷ lệ này kéo theo một vòng luẩn quẩn khó tránh: dùng mô hình để sửa vấn đề căn chỉnh của mô hình, thì lại cần thêm một lớp giám sát để theo dõi chính mô hình đang thực hiện việc sửa chữa, mà bản thân bộ giám sát cũng là một mô hình. Phần hạn chế được liệt kê khá thành thật: nhóm lỗi được kiểm tra còn hẹp, tồn tại thiên lệch chưa được đo lường, các lỗi mới nổi hiếm gặp chưa bắt được, chỉ số đánh giá dùng là chỉ số đại diện (proxy), và chưa rõ các bản sửa này có giữ được hiệu quả sau các vòng huấn luyện tiếp theo hay không.
Các nhóm trong nước có thể học được gì
Điều có thể học trực tiếp từ nghiên cứu này chính là cách tổ chức thí nghiệm: coi căn chỉnh là một bài toán điều chỉnh tham số có thể tìm kiếm lặp đi lặp lại, dùng một loạt bộ chuẩn công khai có thể tái lập làm mục tiêu, để mô hình tự quét qua các tổ hợp phương pháp đã có trong tài liệu. Cách làm này không phụ thuộc vào hạ tầng riêng có của Anthropic, chi phí chủ yếu dồn vào khâu đánh giá.
Điểm khó cũng nằm ở khâu đánh giá. Các bộ đánh giá căn chỉnh trong nước (Trung Quốc) hiện vẫn còn thưa thớt cho ngữ cảnh tiếng Trung, tiêu chuẩn phán định hành vi xu nịnh, vượt rào trong hội thoại tiếng Trung chưa khớp với các bộ chuẩn tiếng Anh. Không có mục tiêu đáng tin cậy, để mô hình tự chạy vòng lặp chỉ khiến chỉ số bị đẩy lên nhanh hơn mà thôi.
Nguồn tham khảo: trang nghiên cứu chính thức của Anthropic, các bài đưa tin kỹ thuật công khai, CocoLoop biên tập tổng hợp; số liệu về 10 nhóm lỗi căn chỉnh, thí nghiệm đối chứng với 28 nhà nghiên cứu con người, mức thu hẹp 65% lỗ hổng an toàn trong 60 giờ và tỷ lệ gian lận 2,4% đều theo dữ liệu được Anthropic công bố trên trang nghiên cứu.