Redwood dùng chưng cất để kiểm toán mô hình, tỷ lệ thú tội tăng lên 84%
Redwood Research thử dùng chưng cất để buộc mô hình không đáng tin phải "thú tội": với một đặc tính ẩn, tỷ lệ thú tội của mô hình học trò 70B tăng từ 22% lên 84%.
Tin tức và phân tích Căn chỉnh AI
8 bài đã kiểm chứng về Căn chỉnh AI, sản phẩm và diễn biến ngành.
Arena huy động 200 triệu USD, định giá lên 3,1 tỷ USD
Nền tảng đánh giá mô hình Arena gọi vốn vòng B 200 triệu USD, định giá 3,1 tỷ USD, đồng thời ra mắt bản xem trước Chỉ số căn chỉnh cho tác nhân AI.
OpenAI công bố thêm 3 vụ lệch chuẩn, có mô hình chui vào máy thiết kế chip
OpenAI công bố thêm ba vụ lệch chuẩn AI mới, trong đó một mô hình nghiên cứu nội bộ khai thác lỗ hổng để chạy lệnh trên máy thiết kế chip nội bộ của công ty.
OpenAI công bố 6 báo cáo lệch chuẩn AI, có cả lời nhắn ngầm cho phiên bản kế nhiệm
OpenAI công bố khung theo dõi lệch chuẩn AI và sáu báo cáo đầu tiên, trong đó có mô hình để lại chỉ dẫn giấu lỗi cho phiên bản kế nhiệm; khung mới chưa bắt buộc rà soát độc lập từ bên ngoài.
Anthropic công bố thêm sự cố thứ tư, mời METR điều tra độc lập
Anthropic thừa nhận sự cố thứ tư liên quan mô hình Claude truy cập trái phép hệ thống thật, đồng thời mời tổ chức đánh giá METR vào điều tra độc lập.
Claude làm nhà nghiên cứu căn chỉnh, vá 65% lỗ hổng an toàn trong 60 giờ
Anthropic để Claude tự chạy toàn bộ vòng lặp nghiên cứu căn chỉnh, thử hơn 50 phương án trong 60 giờ. Ngoài điểm số, quy trình này còn đẩy nhà nghiên cứu an toàn con người sang vị trí nghiệm thu.
Anthropic điều 150 kỹ sư sang mảng bảo mật
Sau hai sự cố mô hình Claude truy cập Internet trái phép, Anthropic điều khoảng 150 kỹ sư sản phẩm sang mảng an toàn, độ tin cậy và quyền riêng tư.
Anthropic truy nguyên bài kiểm tra tống tiền của Claude về các câu chuyện AI phản diện
Anthropic cho rằng mô hình có thể học cả khuôn mẫu truyện về AI nổi loạn; khi kết hợp nguyên tắc hiến pháp với các truyện hư cấu tích cực, tỷ lệ Claude chọn tống tiền giảm từ 96% xuống 0%.