Kho numbat do tài khoản ẩn danh burner22 đăng lên Hugging Face tự nhận là checkpoint giữa giai đoạn tiền huấn luyện của mô hình thế hệ tiếp theo cấp Mythos từ Anthropic: khoảng 14 nghìn tỷ tham số, 114 lớp, 772 phân mảnh, tổng dung lượng khoảng 7,72 TB. Kho được tạo ngày 23/10 và lan trong giới lập trình viên vào khoảng ngày 1/11; chỉ hơn một ngày, khu thảo luận đã mở 31 chủ đề.
Kết luận của bản kiểm toán mới nhất từ cộng đồng khá thẳng thắn: một phần lớn các tệp này là số giả ngẫu nhiên được sinh ra bằng cách dùng chính tên tensor làm hạt giống, mô hình chưa hề được huấn luyện.
Vài dòng mã là tính lại được
Người dùng FloxUnder là người đầu tiên công bố công thức: băm tên tensor bằng SHA-256, lấy 8 byte đầu làm hạt giống cho bộ sinh số ngẫu nhiên PCG64, sinh phân phối chuẩn tắc rồi áp một phép biến đổi cố định. Với lớp chuẩn hóa dùng exp(0.06z), với nhân tích chập nhân thêm 1/6. Theo công thức này, anh đã tái tạo chính xác từng bit 43 tensor hoàn chỉnh, tổng cộng 730368 giá trị.
Sau đó, người dùng ressl tải về toàn bộ 784 tệp, 7,01 TiB để đối chiếu. 289 lớp chuẩn hóa và 258 nhân tích chập đều khớp tuyệt đối từng byte; với 24 tensor NVFP4 được lấy mẫu, gồm 192 triệu phần tử, tỷ lệ trùng khớp bit dấu là 100%.
Chúng tôi cũng đã chạy thử. Ban biên tập viết một tập lệnh kiểm tra theo công thức công khai, chỉ dùng yêu cầu HTTP Range để đọc phần đầu tệp của phân mảnh đầu tiên và hai tensor; chúng tôi không tải mô hình và không chạy bất kỳ đoạn mã nào trong kho. 12288 giá trị của model.layers.0.input_layernorm.weight và 24576 giá trị của model.layers.0.self_attn.k_conv1d.weight khi tính lại đều trùng hoàn toàn với nội dung tệp. Chúng tôi chỉ kiểm chứng hai tensor này; kết luận trên toàn bộ dựa vào bản kiểm toán của hai người dùng nêu trên.
Lớp vỏ gần như không có kẽ hở
Điều khiến vụ việc dễ đánh lừa là mọi bước kiểm tra cấu trúc đều vượt qua. Báo cáo của ressl cho biết: SHA-256 của cả 784 tệp đều khớp, hơn 1,57 triệu mục chỉ mục tương ứng một-một với phần đầu các phân mảnh, không thiếu không thừa, và nạp trọng số ở chế độ nghiêm ngặt cũng không báo lỗi. Phần “Vì sao đáng tin” trong mô tả kho chính là dựa vào kiểu tự nhất quán này.
Đào sâu thêm một tầng thì lộ ra:
- Phân bố giá trị không đúng: nếu là phân phối chuẩn được lượng tử hóa sang NVFP4, khoảng sáu phần mười số nửa byte phải bằng 0, nhưng đo được chỉ có 10%;
- Bảng hệ số tỷ lệ quá nhỏ: trong phân mảnh đầu tiên, hơn 2,16 triệu giá trị tỷ lệ theo khối chỉ có 45 giá trị khác nhau;
- Nhật ký huấn luyện quá phẳng: loss của 400 bước cuối dao động trong khoảng 1,0359 đến 1,0649, không thấy mức suy giảm đáng có ở giai đoạn gần cuối huấn luyện;
- Bộ tách từ rất cũ: quy tắc tách từ là biểu thức chính quy của GPT-2, trong từ vựng không có token nào là chữ Trung, Nhật, Hàn;
- Số tham số không khớp: Hugging Face tự thống kê được 6,8 nghìn tỷ, còn kho tự nhận khoảng 14 nghìn tỷ.
Bản kiểm toán cũng tự vạch rõ giới hạn. Các loại tensor như lm_head, A_log không khớp với hạt giống từ tên; ressl cho rằng chúng đi theo một đường sinh ngẫu nhiên khác. Anh không khẳng định mọi tensor đều suy ra được từ tên, chỉ khăng khăng một điểm:
“I am claiming the model is not trained.”
(Tôi khẳng định rằng mô hình này chưa được huấn luyện.)
FloxUnder cũng thừa nhận rằng chỉ riêng 43 tensor đó thì về mặt logic chưa loại trừ được khả năng các tham số này bị cố ý đóng băng trong lúc huấn luyện, nên anh đề nghị người đăng công bố cấu hình huấn luyện. Tính đến thời điểm phát bài, cả hai bản kiểm toán đều do người dùng cộng đồng thực hiện, chưa có tổ chức thứ ba nào xác nhận; người đăng là ai và nhằm mục đích gì hiện chưa thể xác minh.
Tên mã là thật, trọng số lại là chuyện khác
Từ numbat quả thật có xuất xứ. Trong mã nguồn Claude Code bị rò rỉ hồi tháng 3 năm nay, tệp prompts.ts có một dòng chú thích nói rằng khi mô hình ra mắt thì phải xóa một đoạn nào đó, và cái tên được nhắc đến chính là numbat. Phần mô tả kho xem đây là bằng chứng hàng đầu.
Nếu xâu chuỗi các vụ rò rỉ trong năm nay, sự khác biệt rất rõ. Cuối tháng 3, bên ngoài biết đến Mythos nhờ bản thảo lộ ra do cấu hình hệ thống quản lý nội dung bị sai; vụ Claude Code cùng tháng làm lộ mã nguồn phía máy khách. Không tài liệu nào trong số đó liên quan đến trọng số mô hình. Kho numbat mượn một tên mã đã từng bị lộ làm mồi, rồi dùng một bộ tệp qua được kiểm tra để tạo vẻ thật; nhưng một tên mã đã công khai thì ai cũng có thể ghi vào phần mô tả, không chứng minh được nguồn gốc của các tệp.
Với những người đã tải về, rủi ro thực tế hơn nằm ở đoạn mã. Kho có tệp modeling_numbat.py, phần mô tả ghi rằng có thể nạp bằng trust_remote_code=True; tham số này sẽ thực thi mã Python trong kho ngay trên máy của bạn. Chúng tôi chưa kiểm toán đoạn mã đó nên không thể nói nó độc hại, nhưng với một kho không rõ nguồn gốc thì không nên bật công tắc này. Khi cần kiểm chứng, có thể làm như bản kiểm toán, chỉ đọc byte mà không cần chạy gì.
Nguồn tham khảo: trang mô hình và siêu dữ liệu kho trên Hugging Face, các bài kiểm toán cộng đồng #13 và #31, CocoLoop; kết quả từng byte của hai tensor do ban biên tập tính lại theo công thức công khai, các con số toàn bộ lấy theo bài kiểm toán.