Repositori numbat yang diunggah akun anonim burner22 ke Hugging Face mengaku sebagai checkpoint pertengahan pra-pelatihan model generasi berikutnya Anthropic kelas Mythos: sekitar 14 triliun parameter, 114 lapisan, 772 shard, total sekitar 7,72 TB. Repositori dibuat pada 23 Oktober, lalu ramai dibicarakan di kalangan pengembang sekitar 1 November; dalam waktu sedikit lebih dari sehari, kolom diskusinya sudah memuat 31 topik.
Audit komunitas terbaru menyimpulkan secara lugas: sebagian besar berkas ini adalah angka pseudo-acak yang dihasilkan dengan nama tensor sebagai benih, dan modelnya tidak pernah dilatih.
Beberapa baris kode cukup untuk menghitung ulang
Pengguna FloxUnder adalah yang pertama membuka resepnya. Ambil SHA-256 dari nama tensor, pakai 8 byte pertama sebagai benih generator angka acak PCG64, hasilkan distribusi normal standar, lalu terapkan satu transformasi tetap. Lapisan normalisasi memakai exp(0.06z), sedangkan kernel konvolusi dikalikan 1/6. Dengan resep itu, ia mereproduksi 43 tensor utuh, total 730.368 nilai, sama persis bit demi bit.
Pengguna ressl kemudian mengunduh seluruhnya untuk verifikasi: 784 berkas, 7,01 TiB. Seluruh 289 lapisan normalisasi dan 258 kernel konvolusi cocok sampai tingkat byte. Pada 24 tensor NVFP4 yang diambil sebagai sampel, dengan total 192 juta elemen, kecocokan bit tanda mencapai 100%.
Kami juga menjalankannya. Redaksi menulis skrip verifikasi berdasarkan resep publik, hanya memakai permintaan HTTP Range untuk membaca header shard pertama dan dua tensor. Kami tidak mengunduh model dan tidak menjalankan kode apa pun dari repositori. Hasil hitung ulang untuk 12.288 nilai pada model.layers.0.input_layernorm.weight dan 24.576 nilai pada model.layers.0.self_attn.k_conv1d.weight identik dengan isi berkas. Kami hanya memverifikasi kedua tensor ini; kesimpulan menyeluruh bersumber dari audit dua pengguna di atas.
Kemasannya nyaris tanpa cela
Yang membuat kasus ini menyesatkan adalah semua pemeriksaan struktur lolos. Laporan ressl mencatat: SHA-256 seluruh 784 berkas cocok, lebih dari 1,57 juta entri indeks sesuai satu lawan satu dengan header shard tanpa yang hilang maupun berlebih, dan pemuatan bobot dalam mode ketat tidak menimbulkan galat. Bagian “mengapa dapat dipercaya” di keterangan repositori justru mengandalkan konsistensi internal semacam ini.
Begitu digali satu lapis lebih dalam, kejanggalannya muncul:
- Distribusi nilai tidak wajar: jika distribusi normal dikuantisasi ke NVFP4, sekitar enam puluh persen nibble seharusnya bernilai 0, tetapi hasil ukur hanya 10%.
- Tabel skala terlalu kecil: lebih dari 2,16 juta nilai skala blok di shard pertama hanya memiliki 45 nilai berbeda.
- Log pelatihan terlalu datar: loss pada 400 langkah terakhir hanya bergerak di antara 1,0359 dan 1,0649, tanpa penurunan yang lazim terlihat menjelang akhir pelatihan.
- Tokenizer usang: aturan pemisahan katanya memakai regex GPT-2, dan kosakatanya tidak memuat satu pun token karakter Mandarin, Jepang, atau Korea.
- Jumlah parameter tidak cocok: hitungan otomatis Hugging Face menunjukkan 6,8 triliun, sementara repositori mengklaim sekitar 14 triliun.
Audit juga menetapkan batasnya. Beberapa jenis tensor seperti lm_head dan A_log tidak cocok dengan benih dari nama, dan ressl menduga keduanya memakai jalur acak yang lain. Ia tidak menyatakan setiap tensor bisa diturunkan dari namanya, dan hanya bersikeras pada satu hal:
"I am claiming the model is not trained."
(Yang saya klaim adalah model ini tidak pernah dilatih.)
FloxUnder juga mengakui bahwa jika hanya melihat 43 tensor itu, secara logika belum bisa disingkirkan kemungkinan parameter tersebut sengaja dibekukan saat pelatihan, sehingga ia meminta pengunggah menunjukkan konfigurasi pelatihan. Hingga naskah ini terbit, kedua audit berasal dari pengguna komunitas tanpa dukungan lembaga pihak ketiga, dan siapa pengunggahnya serta apa tujuannya belum dapat diverifikasi.
Nama kode itu nyata, bobotnya soal lain
Kata numbat memang punya rujukan. Dalam kode sumber Claude Code yang bocor pada Maret lalu, ada komentar di prompts.ts yang menyebut bagian tertentu harus dihapus saat model diluncurkan, dan nama yang disebut adalah numbat. Keterangan repositori menjadikannya bukti utama.
Jika beberapa kebocoran tahun ini dirangkai, perbedaannya jelas. Pada akhir Maret, publik membaca soal Mythos lewat dokumen yang terbuka akibat kesalahan konfigurasi sistem manajemen konten; insiden Claude Code di bulan yang sama membocorkan kode sumber sisi klien. Tidak satu pun dari materi itu menyangkut bobot model. Repositori numbat memakai nama kode yang sudah dikenal sebagai pancingan, lalu menopang diri dengan sekumpulan berkas yang lolos pemeriksaan integritas, padahal nama kode yang pernah dipublikasikan bisa ditulis siapa saja ke dalam keterangan, dan tidak membuktikan asal-usul berkas.
Bagi yang sudah mengunduh, risiko yang lebih nyata ada pada kodenya. Repositori menyertakan modeling_numbat.py, dan keterangannya menyebut bobot dapat dimuat dengan trust_remote_code=True, parameter yang akan mengeksekusi Python di dalam repositori pada mesin lokal. Kami tidak mengaudit kode ini dan tidak bisa menyebutnya berbahaya; tetapi untuk repositori yang asal-usulnya tidak jelas, sakelar ini sebaiknya tidak dinyalakan. Bila perlu memeriksa, cukup baca byte-nya saja seperti yang dilakukan audit, tanpa perlu menjalankan apa pun.
Sumber: halaman model dan metadata repositori Hugging Face, utas audit komunitas #13 dan #31, CocoLoop; hasil per byte untuk dua tensor dihitung ulang redaksi berdasarkan resep publik, sedangkan angka menyeluruh mengacu pada utas audit.