ModelBest (Mianbi Intelligence) dan komunitas OpenBMB secara resmi merilis model multimodal MiniCPM-V 4.7 pada 13 Oktober, sekaligus dalam dua versi: 35B-A3B dan 1B. Versi pertama adalah model mixture-of-experts (MoE) pertama dalam seri MiniCPM-V, dengan total sekitar 35 miliar parameter yang hanya mengaktifkan sekitar 3 miliar pada setiap inferensi. Versi kedua ditujukan untuk ponsel kelas pemula.
Angka di perangkat yang diumumkan secara resmi: 35B-A3B memakai sekitar 3GB memori di iPhone 17 Pro Max, dengan kecepatan dekode di atas 13 token per detik. Kode dan bobot dirilis dengan lisensi Apache-2.0, sesuai keterangan di bagian bawah repositori GitHub.
Memuat 35B dalam 3GB lewat penjadwalan pakar lebih awal
Masalah model MoE adalah total parameternya besar, tetapi setiap langkah hanya memakai sebagian kecil. Di server, semuanya bisa dimasukkan ke memori GPU. Di ponsel itu tidak mungkin, sehingga pakar yang dibutuhkan harus dibaca dari penyimpanan sambil komputasi berjalan, dan pembacaan yang lambat membuat prosesnya tersendat.
Solusi ModelBest bernama LES (Lookahead Expert Scheduling, penjadwalan pakar dengan pandangan ke depan). Menurut penjelasan di halaman GitHub, ada tiga hal yang dilakukannya:
- Memprediksi routing lintas lapisan dan memuat lebih dulu pakar yang kemungkinan besar dipakai lapisan berikutnya.
- Pada lapisan saat ini, menghitung lebih dulu pakar yang sudah ada di memori dan juga dipilih oleh router.
- Dipadukan dengan kuantisasi bobot dan tata letak penyimpanan yang dirancang ulang untuk memperkecil ukuran dan mempercepat pembacaan.
Pihak resmi menyebut pendekatan ini memberi percepatan sekitar 5 kali lipat pada perangkat nyata. Satu teknik lama tetap dipertahankan: bagian visual mengompresi token visual dengan campuran rasio 4x dan 16x, yang sudah muncul di MiniCPM-V 4.6 yang dirilis pada Mei.
Seorang pengembang pihak ketiga sebelumnya sudah menelusuri file konfigurasi model ini: 40 lapisan, dengan 30 di antaranya memakai linear attention dan 10 memakai full attention, 8 dari 256 pakar dipilih untuk setiap token, dan konteks 256K. Bobot BF16 totalnya sekitar 70,4GB. Dengan kata lain, 3GB adalah pemakaian saat dijalankan setelah kuantisasi dan pemuatan sesuai kebutuhan; menjalankannya langsung tanpa kuantisasi akan terlalu berat bahkan untuk komputer biasa.
Skor benchmark hanya dibandingkan dengan kelas yang sama
Menurut ModelBest, 35B-A3B dievaluasi pada 34 benchmark yang mencakup visi umum, penalaran STEM, OCR dan grafik, hingga video panjang. Dalam mode Instruct, skor keseluruhannya lebih tinggi daripada Qwen3.6-35B-A3B, model dengan spesifikasi 35B-A3B yang sama, dengan waktu inferensi lebih singkat, dan pada beberapa item melampaui Qwen 27B serta Gemma-4 31B. Versi 1B dibandingkan dengan Qwen3.5 0.8B dan disebut unggul dalam skor keseluruhan maupun efisiensi inferensi.
Semua ini diumumkan sendiri oleh vendor. Tabel hasil di halaman GitHub berupa gambar, skor rincinya tidak diuraikan dalam liputan media, dan sejauh ini belum terlihat replikasi independen.
Proses rilisnya sendiri punya sedikit cerita sampingan. Berdasarkan catatan pengembang pihak ketiga, bobot 35B-A3B sudah muncul di Hugging Face pada malam 6 Oktober tanpa model card, tanpa lisensi, dan tanpa data evaluasi; penjelasannya baru dilengkapi sekitar 12 Oktober.
Di mana hambatan bagi pengembang di Tiongkok
Kali ini ModelBest menulis daftar kompatibilitas yang panjang. Sistem yang dicakup meliputi iOS, Android, dan HarmonyOS, sedangkan chip yang tercantum adalah Intel, AMD, Arm, Rockchip, dan Houmo AI. Munculnya Rockchip dan Houmo AI dalam daftar menunjukkan bahwa sasaran ModelBest bukan hanya ponsel, tetapi juga edge box, robot, dan perangkat kendaraan di Tiongkok, yang sering kali tidak bisa memanggil model besar di cloud lewat jaringan.
Turut dirilis sebagai open source adalah metode fine-tuning bernama SRFT (Self-Replay Fine-Tuning). Menurut pihak resmi, metode ini memperluas kemampuan dengan biaya rendah sekaligus mengurangi lupa terhadap kemampuan yang sudah ada. Bagi tim yang ingin melakukan kustomisasi di perangkat sendiri, ini lebih berguna daripada sekadar bobot model.
Namun ada beberapa hal yang perlu dicermati:
- Angka 13 token/detik diukur di iPhone 17 Pro Max, dan sejumlah media mengutip iPad Pro bisa mencapai di atas 15 token/detik. Kecepatan di ponsel Android kelas menengah dan perangkat HarmonyOS belum diumumkan secara resmi.
- 3GB adalah memori saat dijalankan. File model tetap memakan ruang penyimpanan ponsel, dan ukuran pastinya setelah kuantisasi harus mengacu pada file yang dirilis secara resmi.
- Daftar kompatibilitas hanya menyebut "didukung"; apakah kerangka inferensi dan format kuantisasi di tiap platform sudah siap pakai harus diverifikasi sendiri oleh pengembang satu per satu.
Selama beberapa generasi terakhir, MiniCPM-V konsisten dengan jalur "parameter kecil, masuk ke ponsel". Membawa MoE ke perangkat ini, dilihat dari struktur parameternya, berarti mengubah pembagian antara total parameter dan memori ponsel: total dibuat besar, sementara yang dipakai di tiap langkah tetap dijaga di sekitar 3 miliar. Ada dua hal yang perlu dipantau berikutnya: apakah LES mampu menjaga kecepatan di perangkat dengan memori lebih kecil, dan apakah evaluasi pihak ketiga dapat mereplikasi hasil pada 34 benchmark tersebut.
Sumber: repositori GitHub OpenBMB MiniCPM-V (prinsip LES, dukungan platform, lisensi); ITHome; CocoLoop; Phoenix New Media Tech; halaman model dan file konfigurasi di Hugging Face (jumlah lapisan, jumlah pakar, ukuran bobot).