Tim MNN Taobao pada 6 November merilis model bahasa on-device MNN-Pocket-0.3B sebagai open source. Model ini memiliki sekitar 300 juta parameter, berfokus pada bahasa Mandarin dan Inggris, dan ditujukan untuk berjalan di dalam aplikasi ponsel. Menurut tim, semuanya, mulai dari arsitektur, kosakata, dan data pelatihan hingga kuantisasi dan mesin inferensi, dirancang bersamaan dan dilatih dari nol.
Saat berjalan sepenuhnya offline di iPhone 18 Pro, kecepatan dekode rata-ratanya sekitar 350 token per detik. File penerapan INT4 berukuran 173MB, sudah mencakup bobot, tokenizer, graf komputasi, dan konfigurasi.
Tetapkan target dulu, lalu rancang model dari belakang
Tim lebih dulu menetapkan empat target keras: kecepatan dekode di atas 200 token per detik; memori puncak di bawah 300MB; energi per inferensi tidak lebih dari sepersepuluh ribu baterai perangkat acuan, artinya 100 kali pemakaian tidak menghabiskan lebih dari 1% baterai; dan kemampuan setinggi mungkin di bawah batasan tersebut.
Jumlah parameter ditentukan dengan cara menghitung mundur. Tim mencoba berbagai konfigurasi dense dari sekitar 50 juta hingga 1,3 miliar parameter, dan sekitar 300 juta adalah skala terbesar yang memenuhi batas memori sekaligus kecepatan. Menambah lapisan dari 16 menjadi 28 meningkatkan kemampuan; pada 36 lapisan skor tidak naik lagi dan kecepatan dekode turun dari 355 menjadi 323 token per detik, sehingga tim memilih 28 lapisan. Kosakata dipangkas dari sekitar 151 ribu pada tokenizer Qwen3 menjadi 64 ribu, atau sekitar 57% lebih sedikit, sehingga beban lapisan embedding dan lapisan keluaran ikut turun.
Skor uji dan pembandingan
Perbandingan pada iPad Pro M5 (backend Metal, konfigurasi 512 token):
| Uji | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Kecepatan dekode | 466 token/detik | 286 token/detik |
| Paket INT4 | 173MB | 340MB |
| Kenaikan memori puncak | 228MB | 427MB |
Pada backend CPU Snapdragon 8 Gen 5, kecepatan dekode mencapai 251 token per detik. Uji konsumsi energi memakai OnePlus 13 dengan CPU 4 thread, masukan 1024 token dan keluaran 128 token, dengan sekitar 2,7 joule per proses. Dikonversi ke baterai 6000mAh, 100 kali proses menghabiskan sekitar 0,3% daya, jauh di bawah batas 1% yang ditetapkan tim sendiri.
Dari sisi kemampuan, model ini meraih 73,20 pada IFEval bahasa Inggris, 74,59 pada IFEval-zh untuk kepatuhan instruksi berbahasa Mandarin, 51,20 pada MGSM-zh untuk matematika berbahasa Mandarin, dan 53,66 pada HumanEval. Rata-rata dari 11 evaluasi yang mencakup pengetahuan, penalaran, matematika, kode, dan kepatuhan instruksi adalah 50,00, yang menurut tim lebih tinggi daripada MiniCPM4-0.5B dan Qwen3-0.6B. IFEval-zh sendiri adalah set evaluasi buatan tim, dan hingga kini belum ada hasil replikasi dari pihak luar.
Total ada enam versi yang dirilis sebagai open source: Base, SFT, versi instruksi, versi on-device hasil pelatihan kuantisasi W4A16, DFlash2 sebagai model draf untuk speculative decoding (dekode hingga 2,06 kali lebih cepat pada tugas tertentu), serta Dec, kepala keputusan untuk meranking kandidat. Kodenya ada di repositori alibaba/MNN di GitHub.
Bagi pengembang aplikasi di Tiongkok
MNN adalah mesin inferensi on-device buatan Alibaba yang dirilis sebagai open source pada 2019, dan aplikasi seperti Mobile Taobao sudah bertahun-tahun memakainya untuk menjalankan model lokal. Kali ini model dan mesinnya dirilis bersamaan, sehingga tim pengembang aplikasi di Tiongkok mendapat satu paket lengkap yang bisa langsung dimasukkan ke sisi klien, tanpa perlu memangkas, mengkuantisasi, dan menyetel kecepatan model besar open source sendiri.
Model 300 juta parameter tidak mampu melakukan penalaran kompleks. Yang cocok adalah tugas kecil berfrekuensi tinggi seperti pengenalan maksud, penulisan ulang teks pendek, pelengkapan kata kunci pencarian, dan peranking kandidat. Jika permintaan semacam ini sebelumnya dikirim ke cloud, tiap permintaan menanggung latensi jaringan dan biaya API; dijalankan di perangkat, model tetap berfungsi saat offline dan masukan pengguna tidak keluar dari ponsel. Namun 173MB tetap menjadi beban ukuran aplikasi untuk aplikasi e-commerce dan alat bantu, sehingga pengunduhan sesuai kebutuhan mungkin lebih realistis.
Dari enam versi tersebut, ada satu kepala keputusan Dec khusus, yang menunjukkan arah penerapan tim condong ke tugas peranking dan pemilihan. Fitur Taobao mana saja yang sudah memakai model ini tidak dijelaskan dalam materi rilis.
Sumber: ITHome, CocoLoop, repositori open source MNN; telah diverifikasi kecepatan dekode di iPhone 18 Pro dan iPad Pro M5, ukuran paket INT4, serta acuan pengukuran skor evaluasi.