OCR Xiaomi klaim peringkat satu, papan peringkat publik taruh di dua

Open source illustration: hands joining branches to a shared node tree

Pada 30 Oktober, Xiaomi secara resmi mempromosikan model dokumen open source Xiaomi-OCR-0 lewat akun resminya. Model ini berukuran 0,8B parameter, dibangun di atas Qwen3.5-0.8B, dan dirilis dengan lisensi Apache-2.0. Bobot model dan laporan teknisnya sebenarnya sudah dirilis akhir September; kali ini Xiaomi menambahkan server MCP dan Agent Skill, sehingga peluncuran ini menjadi debut resmi yang menyasar pengembang.

Menurut Xiaomi, model ini menempati peringkat pertama di antara model di bawah 1 miliar parameter pada pengujian penguraian dokumen OmniDocBench v1.6. Klaim ini sesuai dengan tabel di README: Xiaomi-OCR-0 meraih 96,83, dan hanya TeleOCR berukuran 1,2B yang sedikit lebih tinggi dengan 96,87.

Satu model, tiga tugas

Xiaomi-OCR-0 menangani penguraian dokumen, ekstraksi informasi kunci, dan tanya jawab visual yang berkaitan dengan teks dalam satu model. Laporan teknis menyebutkan korpus pelatihannya sekitar 170 juta sampel yang dihasilkan oleh mesin data otomatis, menggabungkan konsensus pakar, verifikasi berbasis rendering, dan sintesis terarah. Pelatihan dimulai dari Qwen3.5-0.8B, lalu berturut-turut melewati penjangkaran teks Q-Mask, pra-pelatihan lanjutan, dan reinforcement learning tugas campuran.

Hasil lain yang dipublikasikan Xiaomi meliputi 97,84 untuk pengenalan rumus UniMER-Test, TEDS 92,27 untuk pengenalan tabel PubTabNet, dan rata-rata 83,2 pada lima tolok ukur tanya jawab visual, lebih tinggi daripada 80,9 milik Qwen3.5-2B. Semuanya diukur sendiri oleh pengembang.

Untuk deployment, model dapat dijalankan lewat SGLang atau vLLM, dan tersedia juga paket Ollama yang masih eksperimental. README menyediakan satu prompt agar agen membaca SKILL.md dan memasang perangkatnya sendiri. Mode penguraian per area halaman memerlukan instalasi tambahan PaddlePaddle, PaddleX, dan PP-DocLayoutV3.

Apa yang membedakan 95,24 dan 92,73

Yang lebih menarik daripada klaim “peringkat satu” adalah kolom Real5-OmniDocBench. Dataset ini mengambil 1.355 halaman dokumen dari OmniDocBench v1.5, lalu memotretnya ulang dalam lima kondisi: pemindaian, lengkungan, pemotretan ulang layar, pencahayaan, dan kemiringan. Hasilnya 6.775 gambar, lebih mendekati situasi foto nyata dibandingkan dokumen elektronik yang bersih.

Dalam tabel README, Xiaomi meraih 95,24, PaddleOCR-VL-1.6 mendapat 93,19, dan OvisOCR2 mendapat 92,29, sehingga Xiaomi berada di posisi pertama. Papan peringkat publik di Hugging Face menampilkan urutan yang berbeda:

PeringkatModelParameterSkor papan peringkat
1PaddleOCR-VL-1.60,9B93,19
2Xiaomi-OCR-00,8B92,73
3OvisOCR20,9B92,29
5GLM-5.3-Flash321B90,76
8Kimi-K2.61,1T89,76
9Gemini-3 ProTidak diumumkan89,24

Kolom diskusi papan peringkat merekam jalannya persoalan ini. Pihak yang mengajukan evaluasi mengatakan Real5 harus dinilai dengan cabang v1.5 dari OmniDocBench. Peneliti Xiaomi menjawab bahwa angka acuan mereka dihasilkan dengan kode v1.6: 95,24 untuk alur dua tahap dan 93,45 untuk end-to-end, lalu menyerahkan prediksi mentah dari alur dua tahap. Pihak lawan menghitung ulang dengan v1.5 dan mendapat skor total 92,7863, yang pada dasarnya sama dengan angka di papan peringkat. Hasil itu kemudian digabungkan ke papan peringkat.

Kedua pihak sepakat bahwa versi kode evaluasi adalah faktor utama, dan pihak Xiaomi juga menyebut parameter inferensi vLLM mungkin berpengaruh. Namun, seberapa besar selisih antara kedua versi itu berasal dari kode saja tidak dirinci dalam diskusi.

Papan peringkat itu sendiri belum final

Masalah pada tabel README adalah campur aduk standar: kolom Xiaomi berisi skor dari kode v1.6, sedangkan angka 93,19 dan 92,29 milik pesaing sama dengan papan peringkat. Jika dibandingkan dalam satu kolom, kesimpulan bahwa Xiaomi nomor satu tidak kokoh.

Ada pula latar belakang lain dalam perdebatan ini. Dataset Real5 dimiliki organisasi PaddlePaddle, pemuncak papan peringkat adalah PaddleOCR-VL-1.6 buatan mereka sendiri, dan PP-DocLayoutV3, detektor tata letak yang dipakai pendekatan dua tahap Xiaomi, berasal dari ekosistem yang sama. Tidak ada tanda dalam diskusi bahwa penilaian bias, dan proses penghitungan ulangnya terbuka, tetapi kami tidak menemukan replikasi independen dari pihak ketiga.

Dalam diskusi, salah satu peserta dari pihak dataset menyatakan Real5 akan segera ditingkatkan agar selaras dengan OmniDocBench terbaru dan menerbitkan metrik baru yang seragam. Sebelum itu, tim yang sedang memilih model tidak banyak gunanya menarik kesimpulan dari selisih 0,4 poin. Semua model ini bisa diunduh gratis, dan menjalankannya pada dokumen pindaian serta foto ponsel milik sendiri akan lebih menjelaskan daripada papan peringkat.

Sumber: repositori GitHub dan laporan teknis Xiaomi Research; CocoLoop; papan peringkat publik Real5-OmniDocBench dan diskusi di Hugging Face. Selain papan peringkat, semua skor merupakan hasil pengukuran sendiri oleh pengembang.