OCR de Xiaomi : premier selon lui, deuxième au classement public

Open source illustration: hands joining branches to a shared node tree

Le 30 octobre, Xiaomi a officiellement promu, via son compte officiel, le modèle de documents open source Xiaomi-OCR-0, doté de 0,8 milliard de paramètres, fondé sur Qwen3.5-0.8B et placé sous licence Apache-2.0. Les poids et le rapport technique avaient en réalité été publiés fin septembre ; cette fois, un service MCP et un Agent Skill s'y ajoutent, ce qui en fait une présentation officielle à destination des développeurs.

Selon Xiaomi, le modèle arrive en tête des modèles de moins d'un milliard de paramètres au test d'analyse de documents OmniDocBench v1.6. L'affirmation correspond au tableau du README : Xiaomi-OCR-0 obtient 96,83, et seul TeleOCR, avec 1,2B de paramètres, le devance légèrement avec 96,87.

Un modèle, trois tâches

Xiaomi-OCR-0 réunit dans un seul modèle l'analyse de documents, l'extraction d'informations clés et les questions-réponses visuelles liées au texte. D'après le rapport technique, le corpus d'entraînement compte environ 170 millions d'échantillons, produits par un moteur de données automatisé qui combine consensus d'experts, vérification fondée sur le rendu et synthèse ciblée. L'entraînement part de Qwen3.5-0.8B et passe successivement par l'ancrage de texte Q-Mask, le pré-entraînement continu et l'apprentissage par renforcement sur tâches mixtes.

Parmi les autres résultats publiés par Xiaomi : 97,84 en reconnaissance de formules UniMER-Test, 92,27 de TEDS en reconnaissance de tableaux PubTabNet et une moyenne de 83,2 sur cinq bancs d'essai de questions-réponses visuelles, contre 80,9 pour Qwen3.5-2B. Ce sont tous des mesures réalisées par le développeur lui-même.

Pour le déploiement, on peut passer par SGLang ou vLLM, et il existe aussi un paquet Ollama expérimental ; le README fournit un prompt qui permet à un Agent de lire SKILL.md et de s'installer seul. Le mode d'analyse par zones de page nécessite en plus l'installation de PaddlePaddle, PaddleX et PP-DocLayoutV3.

D'où vient l'écart entre 95,24 et 92,73

Plus intéressante que la « première place », il y a la colonne Real5-OmniDocBench. Ce jeu de données reprend les 1 355 pages de documents d'OmniDocBench v1.5 et les recapture dans cinq conditions : numérisation, courbure, photo d'écran, éclairage et inclinaison, soit 6 775 images, plus proches de situations de prise de vue réelles que des documents électroniques propres.

Dans le tableau du README, Xiaomi obtient 95,24, PaddleOCR-VL-1.6 93,19 et OvisOCR2 92,29, ce qui place Xiaomi premier. Le classement public sur Hugging Face présente pourtant un autre ordre :

RangModèleParamètresScore au classement
1PaddleOCR-VL-1.60,9B93,19
2Xiaomi-OCR-00,8B92,73
3OvisOCR20,9B92,29
5GLM-5.3-Flash321B90,76
8Kimi-K2.61,1T89,76
9Gemini-3 Pronon communiqué89,24

L'espace de discussion du classement a gardé la trace des échanges. La partie qui a soumis l'évaluation a expliqué que Real5 doit être noté avec la branche v1.5 d'OmniDocBench. Un chercheur de Xiaomi a répondu que ses valeurs de référence avaient été obtenues avec le code v1.6 : 95,24 pour le pipeline en deux étapes et 93,45 en bout en bout, avant de transmettre les prédictions brutes du pipeline en deux étapes. L'autre partie les a recalculées avec v1.5 et obtenu un score total de 92,7863, pratiquement identique au chiffre du classement. Ce résultat a ensuite été intégré au classement.

Les deux parties jugent que la version du code d'évaluation est le facteur principal, et Xiaomi a ajouté que les paramètres d'inférence de vLLM pourraient aussi jouer. Mais la part de l'écart entre les deux versions qui revient au code n'a pas été détaillée dans la discussion.

Le classement lui-même n'est pas encore figé

Le défaut du tableau du README est le mélange des référentiels : la case de Xiaomi correspond au score du code v1.6, tandis que les chiffres des deux concurrents, 93,19 et 92,29, concordent avec le classement. Comparée dans une même colonne, la conclusion de la « première place » ne tient pas.

La controverse comporte un autre arrière-plan. Le jeu de données Real5 relève de l'organisation PaddlePaddle, le leader du classement est son propre PaddleOCR-VL-1.6, et le détecteur de mise en page PP-DocLayoutV3 utilisé par l'approche en deux étapes de Xiaomi provient du même écosystème. La discussion ne laisse apparaître aucun signe de favoritisme dans la notation, et le recalcul est public, mais nous n'avons trouvé aucune reproduction indépendante par un tiers.

Dans la discussion, un participant du côté du jeu de données a indiqué que Real5 serait prochainement mis à jour, aligné sur la dernière version d'OmniDocBench, avec de nouveaux indicateurs unifiés. D'ici là, il y a peu de sens, pour les équipes qui choisissent un modèle, à conclure à partir d'un écart de 0,4 point. Tous ces modèles se téléchargent gratuitement ; les essayer sur ses propres numérisations et photos de téléphone en dit plus que n'importe quel classement.

Sources : dépôt GitHub et rapport technique de l'institut de recherche de Xiaomi ; CocoLoop ; classement public Real5-OmniDocBench et discussion sur Hugging Face ; hors classement, tous les scores sont des mesures réalisées par le développeur.