Xiaomi OCR、自社発表は首位も公開ランキングは2位

Open source illustration: hands joining branches to a shared node tree

Xiaomi は10月30日、公式アカウントを通じてオープンソースのドキュメントモデルXiaomi-OCR-0を正式に紹介した。パラメーター数は0.8Bで、Qwen3.5-0.8B をベースに、ライセンスは Apache-2.0 を採用している。重みと技術レポートは実は9月末にすでに公開されており、今回は MCP サーバーと Agent Skill を加えた、開発者向けの正式なお披露目という位置づけだ。

同社は、OmniDocBench v1.6 のドキュメント解析テストで、10億パラメーター未満のモデルとして首位に立ったと説明している。この主張は README の表と合致する。Xiaomi-OCR-0 は96.83点で、1.2B の TeleOCR だけが96.87点とわずかに上回っている。

1つのモデルで3つのタスク

Xiaomi-OCR-0 は、ドキュメント解析、重要情報の抽出、文字を伴う視覚的質問応答を1つのモデルでこなす。技術レポートによると、学習コーパスは約1.7億サンプルで、専門家の合意、レンダリングに基づく検証、狙いを定めた合成を組み合わせた自動データエンジンで生成された。学習は Qwen3.5-0.8B を出発点に、Q-Mask によるテキストアンカリング、継続事前学習、混合タスクの強化学習を順に経ている。

Xiaomi が公表したその他のスコアは、UniMER-Test の数式認識が97.84、PubTabNet の表認識(TEDS)が92.27、5つの視覚的質問応答ベンチマークの平均が83.2で、Qwen3.5-2B の80.9を上回る。いずれも開発元による自己測定だ。

デプロイは SGLang または vLLM で行え、実験的な Ollama パッケージもある。README には、エージェントに SKILL.md を読ませて自動でインストールさせるためのプロンプトが用意されている。ページ領域ごとに解析するモードを使う場合は、PaddlePaddle、PaddleX、PP-DocLayoutV3 を別途インストールする必要がある。

95.24と92.73の差はどこから来るのか

「首位」という主張以上に注目したいのが、Real5-OmniDocBench の列だ。このデータセットは、OmniDocBench v1.5 の1355ページの文書を、スキャン、湾曲、画面の再撮影、照明、傾きという5つの条件で撮り直したもので、合計6775枚の画像からなる。きれいな電子文書よりも、実際に撮影した場面に近い。

README の表では、Xiaomi が95.24点、PaddleOCR-VL-1.6 が93.19点、OvisOCR2 が92.29点で、Xiaomi が1位になっている。ところが Hugging Face 上の公開ランキングでは順位が異なる。

順位モデルパラメーター数ランキングスコア
1PaddleOCR-VL-1.60.9B93.19
2Xiaomi-OCR-00.8B92.73
3OvisOCR20.9B92.29
5GLM-5.3-Flash321B90.76
8Kimi-K2.61.1T89.76
9Gemini-3 Pro非公開89.24

ランキングのディスカッション欄には、やり取りの経緯が残っている。評価を提出した側は、Real5 は OmniDocBench の v1.5 ブランチで採点する必要があると述べた。Xiaomi の研究者は、自社の参考値は v1.6 のコードで出したもので、2段階パイプラインが95.24、エンドツーエンドが93.45だと返答し、その後2段階方式の生の予測結果を提出した。相手側が v1.5 で再計算した総合スコアは92.7863で、ランキング上の数値とほぼ一致した。この結果はその後ランキングに反映された。

双方とも評価コードのバージョンが主因だとみており、Xiaomi 側は vLLM の推論パラメーターも影響しうると述べている。ただし、2つのバージョン間の差のうちコードに起因する分がどれだけあるのかは、議論の中で切り分けられていない。

ランキング自体もまだ固まっていない

README の表の問題は、基準が混在している点にある。Xiaomi の欄は v1.6 コードによるスコアである一方、競合の93.19と92.29はランキングの数値と一致している。同じ列で比べる限り、首位という結論は成り立たない。

この論争にはもう一つ背景がある。Real5 のデータセットは PaddlePaddle の組織が管理しており、首位も同組織の PaddleOCR-VL-1.6 だ。Xiaomi の2段階方式が使うレイアウト検出器 PP-DocLayoutV3 も同じエコシステムに属する。ディスカッションには採点に偏りがあることをうかがわせる点はなく、再計算の過程も公開されているが、独立した第三者による再現は確認できなかった。

ディスカッションでは、データセット側の参加者が、近く Real5 を最新の OmniDocBench に合わせてアップグレードし、新しい指標に統一すると表明している。それまでは、モデル選定にあたって0.4点の差から結論を出す意味は薄い。これらのモデルはいずれも無償でダウンロードできる。自社のスキャン文書やスマートフォンの写真で試したほうが、ランキングよりも多くのことが分かるはずだ。

参考資料:Xiaomi Research の GitHub リポジトリと技術レポート、CocoLoop、Real5-OmniDocBench 公開ランキングおよび Hugging Face のディスカッション。ランキング以外のスコアはいずれも開発元による自己測定。