Xiaomi OCR tự nhận số 1, bảng xếp hạng công khai xếp thứ hai

Open source illustration: hands joining branches to a shared node tree

Ngày 30/10, Xiaomi chính thức quảng bá qua tài khoản chính thức mô hình tài liệu mã nguồn mở Xiaomi-OCR-0, có 0,8 tỷ tham số, xây dựng trên Qwen3.5-0.8B và phát hành theo giấy phép Apache-2.0. Thực ra trọng số và báo cáo kỹ thuật đã được công bố từ cuối tháng 9; lần này hãng bổ sung thêm dịch vụ MCP và Agent Skill, có thể xem là màn ra mắt chính thức hướng đến nhà phát triển.

Theo cách nói của Xiaomi, mô hình đứng đầu nhóm dưới 1 tỷ tham số trong bài kiểm tra phân tích tài liệu OmniDocBench v1.6. Phát biểu này khớp với bảng trong README: Xiaomi-OCR-0 đạt 96,83, chỉ có TeleOCR 1,2B nhỉnh hơn một chút với 96,87.

Một mô hình, ba tác vụ

Xiaomi-OCR-0 gộp phân tích tài liệu, trích xuất thông tin chính và hỏi đáp trực quan liên quan đến văn bản vào cùng một mô hình. Báo cáo kỹ thuật cho biết kho dữ liệu huấn luyện gồm khoảng 170 triệu mẫu, do một bộ máy dữ liệu tự động tạo ra, kết hợp đồng thuận của chuyên gia, xác minh dựa trên kết xuất và dữ liệu tổng hợp có định hướng. Quá trình huấn luyện xuất phát từ Qwen3.5-0.8B, lần lượt trải qua neo văn bản Q-Mask, tiền huấn luyện liên tục và học tăng cường đa tác vụ hỗn hợp.

Các kết quả khác Xiaomi công bố gồm: nhận dạng công thức UniMER-Test đạt 97,84, nhận dạng bảng PubTabNet TEDS đạt 92,27, trung bình năm bộ chuẩn hỏi đáp trực quan đạt 83,2, cao hơn mức 80,9 của Qwen3.5-2B. Tất cả đều do bên phát triển tự đo.

Về triển khai, có thể chạy qua SGLang hoặc vLLM, ngoài ra còn có gói Ollama ở dạng thử nghiệm; README cung cấp sẵn một đoạn prompt để Agent đọc SKILL.md và tự cài đặt. Chế độ phân tích theo từng vùng của trang cần cài thêm PaddlePaddle, PaddleX và PP-DocLayoutV3.

95,24 và 92,73 chênh nhau ở đâu

Điều đáng chú ý hơn danh hiệu “số 1” là cột Real5-OmniDocBench. Bộ dữ liệu này lấy 1.355 trang tài liệu của OmniDocBench v1.5 rồi thu thập lại dưới năm điều kiện: quét, cong, chụp lại màn hình, ánh sáng và nghiêng, tổng cộng 6.775 ảnh, sát cảnh chụp ảnh thực tế hơn nhiều so với tài liệu điện tử sạch.

Trong bảng của README, Xiaomi đạt 95,24, PaddleOCR-VL-1.6 đạt 93,19 và OvisOCR2 đạt 92,29, tức Xiaomi đứng nhất. Nhưng bảng xếp hạng công khai trên Hugging Face lại cho thứ tự khác:

HạngMô hìnhSố tham sốĐiểm trên bảng
1PaddleOCR-VL-1.60,9B93,19
2Xiaomi-OCR-00,8B92,73
3OvisOCR20,9B92,29
5GLM-5.3-Flash321B90,76
8Kimi-K2.61,1T89,76
9Gemini-3 ProChưa công bố89,24

Khu thảo luận của bảng xếp hạng còn lưu lại diễn biến. Bên nộp bài đánh giá cho biết Real5 bắt buộc phải chấm bằng nhánh v1.5 của OmniDocBench. Nhà nghiên cứu của Xiaomi trả lời rằng giá trị tham chiếu của họ được chạy bằng mã v1.6: quy trình hai giai đoạn đạt 95,24, đầu-cuối đạt 93,45, sau đó nộp lại dự đoán gốc của quy trình hai giai đoạn. Phía kia chấm lại bằng v1.5 và ra tổng điểm 92,7863, về cơ bản trùng với con số trên bảng. Kết quả này sau đó đã được hợp nhất vào bảng xếp hạng.

Hai bên đều cho rằng phiên bản mã đánh giá là yếu tố chính; phía Xiaomi còn nhắc rằng tham số suy luận vLLM cũng có thể ảnh hưởng. Tuy vậy, khoảng cách giữa hai phiên bản có bao nhiêu phần đến từ mã đánh giá thì cuộc thảo luận chưa tách ra tính.

Bản thân bảng xếp hạng cũng chưa ổn định

Vấn đề của bảng trong README là trộn lẫn các tiêu chuẩn: ô của Xiaomi là điểm theo mã v1.6, trong khi con số 93,19 và 92,29 của hai đối thủ lại trùng với bảng xếp hạng. Đặt chung một cột để so sánh thì kết luận “hạng nhất” không đứng vững.

Tranh cãi này còn một lớp bối cảnh nữa. Bộ dữ liệu Real5 thuộc tổ chức PaddlePaddle, vị trí đầu bảng cũng là PaddleOCR-VL-1.6 do chính họ phát triển, còn bộ phát hiện bố cục PP-DocLayoutV3 mà phương án hai giai đoạn của Xiaomi sử dụng cũng đến từ hệ sinh thái này. Khu thảo luận không có dấu hiệu cho thấy việc chấm điểm thiên vị, quá trình chấm lại cũng được công khai, nhưng chúng tôi chưa tìm thấy bản tái lập độc lập từ bên thứ ba.

Trong khu thảo luận, người của phía bộ dữ liệu cho biết sắp tới sẽ nâng cấp Real5, đồng bộ với phiên bản OmniDocBench mới nhất và thống nhất ra bộ chỉ số mới. Trước đó, các nhóm chọn giải pháp mà dựa vào chênh lệch 0,4 điểm để kết luận thì ý nghĩa không lớn. Các mô hình này đều tải miễn phí được; tự chạy thử trên bản quét và ảnh chụp điện thoại của chính mình sẽ cho biết nhiều hơn bảng xếp hạng.

Nguồn tham khảo: kho GitHub và báo cáo kỹ thuật của Viện nghiên cứu Xiaomi; CocoLoop; bảng xếp hạng công khai Real5-OmniDocBench và thảo luận trên Hugging Face; trừ bảng xếp hạng, các điểm số đều theo cách đo do bên phát triển tự thực hiện.