Компания Xiaomi объявила об открытии модели Xiaomi-OCR-0, представляющей собой легковесную модель для понимания документов. Веса и код для инференса этой модели доступны на платформах Hugging Face и GitHub, как сообщила компания 30 октября.
Модель обладает 0.8 миллиарда параметров и спроектирована для выполнения трех типов задач в рамках одной системы: парсинг документов, извлечение ключевой информации и ответы на визуальные вопросы по OCR.
Функционал парсинга включает распознавание основного текста, таблиц и математических формул, выводя структурированные результаты в порядке чтения с поддержкой нативных форматов Markdown и LaTeX. Для извлечения ключевой информации модель ориентируется на счета-фактуры, чеки, удостоверения личности и деловые формы, находя запрошенные поля и предоставляя результат в формате JSON для автоматизированных рабочих процессов.
Ответы на визуальные вопросы выходят за рамки простого транскрибирования, позволяя выполнять поиск между регионами, проводить числовые расчеты и осуществлять рассуждения на основе документов и графиков.
Методология обучения и тренировки
Xiaomi утверждает, что модель построена на базе модели Qwen3.5-0.8B-Base и была обучена на приблизительно 170 миллионах образцов OCR и документов. Метки данных были отфильтрованы путем достижения консенсуса нескольких экспертных моделей OCR, которые проводили взаимную проверку и голосовали по областям текста, таблиц и формул.
При работе со сложными таблицами и формулами команда использовала цикл «предсказание, повторное рендеринг и сравнение»: кандидатные результаты рендерились обратно в изображения и сравнивались с оригиналом на уровне пикселей и структуры для обнаружения смещенных строк или отсутствующих символов. Синтетические сложные случаи включали многоязычный текст, исторический почерк, эффект моаре экрана и искаженное освещение.
Процесс обучения проходил в три этапа: сначала текстовое закрепление для согласования визуальных областей с текстовыми токенами, затем продолженное предварительное обучение OCR на десятках миллиардов токенов, и, наконец, обучение с подкреплением для смешанных задач с проверяемыми наградами, такими как структурное расстояние редактирования и баллы соответствия таблицам.
Результаты тестирования
На бенчмарке OmniDocBench v1.6 модель показала результат 96.83, заняв второе место в общем зачете, всего на 0.04 балла позади лидера, и став первой среди моделей с параметрами менее одного миллиарда. На тесте Real5-OmniDocBench, который имитирует сканирование, мятую бумагу, снимки экрана, изменения освещения и наклоненные кадры, модель набрала 95.24 балла. Показатели на Wild-OmniDocBench составили 87.94.
Модель достигает 97.84 на эталонном тесте формул UniMER-Test и 92.27 на PubTabNet для оценки структуры таблиц. При усреднении результатов по DocVQA, InfoVQA, ChartQA, OCRBench и TextVQA, она набирает 83.2 балла, опережая HunyuanOCR-1.5 с 76.5 и 8B MiniCPM-V-4.5 с 82.6, хотя уступает Qwen3.5-4B со счетом 84.9. Следует отметить, что все представленные цифры являются собственными данными Xiaomi.
Xiaomi сообщает, что данная технология уже интегрирована в помощника Super XiaoAi на ее телефонах, где она способна извлекать коды приема, номера очередей, детали счетов и время встреч непосредственно с экрана. Помимо весов модели, Xiaomi предоставляет разработчикам демонстрационную версию в браузере, сервис MCP и набор инструментов Agent Skill.
