OCR от Xiaomi на своём компьютере: Xiaomi-OCR-0

Пост AI-DA!: лёгкая OCR-модель читает сканы и счета локально. Сверка с README xiaomi-research/Xiaomi-OCR-0 (страница проекта ведёт на HF Space SeerRay-Lab).

Что это

Единая визуально-языковая модель (0.8B) для разбора документов и понимания текста с упором на OCR (старт с Qwen3.5-0.8B, обучение на ~170M таких образцов — по README). Лицензия репозитория: Apache-2.0.

Умеет (README):

• парсинг страниц в структурированный Markdown (таблицы HTML в MD, формулы LaTeX);
• KIE — нужные поля в JSON;
• VQA по тексту документа — ответы по содержимому страницы;
• MCP/скилл для агентов; локальное демо в браузере.

Цифры бенчмарков из README

• 96.83 на OmniDocBench v1.6 (#2 в сравнении на OmniDocBench v1.6 в таблице README);
• 95.24 Real5-OmniDocBench (#1 в их таблице);
• 87.94 Wild-OmniDocBench;
• 97.84 UniMER-Test (формулы); 92.27 TEDS PubTabNet;
• среднее 83.2 на пяти OCR-VQA бенчмарках.

В посте AI-DA! также указывали вес 800 млн параметров и работу без облака — это согласуется с локальной моделью 0.8B.

Зачем бизнесу

Разобрать фото чека/счёта/акта в JSON-поля, прогнать скан договора в Markdown, задать вопрос по странице — на своей машине, без отправки файла в произвольный SaaS (при локальном запуске весов).

Как пробовать

1. Репозиторий GitHub + веса на Hugging Face / ModelScope (ссылки в README).
2. Есть экспериментальный тег Ollama в бейджах README.
3. Для агентов — каталог skills/xiaomi-ocr/ и MCP-сервис.
4. Демо — папка demo/ для локального интерфейса в браузере.

Точные команды установки зависят от выбранного способа запуска (HF transformers / Ollama / GGUF community). Берите актуальный блок быстрого старта из README выбранного пути — не копируйте устаревшие однострочники из чужих форков без сверки.

Практический запрос к агенту со скиллом:

Распознай скан invoice.png. Верни JSON: номер, дата, поставщик, сумма, валюта.
Если поля нет на изображении — пиши null, не выдумывай.

Цены

Код/модель по условиям репозитория и карточки весов (Apache-2.0 у GitHub-репо). Инференс — ваше железо. Облачный HF Space может иметь свои лимиты очереди.

Ограничения

Для рукописного текста и текста на фотографиях README советует разбирать страницу целиком, а не нарезать регионы по ошибке. Качество на плохих фото ниже бенчмарков на чистых документах. Проверяйте суммы и реквизиты глазами перед бухгалтерией.

Первоисточники

• https://github.com/xiaomi-research/Xiaomi-OCR-0
• HF / arXiv / demo — бейджи в README репозитория

Мини-чеклист перед боевым использованием

1. Сверьте README или официальную страницу — команды могли обновиться.
2. Первый запуск — только на тестовых данных.
3. Зафиксируйте commit/версию и дату проверки ссылок.
4. Пароли и коды 2FA — только в менеджере секретов или окне ОС.
5. Сохраните короткую памятку команды (5–10 строк) после первого успеха.

FAQ

Нужен ли VPN? В первоисточниках инструмента обязательный VPN не заявлен.

Сразу в прод? Нет. Сначала пилот на одной задаче и проверка глазами.

Где смотреть обновления? Releases и README репозитория или changelog официального сайта.

Примечание о фактах

Цифры и возможности взяты из первоисточников и поста AI-DA!, сверенных с ними. То, чего нет в источниках, в статье не утверждается.

Что проверить глазами после установки

• Команда из README выполняется без ошибки на вашей ОС.
• Тестовый пример из документации даёт ожидаемый тип результата (файл, JSON, черновик текста).
• Нет утечки секретов в логи агента и git status.
• Вы понимаете, какая часть бесплатная, а какая биллится у провайдера.
• Есть план отката: как удалить плагин/контейнер/ключи, если инструмент не зашёл.

Дальше в AI-DA!

Короткие рабочие разборы — в Telegram: t.me/ai_da_ru.

Если применили инструмент из разбора — напишите в комментариях к посту в канале, что сработало.