A equipe de startup chinesa SoMark, especializada em análise inteligente de documentos, tornou o modelo OXR, que significa Optical Everything Recognition, público. O modelo principal, OXR-1.0, possui apenas 1,3 bilhão de parâmetros e é capaz de converter arquivos PDF e imagens de documentos para formatos Markdown ou JSON, incluindo as coordenadas de localização dos elementos, o que a equipe descreve como uma representação de dados conveniente para agentes.
O código e os pesos do modelo estão disponíveis nas plataformas GitHub, Hugging Face e ModelScope, além de haver uma demonstração online e uma API gratuita.
Resultados de teste e capacidades do modelo
De acordo com o repositório oficial, o OXR ocupa o primeiro lugar em três benchmarks públicos: 97,18 pontos no OmniDocBench, 87,84 no olmOCR-Bench e 87,76 no DocParsingBench, demonstrando uma vantagem particularmente significativa no parsing de tabelas. A equipe publica resultados completos e instruções de reprodução em sua documentação de benchmarks.
Em um teste de desempenho realizado em uma placa RTX PRO 6000 Blackwell com 96 GB de memória, o OXR processou 100 páginas aleatórias do OmniDocBench em aproximadamente 101 segundos. Isso foi mais rápido do que o PaddleOCR-VL-1.6 (aproximadamente 145 segundos) e o MinerU2.5-Pro (255 segundos).
O modelo reconhece 13 tipos de elementos, incluindo texto, títulos, tabelas, fórmulas, carimbos, blocos de código, equações químicas e estruturas químicas. As tabelas são exportadas em formato HTML ou Markdown, as fórmulas em LaTeX, as equações químicas em sintaxe mhchem e as estruturas moleculares em strings SMILES. Além disso, o modelo determina a ordem de leitura, o que é crucial para materiais de múltiplas colunas, como jornais, artigos científicos e provas, onde blocos corretamente reconhecidos podem ser montados em uma sequência incorreta.
Soluções arquitetônicas inovadoras
Dois principais designs se destacam. Primeiro, um modelo leve de layout é responsável por determinar as áreas, enquanto o modelo principal realiza o reconhecimento de conteúdo e a determinação da ordem de leitura em uma única etapa, eliminando uma etapa separada de ordenação. A SoMark afirma que esta é a primeira implementação que torna o módulo de layout independente e conectável, permitindo que empresas substituam seu próprio módulo de layout por outras categorias de elementos ou limites de área, mantendo o reconhecimento OXR.
Em segundo lugar, após o treinamento, é usado um ciclo de autoaperfeiçoamento recursivo: o OXR processa documentos não rotulados, modelos externos avaliam o resultado obtido e diagnosticam erros, um modelo de clusteriza os falhas por causa, e para a próxima rodada, são gerados dados de treinamento alvo sem necessidade de rotulagem manual.
A equipe relatou que o repositório atingiu 1000 estrelas no GitHub na primeira semana. A publicação de um artigo científico no arXiv está anunciada em breve. Para desenvolvedores que criam pipelines de geração aumentada por recuperação (retrieval-augmented generation) ou pipelines de agentes, o OXR representa uma opção pequena, rápida e aberta para transformar documentos complexos em entrada estruturada.
