OmniDocBench、olmOCR-Bench和DocParsingBench，三榜第一。

双栏论文串行，手写公式识别成一堆乱码，跨页大表格结构直接崩解，至于化学结构式，很多工具干脆直接当成杂乱线条丢弃。。。

就算是一个只有27B的模型，本地部署成本也高得离谱，起码上个M5 Pro 64G吧，这还不考虑输出速度的问题。

排版千奇百怪，专业公式、代码、图表错综复杂，纯靠人工标注不仅成本高到上天，而且人工标注的错误率本身就高得吓人。

真实世界里的长尾Bad Case你根本穷尽不了。工程师辛辛苦苦挑出坏样本、人工修正、重新训练，好不容易发了个新版本，遇到新的奇葩排版还是会挂。

不依赖新增的人类手工标注，让AI系统自己找错、自己分析原因、自己准备下一轮训练数据、自己迭代进化。

紧接着，通用多模态模型（General VLM）登场，结合原始图像、解析结果和评判标准，把样本切分成三类：

如果你只给模型Correct和Wrong两个非黑即白的选项，评判模型的犹豫就会被强行包装成一个确定标签，最后把毒素喂给下一轮训练。

一份文档如果跑几次出来的结果大相径庭，说明模型底气不足，哪怕碰巧蒙对一次，也会被直接扔进Uncertain集合。

最后，在语义完全不变的前提下，系统会针对这些高分歧样本做轻微的图像扰动（小幅缩放、压缩、轻微模糊或平移）。

如果加了扰动后分歧进一步扩大，说明模型对这类无害的视觉变化过度敏感，这个扰动动作就会被当场记录为一条核心病因，直接指导下一轮针对性补强。

在这个阶段，General VLM会像一个老医生一样，逐个样本去诊断：是跨列单元格对齐失败，还是手写连笔识别错误？

诊断出的自然语言原因，会被输入到SigLIP2提取特征向量，然后通过独立的聚类模型进行聚类，形成清晰的原因簇（Reason clusters）。

比如，一张财务报表和一张化学实验记录表，外观和文字八竿子打不着，但如果归因聚类发现它们都死在某种罕见的跨行跨列结构上，这就会被提炼为一个共同的数据构造方向。

每一次生成新数据，都会从真实样本中抓取排版风格作为锚点，把需要攻克的结构难点自然地融入进去。

在单张RTX PRO 6000上，OXR端到端解析100页文档只要101.0秒，开源第一。

最开始大家搞 Pipeline ，检测、识别、排序各用一个独立专有模型，拼起来极其臃肿，维护成本上天。

后来 VLM 火了，大家发现所有任务本质上都是图片到序列的映射，于是开始尝试用端到端大模型一锅端，让大模型直接全页往外蹦字和排版。

把版面分析（LA）和阅读顺序（RO）合并成一个小模型，后面接识别（Recognition）模型，做成了两个模型、两个阶段。

独立的轻量模型负责版面分析（LA），OXR主模型同时负责内容识别（Recognition）与阅读顺序判断（RO）。

OXR把阅读顺序判断并入主模型之后，不仅没有增加额外时间，反而因为主模型本身具备语义理解能力（Content-Aware），使得阅读顺序的判断准确率大幅提升。

同时，前面的版面分析模型（LA）由于卸下了复杂的排序包袱，任务变得极度纯粹，可以直接采用更轻量的高效检测模型，整体吞吐量原地起飞。

一个图文混排的区域，内容团队希望当成一整张图提取，知识库团队希望把里面的文字抠出来当正文；

如果你的业务有着极其特殊的版面划分需求，比如你要处理古籍、医疗单据，你完全可以用自己训练的私有版面分析模型，无缝替换掉，

不需要你自己吭哧吭哧去重新编译vLLM，直接在官方Docker或CLI挂载插件就能一键拉起服务。

当然，如果你有更高的需求，比如处理Word、PPT、Excel等更多格式，或者追求更完善的后处理定制能力，也可以去了解一下官方维护的商业级引擎。

Agent正在全面接管各行各业工作流的今天，人类过去几十年沉淀下来的最核心、最专业的私域知识，绝大多数都还静静地躺在那些格式混乱、排版复杂的PDF、扫描件和报表里面。

大语言模型再聪明，如果给它喂进去的输入是一堆顺序错乱、表格破碎的字符垃圾，它吐出来的也只能是幻觉。

过去很多人把OCR当成一个技术含量不高的搬砖活，但今天从OCR到OXR，它所承担的使命已经完全变了。

它是人机交互的桥梁，把人类世界里所有复杂的多模态文档，完整无损地重构成对Agent极其友好的结构化资产。

太多人的目光聚焦在Fancy叙事了，天天都在追前沿技术，反而让我们忘记了一件很重要的事——

Hugging Face：https://huggingface.co/SoMarkAI/OXR-1.0

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1