3MVRD: Multimodal Multi-task Multi-teacher Visually-Rich Form Document Understanding
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学);Politecnico di Torino(都灵理工大学)
本文提出3MVRD,一种多模态多任务多教师联合粒度知识蒸馏模型,通过token与entity关联及新损失函数优化知识迁移,在表单文档理解任务上显著优于现有基线。
2024-07-26 cs.CL cs.CV
Unified Pretraining Framework for Document Understanding
Adobe Research(奥多比研究院);Adobe Document Cloud(奥多比文档云)
文档智能可自动从文档中提取信息,并支持许多业务应用程序。最近的自监督学习方法在大规模的未标记的文档数据集开辟了有前途的方向,减少注释工作的训练模型与自我监督的目标。然而,大多数现有的文档预训练方法仍然是语言主导的。我们提出了UDoc,一个新的统一的文档理解的预训练框架。UDoc旨在支持大多数文档理解任务,扩展了Transformer以将多模态嵌入作为输入。每个输入元素由来自输入文档图像的语义区域的单词和视觉特征组成。UDoc的一个重要特征是它通过使用三个自我监督损失来学习通用表示,鼓励表示建模句子,学习相似性和对齐模态。大量的实证分析表明,预训练过程学习更好的联合表示,并导致下游任务的改进。
2022-04-28 cs.CL cs.CV
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
Docopilot: Improving Multimodal Models for Document-Level Understanding
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);Nankai University(南开大学);Fudan University(复旦大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对多页文档理解不足及RAG方法缺陷,本文提出Doc-750K数据集并开发原生多模态模型Docopilot,在不依赖检索的情况下实现更优的文档级理解性能。
2025-07-19 cs.CL cs.CV
InSight-doc: Agentic Visual Perception for Long-Document Understanding
The Hong Kong University of Science and Technology(香港科技大学);Huawei(华为)
本研究提出智能体视觉感知框架InSight-doc,通过自适应选择放大高分辨率区域处理长文档,经SFT+RL训练后在文档VQA任务中显著提升准确率、降低幻觉与推理延迟,相关资源已公开。
2026-08-12 cs.CL cs.CV cs.LG
Workshop on Document Intelligence Understanding
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学)
本研讨会旨在推动自动文档处理与理解技术,并发布了基于文档级VQA数据集PDFVQA的挑战赛,通过多页连续文档的问答任务,考察并提升模型在完整文档级别的结构与上下文理解能力。
2023-07-31 cs.CV cs.IR
InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructions
NTT Corporation(日本电信电话公司);Tohoku University(东北大学)
本文构建涵盖30个公开VDU数据集、12项任务并带统一多样化指令的 InstructDoc,并提出以可训练桥接模块融合文档图像、图像编码器与LLM的 InstructDr,实现指令引导的零样本VDU泛化且性能优于现有多模态LLM和ChatGPT。
2024-01-24 cs.CL cs.CV
Nougat: Neural Optical Understanding for Academic Documents
Meta AI
针对PDF格式科学文档语义信息易丢失的问题,提出名为Nougat的Visual Transformer模型,可通过OCR将科学文档转为标记语言,在新数据集上验证了有效性并开源模型代码,助力提升科学知识可访问性。
2023-08-25 cs.CV cs.LG
Wukong-Reader: Multi-modal Pre-training for Fine-grained Visual Document Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对数百万数字生成或扫描文档的无监督预训练在视觉文档理解~(VDU)方面显示出有希望的进步。虽然在现有的解决方案中研究了各种视觉语言预训练目标,但文档文本行作为VDU中的固有粒度,迄今为止很少被探索。文档文本行通常包含空间和语义相关的单词,这些单词可以很容易地从OCR引擎中获得。在本文中,我们提出了Wukong-Reader,用新的预训练目标训练,以利用嵌套在文档文本行中的结构知识。我们引入文本行-区域对比学习来实现视觉区域和文档文本行的文本之间的细粒度对齐。此外,掩蔽区域建模和文本行网格匹配也被设计来增强文本行的视觉和布局表示。实验表明,我们的悟空阅读器在信息抽取等各种VDU任务上具有优越的性能。对文本行的细粒度对齐也使Wukong-Reader具有很好的本地化能力。
2022-12-19 cs.CL cs.CV
DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models
KAIST AI(韩国科学技术院人工智能学院);AWS AI Labs(亚马逊云科技人工智能实验室)
针对直接用LLM蒸馏知识提升小型视觉文档理解模型泛化性效果不佳的问题,提出整合外部文档知识的DocKD框架,生成的标注质量更高,训练出的模型域外表现显著优于人工标注数据训练的模型。
2024-10-04 cs.CL cs.CV
Efficient End-to-End Visual Document Understanding with Rationale Distillation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学)
本文提出理由蒸馏(RD)方法,将OCR、LLM和多模态模型的输出作为中间理由训练小规模图像到文本模型,在三个视觉文档理解基准上以仅1%的额外计算成本将Pix2Struct准确率提升4-5%。
2024-04-02 cs.CL cs.CV
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
End-to-end Document Recognition and Understanding with Dessurt
Brigham Young University(杨百翰大学);Adobe Research(奥多比研究院)
我们介绍Dessurt,一个相对简单的文档理解Transformer能够被微调的更大的各种文件的任务比以前的方法。它接收文档图像和任务字符串作为输入,并自动生成任意文本作为输出。因为Dessurt是除了文档理解之外还执行文本识别的端到端架构,所以它不像现有方法那样需要外部识别模型。Dessurt是一个比以前的方法更灵活的模型,能够处理各种文档域和任务。我们表明,该模型是有效的,在9个不同的任务组合。
2022-06-15 cs.CV
PP-DocBee: Improving Multimodal Document Understanding Through a Bag of Tricks
PaddlePaddle Team, Baidu Inc.(百度公司)
本报告提出 PP-DocBee 多模态大模型,通过数据合成策略与动态采样等训练技巧,在文档图像理解任务上取得 SOTA 性能。
2025-06-26 cs.AI cs.CL cs.CV
Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models
Hana Institute of Technology, Hana TI(韩亚科技研究院(韩亚TI))
本文提出一种轻量级标记修剪方法,通过过滤非信息性背景区域来降低视觉-语言模型在文档理解任务中的计算成本,同时保持较高的准确性。
2026-03-04 cs.AI cs.CL cs.CV
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Azure Cognitive Services Research(微软Azure认知服务研究院);Microsoft Azure Visual Document Intelligence(微软Azure视觉文档智能部门)
我们提出了通用文档处理(UDOP),这是一个基础文档AI模型,它将文本,图像和布局模式与各种任务格式结合在一起,包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性,用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer,UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知,这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术,例如,文档理解和QA,跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
Hierarchical BERT for Medical Document Understanding
IQVIA(艾昆纬)
医学文档理解近年来受到广泛关注。一个代表性的任务是国际疾病分类(ICD)诊断代码分配。现有的工作采用RNN或CNN作为骨干网络,因为香草BERT不能很好地处理长文档(>2000到kens)。所有这些方法的一个共同问题是,它们过于特定于ICD代码分配任务,失去了提供整个文档级和文档级嵌入的通用性。因此,将它们引导到其他下游NLU任务并不简单。出于这些观察,我们提出了医疗文档BERT(MDBERT)的长期医疗文档理解的任务。MDBERT不仅在学习不同语义级别的表示方面有效,而且通过利用自下而上的层次结构,在编码长文档方面也很有效。与普通的BERT解决方案相比:1,MDBERT在MIMIC-III数据集上将性能提高了20%,使其与当前的SOTA解决方案相当; 2,它将自注意模块的计算复杂性降低到1/100以下。除了ICD代码分配之外,我们还在一个名为TrialTrove的大型商业数据集上进行了各种其他NLU任务,以展示MDBERT在提供不同级别语义方面的优势。
2022-03-11 cs.AI cs.CL cs.CV
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University(上海交通大学)
提出多模态预训练网络 WebLM,通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务,提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
How does Watermarking Affect Visual Language Models in Document Understanding?
Southeast University, China(东南大学);University of California, Merced, USA(加州大学默塞德分校);National University of Singapore, Singapore(新加坡国立大学);The University of Queensland, Australia(昆士兰大学)
提出评估框架研究可见水印对视觉语言模型文档理解性能的影响,发现水印导致性能下降高达36%,并揭示了分散水印和语义内容通过改变注意力分布与嵌入表示造成干扰的机制。
2025-07-16 cs.CR cs.CV cs.LG
Bi-VLDoc: Bidirectional Vision-Language Modeling for Visually-Rich Document Understanding
Alibaba Group(阿里巴巴集团);School of Electronic and Information Engineering(电子与信息工程学院);South China University of Technology(华南理工大学)
针对视觉丰富文档理解中视觉-语言交互建模不足的问题,提出双向视觉-语言监督与混合注意力机制的预训练范式Bi-VLDoc,在表单理解、收据信息抽取和文档分类等基准上显著超越现有最先进方法。
2025-06-18 cs.CL cs.CV cs.MM
INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents
IIT Jodhpur(印度理工学院贾尔普尔分校);Punjabi University(旁遮普大学)
本文提出INDOTABVQA基准测试,用于评估跨语言表格视觉问答性能,包含1593张文档图像和四语问题-答案对,揭示了VLM在单语和跨语言设置下的性能差异,并展示了微调对提升准确性的作用。
2026-04-13 cs.AI cs.CL cs.CV
Adaptive Markup Language Generation for Contextually-Grounded Visual Document Understanding
CUHK MMLab(香港中文大学MML实验室);vivo AI Lab(vivo人工智能实验室);CPII under InnoHK(创新工场下的CPII);Shanghai AI Lab & Shenzhen Institute of Advanced Technology, CAS(上海人工智能实验室及深圳先进技术研究所,中国科学院)
本文提出利用 Markdown、JSON、HTML 和 TiKZ 等标记语言自适应生成结构化文档表示,并构建 DocMark-Pile 与 DocMark-Instruct 两个细粒度数据集,显著提升视觉文档理解性能。
2025-05-08 cs.CL cs.CV
WildDoc: How Far Are We from Achieving Comprehensive and Robust Document Understanding in the Wild?
ByteDance, China(字节跳动,中国);Huazhong University of Science and Technology, China(华中科技大学,中国)
WildDoc是首个评估真实环境文档理解的基准,通过多样拍摄条件揭示多模态大语言模型性能显著下降,凸显鲁棒性不足。
2025-05-27 cs.CV
FUNSD: A Dataset for Form Understanding in Noisy Scanned Documents
Swiss Federal Institute of Technology(瑞士联邦理工学院);Istanbul Technical University(伊斯坦布尔理工大学)
我们提出了一个新的数据集的形式理解在嘈杂的扫描文档(FUNSD),旨在提取和结构化的文本内容的形式。该数据集包括199个真实的、完全注释的、扫描的表格。这些文件是嘈杂的,外观变化很大,使形式理解(FoUn)成为一项具有挑战性的任务。建议的数据集可用于各种任务,包括文本检测,光学字符识别,空间布局分析,和实体标记/链接。据我们所知,这是第一个公开可用的数据集,具有全面的注释来解决FoUn任务。我们还提出了一组基线,并引入了衡量标准来评估FUNSD数据集的性能,这些数据集可以在https://guillaumejaume.github.io/FUNSD/上下载。
2019-10-29 cs.CV cs.IR cs.LG
Arctic-TILT. Business Document Understanding at Sub-Billion Scale
Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
Arctic-TILT 是一个亚十亿参数模型,可在单张 24GB GPU 上微调部署,以极低成本实现与千倍规模模型相当的文档理解准确率,并在七个基准上达到最先进水平。
2024-08-08 cs.CL cs.CV
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学);Deakin University(迪肯大学)
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中,我们调查的问题,提高性能的人工智能系统在理解文档图像,特别是在训练数据是有限的情况下。我们提出了一种新的微调方法,使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络,并使用策略梯度训练来更新模型,以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明,我们的微调机制始终提高了最先进的信息提取器的性能,特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
Focus Anywhere for Fine-grained Multi-page Document Understanding
University of Chinese Academy of Sciences(中国科学院大学);MEGVII Technology(旷视科技)
本文提出Fox流水线,通过混合数据和调优策略,使大型视觉语言模型能聚焦于单页或多页文档的任意区域,实现细粒度理解,并构建含9个子任务的基准验证其优越性。
2024-05-23 cs.CV
Fast-StrucTexT: An Efficient Hourglass Transformer with Modality-guided Dynamic Token Merge for Document Understanding
Beijing Institute of Technology(北京理工大学);Baidu Inc(百度公司);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
提出Fast-StrucTexT高效多模态框架,采用沙漏Transformer架构与模态引导动态token合并块,结合对称交叉注意力模块实现多粒度表示与冗余token剪枝,在三个数据集上达到SOTA性能且推理速度提升1.9倍。
2023-05-19 cs.CL cs.CV
DavarOCR: A Toolbox for OCR and Multi-Modal Document Understanding
Hikvision Research Institute(海康威视研究院)
本文介绍了DavarOCR,OCR和文档理解任务的开源工具箱。DavarOCR目前实现了19种高级算法,涵盖9种不同的任务形式。DavarOCR提供了详细的使用说明和每个算法的训练模型。与之前的开源OCR工具箱相比,DavarOCR对文档理解这一前沿技术的子任务有了相对更完整的支持。为了促进OCR技术在学术界和工业界的发展和应用,我们更加关注不同技术子领域可以共享的模块的使用。DavarOCR在https://github.com/hikopensource/Davar-Lab-OCR上公开发布。
2022-07-14 cs.CV
QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding
Sungkyunkwan University(成均馆大学);Amazon(亚马逊公司);Pluralis Research(普拉里斯研究院)
QID通过保持架构不变的查询感知与查询无关双模块,将查询嵌入高效集成到视觉编码器中,显著提升数据稀缺场景下无OCR视觉文档理解的性能。
2025-04-07 cs.CL cs.CV
SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题,引入SynthDocBench基准测试,通过组合设计控制多因素,端到端生成多样长文档,评估模型发现三种现有基准未暴露的失败模式,揭示模型或过度拟合基准工件。
2026-07-14 cs.AI cs.CV
SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia
Xiamen University, China(厦门大学,中国);Shopee, China(Shopee,中国);Tongji University, China(同济大学,中国)
SEA-Vision提出一个多语言基准,用于评估文档解析和文本中心视觉问答,涵盖11种东南亚语言,包含15234页文档和7496对问答对,揭示多语言文档理解的差距。
2026-03-16 cs.CL
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
Hierarchical Visual Feature Aggregation for OCR-Free Document Understanding
IPAI, Seoul National University(首尔大学IPAI研究所);Samsung SDS(三星SDS公司)
提出基于多模态大语言模型的无OCR文档理解框架,通过层级视觉特征聚合模块减少输入令牌,并引入指令调优任务提升文本阅读能力,实验验证了其在多种文档理解任务中的优越性能。
2024-11-08 cs.CV
mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding
Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本文提出DocOwl2,通过High-resolution DocCompressor将高分辨率文档图像压缩至324个token,并经三阶段训练实现高效无OCR多页文档理解,显著降低延迟且保持单页性能。
2024-09-09 cs.CV
Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
本文提出大规模合成语料库 Cross-Lingual SynthDocs,通过真实扫描背景、双语版面与变音符号感知字体构建超 250 万样本,微调 Qwen-2.5-VL 后在阿拉伯语 OCR 和文档理解多项指标上取得一致提升。
2025-11-01 cs.CL cs.CV
DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));EvenUp
本文提出DocPilot智能体文档框架,通过页面级导航等编排证据搜索,结合课程式智能体训练,在多数据集上实现显著性能提升,小型版本也具竞争力,展现出有效性与泛化性。
2026-10-16 cs.AI cs.CL cs.CV
Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding
Human Informatics Labs., NTT, Inc.(日本电信电话株式会社人类信息学实验室)
本文研究了视觉文档理解中内部表征与生成响应之间的差距,发现任务所需信息在中间层更线性编码,并通过微调中间层提升性能。
2026-04-06 cs.AI cs.CL cs.CV
Doc2Graph: a Task Agnostic Document Understanding Framework based on Graph Neural Networks
Università degli studi di Firenze(佛罗伦萨大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出任务无关的 Doc2Graph 框架,利用 GNN 建模文档结构以支持多种文档理解任务,并在两个关键信息提取数据集上验证其效果。
2022-08-23 cs.CV
DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting
Amazon Web Services(亚马逊网络服务)
DocSplit提出首个全面的文档包识别与分割基准数据集及评估方法,涵盖多类型文档和复杂场景,揭示当前模型在处理复杂文档分割任务中的性能差距。
2026-02-17 cs.AI cs.CL cs.CV
ReLayout: Towards Real-World Document Understanding via Layout-enhanced Pre-training
Osaka University(大阪大学)
针对现有VrDU方法依赖人工标注语义组不切实际的问题,提出ReVrDU任务变体及新方法ReLayout,通过排列词并拉近同组词表示学习语义分组,实验证明其性能优越。
2024-10-16 cs.CV
Multimodal Pre-training Based on Graph Attention Network for Document Understanding
University of Science and Technology of China(中国科学技术大学);IFLYTEK Research(科大讯飞研究院)
文档智能作为一个相对较新的研究课题,支持许多商业应用。它的主要任务是自动阅读、理解和分析文档。但是,由于格式的多样性(发票、报告、表格等),和布局,很难让机器理解文档。在本文中,我们提出了GraphDoc,一个多模态的图形注意力为基础的模型,用于各种文档理解任务。GraphDoc在多模式框架中进行预训练,同时利用文本、布局和图像信息。在文档中,文本块严重依赖于其周围的上下文,因此我们将图结构注入到注意力机制中,形成一个图注意层,使得每个输入节点只能注意到其邻域。每个图形关注层的输入节点由来自文档图像中语义上有意义的区域的文本、视觉和位置特征组成。通过门融合层对每个节点进行多模态特征融合。每个节点之间的上下文由图注意层建模。GraphDoc通过Masked Sentence Modeling任务从320k未标记文档中学习通用表示。在公开数据集上的大量实验结果表明,GraphDoc实现了最先进的性能,这证明了我们所提出的方法的有效性。该代码可在https://github.com/ZZR8066/GraphDoc上获得。
2022-10-23 cs.CV
SynthDoc: Bilingual Documents Synthesis for Visual Document Understanding
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);SenseTime Research(商汤科技研究院)
本文提出SynthDoc合成文档生成管道,通过生成包含文本、图像、表格和图表的高质量双语文档数据集,有效缓解视觉文档理解任务中的数据稀缺问题,并验证了其在预训练和下游任务中的卓越性能。
2024-08-27 cs.CV cs.MM
DocFormer: End-to-End Transformer for Document Understanding
AWS AI(亚马逊云服务人工智能团队(AWS AI))
我们提出了DocFormer --一个基于多模态Transformer的架构,用于可视化文档理解(VDU)任务。VDU是一个具有挑战性的问题,其目的是了解各种格式的文件(表格,收据等)。和布局。此外,DocFormer以无监督的方式进行预训练,使用精心设计的任务,鼓励多模式交互。DocFormer使用文本,视觉和空间特征,并使用新颖的多模态自我注意层将它们结合起来。DocFormer还跨模态共享学习到的空间嵌入,这使得模型可以轻松地将文本与视觉标记相关联,反之亦然。DocFormer在4个不同的数据集上进行评估,每个数据集都有很强的基线。DocFormer在所有这些方面都取得了最先进的结果,有时甚至比模型大4倍(参数数量)。
2021-09-20 cs.CV
Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文提出一种无参数、即插即用的Token级相关性引导压缩方法,通过评估补丁Token相关性和[CLS]Token与补丁Token相关性来识别冗余并采样关键Token,在mPLUG-DocOwl1.5上实现高效文档理解且性能相当。
2024-07-19 cs.CV
LayoutMask: Enhance Text-Layout Interaction in Multi-modal Pre-training for Document Understanding
Ant Group(蚂蚁集团)
针对视觉富文档理解中多模态融合的挑战,本文提出预训练模型LayoutMask,采用局部1D位置输入与两项掩码预训练任务增强文本-布局交互,在多类VrDU任务上取得最优性能。
2023-06-09 cs.CV
Read and Think: An Efficient Step-wise Multimodal Language Model for Document Understanding and Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
针对现有文档理解模型缺乏逐步推理能力与可解释性的问题,本研究通过MLLM生成逐步问答对、LLM过滤噪声的流水线构建合成数据,训练出专门处理复杂推理问题的DocAssistant模型,在InfoVQA和ChartQA基准上分别取得5和7个点的性能提升。
2024-08-14 cs.AI cs.CV cs.IR
mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding
Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
提出统一结构学习与H-Reducer模块,构建DocStruct4M和DocReason25K数据集,提升MLLMs在10个文档理解基准上的性能,其中5个基准提升超10个百分点。
2024-03-19 cs.CV
PP-DocBee2: Improved Baselines with Efficient Data for Multimodal Document Understanding
Baidu Inc.(百度公司)
本报告提出PP-DocBee2,通过数据质量优化、视觉特征融合与推理优化,在中文商业文档基准上提升11.4%性能并降低73.0%延迟。
2025-06-25 cs.AI cs.CL cs.CV
Internalized Reasoning for Long-Context Visual Document Understanding
LightOn
本文提出一种生成推理轨迹的合成数据管道,通过评分页面相关性、提取文本证据并排序,提升长文档理解的推理能力,并在Qwen3 VL和Mistral上验证了内化推理的有效性。
2026-06-29 cs.AI cs.CL cs.CV
LongDocURL: a Comprehensive Multimodal Long Document Benchmark Integrating Understanding, Reasoning, and Locating
MAIS, Institute of Automation, Chinese Academy of Sciences(人工智能研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Zhongguancun Academy, Beijing(中关村学院,北京)
针对现有基准在长文档布局元素定位上的不足,提出融合理解、推理与定位的综合基准LongDocURL,包含20个子任务及2,325个问答对,并通过多模型评估揭示了该领域的关键性能差距。
2025-07-15 cs.AI cs.CL
FS-DAG: Few Shot Domain Adapting Graph Networks for Visually Rich Document Understanding
OCI, Oracle USA(Oracle USA)
针对少样本视觉丰富文档理解任务,提出FS-DAG模型,通过模块化框架结合特定域与语言/视觉骨干网络,在90M参数下实现对OCR错误等挑战的鲁棒性,实验证明其收敛速度和性能优于现有方法,推动高效模型发展。
2025-11-11 cs.AI cs.CL cs.CV
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
文档布局包括结构和视觉(例如,字体大小)信息,这些信息是重要的,但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容,而忽略了其他形式的内容,如图像的存在。此外,布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距,我们将文档解析为内容块(例如,文本,表格,图像),并提出了一种新的布局感知的多模态层次框架,LAMPreT,模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码,并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标,其中较低级别的模型与多模态接地模型类似地进行训练,而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议,并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR