Benchmarking Graph Neural Networks for Document Layout Analysis in Public Affairs
Univ. Autónoma de Madrid (UAM)（马德里自治大学）
该研究面向公共事务数字原生 PDF，构建两种文档图并融合预训练文本与视觉特征，基准评估四类 GNN，证明双分支 GraphSAGE 在细粒度版面分类中表现最佳。
2025-07-28 cs.CL cs.CV cs.LG
Benchmarking Open-Source Layout Detection Models for Data Snapshot Extraction from Institutional Documents
Development Data Group Office of the World Bank Group Chief Statistician（世界银行发展数据分析组办公室世界银行统计主任）；The World Bank（世界银行）
针对机构文档中图表数据快照提取任务，构建基准数据集并评估多个开源布局检测模型，发现现有模型在操作型文档上泛化能力不足，存在内容混淆、碎片化及上下文缺失等问题。
2026-06-04 cs.AI cs.CL cs.CV
KH-FUNSD: A Hierarchical and Fine-Grained Layout Analysis Dataset for Low-Resource Khmer Business Document
National Engineering Research Center of Speech and Language Information Processing (NERC-SLIP) University of Science and Technology of China（国家语信息处理语音工程研究中心（NERC-SLIP）大学科学技术大学）
KH-FUNSD是首个面向克默语商业文档的分层细粒度布局分析数据集，通过三级注释框架提升低资源语言文档处理能力。
2025-12-04 cs.AI cs.CL cs.CV
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm（乌尔姆大学）
本文提出CRAWLDoc方法，通过统一嵌入出版物URL关联的网页资源、锚文本和链接，实现跨出版商和格式的稳健文档排序，并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
MMDocIR: Benchmarking Multimodal Retrieval for Long Documents
Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出 MMDocIR 基准，通过页面级和版面级检索任务及大规模标注数据集，系统评估并提升长文档多模态检索性能，证明视觉检索器和 VLM-text 的显著优势。
2025-11-07 cs.AI cs.CL cs.CV
Palmira: A Deep Deformable Network for Instance Segmentation of Dense and Uneven Layouts in Handwritten Manuscripts
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
手写文档通常具有密集和不均匀布局的特征。尽管取得了进展，但用于语义布局分割的基于标准深度网络的方法对于跨语义区域看到的复杂变形并不鲁棒。这一现象在低资源的印度棕榈叶手稿领域尤为明显。为了解决这个问题，我们首先介绍了Indiscapes2，这是一个新的大规模的具有语义布局注释的印度手稿数据集。Indiscapes2包含来自四个不同历史收藏的文档，比其前身Indiscapes大150%。我们还提出了一种新的深度网络Palmira，用于手写手稿中区域的鲁棒的、变形感知的实例分割。我们还报告了Hausdorff距离及其变体作为边界感知性能指标。我们的实验表明，Palmira提供了强大的布局，优于强大的基线方法和消融变体。我们还包括阿拉伯语，东南亚和希伯来语历史手稿的定性结果，以展示Palmira的泛化能力。
2021-08-21 cs.CL cs.CV cs.MM
LayoutLM: Pre-training of Text and Layout for Document Image Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，预训练技术在各种NLP任务中得到了成功的验证。尽管NLP应用程序广泛使用预训练模型，但它们几乎只关注文本级操作，而忽略了对文档图像理解至关重要的布局和样式信息。在本文中，我们提出了\textbf{LayoutLM}，以联合模型之间的相互作用的文本和布局信息扫描文档图像，这是有益的大量的现实世界的文档图像理解任务，如信息抽取从扫描文档。此外，我们还利用图像特征将单词的视觉信息纳入LayoutLM。据我们所知，这是第一次在单个框架中联合学习文本和布局，以进行文档级预训练。它在几个下游任务中取得了新的最先进成果，包括表单理解（从70.72到79.27）、收据理解（从94.02到95.24）和文档图像分类（从93.07到94.42）。代码和预训练的LayoutLM模型可在\url{https://aka.ms/layoutlm}上公开获得。
2020-06-16 cs.CL
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能）
最近，文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能，这表明了跨不同模态联合学习的巨大潜力。在本文中，我们提出了LayoutXLM，这是一个多模态的预训练模型，用于多语言文档理解，旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM，我们还引入了一个名为XFUND的多语言表单理解基准数据集，其中包括7种语言（中文，日语，西班牙语，法语，意大利语，德语，葡萄牙语）的表单理解样本，并为每种语言手动标记键值对。实验结果表明，LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
Are Layout-Infused Language Models Robust to Layout Distribution Shifts? A Case Study with Scientific Documents
University of California Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Hebrew University of Jerusalem（希伯来大学）；Northwestern University（西北大学）
本文以科学文档结构恢复为案例，通过重新划分GROTOAP2评估融入布局的语言模型，发现布局分布偏移可导致最高20个F1下降，增加训练多样性可缓解但无法消除性能损失。
2023-06-01 cs.CL
Enhancing Visually-Rich Document Understanding via Layout Structure Modeling
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
针对视觉丰富文档理解中布局关系被忽视的问题，本文提出 GraphLayoutLM，通过布局结构图、图重排序算法和布局感知多头自注意力注入布局知识，并在 FUNSD、XFUND 和 CORD 上取得最先进性能。
2023-08-15 cs.CL
LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；IntSig Information Co., Ltd（合合信息科技股份有限公司）
结构化文档理解由于其在智能文档处理中的关键作用，近年来引起了人们的广泛关注并取得了重大进展。然而，大多数现有的相关模型只能处理预训练集合中包含的特定语言（通常是英语）的文档数据，这是非常有限的。为了解决这个问题，我们提出了一个简单而有效的独立于文档的布局Transformer（LiLT）结构化文档理解。LiLT可以在单一语言的结构化文档上进行预训练，然后使用相应的现成单语/多语言预训练文本模型直接在其他语言上进行微调。在八种语言上的实验结果表明，LiLT可以在各种广泛使用的下游基准测试中获得具有竞争力甚至更高的性能，这使得语言无关的文档布局结构的预训练受益。代码和模型可在https://github.com/jpWang/LiLT上公开获取。
2022-02-28 cs.CL
Skim-Attention: Learning to Focus via Document Layout
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）；reciTAL（reciTAL公司）
基于transformer的文本和布局的预训练技术已经在许多文档理解任务中被证明是有效的。尽管取得了这一成功，但多模态预训练模型的计算和内存成本非常高。受人类阅读策略的启发，本文提出了一种新的注意力机制--略读注意。略读-注意力只关注文档中单词的二维位置。我们的实验表明，Skim-Attention获得了比以前的作品更低的困惑，同时更有效的计算。Skim-Attention可以进一步与远程Transformers结合使用，以有效地处理长文档。我们还展示了如何使用Skim-Attention作为任何预训练语言模型的掩模，从而在限制注意力的同时提高其性能。最后，我们展示了一个文件结构表示在略读注意的出现。
2021-09-02 cs.CL
LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
针对LLM/MLLM文档理解中布局信息利用不足的问题，提出LayoutLLM，通过布局感知预训练、监督微调及LayoutCoT提升性能与可解释性。
2024-04-08 cs.CL cs.CV
LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软 Azure AI）；Soochow University（苏州大学）
文本和布局的预训练已被证明在各种视觉丰富的文档理解任务中是有效的，这是由于其有效的模型架构和大规模未标记扫描/数字生成文档的优势。我们提出了具有新的预训练任务的LayoutLMv 2架构，以在单个多模态框架中对文本、布局和图像之间的交互进行建模。具体来说，通过使用双流多模态Transformer编码器，LayoutLMv 2不仅使用了现有的掩蔽视觉语言建模任务，还使用了新的文本图像对齐和文本图像匹配任务，这使得它在预训练阶段更好地捕获跨模态交互。同时，在Transformer框架中引入了空间感知的自注意力机制，使模型能够充分理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMv 2的性能大大优于LayoutLM，并在包括FUNSD在内的各种下游视觉丰富的文档理解任务上取得了新的最先进的结果（0.7895 $\to$ 0.8420），软电线（0.9493 $\to$ 0.9601），SROIE（0.9524 $\to$ 0.9781）、Kleister-NDA（0.8340 $\to$ 0.8520）、RVL-CDIP（0.9443 $\to$ 0.9564）和DocVQA（0.7295 $\to$ 0.8672）。我们在\url{https://aka.ms/layoutlmv2}上公开了我们的模型和代码。
2022-01-10 cs.CL
DocLLM: A layout-aware generative language model for multimodal document understanding
JPMorgan AI Research（摩根大通人工智能研究院）
提出轻量级模型DocLLM，通过边界框信息和解耦注意力机制融合文本语义与空间布局，在四项核心文档智能任务中表现优于现有SotA LLM并具备良好泛化能力。
2023-12-31 cs.CL
MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
文本、布局和图像的多模态预训练在视觉丰富文档理解（VRDU）方面取得了重大进展，特别是对于固定布局的文档，如扫描文档图像。然而，仍然有大量的数字文档的布局信息是不固定的，需要交互式和动态渲染的可视化，使现有的基于布局的预训练方法不容易应用。在本文中，我们提出了MarkupLM的文档理解任务的置标语言为骨干，如HTML/XML为基础的文档，文本和标记信息是联合预训练。实验结果表明，预训练的MarkupLM在多个文档理解任务上的性能明显优于现有的强基线模型。预训练的模型和代码将在https://aka.ms/markuplm上公开。
2022-03-11 cs.CL
Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Warsaw University of Technology（华沙理工大学）；Samsung R&D Institute Poland（三星波兰研发研究所）
最先进的自然语言处理（NLP）解决方案能够捕获广泛的上下文，例如短文档的文档级上下文或文档级上下文。但是，当涉及到更长的、真实世界的文档时，这些解决方案仍然在努力，这些文档的信息编码在文档的空间结构中，例如表格、表单、页眉、开头或页脚等页面元素;复杂的页面布局或多个页面的存在。为了鼓励更深入和更复杂的信息抽取（IE）的进展，我们引入了一个新的任务（名为Kleister）与两个新的数据集。利用文本和结构布局功能，NLP系统必须在长的正式文档中找到关于各种类型实体的最重要的信息。我们提出管道方法作为一个纯文本的基线与不同的命名实体识别架构（Flair，BERT，RoBERTa）。此外，我们检查了最流行的PDF文本提取处理工具（pdf 2djvu，Tesseract和Texextract），以分析IE系统在这些工具引入错误时的行为。
2020-03-06 cs.CL
DocPolarBERT: A Pre-trained Model for Document Understanding with Relative Polar Coordinate Encoding of Layout Structures
Data Analytics Solutions, SCOR（数据分析解决方案，SCOR）；Univ Brest, CNRS, UMR 6205, LMBA（布列塔尼大学，法国国家科学研究中心，UMR 6205，LMBA）；INSA Rennes, IRISA, Inria, CNRS, Université de Rennes（里尔大学，IRISA，Inria，法国国家科学研究中心，里尔大学）
DocPolarBERT通过相对极坐标编码布局结构，实现高效的文档理解，无需绝对位置嵌入，且在小数据集上表现优异。
2026-01-22 cs.CL
ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding
Baidu Inc.（百度公司）；Zhejiang University（浙江大学）
近年来，在视觉丰富的文档理解中，预训练技术的兴起和成功。然而，大多数现有的方法缺乏系统的挖掘和利用的布局为中心的知识，导致次优性能。在本文中，我们提出了ERNIE-Layout，一种在整个工作流程中增强布局知识的新型文档预训练解决方案，以学习更好的表示，结合文本，布局和图像的特征。具体来说，我们首先在序列化阶段重新排列输入序列，然后提出一个相关的预训练任务，阅读顺序预测，学习正确的阅读顺序的文件。为了提高模型的布局意识，我们将空间感知的分离注意力集成到多模态Transformer中，并将替换区域预测任务集成到预训练阶段。实验结果表明，ERNIE-Layout在各种下游任务上实现了卓越的性能，在关键信息抽取、文档图像分类和文档问答数据集上设置了新的最先进技术。代码和模型可在http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout上公开获取。
2022-10-14 cs.AI cs.CL
BROS: A Pre-trained Language Model Focusing on Text and Layout for Better Key Information Extraction from Documents
NAVER CLOVA；KAIST（韩国科学技术院）；LBox；Upstage AI Research（Upstage人工智能研究院）；Upstage AI（Upstage人工智能）
从文档图像中提取关键信息抽取（KIE）需要理解文本在二维（2D）空间中的上下文和空间语义。最近的许多研究试图通过开发预训练的语言模型来解决这个问题，这些模型专注于将文档图像的视觉特征与文本及其布局相结合。另一方面，本文通过回到最基本的问题来解决这个问题：文本和布局的有效结合。具体来说，我们提出了一个预先训练的语言模型，名为BROS（BERT依赖于空间），编码文本在2D空间中的相对位置，并从未标记的文档中学习区域掩蔽策略。通过这种用于理解2D空间中文本的优化训练方案，BROS在四个KIE基准测试（FUNSD，SROIE*，CORD和SciTSR）上显示出与以前的方法相当或更好的性能，而不依赖于视觉特征。本文还揭示了KIE任务中的两个现实挑战-（1）最大限度地减少错误的文本排序和（2）从更少的下游示例中有效学习-并证明了BROS优于以前的方法。代码可在https://github.com/clovaai/bros上获得。
2022-04-05 cs.CL
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
针对扫描文档结构化解析的泛化与数据难题，提出 LayoutRL 强化学习框架并构建 Infinity-Doc-400K，训练 Infinity-Parser，在多基准上达到最先进性能。
2025-10-20 cs.CL
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
Position Masking for Improved Layout-Aware Document Understanding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
文档扫描和PDF的自然语言处理有可能极大地提高业务流程的效率。诸如LayoutLM之类的布局感知的词嵌入已经显示出用于对这样的文档进行分类和从这样的文档中提取信息抽取的前景。本文提出了一种新的预训练任务，可以提高包含2-D位置嵌入的布局感知词嵌入的性能。我们将仅使用语言掩蔽预训练的模型与使用语言掩蔽和位置掩蔽预训练的模型进行比较，我们发现位置掩蔽在表单理解任务中的性能提高了5%以上。
2021-09-01 cs.CL cs.LG
LayoutXLM vs. GNN: An Empirical Evaluation of Relation Extraction for Documents
Naver Labs Europe（Naver欧洲实验室）
本文研究了文档中的关系抽取任务，通过基准测试两种不同的神经网络模型：多模态语言模型（LayoutXLM）和图神经网络：边缘卷积网络（ECN）。对于这个基准测试，我们使用XFUND数据集，与LayoutXLM一起发布。虽然这两种模型得出了相似的结果，但它们都表现出非常不同的特征。这就提出了如何在神经网络中集成各种模态的问题：通过额外的预训练（LayoutXLM）或级联方式（ECN）合并所有模态。最后，我们讨论了一些方法论问题，必须考虑新的数据集和任务定义领域的信息抽取复杂的文件。
2022-05-09 cs.AI cs.CL
LAD-RAG: Layout-aware Dynamic RAG for Visually-Rich Document Understanding
University of Southern California（南加州大学）；Oracle AI（甲骨文人工智能）
LAD-RAG通过构建布局感知的文档图和动态检索机制，提升视觉丰富文档的检索与问答性能。
2026-02-28 cs.CL
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
最近，各种多模态网络的视觉丰富的文档理解（VRDU）已被提出，显示促进Transformers集成视觉和布局信息与文本嵌入。然而，大多数现有的方法利用位置嵌入来合并序列信息，忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中，我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息，从我们的增强XY切割产生的正确的阅读顺序。此外，一个扩展的条件位置编码模块被提出来处理输入序列的可变长度，它另外提取本地布局信息的文本和视觉模态，同时生成位置嵌入。实验结果表明，XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Visually Guided Generative Text-Layout Pre-training for Document Intelligence
The Chinese University of Hong Kong（香港中文大学）
提出视觉引导的生成式文本-版面预训练方法ViTLP，通过层次化建模与多段生成方案处理长文档，实现文本定位识别并提升多种文档理解任务性能。
2024-03-27 cs.CL cs.CV
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
针对越南语收据提出大规模数据集ReceiptVQA与布局感知模型LiGT，利用语言模型嵌入处理布局信息，实验证明多模态生成式架构优于仅编码器模型。
2025-03-07 cs.CL
Information Extraction from Scanned Invoice Images using Text Analysis and Layout Features
Masaryk University（马萨里克大学）
虽然将发票内容存储为元数据以避免纸质文档处理可能是未来的趋势，但几乎所有日常开具的发票仍然打印在纸张上或以PDF等数字格式生成。在本文中，我们介绍了OCRMiner系统的信息抽取从扫描文档图像，它是基于文本分析技术结合布局特征提取索引元数据（半）结构化文档。该系统被设计为以与人类读者使用的类似方式处理文档，即在协调决策中采用不同的布局和文本属性。该系统由一组相互连接的模块组成，这些模块从标准OCR系统的基于字符的输出（可能是错误的）开始，并允许应用不同的技术，并在每个步骤中扩展提取的知识。使用开源OCR，该系统能够以90%的英语和88%的捷克语集恢复发票数据。
2022-08-08 cs.CL
Processing the structure of documents: Logical Layout Analysis of historical newspapers in French
Centre de Recherches Interdisciplinaires et Transculturelles (CRIT)（跨学科与跨文化研究中心（CRIT））；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院（IUF））
本文提出一种基于规则的方法进行法语历史报纸的逻辑版面分析，在召回率上优于RIPPER和梯度提升模型，并可用于生成大规模注释数据以支持机器学习方法。
2022-05-25 cs.CL
Spatial Information Integration in Small Language Models for Document Layout Generation and Classification
Salzburg University of Applied Sciences（萨尔茨堡应用科技大学）
针对半结构化文档公开数据不足的问题，提出一种基于小型语言模型整合空间信息的合成版面生成方法，其效果优于LayoutTransformer，并证明边界框信息可提升文本分类。
2025-01-09 cs.AI cs.CL cs.IR
Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
由于文档传达了丰富的人类知识，并且在企业中普遍存在，因此构建基于文档的对话系统受到越来越多的关注。其中，如何从文档中理解和检索信息是一个具有挑战性的研究问题。以往的工作忽略了文档的视觉属性，将其视为纯文本，导致模态不完整。在本文中，我们提出了一个布局感知的文档级信息抽取数据集，LIE，以促进从视觉丰富的文档（VRD）中提取结构和语义知识的研究，从而在对话系统中生成准确的响应。LIE包含来自4，061页产品和官方文档的三个提取任务的62k注释，成为我们所知的最大的基于VRD的信息抽取数据集。我们还开发了基准测试方法，扩展了基于标记的语言模型，以考虑布局功能，如人类。实验结果表明，布局是关键的基于VRD的提取，系统演示也验证了提取的知识可以帮助定位用户关心的答案。
2022-07-14 cs.CL cs.MM
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Azure Cognitive Services Research（微软Azure认知服务研究院）；Microsoft Azure Visual Document Intelligence（微软Azure视觉文档智能部门）
我们提出了通用文档处理（UDOP），这是一个基础文档AI模型，它将文本，图像和布局模式与各种任务格式结合在一起，包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性，用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer，UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知，这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术，例如，文档理解和QA，跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
Enhancing Document AI Data Generation Through Graph-Based Synthetic Layouts
Liverpool John Moores University（利物浦约翰摩尔斯大学）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）；Birla Institute of Technology（贝拉理工学院）
针对文档AI模型因高质量标注数据不足受限的问题，本文提出基于图神经网络（GNNs）的合成文档布局生成方法，将文档元素及空间关系建模为图，提升数据多样性与布局真实性，在多任务上性能优于传统方法。
2024-11-27 cs.AI cs.CL
PDFMathTranslate: Scientific Document Translation Preserving Layouts
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）；Funstory.ai Limited（Funstory.ai有限公司）
PDFMathTranslate 是首个在翻译科学文档时保留排版的开源软件，结合大语言模型与精确排版检测，在精度、灵活性和效率上实现关键改进，下载量已超 222k 次。
2025-09-22 cs.CL cs.IR cs.LG
LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding
FA Research（FA研究院）；Fast Accounting Co., Ltd.（快会计有限公司）
针对视觉富文本文档理解任务中现有方法需针对不同任务微调且成本高昂的局限，提出LayoutLLM，通过多模态指令数据集微调将文档图像理解与大规模语言模型集成，在单一模型中实现更灵活的文档分析并在多项任务上优于基线。
2024-03-21 cs.AI cs.CL cs.CV
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
文档布局包括结构和视觉（例如，字体大小）信息，这些信息是重要的，但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容，而忽略了其他形式的内容，如图像的存在。此外，布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距，我们将文档解析为内容块（例如，文本，表格，图像），并提出了一种新的布局感知的多模态层次框架，LAMPreT，模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码，并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标，其中较低级别的模型与多模态接地模型类似地进行训练，而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议，并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
LAPDoc: Layout-Aware Prompting for Documents
RheinMain University of Applied Sciences（莱茵美茵应用科学大学）；Insiders Technologies GmbH（Insiders科技有限公司）；National University of Sciences and Technology（国家科技大学）
本文提出LAPDoc，通过直接插入式修改和基于规则的方法将布局信息融入纯文本LLM提示，在标准文档基准上性能提升高达15%，为文档理解任务提供了模型选择依据。
2024-02-15 cs.CL cs.CV cs.LG
LAMBERT: Layout-Aware (Language) Modeling for information extraction
Warsaw University of Technology（华沙理工大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
我们介绍了一个简单的新方法来理解文件的非平凡的布局影响本地语义的问题。为此，我们修改的Transformer编码器架构的方式，允许它使用从OCR系统获得的布局功能，而不需要从头开始重新学习语言语义。我们只使用令牌边界框的坐标来增加模型的输入，以这种方式避免使用原始图像。这导致了一个布局感知的语言模型，然后可以在下游任务上进行微调。使用四个公开可用的数据集：Kleister NDA，Kleister Charity，SROIE和CORD，在端到端的信息抽取任务上对该模型进行评估。我们表明，我们的模型在由视觉丰富的文档组成的数据集上实现了卓越的性能，同时在平面布局的文档上也优于基线RoBERTa（NDA \(F_{1}\)从78.50增加到80.42）。我们的解决方案在SROIE数据集的关键信息抽取公开排行榜上排名第一，将SOTA \(F_{1}\) -分数从97.81提高到98.17。
2021-05-28 cs.CL
Unveiling the Deficiencies of Pre-trained Text-and-Layout Models in Real-world Visually-rich Document Information Extraction
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；Ant Tiansuan Security Lab, Ant Group（蚂蚁集团蚂蚁天算安全实验室）
针对预训练文本与布局模型（PTLMs）在真实世界富视觉文档信息抽取中表现未达预期的问题，本研究通过分析现有评估流程缺陷，提出实体中心数据集EC-FUNSD，多维度评估揭示PTLMs真实能力，为模型发展提供反思方向。
2025-04-14 cs.CL
Detecting automatically the layout of clinical documents to enhance the performances of downstream natural language processing
Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Institut Pierre-Louis d'Epidémiologie et de Santé Publique（皮埃尔-路易流行病学与公共卫生研究所）；Assistance Publique-Hôpitaux de Paris（巴黎公共医疗集团）；LIMICS（医学信息学与信号处理实验室）
本研究开发并验证了一种基于Transformer的临床PDF文档布局分析算法，通过提取正文文本提升了下游医疗概念提取和急性感染检测任务的性能。
2023-05-23 cs.CL
Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Alibaba Cloud Computing（阿里云计算）
ColParse通过生成布局感知的子图像嵌入和全局向量融合，实现高效多向量检索，显著降低存储需求并提升性能。
2026-03-02 cs.CL cs.IR
Modeling Layout Reading Order as Ordering Relations for Visually-rich Document Understanding
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Ant Group（蚂蚁集团）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）
针对视觉富文档中传统阅读顺序排列形式信息表达不足的问题，提出将阅读顺序建模为元素间排序关系，并构建基准数据集、关系抽取方法及关系增强流程，显著提升下游VrD任务性能。
2024-09-29 cs.CL cs.MM
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院）
本文提出DOCMASTER统一平台，在设备端集成PDF文档标注、模型训练与推理，支持布局感知和文本模型，解决文档问答中的格式复杂性与隐私保护问题，并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
Beijing Renhe Information Technology Co., Ltd.（北京人和信息技术有限公司）；Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals（科技期刊数字出版与全程管理重点实验室）
针对科学文档跨版本差异分析难题，提出布局感知的异构元素感知框架，通过对齐优先机制建立对应并进行差异推理，支持多元素统一分析，实验显示其性能优于基线，相关分析证实方法有效性，为文档比较提供可靠方案。
2026-07-30 cs.AI cs.CL
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech（INFLY科技）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Liverpool（利物浦大学）
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题，提出 layoutRL 强化学习框架与 Infinity-Parser，并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University（浙江大学）
针对零样本文档图像问答，提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning，使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
Knowing Where and What: Unified Word Block Pretraining for Document Understanding
由于文档的复杂布局，为文档提取信息具有挑战性。以前的大多数研究都是以自我监督的方式开发多模态预训练模型。本文重点研究了包含文本和布局信息的词块的嵌入学习，提出了一种具有统一TExt和布局预训练的语言模型UTel。具体来说，我们提出了两个预训练任务：用于布局学习的周围词预测（SWP）和用于识别不同词块的词嵌入（CWE）的对比学习。此外，我们取代了常用的一维位置嵌入与一维裁剪的相对位置嵌入。通过这种方式，Masked Layout-Language Modeling（MLLM）和两个新提出的任务的联合训练能够以统一的方式实现语义和空间特征之间的交互。此外，建议的UTel可以处理任意长度的序列，通过删除1D位置嵌入，同时保持竞争力的性能。大量的实验结果表明，UTel学习更好的联合表示，并实现优于以前的方法在各种下游任务的性能，虽然不需要图像模态。代码可在\url{https://github.com/taosong2019/UTel}上获得。
2022-07-29 cs.AI cs.CL
Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models
UC Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Adobe Research（奥多比研究院）
本文提出一种用于布局规划的多模态指令遵循框架，通过三个布局推理任务训练模型，使非专业用户能便捷创建定制布局，在 Crello 上 mIoU 比 GPT-4V 高 12%。
2024-04-23 cs.AI cs.CL cs.CV
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.（贝莱德集团）
从复杂文档中表示结构化文本通常需要不同的机器学习技术，例如用于段落的语言模型和用于表格提取的卷积神经网络（CNN），这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中，我们提出了一个模型，近似的人类阅读模式的文件，并输出一个独特的语义表示为每个文本跨度，无论内容类型，他们被发现。我们的架构的结构化文本的图形表示的基础上，我们证明，我们不仅可以检索语义相似的信息跨文档，而且我们生成的嵌入空间捕获有用的语义信息，类似于语言模型，只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
Robust Layout-aware IE for Visually Rich Documents with Pre-trained Language Models
Alibaba Group（阿里巴巴集团）
在现代NLP和IR管道中处理的许多业务文档在视觉上都很丰富：除了文本之外，它们的语义也可以通过视觉特征（如布局，格式和字体）来捕获。我们研究了从视觉丰富文档（VRD）中信息抽取的问题，并提出了一个模型，该模型结合了大型预训练语言模型和图神经网络的功能，以有效地编码文本和视觉信息的商业文档。我们进一步引入新的微调目标，以改善域内无监督微调，以更好地利用大量的未标记的域内数据。我们在真实世界的发票和简历数据集上进行了实验，结果表明，该方法在发票上的绝对F1为6.3%，在简历上的绝对F1为4.7%，优于基于文本的Roberta基线。当在Few-Shot设置中进行评估时，我们的方法需要的注释数据比基线少30倍，以在~ 90%F1下实现相同的性能水平。
2020-05-22 cs.CL cs.IR cs.LG
Combining Linguistic and Spatial Information for Document Analysis
我们提出了一个框架来分析复杂布局的彩色文档。此外，没有对布局做出任何假设。我们的框架结合了内容驱动的自下而上的方法两个不同的信息来源：文本和空间。为了分析文本，使用了浅层自然语言处理工具，例如标记器和部分解析器。为了推断逻辑布局的关系，我们求助于与艾伦演算密切相关的定性空间演算。我们评估系统对彩色期刊的文件，并提出了从期刊的页面中提取阅读顺序的结果。在这种情况下，我们的分析是成功的，因为它从文档中提取了预期的阅读顺序。
2000-09-20 cs.CL cs.DL
A Bounding Box is Worth One Token: Interleaving Layout and Text in a Large Language Model for Document Understanding
ByteDance Inc.（字节跳动公司）；Fudan University（复旦大学）
针对现有文档理解方法融合布局与文本时的长序列、未充分利用LLM自回归特性的问题，提出LayTextLLM框架，将边界框投影为单嵌入与文本交错，在KIE和VQA任务上较此前SOTA分别提升15.2%和10.7%。
2025-05-19 cs.AI cs.CL cs.MM
