Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models
UC Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Adobe Research（奥多比研究院）
本文提出一种用于布局规划的多模态指令遵循框架，通过三个布局推理任务训练模型，使非专业用户能便捷创建定制布局，在 Crello 上 mIoU 比 GPT-4V 高 12%。
2024-04-23 cs.AI cs.CL cs.CV
Robust Layout-aware IE for Visually Rich Documents with Pre-trained Language Models
Alibaba Group（阿里巴巴集团）
在现代NLP和IR管道中处理的许多业务文档在视觉上都很丰富：除了文本之外，它们的语义也可以通过视觉特征（如布局，格式和字体）来捕获。我们研究了从视觉丰富文档（VRD）中信息抽取的问题，并提出了一个模型，该模型结合了大型预训练语言模型和图神经网络的功能，以有效地编码文本和视觉信息的商业文档。我们进一步引入新的微调目标，以改善域内无监督微调，以更好地利用大量的未标记的域内数据。我们在真实世界的发票和简历数据集上进行了实验，结果表明，该方法在发票上的绝对F1为6.3%，在简历上的绝对F1为4.7%，优于基于文本的Roberta基线。当在Few-Shot设置中进行评估时，我们的方法需要的注释数据比基线少30倍，以在~ 90%F1下实现相同的性能水平。
2020-05-22 cs.CL cs.IR cs.LG
A Bounding Box is Worth One Token: Interleaving Layout and Text in a Large Language Model for Document Understanding
ByteDance Inc.（字节跳动公司）；Fudan University（复旦大学）
针对现有文档理解方法融合布局与文本时的长序列、未充分利用LLM自回归特性的问题，提出LayTextLLM框架，将边界框投影为单嵌入与文本交错，在KIE和VQA任务上较此前SOTA分别提升15.2%和10.7%。
2025-05-19 cs.AI cs.CL cs.MM
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg（雷根斯堡应用技术大学）
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题，本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比，发现专用多模态Transformer优于LLM方法，且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
LayoutLM: Pre-training of Text and Layout for Document Image Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，预训练技术在各种NLP任务中得到了成功的验证。尽管NLP应用程序广泛使用预训练模型，但它们几乎只关注文本级操作，而忽略了对文档图像理解至关重要的布局和样式信息。在本文中，我们提出了\textbf{LayoutLM}，以联合模型之间的相互作用的文本和布局信息扫描文档图像，这是有益的大量的现实世界的文档图像理解任务，如信息抽取从扫描文档。此外，我们还利用图像特征将单词的视觉信息纳入LayoutLM。据我们所知，这是第一次在单个框架中联合学习文本和布局，以进行文档级预训练。它在几个下游任务中取得了新的最先进成果，包括表单理解（从70.72到79.27）、收据理解（从94.02到95.24）和文档图像分类（从93.07到94.42）。代码和预训练的LayoutLM模型可在\url{https://aka.ms/layoutlm}上公开获得。
2020-06-16 cs.CL
PubLayNet: largest dataset ever for document layout analysis
IBM Research Australia（IBM澳大利亚研究院）
识别非结构化数字文档的布局是将文档解析为结构化机器可读格式以供下游应用的重要步骤。为计算机视觉开发的深度神经网络已被证明是分析文档图像布局的有效方法。然而，目前公开的文档布局数据集比已建立的计算视觉数据集小几个数量级。模型必须通过迁移学习从在传统计算机视觉数据集上预训练的基础模型进行训练。在本文中，我们开发了PubLayNet数据集，通过自动匹配XML表示和PubMed Central上公开的超过100万篇PDF文章的内容来进行文档布局分析。该数据集的大小与已建立的计算机视觉数据集相当，包含超过36万个文档图像，其中典型的文档布局元素被注释。实验表明，在PubLayNet上训练的深度神经网络可以准确识别科学文章的布局。预训练的模型也是用于不同文档域上的迁移学习的更有效的基本模式。我们发布了数据集（https：//github.com/ibm-aur-nlp/PubLayNet），以支持开发和评估用于文档布局分析的更高级模型。
2019-08-16 cs.CL
DocBank: A Benchmark Dataset for Document Layout Analysis
Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
文档布局分析通常依赖于计算机视觉模型来理解文档，而忽略了对捕获至关重要的文本信息。同时，高质量的标记数据集的视觉和文本信息仍然不足。在本文中，我们提出了\textbf{DocBank}，一个基准数据集，包含50万文档页面与细粒度的标记级注释的文档布局分析。DocBank是使用一种简单而有效的方法构建的，对arXiv.com上提供的\LaTeX{}文档的监督很弱。使用DocBank，可以公平地比较来自不同模态的模型，并进一步研究多模态方法，提高文档布局分析的性能。我们构建了几个强大的基线，并手动分割训练/开发/测试集进行评估。实验结果表明，在DocBank上训练的模型能够准确识别各种文档的布局信息。DocBank数据集在\url{https://github.com/doc-analysis/DocBank}上公开提供。
2020-11-11 cs.CL
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能）
最近，文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能，这表明了跨不同模态联合学习的巨大潜力。在本文中，我们提出了LayoutXLM，这是一个多模态的预训练模型，用于多语言文档理解，旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM，我们还引入了一个名为XFUND的多语言表单理解基准数据集，其中包括7种语言（中文，日语，西班牙语，法语，意大利语，德语，葡萄牙语）的表单理解样本，并为每种语言手动标记键值对。实验结果表明，LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
Are Layout-Infused Language Models Robust to Layout Distribution Shifts? A Case Study with Scientific Documents
University of California Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Hebrew University of Jerusalem（希伯来大学）；Northwestern University（西北大学）
本文以科学文档结构恢复为案例，通过重新划分GROTOAP2评估融入布局的语言模型，发现布局分布偏移可导致最高20个F1下降，增加训练多样性可缓解但无法消除性能损失。
2023-06-01 cs.CL
Enhancing Visually-Rich Document Understanding via Layout Structure Modeling
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
针对视觉丰富文档理解中布局关系被忽视的问题，本文提出 GraphLayoutLM，通过布局结构图、图重排序算法和布局感知多头自注意力注入布局知识，并在 FUNSD、XFUND 和 CORD 上取得最先进性能。
2023-08-15 cs.CL
LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；IntSig Information Co., Ltd（合合信息科技股份有限公司）
结构化文档理解由于其在智能文档处理中的关键作用，近年来引起了人们的广泛关注并取得了重大进展。然而，大多数现有的相关模型只能处理预训练集合中包含的特定语言（通常是英语）的文档数据，这是非常有限的。为了解决这个问题，我们提出了一个简单而有效的独立于文档的布局Transformer（LiLT）结构化文档理解。LiLT可以在单一语言的结构化文档上进行预训练，然后使用相应的现成单语/多语言预训练文本模型直接在其他语言上进行微调。在八种语言上的实验结果表明，LiLT可以在各种广泛使用的下游基准测试中获得具有竞争力甚至更高的性能，这使得语言无关的文档布局结构的预训练受益。代码和模型可在https://github.com/jpWang/LiLT上公开获取。
2022-02-28 cs.CL
LayoutReader: Pre-training of Text and Layout for Reading Order Detection
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research Asia（微软亚洲研究院）
阅读顺序检测是理解视觉丰富文档（例如，收据和表格）。不幸的是，没有现有的工作利用先进的深度学习模型，因为注释足够大的数据集太费力了。我们观察到WORD文档的阅读顺序嵌入在它们的XML元数据中，同时，它很容易将WORD文档转换为PDF或图像。因此，我们以自动化的方式构建ReadingBank，这是一个基准数据集，包含50万个文档图像的阅读顺序，文本和布局信息，涵盖了广泛的文档类型。这是有史以来第一个大规模数据集，释放了深度神经网络在阅读顺序检测方面的强大功能。具体来说，我们提出的LayoutReader捕获文本和布局信息，使用seq2seq模型进行阅读顺序预测。它在阅读顺序检测方面表现得几乎完美，并在我们的实验中显着改善了开源和商业OCR引擎在文本行排序方面的结果。我们将在\url{https://aka.ms/layoutreader}上发布数据集和模型。
2021-08-27 cs.CL
LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软 Azure AI）；Soochow University（苏州大学）
文本和布局的预训练已被证明在各种视觉丰富的文档理解任务中是有效的，这是由于其有效的模型架构和大规模未标记扫描/数字生成文档的优势。我们提出了具有新的预训练任务的LayoutLMv 2架构，以在单个多模态框架中对文本、布局和图像之间的交互进行建模。具体来说，通过使用双流多模态Transformer编码器，LayoutLMv 2不仅使用了现有的掩蔽视觉语言建模任务，还使用了新的文本图像对齐和文本图像匹配任务，这使得它在预训练阶段更好地捕获跨模态交互。同时，在Transformer框架中引入了空间感知的自注意力机制，使模型能够充分理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMv 2的性能大大优于LayoutLM，并在包括FUNSD在内的各种下游视觉丰富的文档理解任务上取得了新的最先进的结果（0.7895 $\to$ 0.8420），软电线（0.9493 $\to$ 0.9601），SROIE（0.9524 $\to$ 0.9781）、Kleister-NDA（0.8340 $\to$ 0.8520）、RVL-CDIP（0.9443 $\to$ 0.9564）和DocVQA（0.7295 $\to$ 0.8672）。我们在\url{https://aka.ms/layoutlmv2}上公开了我们的模型和代码。
2022-01-10 cs.CL
MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
文本、布局和图像的多模态预训练在视觉丰富文档理解（VRDU）方面取得了重大进展，特别是对于固定布局的文档，如扫描文档图像。然而，仍然有大量的数字文档的布局信息是不固定的，需要交互式和动态渲染的可视化，使现有的基于布局的预训练方法不容易应用。在本文中，我们提出了MarkupLM的文档理解任务的置标语言为骨干，如HTML/XML为基础的文档，文本和标记信息是联合预训练。实验结果表明，预训练的MarkupLM在多个文档理解任务上的性能明显优于现有的强基线模型。预训练的模型和代码将在https://aka.ms/markuplm上公开。
2022-03-11 cs.CL
Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Warsaw University of Technology（华沙理工大学）；Samsung R&D Institute Poland（三星波兰研发研究所）
最先进的自然语言处理（NLP）解决方案能够捕获广泛的上下文，例如短文档的文档级上下文或文档级上下文。但是，当涉及到更长的、真实世界的文档时，这些解决方案仍然在努力，这些文档的信息编码在文档的空间结构中，例如表格、表单、页眉、开头或页脚等页面元素;复杂的页面布局或多个页面的存在。为了鼓励更深入和更复杂的信息抽取（IE）的进展，我们引入了一个新的任务（名为Kleister）与两个新的数据集。利用文本和结构布局功能，NLP系统必须在长的正式文档中找到关于各种类型实体的最重要的信息。我们提出管道方法作为一个纯文本的基线与不同的命名实体识别架构（Flair，BERT，RoBERTa）。此外，我们检查了最流行的PDF文本提取处理工具（pdf 2djvu，Tesseract和Texextract），以分析IE系统在这些工具引入错误时的行为。
2020-03-06 cs.CL
DocPolarBERT: A Pre-trained Model for Document Understanding with Relative Polar Coordinate Encoding of Layout Structures
Data Analytics Solutions, SCOR（数据分析解决方案，SCOR）；Univ Brest, CNRS, UMR 6205, LMBA（布列塔尼大学，法国国家科学研究中心，UMR 6205，LMBA）；INSA Rennes, IRISA, Inria, CNRS, Université de Rennes（里尔大学，IRISA，Inria，法国国家科学研究中心，里尔大学）
DocPolarBERT通过相对极坐标编码布局结构，实现高效的文档理解，无需绝对位置嵌入，且在小数据集上表现优异。
2026-01-22 cs.CL
ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding
Baidu Inc.（百度公司）；Zhejiang University（浙江大学）
近年来，在视觉丰富的文档理解中，预训练技术的兴起和成功。然而，大多数现有的方法缺乏系统的挖掘和利用的布局为中心的知识，导致次优性能。在本文中，我们提出了ERNIE-Layout，一种在整个工作流程中增强布局知识的新型文档预训练解决方案，以学习更好的表示，结合文本，布局和图像的特征。具体来说，我们首先在序列化阶段重新排列输入序列，然后提出一个相关的预训练任务，阅读顺序预测，学习正确的阅读顺序的文件。为了提高模型的布局意识，我们将空间感知的分离注意力集成到多模态Transformer中，并将替换区域预测任务集成到预训练阶段。实验结果表明，ERNIE-Layout在各种下游任务上实现了卓越的性能，在关键信息抽取、文档图像分类和文档问答数据集上设置了新的最先进技术。代码和模型可在http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout上公开获取。
2022-10-14 cs.AI cs.CL
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
针对扫描文档结构化解析的泛化与数据难题，提出 LayoutRL 强化学习框架并构建 Infinity-Doc-400K，训练 Infinity-Parser，在多基准上达到最先进性能。
2025-10-20 cs.CL
LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
自我监督的预训练技术在文档AI中取得了显着进展。大多数多模态预训练模型使用掩蔽语言建模目标来学习文本模态的双向表示，但它们在图像模态的预训练目标上有所不同。这种差异增加了多模态表示学习的难度。在本文中，我们提出了\textbf{LayoutLMv3}来预训练多模态Transformers，用于具有统一文本和图像掩蔽的文档AI。此外，LayoutLMv3使用单词补丁对齐目标进行预训练，以通过预测文本单词的相应图像补丁是否被掩蔽来学习跨模态对齐。简单的统一架构和训练目标使LayoutLMv3成为以文本为中心和以图像为中心的文档AI任务的通用预训练模型。实验结果表明，LayoutLMv3不仅在以文本为中心的任务（包括表单理解、收据理解和文档视觉问答）中实现了最先进的性能，而且在以图像为中心的任务（如文档图像分类和文档布局分析）中也实现了最先进的性能。代码和模型可在\url{https://aka.ms/layoutlmv3}上公开获得。
2022-07-19 cs.CL cs.CV
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
Position Masking for Improved Layout-Aware Document Understanding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
文档扫描和PDF的自然语言处理有可能极大地提高业务流程的效率。诸如LayoutLM之类的布局感知的词嵌入已经显示出用于对这样的文档进行分类和从这样的文档中提取信息抽取的前景。本文提出了一种新的预训练任务，可以提高包含2-D位置嵌入的布局感知词嵌入的性能。我们将仅使用语言掩蔽预训练的模型与使用语言掩蔽和位置掩蔽预训练的模型进行比较，我们发现位置掩蔽在表单理解任务中的性能提高了5%以上。
2021-09-01 cs.CL cs.LG
LayoutXLM vs. GNN: An Empirical Evaluation of Relation Extraction for Documents
Naver Labs Europe（Naver欧洲实验室）
本文研究了文档中的关系抽取任务，通过基准测试两种不同的神经网络模型：多模态语言模型（LayoutXLM）和图神经网络：边缘卷积网络（ECN）。对于这个基准测试，我们使用XFUND数据集，与LayoutXLM一起发布。虽然这两种模型得出了相似的结果，但它们都表现出非常不同的特征。这就提出了如何在神经网络中集成各种模态的问题：通过额外的预训练（LayoutXLM）或级联方式（ECN）合并所有模态。最后，我们讨论了一些方法论问题，必须考虑新的数据集和任务定义领域的信息抽取复杂的文件。
2022-05-09 cs.AI cs.CL
LAD-RAG: Layout-aware Dynamic RAG for Visually-Rich Document Understanding
University of Southern California（南加州大学）；Oracle AI（甲骨文人工智能）
LAD-RAG通过构建布局感知的文档图和动态检索机制，提升视觉丰富文档的检索与问答性能。
2026-02-28 cs.CL
M3T: A New Benchmark Dataset for Multi-Modal Document-Level Machine Translation
AWS AI Labs（AWS AI实验室）；University of Maryland（马里兰大学）；Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出新基准数据集M3T，用于评估神经机器翻译系统在具有复杂视觉布局的半结构化文档上的翻译能力，以弥补现有文档级NMT评估忽视布局信息的不足。
2024-06-12 cs.CL
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
最近，各种多模态网络的视觉丰富的文档理解（VRDU）已被提出，显示促进Transformers集成视觉和布局信息与文本嵌入。然而，大多数现有的方法利用位置嵌入来合并序列信息，忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中，我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息，从我们的增强XY切割产生的正确的阅读顺序。此外，一个扩展的条件位置编码模块被提出来处理输入序列的可变长度，它另外提取本地布局信息的文本和视觉模态，同时生成位置嵌入。实验结果表明，XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Visually Guided Generative Text-Layout Pre-training for Document Intelligence
The Chinese University of Hong Kong（香港中文大学）
提出视觉引导的生成式文本-版面预训练方法ViTLP，通过层次化建模与多段生成方案处理长文档，实现文本定位识别并提升多种文档理解任务性能。
2024-03-27 cs.CL cs.CV
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
针对越南语收据提出大规模数据集ReceiptVQA与布局感知模型LiGT，利用语言模型嵌入处理布局信息，实验证明多模态生成式架构优于仅编码器模型。
2025-03-07 cs.CL
Information Extraction from Scanned Invoice Images using Text Analysis and Layout Features
Masaryk University（马萨里克大学）
虽然将发票内容存储为元数据以避免纸质文档处理可能是未来的趋势，但几乎所有日常开具的发票仍然打印在纸张上或以PDF等数字格式生成。在本文中，我们介绍了OCRMiner系统的信息抽取从扫描文档图像，它是基于文本分析技术结合布局特征提取索引元数据（半）结构化文档。该系统被设计为以与人类读者使用的类似方式处理文档，即在协调决策中采用不同的布局和文本属性。该系统由一组相互连接的模块组成，这些模块从标准OCR系统的基于字符的输出（可能是错误的）开始，并允许应用不同的技术，并在每个步骤中扩展提取的知识。使用开源OCR，该系统能够以90%的英语和88%的捷克语集恢复发票数据。
2022-08-08 cs.CL
Processing the structure of documents: Logical Layout Analysis of historical newspapers in French
Centre de Recherches Interdisciplinaires et Transculturelles (CRIT)（跨学科与跨文化研究中心（CRIT））；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院（IUF））
本文提出一种基于规则的方法进行法语历史报纸的逻辑版面分析，在召回率上优于RIPPER和梯度提升模型，并可用于生成大规模注释数据以支持机器学习方法。
2022-05-25 cs.CL
Spatial Information Integration in Small Language Models for Document Layout Generation and Classification
Salzburg University of Applied Sciences（萨尔茨堡应用科技大学）
针对半结构化文档公开数据不足的问题，提出一种基于小型语言模型整合空间信息的合成版面生成方法，其效果优于LayoutTransformer，并证明边界框信息可提升文本分类。
2025-01-09 cs.AI cs.CL cs.IR
Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
由于文档传达了丰富的人类知识，并且在企业中普遍存在，因此构建基于文档的对话系统受到越来越多的关注。其中，如何从文档中理解和检索信息是一个具有挑战性的研究问题。以往的工作忽略了文档的视觉属性，将其视为纯文本，导致模态不完整。在本文中，我们提出了一个布局感知的文档级信息抽取数据集，LIE，以促进从视觉丰富的文档（VRD）中提取结构和语义知识的研究，从而在对话系统中生成准确的响应。LIE包含来自4，061页产品和官方文档的三个提取任务的62k注释，成为我们所知的最大的基于VRD的信息抽取数据集。我们还开发了基准测试方法，扩展了基于标记的语言模型，以考虑布局功能，如人类。实验结果表明，布局是关键的基于VRD的提取，系统演示也验证了提取的知识可以帮助定位用户关心的答案。
2022-07-14 cs.CL cs.MM
Kleister: Key Information Extraction Datasets Involving Long Documents with Complex Layouts
Warsaw University of Technology（华沙理工大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Samsung R&D Institute Poland（三星波兰研发研究院）
关键信息抽取（KIE）任务的相关性在自然语言处理问题中越来越重要。但仍然只有少数明确界定的问题可作为这一领域解决办法的基准。为了弥补这一差距，我们引入了两个新的数据集（Kleister NDA和Kleister Charity）。它们涉及扫描和数字化的长的正式英语文档的混合。在这些数据集中，NLP系统有望通过采用文本和结构布局特征来找到或推断各种类型的实体。Kleister Charity数据集包含2，788份慈善组织的年度财务报告，其中包含61，643个独立页面和21，612个实体。Kleister NDA数据集包含540份保密协议，其中包含3，229个独特页面和2，160个实体。我们提供了几个来自KIE领域的最先进的基线系统（Flair，BERT，RoBERTa，LayoutLM，LAMBERT），这表明我们的数据集对现有模型构成了强大的挑战。最好的模型分别在Kleister NDA和Kleister Charity数据集上获得了81.77%和83.57%的F1分数。我们共享数据集，以鼓励在更深入和复杂的信息抽取任务上取得进展。
2021-05-12 cs.CL
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Azure Cognitive Services Research（微软Azure认知服务研究院）；Microsoft Azure Visual Document Intelligence（微软Azure视觉文档智能部门）
我们提出了通用文档处理（UDOP），这是一个基础文档AI模型，它将文本，图像和布局模式与各种任务格式结合在一起，包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性，用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer，UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知，这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术，例如，文档理解和QA，跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
Enhancing Document AI Data Generation Through Graph-Based Synthetic Layouts
Liverpool John Moores University（利物浦约翰摩尔斯大学）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）；Birla Institute of Technology（贝拉理工学院）
针对文档AI模型因高质量标注数据不足受限的问题，本文提出基于图神经网络（GNNs）的合成文档布局生成方法，将文档元素及空间关系建模为图，提升数据多样性与布局真实性，在多任务上性能优于传统方法。
2024-11-27 cs.AI cs.CL
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
文档布局包括结构和视觉（例如，字体大小）信息，这些信息是重要的，但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容，而忽略了其他形式的内容，如图像的存在。此外，布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距，我们将文档解析为内容块（例如，文本，表格，图像），并提出了一种新的布局感知的多模态层次框架，LAMPreT，模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码，并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标，其中较低级别的模型与多模态接地模型类似地进行训练，而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议，并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
LAMBERT: Layout-Aware (Language) Modeling for information extraction
Warsaw University of Technology（华沙理工大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
我们介绍了一个简单的新方法来理解文件的非平凡的布局影响本地语义的问题。为此，我们修改的Transformer编码器架构的方式，允许它使用从OCR系统获得的布局功能，而不需要从头开始重新学习语言语义。我们只使用令牌边界框的坐标来增加模型的输入，以这种方式避免使用原始图像。这导致了一个布局感知的语言模型，然后可以在下游任务上进行微调。使用四个公开可用的数据集：Kleister NDA，Kleister Charity，SROIE和CORD，在端到端的信息抽取任务上对该模型进行评估。我们表明，我们的模型在由视觉丰富的文档组成的数据集上实现了卓越的性能，同时在平面布局的文档上也优于基线RoBERTa（NDA \(F_{1}\)从78.50增加到80.42）。我们的解决方案在SROIE数据集的关键信息抽取公开排行榜上排名第一，将SOTA \(F_{1}\) -分数从97.81提高到98.17。
2021-05-28 cs.CL
Unveiling the Deficiencies of Pre-trained Text-and-Layout Models in Real-world Visually-rich Document Information Extraction
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；Ant Tiansuan Security Lab, Ant Group（蚂蚁集团蚂蚁天算安全实验室）
针对预训练文本与布局模型（PTLMs）在真实世界富视觉文档信息抽取中表现未达预期的问题，本研究通过分析现有评估流程缺陷，提出实体中心数据集EC-FUNSD，多维度评估揭示PTLMs真实能力，为模型发展提供反思方向。
2025-04-14 cs.CL
Detecting automatically the layout of clinical documents to enhance the performances of downstream natural language processing
Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Institut Pierre-Louis d'Epidémiologie et de Santé Publique（皮埃尔-路易流行病学与公共卫生研究所）；Assistance Publique-Hôpitaux de Paris（巴黎公共医疗集团）；LIMICS（医学信息学与信号处理实验室）
本研究开发并验证了一种基于Transformer的临床PDF文档布局分析算法，通过提取正文文本提升了下游医疗概念提取和急性感染检测任务的性能。
2023-05-23 cs.CL
Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Alibaba Cloud Computing（阿里云计算）
ColParse通过生成布局感知的子图像嵌入和全局向量融合，实现高效多向量检索，显著降低存储需求并提升性能。
2026-03-02 cs.CL cs.IR
Page Layout Analysis of Text-heavy Historical Documents: a Comparison of Textual and Visual Approaches
EPFL（洛桑联邦理工学院）；UNIL（洛桑大学）
页面布局分析是文档处理中的基本步骤，它能够将页面分割成感兴趣的区域。由于高度复杂的布局和混合的脚本，学术评论是文本繁重的文档，对于最先进的模型来说仍然具有挑战性。它们的布局在不同版本之间有很大的差异，它们最重要的区域主要由语义而不是图形特征（如位置或外观）定义。这种情况要求对文本、视觉和混合方法进行比较。因此，我们评估两个Transformers（LayoutLMv 3和RobERTa）和一个目标检测网络（YOLOv 5）的性能。如果结果显示后者有明显的优势，我们也会对这一发现提出一些警告。除了我们的实验之外，我们还发布了ca的数据集。300页注释，摘自19世纪的评论。
2022-12-12 cs.AI cs.CL cs.CV
Modeling Layout Reading Order as Ordering Relations for Visually-rich Document Understanding
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Ant Group（蚂蚁集团）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）
针对视觉富文档中传统阅读顺序排列形式信息表达不足的问题，提出将阅读顺序建模为元素间排序关系，并构建基准数据集、关系抽取方法及关系增强流程，显著提升下游VrD任务性能。
2024-09-29 cs.CL cs.MM
LED: A Benchmark for Evaluating Layout Error Detection in Document Analysis
Department of Computer Engineering Chungnam National Univ.（计算机工程系, 首尔国立大学）
本文提出LED基准，用于评估文档分析中结构推理能力，定义八种标准错误类型并构建数据集，通过三种任务揭示模型在多模态和架构上的弱点。
2026-03-18 cs.CL cs.CV
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院）
本文提出DOCMASTER统一平台，在设备端集成PDF文档标注、模型训练与推理，支持布局感知和文本模型，解决文档问答中的格式复杂性与隐私保护问题，并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
Beijing Renhe Information Technology Co., Ltd.（北京人和信息技术有限公司）；Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals（科技期刊数字出版与全程管理重点实验室）
针对科学文档跨版本差异分析难题，提出布局感知的异构元素感知框架，通过对齐优先机制建立对应并进行差异推理，支持多元素统一分析，实验显示其性能优于基线，相关分析证实方法有效性，为文档比较提供可靠方案。
2026-07-30 cs.AI cs.CL
Training LayoutLM from Scratch for Efficient Named-Entity Recognition in the Insurance Domain
Univ Brest（布雷斯特大学）；CNRS（法国国家科学研究中心）；Data Analytics Solutions, SCOR（SCOR公司数据分析解决方案部）；INSA Rennes（雷恩国立应用科学学院）；IRISA（雷恩信息与自动化研究所）；Inria（法国国家信息与自动化研究所）；Université de Rennes（雷恩大学）
针对通用预训练模型在保险领域因数据稀缺、领域不匹配效果不佳的问题，对比LayoutLM不同预训练策略，验证领域相关文档可提升NER效果，且小模型也能取得有竞争力的结果。
2024-12-12 cs.CL
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech（INFLY科技）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Liverpool（利物浦大学）
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题，提出 layoutRL 强化学习框架与 Infinity-Parser，并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
Benchmarking Graph Neural Networks for Document Layout Analysis in Public Affairs
Univ. Autónoma de Madrid (UAM)（马德里自治大学）
该研究面向公共事务数字原生 PDF，构建两种文档图并融合预训练文本与视觉特征，基准评估四类 GNN，证明双分支 GraphSAGE 在细粒度版面分类中表现最佳。
2025-07-28 cs.CL cs.CV cs.LG
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University（浙江大学）
针对零样本文档图像问答，提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning，使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
Knowing Where and What: Unified Word Block Pretraining for Document Understanding
由于文档的复杂布局，为文档提取信息具有挑战性。以前的大多数研究都是以自我监督的方式开发多模态预训练模型。本文重点研究了包含文本和布局信息的词块的嵌入学习，提出了一种具有统一TExt和布局预训练的语言模型UTel。具体来说，我们提出了两个预训练任务：用于布局学习的周围词预测（SWP）和用于识别不同词块的词嵌入（CWE）的对比学习。此外，我们取代了常用的一维位置嵌入与一维裁剪的相对位置嵌入。通过这种方式，Masked Layout-Language Modeling（MLLM）和两个新提出的任务的联合训练能够以统一的方式实现语义和空间特征之间的交互。此外，建议的UTel可以处理任意长度的序列，通过删除1D位置嵌入，同时保持竞争力的性能。大量的实验结果表明，UTel学习更好的联合表示，并实现优于以前的方法在各种下游任务的性能，虽然不需要图像模态。代码可在\url{https://github.com/taosong2019/UTel}上获得。
2022-07-29 cs.AI cs.CL
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.（贝莱德集团）
从复杂文档中表示结构化文本通常需要不同的机器学习技术，例如用于段落的语言模型和用于表格提取的卷积神经网络（CNN），这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中，我们提出了一个模型，近似的人类阅读模式的文件，并输出一个独特的语义表示为每个文本跨度，无论内容类型，他们被发现。我们的架构的结构化文本的图形表示的基础上，我们证明，我们不仅可以检索语义相似的信息跨文档，而且我们生成的嵌入空间捕获有用的语义信息，类似于语言模型，只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
Combining Linguistic and Spatial Information for Document Analysis
我们提出了一个框架来分析复杂布局的彩色文档。此外，没有对布局做出任何假设。我们的框架结合了内容驱动的自下而上的方法两个不同的信息来源：文本和空间。为了分析文本，使用了浅层自然语言处理工具，例如标记器和部分解析器。为了推断逻辑布局的关系，我们求助于与艾伦演算密切相关的定性空间演算。我们评估系统对彩色期刊的文件，并提出了从期刊的页面中提取阅读顺序的结果。在这种情况下，我们的分析是成功的，因为它从文档中提取了预期的阅读顺序。
2000-09-20 cs.CL cs.DL
Benchmarking Open-Source Layout Detection Models for Data Snapshot Extraction from Institutional Documents
Development Data Group Office of the World Bank Group Chief Statistician（世界银行发展数据分析组办公室世界银行统计主任）；The World Bank（世界银行）
针对机构文档中图表数据快照提取任务，构建基准数据集并评估多个开源布局检测模型，发现现有模型在操作型文档上泛化能力不足，存在内容混淆、碎片化及上下文缺失等问题。
2026-06-04 cs.AI cs.CL cs.CV
KH-FUNSD: A Hierarchical and Fine-Grained Layout Analysis Dataset for Low-Resource Khmer Business Document
National Engineering Research Center of Speech and Language Information Processing (NERC-SLIP) University of Science and Technology of China（国家语信息处理语音工程研究中心（NERC-SLIP）大学科学技术大学）
KH-FUNSD是首个面向克默语商业文档的分层细粒度布局分析数据集，通过三级注释框架提升低资源语言文档处理能力。
2025-12-04 cs.AI cs.CL cs.CV
