Page Layout Analysis System for Unconstrained Historic Documents
Brno University of Technology（布尔诺理工大学）
从历史文档中提取文本区域和单个文本行是自动转录所必需的。我们建议通过向模型输出中添加行高和文本块边界预测来扩展基于CNN的文本基线检测系统，从而使系统能够提取更全面的布局信息。我们还表明，逐像素文本方向预测可以用于处理具有多个文本方向的文档。我们证明了所提出的方法在cBAD基线检测数据集上表现良好。此外，我们在新引入的PERO布局数据集上对该方法进行了基准测试，我们也将其公开。
2021-02-23 cs.CV
UnSupDLA: Towards Unsupervised Document Layout Analysis
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Mindgarage；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出UnSupDLA，通过从无标注文档图像生成对象掩码并进行多轮无监督训练，在无需人工标签的条件下提升文档版面分析的精度与效率。
2024-06-10 cs.CV
M$^{6}$Doc: A Large-Scale Multi-Format, Multi-Type, Multi-Layout, Multi-Language, Multi-Annotation Category Dataset for Modern Document Layout Analysis
South China University of Technology（华南理工大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）；IntSig Information Co., Ltd.（合合信息科技股份有限公司）
本文提出大规模多格式多类型多布局多语言多标注的现代文档版面分析数据集$M^{6}$Doc，并提出基于transformer的TransDLANet方法，通过自适应元素匹配和分割分支实现64.5% mAP的最先进性能。
2023-05-21 cs.CV
DocBed: A Multi-Stage OCR Solution for Documents with Complex Layouts
Amazon Web Services AI（亚马逊云科技人工智能）
报纸的数字化有很多原因，包括保存历史，可访问性和搜索能力等。虽然科学文章和杂志等文件的数字化在文学中很普遍，但报纸数字化的主要挑战之一在于其复杂的布局（例如，跨越多个专栏的文章，图像中断的文本）分析，这是保持人类阅读顺序所必需的。这项工作在三个方面提供了报纸数字化的重大突破：首先，发布了来自美国21个不同州的3000个完全注释的真实世界报纸图像的数据集，这些图像代表了各种各样的复杂布局，用于文档布局分析;第二，提出布局分割作为现有光学字符识别（OCR）引擎的先驱，其中，多个国家的最先进的图像分割模型和几个后处理方法进行了探索，用于文档布局分割;第三，提供了一个全面的和结构化的评估协议，孤立的布局分割和端到端的OCR。
2022-02-03 cs.CV
WeLayout: WeChat Layout Analysis System for the ICDAR 2023 Competition on Robust Layout Segmentation in Corporate Documents
Tencent Inc（腾讯公司）
WeLayout系统结合DINO与YOLO模型集成，针对ICDAR 2023企业文档版面分割竞赛，通过数据增强、架构优化、边界框细化及贝叶斯调参，以mAP 70.0领先，验证了查询与锚点模型结合的有效性。
2023-05-11 cs.CV
A Large Dataset of Historical Japanese Documents with Complex Layouts
Harvard University（哈佛大学）
基于深度学习的自动文档布局分析和内容提取方法有可能大规模解锁历史文档中捕获的丰富信息。一个主要障碍是缺乏用于训练鲁棒模型的大型数据集。特别是，亚洲语言的训练数据很少。为此，我们提出了HJDataset，一个大型数据集的历史日本文件与复杂的布局。它包含七种类型的超过250，000个布局元素注释。除了内容区域的边界框和掩码之外，它还包括布局元素的层次结构和读取顺序。该数据集是使用人类和机器努力的组合构建的。提出了一种基于半规则的版图元素提取方法，并由人工检查员对提取结果进行检查。由此产生的大规模数据集用于使用最先进的深度学习模型为文本区域检测提供基线性能分析。我们证明了数据集对现实世界的文档数字化任务的有用性。该数据集可在https://dell-research-harvard.github.io/HJDataset/上获得。
2020-04-18 cs.CV
Joint Layout Analysis, Character Detection and Recognition for Historical Document Digitization
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们提出了一个端到端的可训练框架，用于恢复遵循正确阅读顺序的历史文档内容。该框架在特征提取网络的后面增加了两个分支：字符分支和布局分支。字符分支定位文档图像中的各个字符并同时识别它们。然后采用后处理的方法将其分组为文本行。基于全卷积网络的布局分支输出二进制掩码。然后，我们使用Hough变换的二进制掩码上的行检测和字符的结果与布局信息相结合，以恢复文档内容。这两个分支可以并行训练，并且易于训练。此外，我们提出了一个重新评分机制，以尽量减少识别错误。在扩展的中文历史文档MTHv2数据集上的实验结果验证了该框架的有效性。
2020-07-14 cs.CV
Towards Khmer Scene Document Layout Detection
Techo Startup Center, Ministry of Economy and Finance, Cambodia（技术创业中心，经济财政部，柬埔寨）；Osaka Metropolitan University, Japan（大阪 Metropolitan 大学，日本）
本文提出了一种针对柬埔寨场景文档布局检测的新框架，包含数据集、增强工具和YOLO-based基线，以处理几何畸变和复杂布局。
2026-02-28 cs.CV
LayoutLite: Token-Level Implicit Layout Analysis for Efficient Document OCR
研究基于视觉语言模型的端到端OCR系统效率问题，提出LayoutLite模块，通过令牌级隐式布局分析，聚合视觉表示并预测重要性分数，去除低信息令牌，实验证明其能有效加速OCR系统，提升效率且保证识别质量。
2026-07-27 cs.CV
RT-DocLayout: Real-Time End-to-End Document Layout Analysis with Reading Order in the Wild
PaddlePaddle Team, Baidu Inc.（百度公司飞桨团队）
提出RT-DocLayout，一个33M参数的端到端框架，通过统一的多任务查询解码器同时进行分类、检测、分割和阅读顺序预测，在公共基准上达到132.1 FPS的实时推理速度和最先进性能。
2026-06-23 cs.CV
OmniDocLayout: Towards Diverse Document Layout Generation via Coarse-to-Fine LLM Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sun Yat-sen University（中山大学）
OmniDocLayout通过粗到细的LLM学习方法，生成多样化文档布局，解决现有布局生成中多样性和复杂性不足的问题。
2025-11-24 cs.CV
LED Benchmark: Diagnosing Structural Layout Errors for Document Layout Analysis
本文提出LED基准，用于评估文档布局预测的结构鲁棒性，通过定义八种标准错误类型和三个互补任务，解决传统指标无法检测的结构性错误问题。
2026-03-20 cs.CV
IndicDLP: A Foundational Dataset for Multi-Lingual and Multi-Domain Document Layout Parsing
Indian Institute of Technology, Madras, India（印度理工学院马德拉斯分校）；International Institute of Information Technology Hyderabad, India（国际信息科技研究所海得拉巴分校）
IndicDLP是一个多语言多领域文档布局解析数据集，旨在解决现有数据集在规模、多样性和标注细粒度方面的不足，提升文档理解的效率和包容性。
2025-12-23 cs.CV
Open Evaluation Tool for Layout Analysis of Document Images
University of Fribourg（弗里堡大学）
本文提出了一个开放的工具，用于在像素级上标准化文档图像布局分析任务的评估过程。我们引入了一个新的评估工具，它既可以作为独立的Java应用程序，也可以作为RESTful Web服务。这个评估工具是免费和开源的，以便成为任何人都可以使用和贡献的通用工具。它旨在提供尽可能多的指标来研究布局分析预测，并提供一种可视化结果的简单方法。该工具在像素级评估文档分割，并支持多标记像素地面实况。最后，该工具已成功用于ICDAR 2017年的中世纪建筑布局分析竞赛。
2017-11-23 cs.CV
A Simple yet Effective Layout Token in Large Language Models for Document Understanding
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
针对现有布局集成大语言模型需额外位置ID、影响文本学习与长上下文推理的问题，提出LayTokenLLM，通过单段布局令牌、共享位置ID和NTLP预训练目标，在多页及多数单页文档理解任务上优于同规模模型。
2025-03-24 cs.CV
LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
针对LLM/MLLM文档理解中布局信息利用不足的问题，提出LayoutLLM，通过布局感知预训练、监督微调及LayoutCoT提升性能与可解释性。
2024-04-08 cs.CL cs.CV
BaDLAD: A Large Multi-Domain Bengali Document Layout Analysis Dataset
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）；BRAC University（BRAC大学）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）；RPI（伦斯勒理工学院）
针对孟加拉语DLA数据集缺失、现有规则系统鲁棒性不足的问题，该研究发布了含6个领域33695份样本、71万标注的BaDLAD数据集，并通过基准实验验证其可有效支撑孟加拉语文档数字化模型训练。
2023-05-05 cs.CV
DLAFormer: An End-to-End Transformer For Document Layout Analysis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出端到端 Transformer 模型 DLAFormer，通过统一关系预测标签空间、类型化查询和由粗到细策略，整合文档版面分析多子任务，并在 DocLayNet 与 Comp-HRDoc 上取得优于多分支、多阶段方法的性能。
2024-05-20 cs.CV
A Hybrid Approach for Document Layout Analysis in Document images
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Mindgarage；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出一种基于Transformer目标检测与混合匹配策略的文档版面分析方法，通过查询编码机制提升解码效率，在PubLayNet、DocLayNet和PubTables上取得领先精度。
2024-04-30 cs.CV
Relation-Rich Visual Document Generator for Visual Information Extraction
National Taiwan University（台湾大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（国立高雄师范大学）
针对富关系文档视觉信息抽取面临的布局多样性和数据稀缺问题，提出两阶段富关系视觉文档生成器RIDGE，通过LLMs生成含实体关系的内容并基于OCR结果生成布局，显著提升VIE模型性能。
2025-04-14 cs.CV
HybriDLA: Hybrid Generation for Document Layout Analysis
HybriDLA通过结合扩散和自回归解码，实现文档布局分析的高精度区域预测，达到83.5%的mAP性能。
2025-11-25 cs.CV
DocCogito: Aligning Layout Cognition and Step-Level Grounded Reasoning for Document Understanding
Fudan University（复旦大学）
DocCogito通过整合布局感知与结构化推理，提升文档理解的准确性和推理过程的系统性。
2026-03-08 cs.CV
Diachronic Document Dataset for Semantic Layout Analysis
Inria（法国国家信息与自动化研究所）；Paris Sciences & Lettres（巴黎文理研究大学）；Center for Digital Humanities and Multilateralism（数字人文与多边主义中心）；Geneva Graduate Institute（日内瓦高等研究院）；University of Geneva（日内瓦大学）
本文提出了一个用于语义版面分析的开放获取历时文档数据集，包含7,254个跨越1600至2024年的多类型标注页面，支持TEI标准映射的文档重建，并验证了YOLO在1280像素输入下性能最佳及子集训练整合优于微调。
2024-11-15 cs.CV
SFDLA: Source-Free Document Layout Analysis
CV:HCI lab, Karlsruhe Institute of Technology, Germany（计算机视觉与人机交互实验室，卡尔斯鲁厄理工学院，德国）；CVG, ETH Zurich, Switzerland（计算机视觉组，瑞士苏黎世联邦理工学院）
针对文档布局分析中源数据不可用的问题，提出SFDLA基准和DLAdapter框架，实现无源自适应，在PubLayNet到DocLayNet上提升+4.21%。
2025-06-18 cs.CV
Advanced Layout Analysis Models for Docling
本报告开发了集成于 Docling 的新型布局分析模型，基于 RT-DETR 等架构在 15 万文档上训练并引入五个新模型，较基线提升 20.6%-23.9% mAP，最佳模型在 A100 上达 78% mAP。
2025-09-15 cs.CV
Doc-GCN: Heterogeneous Graph Convolutional Networks for Document Layout Analysis
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）
识别非结构化数字文档的布局在将文档解析为结构化的机器可读格式以供下游应用时至关重要。目前的文档版面分析研究通常依赖于计算机视觉模型来理解文档，而忽略了其他信息，如上下文信息或文档组件之间的关系，这些信息对捕获至关重要。我们的Doc-GCN提出了一种有效的方法来协调和整合异构方面的文档布局分析。我们首先构建图形来明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图卷积网络来表示信息的各个方面，并使用池化来集成它们。最后，我们聚合每个方面，并将它们馈送到2层MLP中，用于文档布局组件分类。我们的Doc-GCN在三个广泛使用的DLA数据集中取得了新的最先进的结果。
2022-09-19 cs.CV cs.LG
RoDLA: Benchmarking the Robustness of Document Layout Analysis Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Oxford（牛津大学）
本文首次提出文档版面分析模型的鲁棒性基准，包含45万图像、36种扰动及mPE和mRD指标，并引入改进注意力机制的RoDLA模型，在三个基准上取得最优mRD分数和显著mAP提升。
2024-03-21 cs.CV
PARL: Position-Aware Relation Learning Network for Document Layout Analysis
Unisound AI Technology Co.Ltd（Unisound人工智能技术有限公司）；MAIS, Institute of Automation, CAS（MAIS，自动化研究所，中国科学院）；Beihang University（北航）；School of Computer Science and Technology, Tiangong University（天工大学计算机科学与技术学院）
PARL提出一种无OCR的纯视觉框架，通过位置敏感性和关系结构建模文档布局，实现高效且鲁棒的布局分析。
2026-01-12 cs.CV
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
DoPTA: Improving Document Layout Analysis using Patch-Text Alignment
Adobe（奥多比公司）；Media and Data Science Research Lab（媒体与数据科学研究实验室）
本文提出DoPTA文档编码器，通过新颖的图像-文本对齐技术利用文档中的文本信息提升视觉任务性能，无需推理时OCR，以更少预训练计算超越更大模型，并在D4LA和FUNSD上取得最优结果。
2025-03-09 cs.CV
Vision Grid Transformer for Document Layout Analysis
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出VGT双流视觉网格Transformer，结合预训练网格Transformer，在文档版面分析任务上取得新最先进结果，并发布D$^4$LA数据集。
2023-08-29 cs.CV
ReLayout: Towards Real-World Document Understanding via Layout-enhanced Pre-training
Osaka University（大阪大学）
针对现有VrDU方法依赖人工标注语义组不切实际的问题，提出ReVrDU任务变体及新方法ReLayout，通过排列词并拉近同组词表示学习语义分组，实验证明其性能优越。
2024-10-16 cs.CV
DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出DocLayout-YOLO，通过DocSynth-300K数据集预训练和Global-to-Local可控感受模块优化，在保持速度的同时提升文档布局分析的准确性，并在新基准DocStructBench上验证了其卓越性能。
2024-10-16 cs.CV
Framework and Model Analysis on Bengali Document Layout Analysis Dataset: BaDLAD
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文基于 BaDLAD 数据集比较 Detectron2、YOLOv8 与 SAM 在孟加拉语文档版面分析中的准确率和速度，明确各模型适用的文档类型。
2023-08-15 cs.CV cs.LG
PARAGRAPH2GRAPH: A GNN-based framework for layout paragraph analysis
Datagrand Tech Inc.（达观科技有限公司）
针对现有文档版面分析方法依赖语言、难处理长文档且分割易重叠的问题，提出语言无关的 GNN 模型 Paragraph2Graph，以 1995 万参数实现有竞争力的版面分析效果。
2023-04-24 cs.CV
DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis
IBM Research（IBM研究院）
准确的文档布局分析是高质量PDF文档转换的关键要求。随着PubLayNet和DocBank等公共大型地面实况数据集的出现，深度学习模型已被证明在布局检测和分割方面非常有效。虽然这些数据集的大小足以训练这样的模型，但它们严重缺乏布局可变性，因为它们仅来自科学文章库，如PubMed和arXiv。因此，当这些模型应用于更具挑战性和多样性的布局时，布局分割的准确性显着下降。在本文中，我们提出了\textit{DocLayNet}，一个新的，公开的，COCO格式的文档布局注释数据集。它包含来自不同数据源的80863个手动注释页面，以表示布局的广泛变化。对于每个PDF页面，布局注释提供了带有标签的边界框，可以选择11个不同的类。DocLayNet还提供了双注释和三注释页面的子集，以确定注释者之间的协议。在多个实验中，我们为一组流行的目标检测模型提供了基线准确度分数（以mAP为单位）。我们还表明，这些模型落在注释者之间的协议大约10%。此外，我们提供的证据表明，DocLayNet是足够的大小。最后，我们比较了在PubLayNet、DocBank和DocLayNet上训练的模型，结果表明DocLayNet训练的模型的布局预测更稳健，因此是通用文档布局分析的首选。
2022-06-02 cs.CV cs.LG
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
最近，各种多模态网络的视觉丰富的文档理解（VRDU）已被提出，显示促进Transformers集成视觉和布局信息与文本嵌入。然而，大多数现有的方法利用位置嵌入来合并序列信息，忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中，我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息，从我们的增强XY切割产生的正确的阅读顺序。此外，一个扩展的条件位置编码模块被提出来处理输入序列的可变长度，它另外提取本地布局信息的文本和视觉模态，同时生成位置嵌入。实验结果表明，XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Qianfan-OCR: A Unified End-to-End Model for Document Intelligence
Baidu Qianfan Team（百度千帆团队）
千帆OCR是一种端到端视觉-语言模型，整合文档解析、布局分析和文档理解，支持图像到Markdown转换及多种提示驱动任务，通过Layout-as-Thought机制提升复杂布局的准确性。
2026-03-11 cs.CV
Human-In-The-Loop Document Layout Analysis
East China Normal University（华东师范大学）；Shanghai Key Laboratory of Multidimensional Information Processing（上海市多维度信息处理重点实验室）
文档布局分析（DLA）的目的是将文档图像划分为不同类型的区域。DLA在文档内容理解和信息抽取系统中起着重要的作用。探索一种能够使用较少数据进行有效训练的方法有助于DLA的发展。我们认为在DLA中的人在环（HITL）协作智能。我们的方法受到HITL通过添加少量基于知识的数据来推动模型从未知问题中学习的启发。HITL使用置信度选择关键样本。然而，使用置信度来找到关键样本并不适合于DLA任务。我们提出了关键样本选择（KSS）方法，通过代理协作，更准确地找到高层次任务（语义分割）中的关键样本，有效地降低成本。一旦被选中，这些关键样本将被传递给人类进行主动标记，然后模型将使用标记的样本进行更新。因此，我们重新审视了强化学习的学习系统，并设计了一种基于样本的智能体更新策略，有效地提高了智能体接受新样本的能力。在两个基准测试（DSSE-200（从77.1%到86.3%）和CS-150（从88.0%到95.6%））中，使用10%的标记数据，它取得了显着的改善结果。
2021-08-04 cs.CV
Visually Guided Generative Text-Layout Pre-training for Document Intelligence
The Chinese University of Hong Kong（香港中文大学）
提出视觉引导的生成式文本-版面预训练方法ViTLP，通过层次化建模与多段生成方案处理长文档，实现文本定位识别并提升多种文档理解任务性能。
2024-03-27 cs.CL cs.CV
Parser-Oriented Structural Refinement for a Stable Layout Interface in Document Parsing
Unisound AI Technology Co., Ltd.（云知声智能科技股份有限公司）；School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室）
本文提出一种轻量级结构细化方法，在检测器与解析器之间稳定解析接口，通过共享的精简结构状态联合决定实例保留、精确定位和预测解析顺序，提升复杂页面的布局质量。
2026-04-03 cs.CV
EDocNet: Efficient Datasheet Layout Analysis Based on Focus and Global Knowledge Distillation
针对电子器件文档版面分析需求，提出EDocNet模型，采用焦点与全局知识蒸馏方法训练，实现21类内容划分，提升平均准确率、召回率及检测速度。
2025-02-23 cs.CV cs.LG
PP-StructureV2: A Stronger Document Analysis System
Baidu Inc.（百度公司）
大量的文档数据以非结构化的形式存在，例如没有任何文本信息的原始图像。设计一个实用的文档图像分析系统是一个有意义但又具有挑战性的课题。在以前的工作中，我们提出了一个智能文档分析系统PP-Structure。为了进一步提升PP-Structure的功能和性能，本文提出了PP-StructureV 2，它包含两个子系统：布局信息抽取和关键信息抽取。首先，我们整合了影像方向校正模块与版面复原模块，以增强系统的功能。其次，PP-StructureV 2中使用了8种实用策略，以提高性能。对于布局分析模型，我们引入了超轻型检测器PP-PicoDet和知识蒸馏算法FGD来进行模型轻量化，使推理速度提高了11倍，与mAP相当。对于表格识别模型，分别利用PP-LCNet、CSP-PAN和SLAHead对骨干模块、特征融合模块和解码模块进行优化，在保证推理速度的前提下，使表格结构准确率提高了6%。在关键信息抽取模型中，引入了与视觉特征无关的LayoutXLM结构VI-LayoutXLM、TB-YX排序算法和U-DML知识蒸馏算法，使语义实体识别和关系抽取任务的Hmean分别提高了2.8%和9.1%。上述所有模型和代码都在GitHub存储库PaddleOCR中开源。
2022-10-13 cs.CV
Bengali Document Layout Analysis with Detectron2
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）
针对孟加拉语DLA数据集匮乏、相关模型准确率不足的问题，研究人员基于Detectron2库的Mask R-CNN系列模型，在BaDLAD数据集上验证了不同变体及PubLayNet预训练权重的效果，拓展了该类模型在孟加拉语文档场景的适用性。
2023-08-26 cs.CV cs.LG
LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
针对文档布局理解数据密集问题，提出LLM引导的概率融合框架，融合视觉预测与LLM结构先验生成伪标签，在轻量级和预训练模型上均提升性能，仅用5%标签即取得优异结果，还支持隐私保护部署。
2025-11-13 cs.CV
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Azure Cognitive Services Research（微软Azure认知服务研究院）；Microsoft Azure Visual Document Intelligence（微软Azure视觉文档智能部门）
我们提出了通用文档处理（UDOP），这是一个基础文档AI模型，它将文本，图像和布局模式与各种任务格式结合在一起，包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性，用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer，UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知，这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术，例如，文档理解和QA，跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding
FA Research（FA研究院）；Fast Accounting Co., Ltd.（快会计有限公司）
针对视觉富文本文档理解任务中现有方法需针对不同任务微调且成本高昂的局限，提出LayoutLLM，通过多模态指令数据集微调将文档图像理解与大规模语言模型集成，在单一模型中实现更灵活的文档分析并在多项任务上优于基线。
2024-03-21 cs.AI cs.CL cs.CV
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
文档布局包括结构和视觉（例如，字体大小）信息，这些信息是重要的，但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容，而忽略了其他形式的内容，如图像的存在。此外，布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距，我们将文档解析为内容块（例如，文本，表格，图像），并提出了一种新的布局感知的多模态层次框架，LAMPreT，模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码，并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标，其中较低级别的模型与多模态接地模型类似地进行训练，而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议，并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
LAPDoc: Layout-Aware Prompting for Documents
RheinMain University of Applied Sciences（莱茵美茵应用科学大学）；Insiders Technologies GmbH（Insiders科技有限公司）；National University of Sciences and Technology（国家科技大学）
本文提出LAPDoc，通过直接插入式修改和基于规则的方法将布局信息融入纯文本LLM提示，在标准文档基准上性能提升高达15%，为文档理解任务提供了模型选择依据。
2024-02-15 cs.CL cs.CV cs.LG
PP-DocLayout: A Unified Document Layout Detection Model to Accelerate Large-Scale Data Construction
Baidu Inc.（百度公司）
针对现有文档版面检测模型泛化性差、难处理复杂版面、大规模处理实时性不足的问题，提出PP-DocLayout统一模型，提供三种不同规模版本，在精度和效率上均有提升，助力高质量数据构建与文档智能发展。
2025-03-21 cs.AI cs.CV
Bengali Document Layout Analysis -- A YOLOV8 Based Ensembling Approach
针对孟加拉语文档布局分析难题，本文提出基于 YOLOv8 的两阶段集成与后处理方法，结合数据增强和全量微调，在 BaDLAD 上优于单一基础模型。
2025-09-29 cs.CV cs.LG
Page Layout Analysis of Text-heavy Historical Documents: a Comparison of Textual and Visual Approaches
EPFL（洛桑联邦理工学院）；UNIL（洛桑大学）
页面布局分析是文档处理中的基本步骤，它能够将页面分割成感兴趣的区域。由于高度复杂的布局和混合的脚本，学术评论是文本繁重的文档，对于最先进的模型来说仍然具有挑战性。它们的布局在不同版本之间有很大的差异，它们最重要的区域主要由语义而不是图形特征（如位置或外观）定义。这种情况要求对文本、视觉和混合方法进行比较。因此，我们评估两个Transformers（LayoutLMv 3和RobERTa）和一个目标检测网络（YOLOv 5）的性能。如果结果显示后者有明显的优势，我们也会对这一发现提出一些警告。除了我们的实验之外，我们还发布了ca的数据集。300页注释，摘自19世纪的评论。
2022-12-12 cs.AI cs.CL cs.CV
LED: A Benchmark for Evaluating Layout Error Detection in Document Analysis
Department of Computer Engineering Chungnam National Univ.（计算机工程系, 首尔国立大学）
本文提出LED基准，用于评估文档分析中结构推理能力，定义八种标准错误类型并构建数据集，通过三种任务揭示模型在多模态和架构上的弱点。
2026-03-18 cs.CL cs.CV
Detect-Order-Construct: A Tree Construction based Approach for Hierarchical Document Structure Analysis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出一种基于树构建的端到端方法，同时完成页面对象检测、阅读顺序预测和层次结构构建，并在多个文档结构分析数据集上取得最先进性能。
2024-03-28 cs.CV
