XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
最近，各种多模态网络的视觉丰富的文档理解（VRDU）已被提出，显示促进Transformers集成视觉和布局信息与文本嵌入。然而，大多数现有的方法利用位置嵌入来合并序列信息，忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中，我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息，从我们的增强XY切割产生的正确的阅读顺序。此外，一个扩展的条件位置编码模块被提出来处理输入序列的可变长度，它另外提取本地布局信息的文本和视觉模态，同时生成位置嵌入。实验结果表明，XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Semantic-Guided Reading Order Reconstruction in Historical Armenian Newspapers with LLMs
École nationale des chartes-PSL（法国国立文献学院-巴黎文理研究大学）；Inalco（法国国立东方语言文化学院）；Calfa
针对历史亚美尼亚报纸复杂版面和低资源问题，提出混合方法结合语义区域检测与生成式LLM，排序错误率较几何基线降低76%。
2026-07-02 cs.CV
ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction
ROAP通过优化布局变换器的注意力分布，提升关键信息提取的性能，解决阅读顺序建模和视觉干扰问题。
2026-01-09 cs.CL cs.CV
Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Alberta（阿尔伯塔大学）；Hunan University（湖南大学）
该研究针对现有文档理解系统模块分离的问题，构建了统一文档解析数据集RPD，提出空间感知增强器，实验表明其增强模型在联合恢复阅读顺序与视觉语义上表现出色。
2026-10-14 cs.AI cs.CV
Reading Order Inference for Complex Document Layouts
School of Computer Science and AI, Tel Aviv University（特拉维夫大学计算机科学与人工智能学院）
提出无训练图框架，通过因果语言模型和BERT NSP信号构建候选转移图，结合最大遗憾推理规则，解决复杂历史手稿中非矩形环绕布局的阅读顺序问题，在Glossa和OmniDocBench数据集上优于XY-cut和LayoutReader。
2026-07-02 cs.AI cs.CL cs.CV
PDF-WuKong: A Large Multimodal Model for Efficient Long PDF Reading with End-to-End Sparse Sampling
Huazhong University of Science and Technology（华中科技大学）；Huawei Inc.（华为公司）
本文提出PDF-WuKong，一种针对长PDF文档的多模态大语言模型，通过端到端稀疏采样提升多模态问答效率，实验表明其在长文档理解任务中优于其他模型，F1得分平均高出8.6%。
2026-04-27 cs.AI cs.CL cs.CV
ICDAR 2019 Historical Document Reading Challenge on Large Structured Chinese Family Records
Luleå University of Technology（吕勒奥理工大学）；FamilySearch（FamilySearch（家族搜索））
我们提出了一个关于大型中国结构化家庭记录的历史文献阅读挑战，简称ICDAR2019 HDRC CHINESE。拟议的比赛的目标是识别和分析布局，并最终检测和识别的大型历史文件集合包含超过20 000页的FamilySearch提供的文本行和字符。
2019-05-10 cs.CV
Framework and Model Analysis on Bengali Document Layout Analysis Dataset: BaDLAD
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文基于 BaDLAD 数据集比较 Detectron2、YOLOv8 与 SAM 在孟加拉语文档版面分析中的准确率和速度，明确各模型适用的文档类型。
2023-08-15 cs.CV cs.LG
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech（INFLY科技）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Liverpool（利物浦大学）
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题，提出 layoutRL 强化学习框架与 Infinity-Parser，并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
Reading Order Independent Metrics for Information Extraction in Handwritten Documents
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；TEKLIA（TEKLIA公司）；Universitat de València（瓦伦西亚大学）
本文针对手写文档信息抽取评估指标易受阅读顺序错误影响的问题，提出并公开了一套与阅读顺序无关的评估指标，并通过实验分析推荐了正确评估任务所需的最小指标集合。
2024-04-29 cs.CV
Éclair -- Extracting Content and Layout with Integrated Reading Order for Documents
NVIDIA（英伟达公司）
本文提出通用文档文本提取工具Éclair，可在提取格式化文本的同时输出阅读顺序、边界框和语义类别，并在自建人工标注基准及多个已有基准上取得领先性能。
2025-02-06 cs.CV
TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）
最近，从视觉丰富的文档（例如，门票和简历）由于其广泛的商业价值而成为热门和重要的研究课题。大多数现有的方法将此任务分为两个子部分：文本读取部分，用于从原始文档图像中获取纯文本;信息抽取部分，用于提取关键内容。这些方法主要侧重于改善第二部分，而忽略了这两个部分是高度相关的。本文提出了一个统一的端到端的信息抽取框架，从视觉丰富的文件，文本阅读和信息抽取可以加强通过一个精心设计的多模态上下文块。具体而言，文本阅读部分提供多模态特征，如视觉、文本和布局特征。开发多模态上下文块以融合所生成的多模态特征，甚至融合来自预训练的语言模型的先验知识，以更好地进行语义表示。信息抽取部分负责生成融合了上下文特征的关键内容。该框架可以以端到端的可训练方式进行训练，实现全局优化。更重要的是，我们定义和组视觉丰富的文档分为四个类别，跨越两个维度，布局和文本类型。对于每一个文献类别，我们都提供或推荐了相应的基准、实验设置和强基线，以弥补该研究领域缺乏统一评价标准的问题。在四种基准测试（从固定布局到可变布局，从全结构化文本到半非结构化文本）上的实验结果表明了该方法的有效性。数据，源代码和模型都是可用的。
2022-07-14 cs.CV
VisualMRC: Machine Reading Comprehension on Document Images
NTT Media Intelligence Laboratories, NTT Corporation（NTT媒体智能实验室，NTT公司）
最近关于机器阅读理解的研究主要集中在文本层面的理解，但尚未达到人类对现实世界文档的视觉布局和内容的理解水平。在这项研究中，我们引入了一个新的视觉机器阅读理解数据集，命名为VisualMRC，其中给定一个问题和一个文档图像，机器阅读和翻译图像中的文本，以回答自然语言的问题。与现有的包含图像中文本的视觉问答（VQA）数据集相比，VisualMRC更注重开发自然语言理解和生成能力。它包含30，000+对问题和10，000+文档图像的抽象答案，这些图像来自多个网页域。我们还引入了一个新的模型，该模型扩展了现有的序列到序列模型，使用大规模文本语料库进行预训练，以考虑文档的视觉布局和内容。VisualMRC的实验表明，该模型优于基本序列到序列模型和最先进的VQA模型。然而，在大多数自动评估指标上，它的性能仍然低于人类。该数据集将促进旨在连接视觉和语言理解的研究。
2021-05-10 cs.CL cs.CV
Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models
Harbin Institute of Technology（哈尔滨工业大学）
本文揭示文档VLM中检索-读取差距，通过配对协议证明提取文本可显著提升准确率，是有效检索的放大器而非替代品。
2026-10-05 cs.CV
A maximal-information color to gray conversion method for document images: Toward an optimal grayscale representation for document image binarization
为了提高文档二值化方法的性能，提出了一种将彩色/多光谱图像转换为灰度图像的新方法。该方法使用输入文档图像的像素数据在颜色空间中的分布来找到一种变换，称为对偶变换，其平衡所有颜色通道上的信息量。此外，为了减少灰度输出上的强度变化，应用色彩减少预处理步骤。然后，基于文本区域的均匀性准则，选择一个通道作为文档图像的灰度值表示。以这种方式，所提出的方法可以提供亮度无关的对比度增强。该方法的性能进行了评估，对各种图像从两个数据库，ICDAR'03鲁棒阅读，KAIST和DIBCO'09数据集，主观和客观的有希望的结果。来自ICDAR'03 Robust Reading数据集的图像的地面实况图像由作者手动创建。
2013-06-26 cs.CV
A human-inspired recognition system for premodern Japanese historical documents
由于历史文献中文字和背景的噪声、破损等原因，使得历史文献的识别成为一个具有挑战性的问题。然而，在日本的历史文献中，不仅包含上述问题，近代以前的日本文字都是用草书书写的，而且是相连的。因此，基于字符分割的方法不能很好地工作。这导致了创建一个新的识别系统的想法。在本文中，我们提出了一个人类启发的文件阅读系统，以识别多行的前现代日本历史文件。在阅读过程中，人们利用眼睛运动来确定文本行的开始。然后，他们将眼睛从当前字符/单词移动到下一个字符/单词。他们还可以确定一行的结束或跳过一个图形移动到下一行。眼球运动与视觉加工过程相结合，在大脑中运作阅读过程。我们采用基于注意力的编码器-解码器来实现这个识别系统。首先，识别系统检测文本行的起始位置。第二，系统逐字符扫描识别，直到文本行完成。然后，系统继续检测下一个文本行的开始。重复这个过程，直到阅读整个文档。我们在PRMU Kuzushiji竞赛提供的前现代日本历史文件上测试了我们的人类启发识别系统。实验结果表明，我们提出的系统的优越性和有效性，通过实现序列出错率的9.87%和53.81%的水平2和3的数据集，分别。这些结果优于参加PRMU Kuzushiji比赛的任何其他系统。
2019-05-14 cs.CV cs.DL
DocVQA: A Dataset for VQA on Document Images
IIIT Hyderabad（印度海得拉巴国际信息技术研究所）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
我们提出了一个新的数据集的视觉问答（VQA）的文档图像称为DocVQA。该数据集由50，000个问题组成，这些问题定义在12，000多个文档图像上。与VQA和阅读理解的类似数据集相比，数据集的详细分析。我们采用现有的VQA和阅读理解模型报告了几个基线结果。虽然现有的模型在某些类型的问题上表现相当不错，但与人类表现（94.36%的准确率）相比，存在很大的性能差距。模型需要改进，特别是在理解文档结构至关重要的问题上。数据集、代码和排行榜可在docvqa.org上获得
2021-01-05 cs.CV cs.IR
An Automatic Reader of Identity Documents
Politecnico di Bari（巴里理工大学）
身份证件的自动读取和验证是当今服务行业的一项热门技术，因为这项任务大多数仍然是人工完成的，导致了经济和时间资源的浪费。本文提出了一种新型的身份证件自动读取系统的原型。该系统被认为可以从质量可接受的照片中提取意大利主要身份证件的数据，就像各种服务的在线订户通常需要的照片一样。文档首先在照片中定位，然后分类;最后执行文本识别。一个合成的数据集已被用于神经网络的训练，并用于系统的性能评估。合成数据集避免了与使用真实文件的真实照片相关的隐私问题，这些照片将用于系统的未来开发。
2020-06-26 cs.CV cs.LG
ICDAR 2015 Text Reading in the Wild Competition
Megvii Inc.（旷视科技）
近年来，自然场景中的文本检测和识别在计算机视觉界以及文档分析界变得越来越流行。然而，大多数现有的想法，算法和系统是专门为英语设计的。本技术报告介绍了ICDAR 2015文本阅读大赛（TRW 2015）的最终结果，该比赛旨在建立一个评估针对中文和英文脚本设计的检测和识别算法的基准，并为社区研究人员提供一个平台。在本文中，我们详细描述了本次比赛的数据集，任务，评估协议和参与者，并报告了参与方法的性能。此外，有前途的未来研究方向进行了讨论。
2015-06-10 cs.CV
Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language
Information Technology University（信息技术大学）
人类唇读是一项具有挑战性的任务。它不仅需要潜在语言的知识，还需要视觉线索来预测口语。专家需要一定的经验和理解的视觉表达学习解码口语的话。如今，在深度学习的帮助下，可以将嘴唇序列翻译成有意义的单词。噪声环境中的语音识别可以通过视觉信息来提高[1]。为了证明这一点，在这个项目中，我们尝试了训练两种不同的唇读深度学习模型：第一种是使用时空卷积神经网络、双门递归神经网络和连接时间分类损失的视频序列，第二种是将MFCC特征输入到LSTM单元层并输出序列的音频。我们还收集了一个小的视听数据集来训练和测试我们的模型。我们的目标是将这两种模型结合起来，以提高噪声环境下的语音识别性能
2018-02-15 cs.CV cs.SD eess.AS
SCoPE VLM: Selective Context Processing for Efficient Document Navigation in Vision-Language Models
Georgia Institute of Technology（佐治亚理工学院）；Konkuk University（韩国康克伦大学）
SCoPE VLM通过引入滚动链机制和定制强化学习方法，实现高效文档导航，提升视觉语言模型在多页文档问答中的代理阅读能力。
2026-01-27 cs.CL cs.CV
Vision-based module for accurately reading linear scales in a laboratory
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究中心）
本文提出了一种基于视觉的模块，用于实验室中准确读取线性标尺的测量值，通过纠正注射器方向并提取关键特征来实现高精度读数。
2025-12-17 cs.AI cs.CV
Synth-JDoc: Synthesizing a Japanese Document Image Dataset for OCR with Diverse Layouts and Embedded Images
Waseda University（早稻田大学）；NII（信息学研究所）；NII LLMC（信息学研究所语言媒体研究中心）
本研究构建了含多样布局与嵌入图像的日文文档合成OCR数据集，可有效提升大型视觉语言模型读取竖排日文文本的性能，相关资源已公开。
2026-08-31 cs.CL cs.CV
GutenOCR: A Grounded Vision-Language Front-End for Documents
GutenOCR 通过微调 Qwen2.5-VL 模型，实现了文档中的 grounded OCR 和检测，提升了 OCR 得分和文本检测召回率，但存在页面线性化和公式布局方面的权衡。
2026-01-22 cs.AI cs.CL cs.CV
