Recognizing Handwriting Styles in a Historical Scanned Document Using Unsupervised Fuzzy Clustering
City College of San Francisco（旧金山城市学院）；Santa Clara University（圣克拉拉大学）
本研究针对历史扫描文档中多位抄写员手写风格归属的高维挑战，提出结合线性主成分分析与模糊软聚类的无监督方法，成功检测手写转换，为历史文档书写者归属和法医分析提供了新途径。
2023-06-28 cs.CV
DocParseNet: Advanced Semantic Segmentation and OCR Embeddings for Efficient Scanned Document Annotation
The Ohio State University（俄亥俄州立大学）；Flairsoft Company（弗莱尔软件公司）
DocParseNet结合深度学习和多模态学习，实现高效扫描文档标注，仅用280万参数即在mIoU上超越基线58%，模型缩小25倍，训练提速5倍。
2024-07-21 cs.CV
VisualWordGrid: Information Extraction From Scanned Documents Using A Multimodal Approach
Credit Agricole S.A（法国农业信贷银行）
我们介绍了一种新的方法，扫描文档表示执行字段提取。它允许在3轴张量中同时编码文本，视觉和布局信息，用作分割模型的输入。我们以几种方式改进了最近的Chargrid和Wordgrid \cite{chargrid}模型，首先考虑到视觉模态，然后通过提高其对小数据集的鲁棒性，同时保持较低的推理时间。我们的方法在公共和私人文档图像数据集上进行了测试，与最近的最先进的方法相比，表现出更高的性能。
2021-07-04 cs.CV cs.LG
Transformers and Language Models in Form Understanding: A Comprehensive Review of Scanned Document Analysis
University of Innsbruck（因斯布鲁克大学）
本文是扫描文档表单理解领域的综合综述，梳理Transformer与语言模型的技术进展、相关数据集基准，对比模型能力，为从业者选择适配方案提供指导。
2024-03-06 cs.CL cs.CV
FUNSD: A Dataset for Form Understanding in Noisy Scanned Documents
Swiss Federal Institute of Technology（瑞士联邦理工学院）；Istanbul Technical University（伊斯坦布尔理工大学）
我们提出了一个新的数据集的形式理解在嘈杂的扫描文档（FUNSD），旨在提取和结构化的文本内容的形式。该数据集包括199个真实的、完全注释的、扫描的表格。这些文件是嘈杂的，外观变化很大，使形式理解（FoUn）成为一项具有挑战性的任务。建议的数据集可用于各种任务，包括文本检测，光学字符识别，空间布局分析，和实体标记/链接。据我们所知，这是第一个公开可用的数据集，具有全面的注释来解决FoUn任务。我们还提出了一组基线，并引入了衡量标准来评估FUNSD数据集的性能，这些数据集可以在https://guillaumejaume.github.io/FUNSD/上下载。
2019-10-29 cs.CV cs.IR cs.LG
DUET: Detection Utilizing Enhancement for Text in Scanned or Captured Documents
Samsung SDS（三星SDS）
我们提出了一种用于文档图像中文本检测的新型深度神经模型。为了在有噪声的扫描文档中进行鲁棒的文本检测，通过添加文本增强的辅助任务来利用多任务学习的优点。也就是说，我们提出的模型被设计为执行噪声降低和文本区域增强以及文本检测。此外，我们还利用经过完全标记的合成文档图像丰富了该模型的训练数据，从而克服了标记文档图像数据的不足。为了有效利用合成数据和真实数据，训练过程分为两个阶段。第一阶段是以完全监督的方式仅训练合成数据。然后在第二阶段添加仅具有检测标签的真实数据。实际数据的增强任务是弱监督的，其信息来自其检测标签。我们的方法在一个真实的文档数据集上进行了验证，其性能超过了其他文本检测方法。此外，消融进行，结果证实了有效的合成数据，辅助任务，和弱监督。鉴于现有的文本检测研究主要集中在场景中的文本，我们提出的方法是优化的应用程序的文本扫描文档。
2021-06-10 cs.AI cs.CV cs.LG
ClinOCR-Bench: A Comprehensive Clinical Scanned Document Dataset for Optical Character Recognition Model Evaluation
McWilliams School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校麦威廉斯生物医学信息学学院）；Enterprise Development & Integration, University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心企业开发与集成）
针对从扫描医疗文档提取文本信息的挑战，通过发布ClinOCR-Bench数据集，用多样文档类型、覆盖扫描伪像等特性，评估基准OCR性能，为临床OCR模型评估提供公开资源。
2026-07-07 cs.AI cs.CV
Deep learning-based NLP Data Pipeline for EHR Scanned Document Information Extraction
Division of Pulmonary, Critical Care and Sleep Medicine, Department of Internal Medicine, University of Texas Medical Branch（德克萨斯大学医学分部内科学系肺、重症监护与睡眠医学部）；School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学学院）；Center for Outcomes Research, Houston Methodist（休斯顿卫理公会医院结果研究中心）
本文提出一种基于深度学习的NLP数据管道，用于处理电子健康记录中扫描文档的信息提取，评估了图像预处理、NLP模型选择及文档布局对信息提取效果的影响。
2021-09-14 cs.CL cs.CV
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech（INFLY科技）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Liverpool（利物浦大学）
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题，提出 layoutRL 强化学习框架与 Infinity-Parser，并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
End-to-End Unsupervised Document Image Blind Denoising
Ernst & Young (EY) LLP（安永会计师事务所有限责任合伙）；EY GDS (CS) Poland Sp. z o.o（安永全球交付服务（中欧）波兰有限责任公司）
从扫描的页面中去除噪声是将其提交给光学字符识别（OCR）系统之前的重要步骤。大多数可用的图像去噪方法都是有监督的，其中需要有噪声/干净页面对。然而，这一假设在现实环境中很少得到满足。此外，没有一个单一的模型可以从文档中去除各种噪声类型。在这里，我们首次提出了一个统一的端到端无监督深度学习模型，可以有效地去除多种类型的噪声，包括椒盐噪声、模糊和/或褪色的文本，以及各种强度水平的文档中的水印。我们证明，该模型显着提高了扫描图像的质量和OCR的几个测试数据集上的页面。
2021-10-07 cs.CV
ScanBank: A Benchmark Dataset for Figure Extraction from Scanned Electronic Theses and Dissertations
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Old Dominion University（奥多明尼昂大学）
我们专注于电子论文和学位论文（ETD），旨在改善访问和扩大其效用，因为超过600万是公开的，它们构成了一个重要的语料库，以帮助跨学科的研究和教育。随着新的电子数字文件的加入，以及数百万份旧的论文和学位论文已转换为数字形式，以便在机构资料库中以电子方式传播，该语料库正在不断扩大。在ETD中，与其他学术著作一样，数字和表格可以以简洁的方式传达大量信息。虽然已经提出了从数字PDF中提取图形和表格的方法，但它们不能很好地与扫描的ETD一起工作。考虑到这个问题，我们对最先进的数字提取系统的评估是，它们在扫描的PDF上不能很好地工作的原因是它们只在数字文档上进行过训练。为了解决这一限制，我们提出了ScanBank，一个新的数据集，包含1万个扫描的页面图像，由人类手动标记其中存在的3300个数字或表格。我们使用这个数据集来训练一个基于YOLOv5的深度神经网络模型，以准确地从扫描的ETD中提取图形和表格。我们提出并回答了重要的研究问题，旨在找到更好的方法，从扫描文件中提取数字。其中之一涉及应用于原生数字文档的数据增强技术的训练价值，这些技术用于训练更适合从扫描文档中提取图形的模型。据我们所知，ScanBank是第一个用于扫描ETD的图形和表格提取的手动注释数据集。一个基于YOLOv5的模型，在ScanBank上训练，比现有的可比开源和免费提供的基线方法有相当大的优势。
2021-06-23 cs.CV cs.DL cs.LG
Passive Classification of Source Printer using Text-line-level Geometric Distortion Signatures from Scanned Images of Printed Documents
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
在这个数字时代，有一件事仍然保持着惯例，那就是印刷档案。印刷文件在许多关键领域都有应用，如合同文件、法定货币和身份证明文件。随着更先进的印刷、扫描和图像编辑技术的出现，对这些法定货币的伪造构成了严重的威胁。能够轻松可靠地识别打印文档的源打印机可以帮助减少这种威胁。在打印过程中，打印机硬件在打印字符的位置和形状上引入了某些肉眼不可见的变形。这些失真被称为几何失真，它们的轮廓（或签名）通常对于每个打印机是唯一的，并且可以用于打印机分类目的。本文提出了一组特征，用于表征文本行级几何失真，称为几何失真签名，并提出了一种新的系统，使用它们来识别打印文件的来源。在一组13台打印机上进行的详细实验表明，该系统达到了最先进的性能，并在小的训练规模约束下给出了更高的准确性。对3种不同字体的4个训练页和6个测试页，该方法的分类准确率达到99%.
2017-06-20 cs.CV cs.MM
Transformer-Based UNet with Multi-Headed Cross-Attention Skip Connections to Eliminate Artifacts in Scanned Documents
University of Applied Science（应用科学大学）
本文提出融合 Swin Transformer 与多头交叉注意力跳跃连接的改进 UNet，用于去除扫描文档伪影，在合成数据上最高降低 53.9% 错误率，并支持命令式控制。
2023-06-05 cs.CV cs.LG
A Generic Method for Automatic Ground Truth Generation of Camera-captured Documents
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Osaka Prefecture University（大阪府立大学）
本文的贡献有四个方面。第一个贡献是一个新的，通用的方法自动生成的摄像机捕获的文档图像（书籍，杂志，文章，发票等）的真值。它使我们能够建立大规模的（即，数以百万计的图像）标记的相机捕获/扫描的文档数据集，而无需任何人为干预。该方法是通用的、独立于语言的，并且可以用于生成任何草书和非草书语言的标记文档数据集（扫描的和相机捕获的），例如，英语，俄语，阿拉伯语，乌尔都语等。为了评估所提出的方法的有效性，使用所提出的方法生成英语和俄语两个不同的数据集。对两个数据集的样本进行评估表明，99：98%的图像被正确标记。第二个贡献是相机捕获的字符和单词图像的大型数据集（称为C3 Wi），包括在基于相机的真实采集中捕获的1百万个单词图像（1千万个字符图像）。该数据集可用于在相机捕获的文档上训练和测试字符识别系统。第三个贡献是一种新的方法，用于识别cameracaptured文件图像。所提出的方法是基于长短期记忆，并优于国家的最先进的方法，基于摄像机的OCR。作为第四个贡献，执行各种基准测试，以揭示商业（ABBYY），开源（Tesseract）的行为，并使用所呈现的C3 Wi数据集呈现基于相机的OCR。评估结果表明，现有的OCR，已经得到非常高的准确性扫描文件，有有限的性能上的摄像头捕获的文件图像;其中ABBYY的准确性为75%，Tesseract的准确性为50.22%，而所提出的字符识别系统的准确性为…
2016-05-04 cs.CV
DocSum: Domain-Adaptive Pre-training for Document Abstractive Summarization
University of Science and Technology of Hanoi（河内科技大学）；La Rochelle Université（拉罗谢尔大学）
针对行政文档摘要面临的领域术语多、OCR错误多、标注数据少等问题，提出领域自适应生成式摘要框架DocSum，经OCR文本预训练和问答对融合微调，在新定义的下游任务上表现优异，可助力政企提升决策与运营效率。
2024-12-11 cs.CL cs.CV
WildDoc: How Far Are We from Achieving Comprehensive and Robust Document Understanding in the Wild?
ByteDance, China（字节跳动，中国）；Huazhong University of Science and Technology, China（华中科技大学，中国）
WildDoc是首个评估真实环境文档理解的基准，通过多样拍摄条件揭示多模态大语言模型性能显著下降，凸显鲁棒性不足。
2025-05-27 cs.CV
Recognition of Text Image Using Multilayer Perceptron
Faculty of Engineering & Technology, Mody Institute of Technology & Science（Mody科技与科学学院工程与技术系）
图像处理领域的最大挑战是识别打印和手写格式的文档。光学字符识别OCR是一种文档图像分析，其中包含机器打印或手写脚本的扫描数字图像输入到OCR软件引擎中，并将其转换为可编辑的机器可读数字文本格式。神经网络被设计用于模拟大脑执行特定任务或感兴趣的功能的方式：神经网络在数字计算机上的软件中进行模拟。字符识别是指将打印的文本文档转换为翻译的Unicode文本的过程。以书籍、纸张、杂志等形式提供的打印文档使用标准扫描仪进行扫描，该扫描仪产生扫描文档的图像。线是通过一种算法来识别的，我们识别线的顶部和底部。然后在每一行字符边界计算的算法，然后使用这些计算，字符是从图像中分离出来，然后我们分类每个字符的基本反向传播。每个图像字符由30*20像素组成。我们采用反向传播神经网络进行有效的识别，通过反向传播校正错误，并在多层神经网络中通过前馈方法传输校正后的神经元值。
2016-12-02 cs.CV
Autonomous Cleaning of Corrupted Scanned Documents - A Generative Modeling Approach
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe-University Frankfurt（法兰克福歌德大学）
我们研究的任务是清洁扫描的文本文件，是强烈损坏的污垢，如手动线条笔画，泼墨等，我们的目标是在自主删除污垢从一个单一的字母大小的页面上只基于页面包含的信息。因此，我们的方法必须在没有监督的情况下学习字符表示，并且需要一种机制来区分学习的表示和不规则的模式。为了学习字符表示，我们使用概率生成模型参数化模式特征，特征方差，特征的平面排列和模式频率。该模型的潜变量描述模式类别、模式位置以及个体模式特征的存在或不存在。使用一种新的变分EM近似的模型参数进行优化。在学习之后，参数独立于其绝对位置表示平面特征布置及其方差。然后，基于学习的表示定义的质量度量允许在规则字符图案和构成污垢的不规则图案之间进行自主区分。因此，可以去除不规则图案以清洁文件。对于一个完整的拉丁字母表，我们发现一页纸并不能包含足够多的字符示例。然而，即使严重损坏的污垢，我们表明，包含较低数量的字符类型的页面可以有效地和自主地清洗，完全基于它所包含的字符的结构规律性。在不同的例子中，使用不同的字母表中的字符，我们证明了这种方法的一般性，并讨论其对未来发展的影响。
2012-07-02 cs.CV cs.LG
Structured Data Extraction from Real Estate Documents using Clustering, Classification, and Large Language Models
Robert Gordon University（罗伯特·戈登大学）
研究如何从房地产问卷文档中提取结构化数据，提出端到端管道，先分类文档，再用大语言模型提取属性，应用于3965份文档，成功处理2781份，得到2766条记录，验证了数据质量，证明该提取方法可行可靠。
2026-07-08 cs.CV
Patchfinder: Leveraging Visual Language Models for Accurate Information Retrieval using Model Uncertainty
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对扫描文档信息提取缓慢且易受噪声影响的问题，提出基于视觉语言模型和模型不确定性的PatchFinder算法，通过置信度评分划分补丁，在190份文档上达到94%准确率，超越ChatGPT-4o。
2024-12-13 cs.CV
BusiNet -- a Light and Fast Text Detection Network for Business Documents
IBM Research - Haifa（IBM研究院（海法））；IBM Research - Zurich（IBM研究院（苏黎世））
对于数字化或索引物理文档，光学字符识别（OCR），即从扫描文档中提取文本信息的过程，是一项至关重要的技术。当文档在视觉上受损或包含非文本元素时，现有技术可能会产生较差的结果，因为错误的检测结果可能会极大地影响OCR的质量。在本文中，我们提出了一个检测网络称为BusiNet，旨在OCR的业务文件。业务文档通常包括敏感信息，因此无法将其上传到云服务以进行OCR。BusiNet被设计为快速和轻便，因此它可以在本地运行，防止隐私问题。此外，BusiNet是使用专门的合成数据集来处理扫描文档损坏和噪声的。通过采用对抗性训练策略，该模型对看不见的噪声具有鲁棒性。我们对公开的数据集进行了评估，证明了我们的模型的有用性和广泛的适用性。
2022-07-04 cs.AI cs.CV
Digitization of Document and Information Extraction using OCR
RV College of Engineering（RV工程学院）
针对混合格式文档的信息抽取需求，提出融合OCR与LLM的文本抽取框架，结合布局感知处理与LLM语义分析生成结构化结果，经多维度OCR工具对比验证，该方法优于传统规则与模板方法，提升了跨文档类别的抽取灵活性与语义精度。
2025-06-11 cs.CV cs.IR
Transductive Learning for Near-Duplicate Image Detection in Scanned Photo Collections
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Nubilum（努比伦公司）
针对扫描照片人工标注场景，提出结合CNN与ViT、先预训练再在无标签目标集上自监督微调的直推式近重复图像检测方法，并在UKBench和私有数据集上验证其优于基线。
2024-10-25 cs.CV
Multimodal deep networks for text and image-based document classification
Quicksign（Quicksign公司）
文件图像分类是旧手稿归档、在线订阅和行政程序的关键步骤。计算机视觉和深度学习已被建议作为基于文档的视觉外观对其进行分类的第一解决方案。然而，实现细粒度的分类，这是在现实世界中所需要的设置不能单独通过视觉分析来实现。通常，相关信息在文档的实际文本内容中。我们设计了一个多模态神经网络，能够从词嵌入中学习，通过OCR提取的文本计算，并从图像。我们表明，这种方法在Tobacco 3482和RVL-CDIP上提高了3%的纯图像准确性，并通过我们新的QS-OCR文本数据集（https：//github.com/Quicksign/ocrized-text-dataset）进行了增强，即使没有干净的文本信息。
2019-07-15 cs.CV
BiblioPage: A Dataset of Scanned Title Pages for Bibliographic Metadata Extraction
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
针对书目元数据手动数字化耗时且缺乏专用数据集的问题，本文提出BiblioPage数据集，包含约2000个扫描标题页及16个属性标注，并评估了目标检测与视觉大模型，最佳F1达67，为文档理解提供基准。
2025-03-25 cs.AI cs.CV cs.LG
TableNet: Deep Learning model for end-to-end Table detection and Tabular data extraction from Scanned Document Images
TCS Research（塔塔咨询服务公司研究院）
随着移动电话和扫描仪广泛用于拍摄和上传文档，提取非结构化文档图像（如零售收据、保险索赔表和财务发票）中的信息的需求变得越来越迫切。实现这一目标的一个主要障碍是，这些图像通常包含表格形式的信息，从表格子图像中提取数据提出了一系列独特的挑战。这包括准确检测图像内的表格区域，以及随后从检测到的表格的行和列中检测和提取信息。虽然在表检测方面已经取得了一些进展，但提取表内容仍然是一个挑战，因为这涉及到更细粒度的表结构（行和列）识别。先前的方法已经尝试使用两个单独的模型来独立地解决表检测和结构识别问题。在本文中，我们提出了TableNet：一种用于表格检测和结构识别的新型端到端深度学习模型。该模型利用表检测和表结构识别的孪生任务之间的相互依赖性来分割出表和列区域。这之后是从所识别的表格子区域中基于语义规则的行提取。在公开可用的ICDAR 2013和Marmot Table数据集上对所提出的模型和提取方法进行了评价，获得了最新的结果。此外，我们还证明了提供额外的语义特征进一步提高了模型性能，并且该模型具有跨数据集的迁移学习。本文的另一个贡献是为Marmot数据提供额外的表结构注释，目前只有表检测的注释。
2020-01-06 cs.CV cs.LG eess.IV
Extending TrOCR for Text Localization-Free OCR of Full-Page Scanned Receipt Images
Nagoya University（名古屋大学）；K.K. Best Path Research（Best Path研究株式会社）；Money Forward, Inc.（Money Forward公司）
提出无文本定位的文档级OCR模型，通过逐步增大裁剪块微调TrOCR，在SROIE数据集上实现87.8 F1和4.98% CER，优于基线。
2023-10-16 cs.CL cs.CV
Face morphing detection in the presence of printing/scanning and heterogeneous image sources
University of Bologna（博洛尼亚大学）
人脸变形是当今电子身份证件中的一个巨大安全威胁，也是人脸识别领域研究人员面临的一个有趣挑战。尽管最先进的数字图像处理方法取得了良好的效果，但迄今为止还没有找到令人满意的解决办法来处理跨数据库测试和打印-扫描图像（通常在许多国家用于文件签发）。在这项工作中，提出了新的方法来训练深度神经网络进行变形检测：特别是生成模拟的打印扫描图像以及其他数据增强策略，并在大型人脸识别数据集上进行预训练，从而在来自异构图像源的具有挑战性的数据集上达到最先进的精度。
2021-02-24 cs.CV
Page image classifier fine-tuned on century-spanning archives of scanned documents for further content-specific processing
Institute of Formal and Applied Linguistics, Charles University MFF（查尔斯大学数学与物理学院形式与应用语言学研究所）；Institute of Archaeology, Czech Academy of Sciences（捷克科学院考古研究所）
针对历史文档数字化中手动分类不可行的问题，提出基于视觉内容类型（文本、表格、图形）的自动页面图像分类系统，采用微调深度网络（RegNetY-16GF达99.16%准确率）实现近完美分类，并公开模型、数据集和代码。
2026-06-24 cs.AI cs.CV cs.DL
DeepErase: Weakly Supervised Ink Artifact Removal in Document Text Images
Ernst & Young LLP（安永会计师事务所）
像保险、法律和政府这样的纸张密集型行业长期以来一直利用光学字符识别（OCR）将大量扫描文档自动转录为文本字符串，以供下游处理。即使在2019年，仍有许多扫描的文档和邮件以非数字格式进入企业。要从真实世界文档中提取的文本通常位于丰富的格式中，例如表格结构或带有填空框或下划线的表单，其墨水经常接触甚至穿透文本本身的墨水。此外，文本区域可能具有随机墨水污迹或虚假笔划。这样的墨水伪像会严重干扰识别算法或其他下游处理任务的性能。在这项工作中，我们提出了Deepcraft，一个基于神经的预处理器，从文本图像中删除墨水伪影。我们设计了一种方法，以编程方式组装成逼真的“脏”文本图像的真实文本图像和真正的文物，并用它们来训练文物分割网络在弱监督的方式，因为像素级的注释自动获得在组装过程中。除了高分割精度，我们表明，我们的清洗图像实现了显着提高识别精度的流行OCR软件，如Tesseract 4.0。最后，我们在扫描的国税局纳税申报表的分发外数据集（NIST SDB）上测试了DeepMind，并在准确性上实现了两位数的提高。所有的实验都是在印刷和手写文本上进行的。所有实验的代码可在https://github.com/yikeqicn/DeepErase上获得
2020-01-16 cs.CV cs.LG cs.NE
Single Classifier-based Passive System for Source Printer Classification using Local Texture Features
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
检查印刷文件是否有潜在的伪造和侵犯版权的一个重要方面是识别源打印机，因为它有助于确定泄漏和检测伪造文件。本文提出了一个系统的分类源打印机从扫描图像的打印文件，同时使用所有的打印字母。该系统使用基于局部纹理模式的特征和单个分类器对所有印刷字母进行分类。字母是从扫描图像中提取使用连接组件分析，然后形态滤波，而不需要使用OCR。每个字母被细分为一个平坦的区域和一个边缘区域，并估计本地四模式分别为这两个区域。一个战略性的构造池技术被用来提取最终的特征向量。所提出的方法已被测试的公开数据集的10台打印机和一个新的数据集的18台打印机扫描的分辨率为600 dpi，以及300 dpi的四种不同的字体打印。结果表明，形状独立性的属性，在所提出的方法中，使用一个单一的分类器，它优于现有的手工制作的基于特征的方法，并需要更少的训练页面，通过使用所有的印刷字母。
2017-06-22 cs.CV cs.MM
A Method to Generate Synthetically Warped Document Image
Indian Institute of Engineering Sciences and Technology, Shibpur（希布普尔印度工程科学与技术学院）；Techno India University, Kolkata（加尔各答Techno印度大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
由于不同的相机角度或文档表面，数字相机捕获的文档图像可能经常翘曲和失真。需要一种鲁棒的技术来解决这种失真。由于基准公共数据集的可用性有限，文档的去扭曲研究受到影响。近年来，基于深度学习的方法被用于准确地解决问题。为了训练大多数深度神经网络，需要大量的文档图像，并且手动生成如此大量的文档图像是困难的。在本文中，我们提出了一种技术来产生一个合成的扭曲图像从一个平层扫描文件图像。这是通过使用两个扭曲位置参数（WPP）和八个扭曲控制参数（WCP）计算每个像素位置的扭曲因子来完成的。这些参数可以根据所需的扭曲来指定。并将其结果与类似的实际拍摄图像进行了定性和定量的比较。
2019-10-15 cs.CV
Graph-based Deep Generative Modelling for Document Layout Generation
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
任何深度学习方法的主要先决条件之一是大规模训练数据的可用性。当在现实世界中处理扫描的文档图像时，其内容的主要信息存储在布局本身中。在这项工作中，我们提出了一个自动化的深度生成模型，使用图神经网络（GNNs）来生成具有高度可变和合理的文档布局的合成数据，这些文档布局可用于训练文档解释系统，在这种情况下，特别是在数字邮件收发室应用中。这也是第一个基于图形的方法，用于在管理文档图像（在本例中为发票）上进行的文档布局生成任务。
2021-07-09 cs.CV cs.LG
Zero-Shot Prompting and Few-Shot Fine-Tuning: Revisiting Document Image Classification Using Large Language Models
University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；University of Fribourg（弗里堡大学）
本文在零样本提示和少样本微调背景下，研究使用大型语言模型解决文档图像分类问题，旨在尽可能减少对人工标注训练样本的依赖。
2024-12-18 cs.CV
TMIXT: A process flow for Transcribing MIXed handwritten and machine-printed Text
Durham University（杜伦大学）；Newcastle University（纽卡斯尔大学）；Southern University of Science and Technology（南方科技大学）
处理大量文件在许多领域都非常重要，在犯罪调查和辩护领域也是如此，在这些领域，一个组织可能会收到大量需要在有限时间内处理的扫描文件。然而，这一问题因需要处理的扫描文件数量和页面复杂性而更加严重。通常包含许多不同的元素，每个元素都需要处理和理解。文本识别是该过程的主要任务，通常取决于文本的类型，是手写的还是机器打印的。因此，在决定要应用的识别方法之前，识别涉及文本类别的在先分类。如果文档同时包含手写和机器打印的文本，这就提出了一个更具挑战性的任务。在这项工作中，我们提出了一个通用的处理流程，在扫描文档中包含混合手写和机器打印的文本识别，而不需要提前分类文本。我们使用几个开源的图像处理和文本识别包1来实现所提出的过程流。该评估是使用本工作中提出的IAM手写数据库专门开发的变体进行的，对于包含印刷文本和手写文本的页面，我们实现了近80%的平均转录准确度。
2019-04-28 cs.CV cs.IR cs.LG
OCR accuracy improvement on document images through a novel pre-processing approach
The National School for Applied Sciences of Tetuan（得土安应用科学国立学校）
数码相机和移动文档图像采集是光学字符识别和文本检测领域的新趋势。在某些情况下，这样的过程集成了许多失真，并产生扫描不佳的文本或文本照片图像和自然图像，导致不可靠的OCR数字化。在本文中，我们提出了一种新的非参数和无监督的方法来补偿不良的文档图像失真，旨在最佳地提高OCR的准确性。我们的方法依赖于一个非常有效的堆栈的文档图像增强技术来恢复整个文档图像的变形。首先，我们提出了一个局部亮度和对比度调整方法，以有效地处理光照变化和图像照明的不规则分布。其次，我们使用一个优化的灰度转换算法来转换我们的文档图像的灰度级。第三，我们锐化有用的信息，在所产生的灰度图像使用非锐化掩模方法。最后，一个最佳的全局二值化方法是用来准备最终的文档图像OCR识别。该方法可以显著提高文本检测率和光学字符识别准确率。为了证明我们的方法的效率，一个标准的数据集上的详尽实验。
2015-09-11 cs.CV
VIPPrint: A Large Scale Dataset of Printed and Scanned Images for Synthetic Face Images Detection and Source Linking
University of Siena（锡耶纳大学）
对打印和扫描图像进行有意义的取证分析的可能性在许多应用中起着重要作用。首先，打印的文件往往与犯罪活动有关，如恐怖主义计划，儿童色情图片，甚至是假包裹。此外，打印和扫描可用于隐藏图像操作的痕迹或图像的合成性质，因为在操作和合成图像中常见的伪影在图像被打印和扫描之后消失。阻碍这一领域研究的一个问题是缺乏用于算法开发和基准测试的大规模参考数据集。出于这个问题，我们提出了一个新的数据集，由大量的合成和自然打印的人脸图像。为了突出与数据集图像分析相关的困难，我们进行了一系列广泛的实验，比较了几种打印机属性方法。我们还验证了区分自然和合成人脸图像的最先进方法在应用于打印和扫描图像时失败。我们设想，新数据集的可用性和我们进行的初步实验将激励和促进这一领域的进一步研究。
2021-02-01 cs.CR cs.CV cs.LG
ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images
Rochester Institute of Technology（罗切斯特理工学院）
我们介绍了扫描Single Shot检测器（ScanSSD），用于定位从文本偏移并嵌入文本行中的数学公式。ScanSSD仅使用视觉特征进行检测：不使用格式或排版信息，如布局，字体或字符标签。给定600 dpi文档页面图像，Single Shot Detector（SSD）使用滑动窗口以多个尺度定位公式，之后汇集候选检测以获得页面级结果。对于我们的实验，我们使用TFD-ICDAR 2019 v2数据集，这是GTDB扫描数学文章集合的修改。ScanSSD以高准确度检测公式中的字符，获得0.926的f分数，并检测整体召回率高的公式。检测错误很大程度上很小，例如在大的空白间隙处分割公式（例如，对于变量约束）和合并相邻文本行上的公式。获得公式检测f分数为0.796（IOU $\geq0.5$）和0.733（IOU $\ge 0.75$）。我们的数据、评估工具和代码是公开的。
2020-03-18 cs.CV
OCR for TIFF Compressed Document Images Directly in Compressed Domain Using Text segmentation and Hidden Markov Model
Indian Institute of Information Technology Allahabad（印度理工学院阿拉哈巴德分校）
在当今的技术时代，文档图像在我们的日常生活中发挥着重要和不可或缺的作用，特别是随着COVID-19的激增，数字扫描文档已成为沟通的主要来源，从而避免了任何形式的身体接触感染。扫描文档图像的存储和传输是一项非常占用内存的任务，因此压缩技术被用于在存档和传输之前减小图像大小。为了提取信息或对压缩图像进行操作，我们有两种方法：第一种方法是对图像进行压缩和操作，然后再次压缩图像，以提高存储和传输的效率。另一种方法是使用底层压缩算法的特性直接处理压缩形式的图像，而不涉及解压缩和重新压缩。本文提出了一种新的思路，即在压缩域中直接为CCITT（The International Telegraph and Telephone Consultative Committee，国际电报电话咨询委员会）压缩机打印的TIFF文档图像开发OCR。在将文本区域分割成行和词之后，使用CCITT的三种编码模式（水平、垂直和通过模式）应用HMM进行识别。实验结果表明，光学字符识别的通过模式给出了一个有前途的结果。
2022-09-13 cs.CL cs.CV cs.IR
Descanning: From Scanned to the Original Images with a Color Correction Diffusion Model
Kyung Hee University（庆熙大学）；Jashore University of Science and Technology（杰索尔科学技术大学）；Adobe Research（Adobe研究院）
本文提出“去扫描”问题，构建DESCAN-18K数据集，并设计DescanDiffusion模型（颜色编码器加条件扩散模型）以有效恢复扫描图像，优于商业产品。
2024-02-08 cs.CV eess.IV
Text Classification Models for Form Entity Linking
University of La Rioja（拉里奥哈大学）
表单是一种广泛使用的基于模板的文档类型，广泛应用于各种领域，包括管理、医学、金融或保险等。由于每天生成的表格数量不断增加，因此非常需要自动提取这些文档中包含的信息。但是，在处理扫描表单时，这并不是一项简单的任务，因为表单实体的位置和扫描文档的质量不同，模板的多样性也很大。在这种情况下，所有表单都有一个共同的特征：它们包含一个以键-值（或标签-值）对构建的相互链接的实体集合，以及其他实体，如标题或图像。在这项工作中，我们已经tacked的问题，实体链接的形式，结合图像处理技术和文本分类模型的基础上BERT架构。这种方法在FUNSD数据集上获得了最先进的结果，F1得分为0.80，比以前的最佳方法提高了5%。这个项目的代码可以在https://github.com/mavillot/FUNSD-Entity-Linking上找到。
2021-12-14 cs.CL cs.CV
Model-based Iterative Restoration for Binary Document Image Compression with Dictionary Learning
Microsoft Research（微软研究院）；Sony Electronics Inc（索尼电子公司）；Purdue University at West Lafayette（普渡大学西拉法叶分校）
观察到的固有噪声（例如，扫描的）二值文档图像通过破坏模式冗余和向文档图像添加熵来降低图像质量并损害压缩比。在本文中，我们设计了一个成本函数的贝叶斯框架与字典学习。最小化我们的成本函数产生一个恢复的图像，它具有更好的质量比观察到的噪声图像，和一个字典表示和编码的图像。恢复后，我们使用这个字典（从相同的成本函数）编码的恢复图像以下的符号字典框架的JBIG2标准与无损模式。对多种文档图像的实验结果表明，与观测图像相比，该方法提高了图像质量，同时提高了压缩比。对于含有合成噪声的测试图像，与最佳编码方法相比，该方法减少了48.2%的翻转像素数，提高了36.36%的压缩比。对于真实噪声的测试图像，我们的方法在视觉上改善了图像质量，并且在压缩比方面优于最先进的方法28.27%。
2017-04-24 cs.CV
A Comprehensive Study of ImageNet Pre-Training for Historical Document Image Analysis
University of Fribourg（弗里堡大学）；University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；Luleå University of Technology（吕勒奥理工大学）
扫描的历史文档的自动分析包括广泛的图像分析任务，由于缺乏人类注释的学习样本，这些任务通常对机器学习具有挑战性。随着深度神经网络的出现，应对训练数据缺乏的一种有希望的方法是在来自不同领域的图像上预训练模型，然后在历史文档上对其进行微调。在目前的研究中，这种跨领域迁移学习的一个典型例子是使用在ImageNet数据库上预先训练的神经网络进行对象识别。这种预训练是否有助于分析历史文档仍然是一个悬而未决的问题，与ImageNet相比，历史文档具有根本不同的图像属性。在本文中，我们对ImageNet预训练对各种历史文档分析任务的影响进行了全面的实证调查，包括字符识别，风格分类，手稿日期，语义分割和基于内容的检索。虽然我们在像素级获得了混合的语义分割结果，但我们在不同的网络架构中观察到一个明显的趋势，即ImageNet预训练对分类以及基于内容的检索具有积极影响。
2019-05-22 cs.CV
Adaptive Radial Projection on Fourier Magnitude Spectrum for Document Image Skew Estimation
Cinnamon AI - Department of Research Floor 10th, No. 36 Hoang Cau street, O Cho Dua Ward, Dong Da District, Hanoi City, Viet Nam. Faculty of Computer Science \& Engineering, Ho Chi Minh City-University of Technology (HCMUT), 268 Ly Thuong Kiet Street, District 10, Ho Chi Minh City, Vietnam Vietnam National University Ho Chi Minh City, Linh Trung Ward, Thu Duc District, Ho Chi Minh City, Vietnam.
本文提出了一种基于自适应径向投影的文档图像倾斜估计方法，并引入DISE-2021数据集进行评估，证明了该方法的鲁棒性和优越性。
2026-03-06 cs.CV
Archival Faces: Detection of Faces in Digitized Historical Documents
Faculty of Information Technology, Brno University of Technology（信息科技学院，布拉格技术大学）
针对数字化历史文档中人脸检测效果差的问题，本文构建了包含2.2k张图像和11k个标注的领域特定数据集，通过重训练和微调现有检测器显著提升了检测性能。
2025-07-15 cs.CV
Learning to Clean: A GAN Perspective
TCS Research（塔塔咨询服务公司研究部 (TCS Research)）；New Delhi, India（印度新德里 (New Delhi, India) （注：此处地址非机构，仅保留原文机构部分））
在大数据时代，挖掘发票、银行单据和快递收据等非结构化扫描文档中的大量数据的动力已经获得了新的动力。扫描过程通常会导致引入伪影，例如背景噪声、相机运动引起的模糊、水印、咖啡渍或褪色的文本。这些工件对当前的文本识别算法提出了许多可读性挑战，并显着降低了其性能。现有的基于学习的去噪技术需要一个数据集，该数据集包括与清洁版本配对的噪声文档。在这种情况下，可以训练模型从嘈杂的版本中生成干净的文档。然而，在现实世界中，这种配对的数据集通常是不可用的，我们用来训练去噪模型的所有数据都是未配对的噪声和干净图像集。本文探讨了使用GANs来生成噪声文档的去噪版本。特别地，在配对信息可用的情况下，我们将问题公式化为图像到图像的翻译任务，即，从噪声域（即，背景噪声、模糊、褪色、加水印）到目标干净文档。然而，在没有配对图像进行训练的情况下，我们采用了CycleGAN，已知它可以使用未配对数据来学习噪声图像到去噪图像的分布之间的映射，以实现图像到图像的转换，从而清理噪声文档。我们比较了使用未配对图像的CycleGAN与在来自相同数据集的配对数据上训练的条件GAN在文档清理任务中的性能。在人工引入不同类型噪声的公共文档数据集上进行了实验，结果表明CycleGAN从噪声到干净文档的空间学习到更鲁棒的映射。
2019-01-28 cs.CV
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory（数据分析实验室）；Samsung Life Insurance（三星人寿保险）
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而，一般的文本本地化仅由最近的基于深度学习的模式存档。在这里，我们提出了文档文本定位生成对抗网络（TLGAN），它是深度神经网络，用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型，需要少量数据。在扫描收据OCR和信息抽取（SROIE）上仅训练来自Robust Reading Challenge的10个标记收据图像，TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案，只需最少的数据标记和模型训练工作，即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
Brno Mobile OCR Dataset
Brno University of Technology（布尔诺理工大学）
我们介绍布尔诺移动OCR数据集（B-MOD）的文件光学字符识别从手持移动设备捕获的低质量图像。虽然高质量扫描文档的OCR是一个成熟的领域，其中有许多商业工具可用，并且存在野生文本的大型数据集，但没有现有的数据集可以用于开发和测试文档OCR方法，这些方法对来自移动设备的许多照片中存在的非均匀照明，图像模糊，强噪声，内置去噪，锐化，压缩和其他伪影具有鲁棒性。该数据集包含来自随机科学论文的2113个独特页面，这些页面由多个人使用23种不同的移动设备拍摄。由此产生的19728张不同视觉质量的照片都附有精确的位置和50万行文本的文本注释。我们还提供了一个评估方法，包括一个评估服务器和一个测试集与非公共注释。我们提供了一个基于卷积和递归神经网络的最先进的文本识别基线，该神经网络使用连接主义时间分类损失进行训练。该基线在数据集的容易、中等和困难部分分别实现了2%、22%和73%的单词出错率，证实了数据集具有挑战性。所呈现的数据集将支持未来对低质量图像的文档分析进行开发和评估。它主要用于行级文本识别，并可进一步用于行定位，布局分析，图像复原和文本二值化。
2019-07-02 cs.CV
Callico: a Versatile Open-Source Document Image Annotation Platform
TEKLIA（特克利娅）
本文提出开源文档图像标注平台 Callico，通过双显示标注与协作功能支持 OCR/HTR、版面分析及实体识别等任务，并以多个真实项目验证其广泛适用性。
2024-05-02 cs.CV cs.DL
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University（上海交通大学）
提出多模态预训练网络 WebLM，通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务，提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
Text Change Detection in Multilingual Documents Using Image Comparison
Samsung SDS（三星 SDS）
针对多语言文档比较中OCR语言模型选择困难及混合模型性能受限的问题，提出基于词级图像比较和多尺度注意力特征的TCD模型，并构建多语言打印扫描词对数据集进行验证。
2024-12-05 cs.AI cs.CL cs.CV
Fine-Grained Object Detection over Scientific Document Images with Region Embeddings
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Waterloo（滑铁卢大学）
研究了科学文献扫描图像的目标检测问题。我们考虑包含不同长宽比和大小的对象的图像，范围从粗糙的元素（如表格和图形）到精细的元素（如公式和节头）。我们发现，目前的对象检测器无法产生适当的本地化区域的建议，这样的页面对象。我们重新审视了原始的R-CNN模型，并提出了一种在文档元素上生成细粒度建议的方法。我们还提出了一个区域嵌入模型，该模型使用提案邻居的卷积映射作为上下文来为每个提案生成嵌入。该区域嵌入能够捕获目标区域与其周围上下文之间的语义关系。我们的端到端模型为每个提案生成一个嵌入，然后通过使用多头注意力模型对每个提案进行分类，该模型关注提案的最重要邻居。为了评估我们的模型，我们收集并注释了来自异质期刊的出版物数据集。我们表明，我们的模型，被称为Attentive-RCNN，产生了17%的mAP相比，标准的目标检测模型的改进。
2019-10-30 cs.CV cs.LG eess.IV
Efficient Document Image Dewarping via Hybrid Deep Learning and Cubic Polynomial Geometry Restoration
Shuya Branch of the Ivanovo State University（伊万诺沃州大学舒亚分校区）；Research Center of the Artificial Intelligence Institute（人工智能研究所研究中心）
针对相机拍摄文档图像因几何失真降低OCR准确率的问题，提出结合YOLOv8文档检测与三次多项式插值几何恢复的混合去扭曲方法，提供新数据集与开源框架，在保证OCR质量的同时提升计算效率。
2025-11-15 cs.AI cs.CV cs.LG
Spritz-PS: Validation of Synthetic Face Images Using a Large Dataset of Printed Documents
Bahcesehir University（巴赫切谢希尔大学）；University of Padua（帕多瓦大学）
本文针对打印和扫描场景下合成人脸难以取证的问题，构建了VIPPrint PS虹膜数据集，并使用孪生神经网络评估真实与合成虹膜的相似度。
2023-04-06 cs.AI cs.CR cs.CV
