SynJAC: Synthetic-data-driven Joint-granular Adaptation and Calibration for Domain Specific Scanned Document Key Information Extraction
The University of Western Australia（西澳大学）；The University of Melbourne（墨尔本大学）；Hunan University（湖南大学）
SynJAC通过合成数据驱动的联合细粒度适应与校准，有效提升扫描文档关键信息提取的效率与性能。
2025-12-17 cs.CV
Comparison of scanned administrative document images
Smart Engines Service LLC（Smart Engines服务有限责任公司）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院“计算机科学与控制”联邦研究中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research Nuclear University MEPhI (Moscow Engineering Physics Institute)（国家研究型核大学MEPhI（莫斯科工程物理学院））
在这项工作中，审议了行政文件数字化副本的比较方法。例如，在银行部门订立书面合同时，为了找出一方当事人可能作出的修改而比较双方当事人签署的文件的两份副本时，就会出现这个问题。所提出的文档图像比较方法是基于对作为文本特征点的描述符的词的图像比较的几种方式的组合。测试在公共工资单数据集（法语）上进行。结果表明，在同一文档的两个版本的图像中找到差异的高质量和可靠性。
2020-01-29 cs.CV
Character Keypoint-based Homography Estimation in Scanned Documents for Efficient Information Extraction
TCS Research（塔塔咨询服务公司研究院）
多幅图像之间精确的单应性估计是许多计算机视觉应用的先决条件。在当今的数字时代中特别相关的一个应用是对准扫描的或相机捕获的文档图像，诸如用于信息抽取的保险索赔表格。传统的基于学习的方法由于缺乏适当的梯度而表现不佳。基于特征的关键点提取技术用于在真实场景图像中的单应性估计，或者由于尖锐的文本边缘而检测到极大量的不一致的关键点，或者由于文档图像之间的照明和视点差异的变化而产生不准确的关键点对应。在本文中，我们提出了一种新的算法对齐扫描或相机捕获的文档图像使用基于字符的关键点和参考模板。该算法既快速又准确，并且利用标准的光学字符识别（OCR）引擎（例如Tesseract）来找到基于字符的明确的关键点，该关键点用于识别两个图像之间的精确关键点对应关系。最后，使用关键点计算测试文档与模板之间的单应性映射。我们评估了所提出的方法，信息抽取对两个现实世界的匿名数据集组成的健康保险索赔表和结果支持所提出的技术的可行性。
2019-11-14 cs.CV
DUET: Detection Utilizing Enhancement for Text in Scanned or Captured Documents
Samsung SDS（三星SDS）
我们提出了一种用于文档图像中文本检测的新型深度神经模型。为了在有噪声的扫描文档中进行鲁棒的文本检测，通过添加文本增强的辅助任务来利用多任务学习的优点。也就是说，我们提出的模型被设计为执行噪声降低和文本区域增强以及文本检测。此外，我们还利用经过完全标记的合成文档图像丰富了该模型的训练数据，从而克服了标记文档图像数据的不足。为了有效利用合成数据和真实数据，训练过程分为两个阶段。第一阶段是以完全监督的方式仅训练合成数据。然后在第二阶段添加仅具有检测标签的真实数据。实际数据的增强任务是弱监督的，其信息来自其检测标签。我们的方法在一个真实的文档数据集上进行了验证，其性能超过了其他文本检测方法。此外，消融进行，结果证实了有效的合成数据，辅助任务，和弱监督。鉴于现有的文本检测研究主要集中在场景中的文本，我们提出的方法是优化的应用程序的文本扫描文档。
2021-06-10 cs.AI cs.CV cs.LG
Passive Classification of Source Printer using Text-line-level Geometric Distortion Signatures from Scanned Images of Printed Documents
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
在这个数字时代，有一件事仍然保持着惯例，那就是印刷档案。印刷文件在许多关键领域都有应用，如合同文件、法定货币和身份证明文件。随着更先进的印刷、扫描和图像编辑技术的出现，对这些法定货币的伪造构成了严重的威胁。能够轻松可靠地识别打印文档的源打印机可以帮助减少这种威胁。在打印过程中，打印机硬件在打印字符的位置和形状上引入了某些肉眼不可见的变形。这些失真被称为几何失真，它们的轮廓（或签名）通常对于每个打印机是唯一的，并且可以用于打印机分类目的。本文提出了一组特征，用于表征文本行级几何失真，称为几何失真签名，并提出了一种新的系统，使用它们来识别打印文件的来源。在一组13台打印机上进行的详细实验表明，该系统达到了最先进的性能，并在小的训练规模约束下给出了更高的准确性。对3种不同字体的4个训练页和6个测试页，该方法的分类准确率达到99%.
2017-06-20 cs.CV cs.MM
Recognition of Text Image Using Multilayer Perceptron
Faculty of Engineering & Technology, Mody Institute of Technology & Science（Mody科技与科学学院工程与技术系）
图像处理领域的最大挑战是识别打印和手写格式的文档。光学字符识别OCR是一种文档图像分析，其中包含机器打印或手写脚本的扫描数字图像输入到OCR软件引擎中，并将其转换为可编辑的机器可读数字文本格式。神经网络被设计用于模拟大脑执行特定任务或感兴趣的功能的方式：神经网络在数字计算机上的软件中进行模拟。字符识别是指将打印的文本文档转换为翻译的Unicode文本的过程。以书籍、纸张、杂志等形式提供的打印文档使用标准扫描仪进行扫描，该扫描仪产生扫描文档的图像。线是通过一种算法来识别的，我们识别线的顶部和底部。然后在每一行字符边界计算的算法，然后使用这些计算，字符是从图像中分离出来，然后我们分类每个字符的基本反向传播。每个图像字符由30*20像素组成。我们采用反向传播神经网络进行有效的识别，通过反向传播校正错误，并在多层神经网络中通过前馈方法传输校正后的神经元值。
2016-12-02 cs.CV
End-to-End Unsupervised Document Image Blind Denoising
Ernst & Young (EY) LLP（安永会计师事务所有限责任合伙）；EY GDS (CS) Poland Sp. z o.o（安永全球交付服务（中欧）波兰有限责任公司）
从扫描的页面中去除噪声是将其提交给光学字符识别（OCR）系统之前的重要步骤。大多数可用的图像去噪方法都是有监督的，其中需要有噪声/干净页面对。然而，这一假设在现实环境中很少得到满足。此外，没有一个单一的模型可以从文档中去除各种噪声类型。在这里，我们首次提出了一个统一的端到端无监督深度学习模型，可以有效地去除多种类型的噪声，包括椒盐噪声、模糊和/或褪色的文本，以及各种强度水平的文档中的水印。我们证明，该模型显着提高了扫描图像的质量和OCR的几个测试数据集上的页面。
2021-10-07 cs.CV
Deep learning-based NLP Data Pipeline for EHR Scanned Document Information Extraction
Division of Pulmonary, Critical Care and Sleep Medicine, Department of Internal Medicine, University of Texas Medical Branch（德克萨斯大学医学分部内科学系肺、重症监护与睡眠医学部）；School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学学院）；Center for Outcomes Research, Houston Methodist（休斯顿卫理公会医院结果研究中心）
本文提出一种基于深度学习的NLP数据管道，用于处理电子健康记录中扫描文档的信息提取，评估了图像预处理、NLP模型选择及文档布局对信息提取效果的影响。
2021-09-14 cs.CL cs.CV
A Generic Method for Automatic Ground Truth Generation of Camera-captured Documents
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Osaka Prefecture University（大阪府立大学）
本文的贡献有四个方面。第一个贡献是一个新的，通用的方法自动生成的摄像机捕获的文档图像（书籍，杂志，文章，发票等）的真值。它使我们能够建立大规模的（即，数以百万计的图像）标记的相机捕获/扫描的文档数据集，而无需任何人为干预。该方法是通用的、独立于语言的，并且可以用于生成任何草书和非草书语言的标记文档数据集（扫描的和相机捕获的），例如，英语，俄语，阿拉伯语，乌尔都语等。为了评估所提出的方法的有效性，使用所提出的方法生成英语和俄语两个不同的数据集。对两个数据集的样本进行评估表明，99：98%的图像被正确标记。第二个贡献是相机捕获的字符和单词图像的大型数据集（称为C3 Wi），包括在基于相机的真实采集中捕获的1百万个单词图像（1千万个字符图像）。该数据集可用于在相机捕获的文档上训练和测试字符识别系统。第三个贡献是一种新的方法，用于识别cameracaptured文件图像。所提出的方法是基于长短期记忆，并优于国家的最先进的方法，基于摄像机的OCR。作为第四个贡献，执行各种基准测试，以揭示商业（ABBYY），开源（Tesseract）的行为，并使用所呈现的C3 Wi数据集呈现基于相机的OCR。评估结果表明，现有的OCR，已经得到非常高的准确性扫描文件，有有限的性能上的摄像头捕获的文件图像;其中ABBYY的准确性为75%，Tesseract的准确性为50.22%，而所提出的字符识别系统的准确性为…
2016-05-04 cs.CV
Multiview Rectification of Folded Documents
National ICT Australia (NICTA)（澳大利亚国家信息与通信技术研究院（NICTA））；Australian National University（澳大利亚国立大学）；Osaka University（大阪大学）；Microsoft Research Redmond（微软雷德蒙德研究院）；Microsoft, Japan（微软（日本））；Microsoft Research Asia（微软亚洲研究院）
纸张图像的数字展开对于精确的文档扫描和文本识别至关重要。本文提出了一种从多个视点拍摄的少量图像中自动校正弯曲或折叠纸张的方法。现有方法要么需要昂贵的3D扫描仪，要么使用过于简化的参数表示来对可变形表面进行建模。相比之下，我们的方法使用常规图像，并基于一般的可展表面模型，可以代表各种各样的纸张变形。我们的主要贡献是一个新的强大的整流方法的基础上的脊意识的3D重建的纸张和展开重建的表面使用的可展曲面通过$\ell_1$保角映射的属性。我们目前的结果几个例子，包括书页，折叠的信件和购物收据。
2016-06-01 cs.CV
Face morphing detection in the presence of printing/scanning and heterogeneous image sources
University of Bologna（博洛尼亚大学）
人脸变形是当今电子身份证件中的一个巨大安全威胁，也是人脸识别领域研究人员面临的一个有趣挑战。尽管最先进的数字图像处理方法取得了良好的效果，但迄今为止还没有找到令人满意的解决办法来处理跨数据库测试和打印-扫描图像（通常在许多国家用于文件签发）。在这项工作中，提出了新的方法来训练深度神经网络进行变形检测：特别是生成模拟的打印扫描图像以及其他数据增强策略，并在大型人脸识别数据集上进行预训练，从而在来自异构图像源的具有挑战性的数据集上达到最先进的精度。
2021-02-24 cs.CV
ScanBank: A Benchmark Dataset for Figure Extraction from Scanned Electronic Theses and Dissertations
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Old Dominion University（奥多明尼昂大学）
我们专注于电子论文和学位论文（ETD），旨在改善访问和扩大其效用，因为超过600万是公开的，它们构成了一个重要的语料库，以帮助跨学科的研究和教育。随着新的电子数字文件的加入，以及数百万份旧的论文和学位论文已转换为数字形式，以便在机构资料库中以电子方式传播，该语料库正在不断扩大。在ETD中，与其他学术著作一样，数字和表格可以以简洁的方式传达大量信息。虽然已经提出了从数字PDF中提取图形和表格的方法，但它们不能很好地与扫描的ETD一起工作。考虑到这个问题，我们对最先进的数字提取系统的评估是，它们在扫描的PDF上不能很好地工作的原因是它们只在数字文档上进行过训练。为了解决这一限制，我们提出了ScanBank，一个新的数据集，包含1万个扫描的页面图像，由人类手动标记其中存在的3300个数字或表格。我们使用这个数据集来训练一个基于YOLOv5的深度神经网络模型，以准确地从扫描的ETD中提取图形和表格。我们提出并回答了重要的研究问题，旨在找到更好的方法，从扫描文件中提取数字。其中之一涉及应用于原生数字文档的数据增强技术的训练价值，这些技术用于训练更适合从扫描文档中提取图形的模型。据我们所知，ScanBank是第一个用于扫描ETD的图形和表格提取的手动注释数据集。一个基于YOLOv5的模型，在ScanBank上训练，比现有的可比开源和免费提供的基线方法有相当大的优势。
2021-06-23 cs.CV cs.DL cs.LG
Augraphy: A Data Augmentation Library for Document Images
Sparkfish LLC（Sparkfish有限责任公司）；Vanderbilt University（范德堡大学）
本文介绍了Autography，一个用于构建数据增强管道的Python库，该管道会产生真实世界文档图像数据集中常见的失真。Autography与其他数据增强工具的区别在于，它提供了许多不同的策略来生成清晰文档图像的增强版本，这些图像看起来就像是被标准办公操作（例如通过旧的或脏的机器进行打印、扫描和传真、墨水随时间的退化以及手写标记）所改变的。本文讨论了Autography工具，并展示了如何将其用作数据增强工具，为文档去噪等任务生成各种训练数据，以及如何生成具有挑战性的测试数据，以评估模型对文档图像建模任务的鲁棒性。
2023-03-24 cs.CV
e-Counterfeit: a mobile-server platform for document counterfeit detection
Computer Vision Center, Universitat Autonoma of Barcelona（巴塞罗那自治大学计算机视觉中心）；ICAR Vision Systems S.A（ICAR Vision Systems S.A.）
本文提出了一种新颖的应用程序，用于检测通过扫描打印操作伪造的伪造身份证件。纹理分析方法被提出用于从通常印刷在证件或钞票中的安全背景中提取验证特征。这项工作的主要贡献是端到端的移动服务器架构，它为非专家用户提供服务，因此可以在几个场景中使用。该系统还提供了一种众包模式，因此可以收集标记的图像，生成用于算法增量训练的数据库。
2017-08-21 cs.CV
Learning to Clean: A GAN Perspective
TCS Research（塔塔咨询服务公司研究部 (TCS Research)）；New Delhi, India（印度新德里 (New Delhi, India) （注：此处地址非机构，仅保留原文机构部分））
在大数据时代，挖掘发票、银行单据和快递收据等非结构化扫描文档中的大量数据的动力已经获得了新的动力。扫描过程通常会导致引入伪影，例如背景噪声、相机运动引起的模糊、水印、咖啡渍或褪色的文本。这些工件对当前的文本识别算法提出了许多可读性挑战，并显着降低了其性能。现有的基于学习的去噪技术需要一个数据集，该数据集包括与清洁版本配对的噪声文档。在这种情况下，可以训练模型从嘈杂的版本中生成干净的文档。然而，在现实世界中，这种配对的数据集通常是不可用的，我们用来训练去噪模型的所有数据都是未配对的噪声和干净图像集。本文探讨了使用GANs来生成噪声文档的去噪版本。特别地，在配对信息可用的情况下，我们将问题公式化为图像到图像的翻译任务，即，从噪声域（即，背景噪声、模糊、褪色、加水印）到目标干净文档。然而，在没有配对图像进行训练的情况下，我们采用了CycleGAN，已知它可以使用未配对数据来学习噪声图像到去噪图像的分布之间的映射，以实现图像到图像的转换，从而清理噪声文档。我们比较了使用未配对图像的CycleGAN与在来自相同数据集的配对数据上训练的条件GAN在文档清理任务中的性能。在人工引入不同类型噪声的公共文档数据集上进行了实验，结果表明CycleGAN从噪声到干净文档的空间学习到更鲁棒的映射。
2019-01-28 cs.CV
TableNet: Deep Learning model for end-to-end Table detection and Tabular data extraction from Scanned Document Images
TCS Research（塔塔咨询服务公司研究院）
随着移动电话和扫描仪广泛用于拍摄和上传文档，提取非结构化文档图像（如零售收据、保险索赔表和财务发票）中的信息的需求变得越来越迫切。实现这一目标的一个主要障碍是，这些图像通常包含表格形式的信息，从表格子图像中提取数据提出了一系列独特的挑战。这包括准确检测图像内的表格区域，以及随后从检测到的表格的行和列中检测和提取信息。虽然在表检测方面已经取得了一些进展，但提取表内容仍然是一个挑战，因为这涉及到更细粒度的表结构（行和列）识别。先前的方法已经尝试使用两个单独的模型来独立地解决表检测和结构识别问题。在本文中，我们提出了TableNet：一种用于表格检测和结构识别的新型端到端深度学习模型。该模型利用表检测和表结构识别的孪生任务之间的相互依赖性来分割出表和列区域。这之后是从所识别的表格子区域中基于语义规则的行提取。在公开可用的ICDAR 2013和Marmot Table数据集上对所提出的模型和提取方法进行了评价，获得了最新的结果。此外，我们还证明了提供额外的语义特征进一步提高了模型性能，并且该模型具有跨数据集的迁移学习。本文的另一个贡献是为Marmot数据提供额外的表结构注释，目前只有表检测的注释。
2020-01-06 cs.CV cs.LG eess.IV
A Method to Generate Synthetically Warped Document Image
Indian Institute of Engineering Sciences and Technology, Shibpur（希布普尔印度工程科学与技术学院）；Techno India University, Kolkata（加尔各答Techno印度大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
由于不同的相机角度或文档表面，数字相机捕获的文档图像可能经常翘曲和失真。需要一种鲁棒的技术来解决这种失真。由于基准公共数据集的可用性有限，文档的去扭曲研究受到影响。近年来，基于深度学习的方法被用于准确地解决问题。为了训练大多数深度神经网络，需要大量的文档图像，并且手动生成如此大量的文档图像是困难的。在本文中，我们提出了一种技术来产生一个合成的扭曲图像从一个平层扫描文件图像。这是通过使用两个扭曲位置参数（WPP）和八个扭曲控制参数（WCP）计算每个像素位置的扭曲因子来完成的。这些参数可以根据所需的扭曲来指定。并将其结果与类似的实际拍摄图像进行了定性和定量的比较。
2019-10-15 cs.CV
Exploring Multi-Tasking Learning in Document Attribute Classification
Thapar University（塔帕尔大学）；L3i, University of La-Rochelle（拉罗谢尔大学L3i实验室）
在这项工作中，我们坚持探索基于多任务学习（MTL）的网络来执行文档属性分类，例如文档图像的字体类型，字体大小，字体强调和扫描分辨率分类。为了完成这些任务，我们在分割的单词级别或随机裁剪出的文档上操作统一大小的补丁。在此基础上，提出了一种混合卷积神经网络（CNN）结构“MTL+MI”，该结构基于MTL与文本和词的多实例（MI）相结合，实现了对同一文档属性的联合学习。本文的贡献有三个方面：第一，基于分割的文字图像和补丁，我们提出了一个基于MTL的网络分类的完整的文档图像。其次，我们提出了一个MTL和MI（使用分割的单词和补丁）为基础的组合CNN架构（“MTL+MI”）的分类相同的文档属性。第三，基于词和/或块的多任务分类，我们提出了一个智能投票系统，它是基于每个词和/或块的后验概率来执行完整的文档图像的文档属性的分类。
2021-08-30 cs.CV
OCR accuracy improvement on document images through a novel pre-processing approach
The National School for Applied Sciences of Tetuan（得土安应用科学国立学校）
数码相机和移动文档图像采集是光学字符识别和文本检测领域的新趋势。在某些情况下，这样的过程集成了许多失真，并产生扫描不佳的文本或文本照片图像和自然图像，导致不可靠的OCR数字化。在本文中，我们提出了一种新的非参数和无监督的方法来补偿不良的文档图像失真，旨在最佳地提高OCR的准确性。我们的方法依赖于一个非常有效的堆栈的文档图像增强技术来恢复整个文档图像的变形。首先，我们提出了一个局部亮度和对比度调整方法，以有效地处理光照变化和图像照明的不规则分布。其次，我们使用一个优化的灰度转换算法来转换我们的文档图像的灰度级。第三，我们锐化有用的信息，在所产生的灰度图像使用非锐化掩模方法。最后，一个最佳的全局二值化方法是用来准备最终的文档图像OCR识别。该方法可以显著提高文本检测率和光学字符识别准确率。为了证明我们的方法的效率，一个标准的数据集上的详尽实验。
2015-09-11 cs.CV
Zero-Shot Prompting and Few-Shot Fine-Tuning: Revisiting Document Image Classification Using Large Language Models
University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；University of Fribourg（弗里堡大学）
本文在零样本提示和少样本微调背景下，研究使用大型语言模型解决文档图像分类问题，旨在尽可能减少对人工标注训练样本的依赖。
2024-12-18 cs.CV
DeepErase: Weakly Supervised Ink Artifact Removal in Document Text Images
Ernst & Young LLP（安永会计师事务所）
像保险、法律和政府这样的纸张密集型行业长期以来一直利用光学字符识别（OCR）将大量扫描文档自动转录为文本字符串，以供下游处理。即使在2019年，仍有许多扫描的文档和邮件以非数字格式进入企业。要从真实世界文档中提取的文本通常位于丰富的格式中，例如表格结构或带有填空框或下划线的表单，其墨水经常接触甚至穿透文本本身的墨水。此外，文本区域可能具有随机墨水污迹或虚假笔划。这样的墨水伪像会严重干扰识别算法或其他下游处理任务的性能。在这项工作中，我们提出了Deepcraft，一个基于神经的预处理器，从文本图像中删除墨水伪影。我们设计了一种方法，以编程方式组装成逼真的“脏”文本图像的真实文本图像和真正的文物，并用它们来训练文物分割网络在弱监督的方式，因为像素级的注释自动获得在组装过程中。除了高分割精度，我们表明，我们的清洗图像实现了显着提高识别精度的流行OCR软件，如Tesseract 4.0。最后，我们在扫描的国税局纳税申报表的分发外数据集（NIST SDB）上测试了DeepMind，并在准确性上实现了两位数的提高。所有的实验都是在印刷和手写文本上进行的。所有实验的代码可在https://github.com/yikeqicn/DeepErase上获得
2020-01-16 cs.CV cs.LG cs.NE
Graph-based Deep Generative Modelling for Document Layout Generation
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
任何深度学习方法的主要先决条件之一是大规模训练数据的可用性。当在现实世界中处理扫描的文档图像时，其内容的主要信息存储在布局本身中。在这项工作中，我们提出了一个自动化的深度生成模型，使用图神经网络（GNNs）来生成具有高度可变和合理的文档布局的合成数据，这些文档布局可用于训练文档解释系统，在这种情况下，特别是在数字邮件收发室应用中。这也是第一个基于图形的方法，用于在管理文档图像（在本例中为发票）上进行的文档布局生成任务。
2021-07-09 cs.CV cs.LG
DocScanner: Robust Document Image Rectification with Progressive Learning
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）
与平板扫描仪相比，便携式智能手机为物理文档数字化提供了更多便利。然而，这样的数字化文档经常由于不受控制的物理变形、相机位置和照明变化而失真。为此，我们提出了DocScanner，一个新的文件图像校正框架。与现有的解决方案不同，DocScanner通过引入渐进式学习机制来解决这个问题。具体而言，DocScanner维护对校正图像的单个估计，该估计通过递归架构逐步校正。DocScanner的迭代改进使其收敛到一个健壮的和优越的校正性能，而轻量级的递归架构确保了运行效率。为了进一步提高校正质量，基于失真图像和校正图像之间的几何先验，在训练期间引入几何正则化以进一步提高性能。在Doc3D数据集和DocUNet Benchmark数据集上进行了大量的实验，定量和定性的评价结果验证了DocScanner的有效性，在OCR精度、图像相似度和我们提出的失真度量上都有相当大的提高。此外，我们的DocScanner在运行时延迟和模型大小方面表现出卓越的效率。
2022-12-24 cs.CV
DECDM: Document Enhancement using Cycle-Consistent Diffusion Models
Intuit AI Research（Intuit AI研究院）
提出DECDM，一种基于循环一致性扩散模型的文档增强方法，通过独立训练源和目标模型避免配对数据需求，保护隐私，并在去噪和阴影去除任务上超越现有方法。
2023-11-16 cs.CV
Extending TrOCR for Text Localization-Free OCR of Full-Page Scanned Receipt Images
Nagoya University（名古屋大学）；K.K. Best Path Research（Best Path研究株式会社）；Money Forward, Inc.（Money Forward公司）
提出无文本定位的文档级OCR模型，通过逐步增大裁剪块微调TrOCR，在SROIE数据集上实现87.8 F1和4.98% CER，优于基线。
2023-10-16 cs.CL cs.CV
DiT: Self-supervised Pre-training for Document Image Transformer
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能部门）
Image Transformer最近在自然图像理解方面取得了重大进展，无论是使用监督（ViT，DeiT等）或自我监督（BEiT，MAE等）预训练技术。在本文中，我们提出了\textbf{DiT}，这是一种自监督的预训练\textbf{D}或\textbf{I}图像\textbf{T} transformer模型，使用大规模未标记的文本图像进行文档AI任务，这是必不可少的，因为由于缺乏人类标记的文档图像，因此不存在监督的对应物。我们利用DiT作为各种基于视觉的文档AI任务的骨干网络，包括文档图像分类、文档布局分析、表格检测以及OCR的文本检测。实验结果表明，自监督预训练DiT模型在这些下游任务上实现了新的最先进的结果，例如文档图像分类（91.11 $\rightarrow$ 92.69）、文档布局分析（91.0 $\rightarrow$ 94.9）、表格检测（94.23 $\rightarrow$ 96.55）和OCR文本检测（93.07 $\rightarrow$ 94.29）。代码和预训练模型可在\url{https://aka.ms/msdit}上公开获得。
2022-07-19 cs.CV
IDTrust: Deep Identity Document Quality Detection with Bandpass Filtering
本文提出 IDTrust 深度学习框架，利用带通滤波检测身份证件质量，摆脱对原始证件图案和对齐预处理的依赖，并在 MIDV-2020、L3i-ID 上验证其区分原始与扫描证件的性能。
2024-06-26 cs.CV
Page image classifier fine-tuned on century-spanning archives of scanned documents for further content-specific processing
Institute of Formal and Applied Linguistics, Charles University MFF（查尔斯大学数学与物理学院形式与应用语言学研究所）；Institute of Archaeology, Czech Academy of Sciences（捷克科学院考古研究所）
针对历史文档数字化中手动分类不可行的问题，提出基于视觉内容类型（文本、表格、图形）的自动页面图像分类系统，采用微调深度网络（RegNetY-16GF达99.16%准确率）实现近完美分类，并公开模型、数据集和代码。
2026-06-24 cs.AI cs.CV cs.DL
DocMAE: Document Image Rectification via Self-supervised Representation Learning
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
针对扭曲文档图像表示学习不足的问题，提出自监督框架 DocMAE，通过掩码并重建排除背景的文档图像块来学习边界与文本行结构，提升下游文档图像校正性能。
2023-04-20 cs.CV
A Comprehensive Study of ImageNet Pre-Training for Historical Document Image Analysis
University of Fribourg（弗里堡大学）；University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；Luleå University of Technology（吕勒奥理工大学）
扫描的历史文档的自动分析包括广泛的图像分析任务，由于缺乏人类注释的学习样本，这些任务通常对机器学习具有挑战性。随着深度神经网络的出现，应对训练数据缺乏的一种有希望的方法是在来自不同领域的图像上预训练模型，然后在历史文档上对其进行微调。在目前的研究中，这种跨领域迁移学习的一个典型例子是使用在ImageNet数据库上预先训练的神经网络进行对象识别。这种预训练是否有助于分析历史文档仍然是一个悬而未决的问题，与ImageNet相比，历史文档具有根本不同的图像属性。在本文中，我们对ImageNet预训练对各种历史文档分析任务的影响进行了全面的实证调查，包括字符识别，风格分类，手稿日期，语义分割和基于内容的检索。虽然我们在像素级获得了混合的语义分割结果，但我们在不同的网络架构中观察到一个明显的趋势，即ImageNet预训练对分类以及基于内容的检索具有积极影响。
2019-05-22 cs.CV
Classification of Inkjet Printers based on Droplet Statistics
Institute for Applied Artificial Intelligence（应用人工智能研究所）；Stuttgart Media University（斯图加特媒体大学）
为辅助文档真伪鉴定，该研究利用喷墨打印机墨滴特征及频域特征实现打印机型号分类，发布高分辨率扫描数据集，验证了相关特征可支撑神经网络区分打印机厂商与具体型号。
2024-06-26 cs.AI cs.CV cs.LG
Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild
PaddlePaddle Team, Baidu Inc.（百度公司PaddlePaddle团队）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出首个对OmniDocBench v1.5进行全尺度一对一物理重建的基准Real5-OmniDocBench，覆盖扫描、弯曲、屏幕摄影、光照和倾斜五种真实场景，通过完整真值映射实现性能退化的因子级归因，揭示文档解析中的“现实鸿沟”。
2026-06-23 cs.CV
Single Classifier-based Passive System for Source Printer Classification using Local Texture Features
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
检查印刷文件是否有潜在的伪造和侵犯版权的一个重要方面是识别源打印机，因为它有助于确定泄漏和检测伪造文件。本文提出了一个系统的分类源打印机从扫描图像的打印文件，同时使用所有的打印字母。该系统使用基于局部纹理模式的特征和单个分类器对所有印刷字母进行分类。字母是从扫描图像中提取使用连接组件分析，然后形态滤波，而不需要使用OCR。每个字母被细分为一个平坦的区域和一个边缘区域，并估计本地四模式分别为这两个区域。一个战略性的构造池技术被用来提取最终的特征向量。所提出的方法已被测试的公开数据集的10台打印机和一个新的数据集的18台打印机扫描的分辨率为600 dpi，以及300 dpi的四种不同的字体打印。结果表明，形状独立性的属性，在所提出的方法中，使用一个单一的分类器，它优于现有的手工制作的基于特征的方法，并需要更少的训练页面，通过使用所有的印刷字母。
2017-06-22 cs.CV cs.MM
OCR for TIFF Compressed Document Images Directly in Compressed Domain Using Text segmentation and Hidden Markov Model
Indian Institute of Information Technology Allahabad（印度理工学院阿拉哈巴德分校）
在当今的技术时代，文档图像在我们的日常生活中发挥着重要和不可或缺的作用，特别是随着COVID-19的激增，数字扫描文档已成为沟通的主要来源，从而避免了任何形式的身体接触感染。扫描文档图像的存储和传输是一项非常占用内存的任务，因此压缩技术被用于在存档和传输之前减小图像大小。为了提取信息或对压缩图像进行操作，我们有两种方法：第一种方法是对图像进行压缩和操作，然后再次压缩图像，以提高存储和传输的效率。另一种方法是使用底层压缩算法的特性直接处理压缩形式的图像，而不涉及解压缩和重新压缩。本文提出了一种新的思路，即在压缩域中直接为CCITT（The International Telegraph and Telephone Consultative Committee，国际电报电话咨询委员会）压缩机打印的TIFF文档图像开发OCR。在将文本区域分割成行和词之后，使用CCITT的三种编码模式（水平、垂直和通过模式）应用HMM进行识别。实验结果表明，光学字符识别的通过模式给出了一个有前途的结果。
2022-09-13 cs.CL cs.CV cs.IR
A Multimodal Pipeline for Clinical Data Extraction: Applying Vision-Language Models to Scans of Transfusion Reaction Reports
Institute for Transfusion Medicine, University Hospital Essen, Hufelandstraße 55, Essen, Germany（1 输血医学研究所，埃森大学医院，Hufelandstraße 55，德国）；Department of Computer Science, University of Applied Sciences and Arts Dortmund (FHDO), Emil-Figge Str. 42, Dortmund, Germany（2 计算机科学系，多特蒙德应用科学大学（FHDO），Emil-Figge Str. 42，德国）；Institute for Medical Informatics, Biometry and Epidemiology (IMIBE), University Hospital Essen, Hufelandstraße 55, Essen, Germany（3 医学信息学、生物统计学和流行病学研究所（IMIBE），埃森大学医院，Hufelandstraße 55，德国）；Institute for AI in Medicine (IKIM), University Hospital Essen, Girardetstraße 2, Essen, Germany（4 医学人工智能研究所（IKIM），埃森大学医院，Girardetstraße 2，德国）；Institute of Interventional and Diagnostic Radiology and Neuroradiology, University Hospital Essen, Hufelandstraße 55, Essen, Germany（5 干预性和诊断放射学及神经放射学研究所，埃森大学医院，Hufelandstraße 55，德国）；Department of Dermatology, University Hospital Essen, Hufelandstraße 55, Essen, Germany（6 皮肤科系，埃森大学医院，Hufelandstraße 55，德国）
针对纸质医疗文件人工转录耗时易错的问题，提出开源多模态流水线，集成复选框检测、OCR和VLMs提取分类数据，在输血反应报告上实现高精确率与召回率，减轻行政负担并促进准确监管报告。
2025-04-28 cs.CL cs.CV
HRDoc: Dataset and Baseline Method Toward Hierarchical Reconstruction of Document Structures
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
文档结构重构问题是指将数字文档或扫描文档转换成相应的语义结构。现有的工作主要集中在单个文档页面中各个元素的边界分割，而忽略了多页面文档中语义结构的重构。本文介绍了一种新的任务，适合自然语言处理和CV领域的文档结构的层次重建。为了更好地评估系统在新任务上的性能，我们构建了一个名为HRDoc的大规模数据集，该数据集由2，500个多页文档组成，具有近200万个语义单元。HRDoc中的每个文档都有行级注释，包括从基于规则的提取器和人工注释器获得的类别和关系。此外，我们提出了一个基于编码器-解码器的分层文档结构解析系统（DSPS）来解决这个问题。通过采用多模态双向编码器和具有软掩模操作的结构感知GRU解码器，DSPS模型大大超过基线方法。所有脚本和数据集将在https://github.com/jfma-USTC/HRDoc上公开提供。
2023-03-24 cs.CL cs.CV
Synthetic Data Augmentation for Table Detection: Re-evaluating TableNet's Performance with Automatically Generated Document Images
Deggendorf Institute of Technology（德格多夫技术学院）
本研究针对文档表格人工提取效率低的问题，提出基于LaTeX的自动化合成数据流水线增强Marmot基准，系统研究不同分辨率下TableNet的表格检测性能，在降低人工标注成本的同时取得了不错的检测效果。
2025-06-17 cs.AI cs.CV
TextDoctor: Unified Document Image Inpainting via Patch Pyramid Diffusion Models
College of Computer Science and Artificial Intelligence, Wenzhou University（温州大学计算机与人工智能学院）；University of British Columbia（不列颠哥伦比亚大学）；Nasdaq（纳斯达克）；Memorial University of Newfoundland（纽芬兰纪念大学）
提出TextDoctor，一种基于补丁金字塔扩散模型的统一文档图像修复方法，通过从补丁恢复基本文本元素并应用于整个图像，有效解决了高分辨率文档的泛化和内存问题，在七个数据集上优于现有方法。
2025-03-06 cs.AI cs.CV
DocReader: Bounding-Box Free Training of a Document Information Extraction Model
SAP AI（SAP人工智能）
从文档中提取信息抽取是许多业务应用程序中普遍存在的第一步。在此步骤中，必须首先从扫描文档的图像中读取各个字段的条目，然后再进行进一步处理并插入相应的数据库。虽然在过去的几年中已经开发了许多不同的方法，以自动化上述提取步骤，他们都共享的限界框或文本段注释的要求，他们的训练文件。在这项工作中，我们提出了DocReader，一个端到端的基于神经网络的信息抽取解决方案，可以单独使用图像和需要读取的目标值进行训练。因此，DocReader可以利用现有的历史提取数据，完全消除了对现有人工操作服务中心自然可用的任何额外注释的需要。我们证明了DocReader可以达到并超越其他需要边界框进行训练的方法，并在生产部署过程中为持续学习提供了一条清晰的路径。
2021-05-10 cs.CV cs.LG
LeakageBench: Document-Level Leakage Risk for Redacting Personally Identifiable Information in Document Images
Center for Artificial Intelligence and Robotics (CAIRO)（人工智能与机器人中心（开罗））；Technical University of Applied Sciences Würzburg-Schweinfurt (THWS)（维尔茨堡-施韦因富特应用技术大学）；DataX
该研究针对现有PII基准未覆盖文档级脱敏风险的问题，推出LeakageBench基准，评估多种PII检测方法，发现虽工具辅助可提升定位效果，但多数页面仍存在高泄露风险。
2026-09-03 cs.CL cs.CV
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory（数据分析实验室）；Samsung Life Insurance（三星人寿保险）
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而，一般的文本本地化仅由最近的基于深度学习的模式存档。在这里，我们提出了文档文本定位生成对抗网络（TLGAN），它是深度神经网络，用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型，需要少量数据。在扫描收据OCR和信息抽取（SROIE）上仅训练来自Robust Reading Challenge的10个标记收据图像，TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案，只需最少的数据标记和模型训练工作，即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
Source Printer Identification from Document Images Acquired using Smartphone
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
大量的印刷文件继续用于各种重要和琐碎的应用。此类申请通常依赖以印刷文本文件形式提供的信息，由于时间限制和缺乏资源，其完整性验证构成了挑战。源打印机识别以快速且具有成本效益的方式提供有关打印文档的来源和完整性的基本信息。即使识别出欺诈性文件，有关其来源的信息也有助于阻止未来的欺诈行为。如果智能手机摄像头取代扫描仪用于文档采集过程，那么文档取证将更加经济，用户友好，并且在许多远程和分布式分析有利的应用中甚至更快。在现有方法的基础上，我们提出从字母图像及其打印机特定噪声残差的融合中学习单个CNN模型。在没有任何公开可用的数据集的情况下，我们创建了一个新的数据集，由18台打印机打印的文本文档的2250个文档图像组成，并由智能手机摄像头在5个采集设置下采集。所提出的方法达到98.42%的文件分类准确率使用字母'e'的图像下的5x2交叉验证方法。此外，当使用大约50万个所有类型的字母进行测试时，它分别实现了90.33%和98.01%的字母和文档分类准确率，从而突出了在不依赖于单个字母类型的情况下学习判别模型的能力。此外，分类精度是令人鼓舞的各种采集设置，包括低照明和文件和相机平面之间的角度变化。
2020-03-27 cs.CV eess.IV
μgat: Improving Single-Page Document Parsing by Providing Multi-Page Context
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
针对现有文档解析模型仅处理单页的局限，本文提出Nougat架构扩展μgat，通过引入前后页多页上下文来改进单页文档解析，并在Regesta Pontificum Romanorum上验证了其有效性。
2024-08-28 cs.CV cs.DL
Callico: a Versatile Open-Source Document Image Annotation Platform
TEKLIA（特克利娅）
本文提出开源文档图像标注平台 Callico，通过双显示标注与协作功能支持 OCR/HTR、版面分析及实体识别等任务，并以多个真实项目验证其广泛适用性。
2024-05-02 cs.CV cs.DL
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University（布兰迪斯大学）；Adobe Research（Adobe研究院）
我们提出了SelfDoc，一个与任务无关的文档图像理解预训练框架。因为文档是多模态的，并且是用于顺序阅读的，所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息，并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同，我们的模型是粗粒度的，而不是将单个单词作为输入，因此避免了过度的细粒度和过度的上下文化。除此之外，我们在模型预训练阶段引入了跨模态学习，以充分利用来自未标记文档的多模态信息。对于下游的使用，我们提出了一种新的模态自适应注意力机制的多模态特征融合，自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练，而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能，与以前的作品相比，在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University（上海交通大学）
提出多模态预训练网络 WebLM，通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务，提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
Exploiting the Transferability of Deep Learning Systems Across Multi-modal Retinal Scans for Extracting Retinopathy Lesions
Khalifa University（哈利法大学）；National University of Sciences and Technology（国立科技大学）
视网膜病变在视网膜异常的准确分类中起着至关重要的作用。许多研究人员提出了深度病变感知筛查系统，用于分析和分级视网膜病变的进展。然而，据我们所知，没有文献利用这些系统的趋势，概括在多个扫描仪规格和多模态图像。为此，本文详细评估了语义分割、场景解析和混合深度学习系统，用于从融合眼底和光学相干断层扫描（OCT）图像中提取视网膜病变，如视网膜内液、视网膜下液、硬性渗出物、玻璃疣和其他脉络膜视网膜异常。此外，我们提出了一种新的策略，利用这些模型在多个视网膜扫描仪规格的可转移性。本研究中使用了来自7个公开数据集的363个眼底和173，915个OCT扫描（其中297个眼底和59，593个OCT扫描用于测试目的）。总体而言，以ResNet-50为骨干的混合视网膜分析和分级网络（RAGNet）首先用于提取视网膜病变，实现了0.822的平均骰子系数得分。此外，完整的源代码及其文档发布在：http://biomisa.org/index.php/downloads/。
2020-08-14 cs.CV eess.IV
Deeply Matting-based Dual Generative Adversarial Network for Image and Document Label Supervision
虽然已经提出了许多方法来处理自然图像的超分辨率（SR），并取得了令人印象深刻的性能，文本图像的SR是不好的，由于他们的忽略文档图像。本文提出了一种用于文档图像SR的基于抠图的双重生成对抗网络（mdGAN）。首先，使用深度图像抠图将输入图像分解为文档文本、前景和背景层。然后构造两个并行分支分别恢复文本边界信息和颜色信息。此外，为了提高输出图像中字符的恢复精度，在训练过程中，我们使用输入图像对应的地面真值文本标签作为额外的监督信息来细化两个分支网络。在真实文本图像上的实验表明，该方法在定量和定性上都优于现有的几种方法。
2019-09-19 cs.CV cs.MM
Text Change Detection in Multilingual Documents Using Image Comparison
Samsung SDS（三星 SDS）
针对多语言文档比较中OCR语言模型选择困难及混合模型性能受限的问题，提出基于词级图像比较和多尺度注意力特征的TCD模型，并构建多语言打印扫描词对数据集进行验证。
2024-12-05 cs.AI cs.CL cs.CV
Lacuna Reconstruction: Self-supervised Pre-training for Low-Resource Historical Document Transcription
University of California, San Diego（加州大学圣迭戈分校）；University of Maryland（马里兰大学）
我们提出了一种自我监督的预训练方法，用于学习手写和打印历史文档转录的丰富视觉语言表示。经过监督微调，我们的预训练编码器表示低资源的文件转录两种语言，（1）一组异构的手写体Islamicate手稿图像和（2）早期现代英语印刷文档，我们显示了一个有意义的提高识别准确性从零开始训练的相同的监督模型，只有30行图像transmittance训练。我们的掩蔽语言模型风格的预训练策略，其中模型被训练为能够从同一行内采样的干扰项中识别出真正的掩蔽视觉表示，鼓励学习鲁棒的上下文语言表示，这些语言表示不受抄写风格和跨文档的打印噪声的影响。
2021-12-16 cs.CL cs.CV cs.LG
Self-Supervised Representation Learning on Document Images
Sparktech Software（Sparktech软件公司）；University Politehnica of Bucharest（布加勒斯特理工大学）；Faculty of Mathematics and Computer Science, University of Bucharest（布加勒斯特大学数学与计算机科学学院）
本文分析了在文档图像分类的背景下，自监督预训练对文档图像的影响。虽然以前的方法探索了自我监督对自然图像的影响，但我们发现基于补丁的预训练在文档图像上表现不佳，因为它们的结构属性不同，样本内语义信息较差。我们提出了两个上下文感知的替代方案，以提高烟草-3482图像分类任务的性能。我们还提出了一种新的自监督方法，该方法利用了文档（图像和文本）固有的多模态，在数据量有限的文档图像分类场景中，该方法比其他流行的自监督方法（包括监督ImageNet预训练）表现更好。
2020-05-27 cs.CV cs.LG eess.IV
Fine-Grained Object Detection over Scientific Document Images with Region Embeddings
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Waterloo（滑铁卢大学）
研究了科学文献扫描图像的目标检测问题。我们考虑包含不同长宽比和大小的对象的图像，范围从粗糙的元素（如表格和图形）到精细的元素（如公式和节头）。我们发现，目前的对象检测器无法产生适当的本地化区域的建议，这样的页面对象。我们重新审视了原始的R-CNN模型，并提出了一种在文档元素上生成细粒度建议的方法。我们还提出了一个区域嵌入模型，该模型使用提案邻居的卷积映射作为上下文来为每个提案生成嵌入。该区域嵌入能够捕获目标区域与其周围上下文之间的语义关系。我们的端到端模型为每个提案生成一个嵌入，然后通过使用多头注意力模型对每个提案进行分类，该模型关注提案的最重要邻居。为了评估我们的模型，我们收集并注释了来自异质期刊的出版物数据集。我们表明，我们的模型，被称为Attentive-RCNN，产生了17%的mAP相比，标准的目标检测模型的改进。
2019-10-30 cs.CV cs.LG eess.IV
