DDI-100: Dataset for Text Detection and Recognition
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
如今,文档分析和识别仍然是具有挑战性的任务。然而,只有少数数据集设计的文本检测(TD)和光学字符识别(OCR)的问题存在。在本文中,我们提出了失真的文档图像数据集(DDI-100),并证明了它的有用性,在广泛的文档分析问题。DDI-100数据集是一个基于7000个真实独特文档页面的合成数据集,由超过100000个增强图像组成。地面实况包括文本和图章掩码、文本和字符边界框以及相关注释。DDI-100数据集的验证使用了几个TD和OCR模型,这些模型在真实数据上表现出高质量的性能。
2019-12-25 cs.CV
Current Status and Performance Analysis of Table Recognition in Document Images with Deep Neural Networks
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Mindgrage;Luleå University of Technology(吕勒奥理工大学);Bilojix Soft Technologies(Bilojix软件技术公司)
表格识别的第一阶段是检测文档中的表格区域。随后,在第二阶段中识别表格结构,以便从各个单元提取信息。表格检测和结构识别是表格理解领域的关键问题。然而,表格分析是一个复杂的任务,由于大量的多样性和不对称的表格。因此,它是文档图像分析中一个活跃的研究领域。图形处理单元的计算能力的最新进展使得深度神经网络能够优于传统的最先进的机器学习方法。表理解已经从深度神经网络的最新突破中受益匪浅。然而,对于用于表格检测和表格结构识别的深度学习方法还没有统一的描述。这篇综述论文对利用深度神经网络的现代方法进行了全面分析。这项工作提供了一个全面的了解目前的最先进的和相关的挑战,在文档图像中的表格理解。此外,主要数据集及其复杂性已与定量结果一起阐述。此外,简要概述了有前途的方向,可以作为指导,以进一步提高文件图像中的表分析。
2021-05-08 cs.CV
DDVR-Net: Degradation-Aware Decoupling and Visibility-Guided Restoration for Historical Document Recognition
Institute of National Security, Minzu University of China(中央民族大学国家安全研究院);School of Information Engineering, Minzu University of China(中央民族大学信息工程学院);School of Artificial Intelligence and Computer Science, North China University of Technology(北方工业大学人工智能与计算机学院)
针对历史文档退化导致识别困难的问题,提出DDVR-Net框架,通过特征解耦、可见性引导恢复及构建多语言基准,在三种语言上性能优于现有方法。
2026-10-14 cs.CV
Text-DIAE: A Self-Supervised Degradation Invariant Autoencoders for Text Recognition and Document Enhancement
Computer Vision Center(计算机视觉中心);Digital Research Center of Sfax(斯法克斯数字研究中心)
在本文中,我们提出了一个文本退化不变自动编码器(Text-DIAE),一个自监督模型,旨在解决两个任务,文本识别(手写或场景文本)和文档图像增强。我们首先采用基于transformer的架构,该架构将三个借口任务作为学习目标,在预训练期间进行优化,而不使用标记数据。每个借口目标都是为最终的下游任务专门定制的。我们进行了几个消融实验,确认所选的借口任务的设计选择。重要的是,所提出的模型没有表现出以前的国家的最先进的方法的基础上的对比损失的限制,而在同一时间需要大大减少数据样本收敛。最后,我们证明了我们的方法超越了现有的监督和自监督设置在手写和场景文本识别和文档图像增强的最先进的。我们的代码和训练模型将在~ \url{ http://Upon_Acceptance}上公开发布。
2022-08-18 cs.CV
Exploring Light-Weight Object Recognition for Real-Time Document Detection
Federal University of Paraná(巴西南里奥格兰德联邦大学);unico - idTech
针对实时文档检测,本文改编IWPOD-Net并训练于合成数据集,提出轻量级方案,在保证OCR质量的同时实现更小模型和更高效率。
2025-09-07 cs.CV
Fused Text Recogniser and Deep Embeddings Improve Word Recognition and Retrieval
IIIT Hyderabad(海得拉巴国际信息技术研究所)
从大型文档集合中识别和检索文本内容一直是文档图像分析社区的一个强大用例。通常,单词是识别和检索的基本单位。仅依赖于文本识别器(OCR)输出的系统在许多情况下不够鲁棒,特别是当单词识别率很差时,如在历史文档或数字图书馆的情况下。一种替代方案是基于单词识别的方法,其基于单词的整体表示来检索/匹配单词。在本文中,我们融合了文本识别器的噪声输出与整个单词的深度嵌入表示。我们使用平均和最大融合的情况下,改善检索的排名结果。我们验证我们的方法收集印地语文档。在mAP中,我们将单词识别率提高了1.4,检索率提高了11.13。
2020-07-01 cs.CV
A document is worth a structured record: Principled inductive bias design for document recognition
Centre for AI(人工智能中心);Zurich University of Applied Sciences(应用科学大学 Zurich);Institute of Product Development and Production Technologies(产品开发与生产技术研究所);Institute of Neuroinformatics(神经信息研究所);University of Zurich and ETH Zurich(苏黎世大学和苏黎世联邦理工学院);European Centre for Living Technology(欧洲生活科技中心);RWAI Schweiz AG(RWAI瑞士有限公司)
本文提出将文档识别视为文档到记录的转录任务,设计结构特定的归纳偏差,通过实验展示了在复杂记录结构上的有效性,为设计更通用的文档识别系统提供指导。
2026-04-14 cs.AI cs.CV
DREAM: Document Reconstruction via End-to-end Autoregressive Model
Tencent YouTu Lab(腾讯优图实验室)
本文提出端到端自回归模型DREAM,将文本图像直接转换为文档重建序列,保留布局信息,并引入DSM度量和DocRec1K数据集,在文档重建及多个子任务上取得最优性能。
2025-07-08 cs.CV
Categorizing ancient documents
University of Sfax(斯法克斯大学);Université de La Rochelle(拉罗谢尔大学)
鉴于可以提取的信息的重要性以及各机构对保护其遗产的重视,对历史文件的分析仍然是一个热门问题。主要思想是为了表征的内容的图像的古代文件后,试图清理图像分割块文本从同一图像,并试图找到相似的块在同一图像或整个图像数据库。大多数离线手写识别方法都是将单词分割成较小的片段(通常是字符),然后单独识别。一个词的识别,然后需要识别的所有字符(OCR)组成它。我们的工作主要集中在旧文档的图像中的类的特性。我们使用Som工具箱在文档中查找类。我们还应用分形维数和兴趣点来分类和匹配古代文献。
2013-08-28 cs.CV
CascadeTabNet: An approach for end to end table detection and structure recognition from image-based documents
Pune Institute of Computer Technology(浦那计算机技术学院)
一种用于文档图像中表格数据解释的表格自动识别方法,主要解决表格检测和表格结构识别两个问题。先前的工作涉及使用两种不同的方法独立地解决这两个问题。最近的工作意味着使用基于深度学习的解决方案,同时也试图设计端到端的解决方案。在本文中,我们提出了一种改进的基于深度学习的端到端方法,用于使用单个卷积神经网络(CNN)模型解决表格检测和结构识别这两个问题。我们建议CascadeTabNet:基于级联掩码区域的CNN高分辨率网络(级联掩码R-CNN HRNet)的模型,其检测表的区域并同时从检测到的表识别结构体单元。我们在ICDAR 2013、ICDAR 2019和TableBank公共数据集上评估了我们的结果。我们在ICDAR 2019竞赛后的表格检测结果中排名第三,同时在ICDAR 2013和TableBank数据集中获得了最佳准确性结果。我们还在ICDAR 2019表格结构识别数据集上获得了最高的准确率结果。此外,我们展示了有效的迁移学习和图像增强技术,使CNN能够实现非常准确的表检测结果。代码和数据集已在以下网址提供:https://github.com/DevashishPrasad/CascadeTabNet
2020-05-28 cs.CV
Recognition of Text Image Using Multilayer Perceptron
Faculty of Engineering & Technology, Mody Institute of Technology & Science(Mody科技与科学学院工程与技术系)
图像处理领域的最大挑战是识别打印和手写格式的文档。光学字符识别OCR是一种文档图像分析,其中包含机器打印或手写脚本的扫描数字图像输入到OCR软件引擎中,并将其转换为可编辑的机器可读数字文本格式。神经网络被设计用于模拟大脑执行特定任务或感兴趣的功能的方式:神经网络在数字计算机上的软件中进行模拟。字符识别是指将打印的文本文档转换为翻译的Unicode文本的过程。以书籍、纸张、杂志等形式提供的打印文档使用标准扫描仪进行扫描,该扫描仪产生扫描文档的图像。线是通过一种算法来识别的,我们识别线的顶部和底部。然后在每一行字符边界计算的算法,然后使用这些计算,字符是从图像中分离出来,然后我们分类每个字符的基本反向传播。每个图像字符由30*20像素组成。我们采用反向传播神经网络进行有效的识别,通过反向传播校正错误,并在多层神经网络中通过前馈方法传输校正后的神经元值。
2016-12-02 cs.CV
Words as Geometric Features: Estimating Homography using Optical Character Recognition as Compressed Image Representation
University of California, San Diego(加州大学圣地亚哥分校);University of California, Merced(加州大学默塞德分校)
本文提出利用OCR输出的词位置和文本内容作为特征进行单应性估计,无需原始图像,结合RANSAC抗噪,实验表明比传统图像方法更准确,为文档配准提供高效可扩展方案。
2025-05-25 cs.CV
OCR accuracy improvement on document images through a novel pre-processing approach
The National School for Applied Sciences of Tetuan(得土安应用科学国立学校)
数码相机和移动文档图像采集是光学字符识别和文本检测领域的新趋势。在某些情况下,这样的过程集成了许多失真,并产生扫描不佳的文本或文本照片图像和自然图像,导致不可靠的OCR数字化。在本文中,我们提出了一种新的非参数和无监督的方法来补偿不良的文档图像失真,旨在最佳地提高OCR的准确性。我们的方法依赖于一个非常有效的堆栈的文档图像增强技术来恢复整个文档图像的变形。首先,我们提出了一个局部亮度和对比度调整方法,以有效地处理光照变化和图像照明的不规则分布。其次,我们使用一个优化的灰度转换算法来转换我们的文档图像的灰度级。第三,我们锐化有用的信息,在所产生的灰度图像使用非锐化掩模方法。最后,一个最佳的全局二值化方法是用来准备最终的文档图像OCR识别。该方法可以显著提高文本检测率和光学字符识别准确率。为了证明我们的方法的效率,一个标准的数据集上的详尽实验。
2015-09-11 cs.CV
A Multi-Stage Framework for Kuzushiji Character Recognition in Japanese Historical Documents
Kyoto University(京都大学)
针对印章干扰导致久世文字符识别性能下降的问题,提出一种结合文档修复和合成数据增强的抗印章干扰框架,在真实和合成测试集上分别降低字符错误率39.7%和50.1%。
2026-09-28 cs.CV
Unknown-box Approximation to Improve Optical Character Recognition Performance
University of Alberta(阿尔伯塔大学);Intuit Inc.(财捷公司)
光学字符识别(OCR)是一种在众多领域中广泛使用的模式识别应用。有几种功能丰富的通用OCR解决方案可供消费者使用,它们可以提供中等到优秀的准确度。然而,准确性可能会降低困难和不常见的文档域。文档图像的预处理可用于最小化域移位的影响。在本文中,提出了一种新的方法来创建一个定制的预处理器为给定的OCR引擎。与以前的OCR不可知预处理技术不同,所提出的方法近似于特定OCR引擎的梯度来训练预处理器模块。两个数据集和两个OCR引擎的实验表明,所提出的预处理器是能够提高OCR的准确性从基线到46%,通过应用像素级的操作的文档图像。建议方法的实施和增强的公共数据集可供下载。
2021-05-17 cs.CV
Invizo: Arabic Handwritten Document Optical Character Recognition Solution
Egypt-Japan University of Science and Technology(埃及-日本科学技术大学)
Invizo提出一种结合CNN特征提取与Transformer序列建模的端到端阿拉伯语OCR方案,可同时处理手写、印刷文本和数字,在检测与识别任务上均取得实用性能。
2025-02-07 cs.CV
Evaluation of a Region Proposal Architecture for Multi-task Document Layout Analysis
PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
自动识别手写文档的布局是从这些文档中提取有用信息的重要一步。最常见的应用是为下游应用提供信息,如自动文本识别和关键字定位;然而,布局的识别也有助于建立文档中元素之间的关系,从而丰富可以提取的信息。大多数现代文档布局分析系统都是针对文档布局问题的一个部分而设计的,即:基线检测或区域分割。相比之下,我们评估了Mask-RCNN架构以综合方式解决基线检测和区域分割问题的有效性。我们提出了两个手写文本数据集和一个手写音乐数据集的实验结果。所分析的架构产生了有希望的结果,在所有三个数据集上都优于最先进的技术。
2021-06-22 cs.CV
MIDV-2019: Challenges of the modern mobile-based document OCR
Smart Engines Service LLC(智能引擎服务有限责任公司)
使用移动设备识别身份证件已经成为广泛的计算机视觉研究的主题。用于解决诸如人脸检测、文档检测和校正、文本字段识别等任务的方法和算法的组合正在增长,并且数据集的稀缺性已经成为一个重要问题。MIDV-500是一个可供公开查阅的数据集,其中载有50种身份证件类型在各种情况下的视频剪辑。然而,MIDV-500中捕捉条件的可变性并没有解决一些关键问题,主要是显著的投影失真和不同的照明条件。在本文中,我们提出了一个MIDV-2019数据集,其中包含使用现代高分辨率移动相机拍摄的视频片段,具有强烈的投影失真和低光照条件。文中给出了添加数据的描述,并给出了不同条件下文本字段识别的实验基线。该数据集可在ftp://smartengines.com/midv-500/extra/midv-2019/下载。
2019-10-09 cs.CV
Table Structure Recognition using Top-Down and Bottom-Up Cues
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
表格是文档图像中信息丰富的结构化对象。虽然在将表格定位为文档图像中的图形对象方面已经做了大量的工作,但在表格结构识别方面只存在有限的尝试。大多数现有的文献结构识别依赖于从PDF文档中提取的元特征或光学字符识别(OCR)模型,从图像中提取低级别的布局特征。然而,这些方法不能很好地推广,因为当表格布局和文本组织存在显著差异时,OCR会产生元特征或错误。在我们的工作中,我们专注于具有复杂结构,密集内容和不同布局的表格,而不依赖于元特征和/或OCR。我们提出了一种表格结构识别的方法,它结合了单元格检测和交互模块来定位单元格,并预测它们与其他检测到的单元格的行和列关联。我们将结构约束作为额外的差分组件的损失函数的细胞检测。我们在公开可用的真实世界数据集上经验验证了我们的方法- ICDAR-2013,ICDAR-2019(cTDaR)存档,UNLV,SciTSR,SciTSR-COMP,TableBank和PubTabNet。我们的尝试开辟了一个新的方向,表结构识别相结合的自上而下(表单元格检测)和自自底向上的【形】(结构识别)的线索在视觉上理解的表。
2020-10-09 cs.CV
From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding
Zhejiang University(浙江大学)
本文提出ReceiptBench基准,通过四个层次化子任务提升收据信息提取的结构一致性,并提出两阶段训练框架GRPO,通过强化学习信号提升模型性能,实验证明其在复杂推理任务上的优越性。
2026-05-21 cs.CV
K-Algorithm A Modified Technique for Noise Removal in Handwritten Documents
Thapar University(塔帕尔大学)
近几十年来,OCR一直是一个活跃的研究领域。OCR执行扫描文档图像中的文本识别,并将其转换为可编辑形式。OCR过程可以有几个阶段,如预处理,分割,识别和后处理。预处理阶段是OCR成功的关键阶段,主要处理噪声去除。本文提出了一种改进的去噪方法--K算法,该算法分为滤波和二值化两个阶段。所提出的技术显示即兴的结果相比,中值滤波技术。
2013-06-06 cs.CV
MRZ code extraction from visa and passport documents using convolutional neural networks
Lendbuzz(Lendbuzz公司)
从护照和签证上的机器可读区(MRZ)检测和提取信息对于验证文件真实性变得越来越重要。然而,用于执行类似任务的计算机视觉方法,例如光学字符识别(OCR),无法以合理的准确度提取给定护照数字图像的MRZ。我们提出了一个专门设计的模型的基础上卷积神经网络,能够成功地提取MRZ信息的数字图像的护照的任意方向和大小。我们的模型在护照和签证数据集上实现了100%的MRZ检测率和98.36%的字符识别宏f1分数。
2021-07-20 cs.CV
UNIT: Unifying Image and Text Recognition in One Vision Encoder
Hong Kong University of Science and Technology(香港科技大学)
本文提出 UNIT 框架,通过轻量语言/视觉解码器与两阶段多尺度训练,在不改变原视觉编码器推理成本的前提下统一图像与文本识别。
2024-09-06 cs.CV
TS-Net: OCR Trained to Switch Between Text Transcription Styles
Brno University of Technology(布尔诺理工大学)
来自不同机构和科学学科的OCR系统的用户偏好并产生不同的转录风格。这提出了一个问题的训练一致的文本识别神经网络的真实世界的数据。我们建议用一个转录风格块(TSB)来扩展现有的文本识别网络,它可以从数据中学习,在没有任何转录规则的明确知识的情况下在多种转录风格之间切换。TSB是一种自适应实例规范化,由表示一致转录文档(例如单个文档、单个转录者的文档或机构)的标识符调节。我们表明,TSB能够在人工数据的受控实验中学习完全不同的转录风格,它提高了大规模真实数据的文本识别准确性,并学习了语义上有意义的转录风格嵌入。我们还展示了TSB如何有效地适应新文档的转录风格,从只有几行文本的转录。
2023-02-13 cs.CV
HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis
École de Technologie Supérieure (ÉTS)(高等技术学院(ÉTS))
本文提出端到端无分割架构HAND,通过分层注意力、多尺度自适应处理及课程学习,同时实现手写文本识别与版面分析,在READ 2016上显著降低CER并保持紧凑模型规模。
2024-12-25 cs.CV cs.LG
Bounding the Probability of Error for High Precision Recognition
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们考虑的模型,这是很重要的,早期的处理,估计一些变量具有高精度,但可能在相对较低的召回率。如果一些变量可以被确定为接近确定性,那么它们就可以被调节,从而允许有效地进行进一步的推断。具体来说,我们考虑光学字符识别(OCR)系统,可以通过识别一个子集的正确翻译的文档单词非常高的精度自举。该“干净集”随后被用作文档特定的训练数据。虽然许多当前的OCR系统为每个字母或单词的身份产生置信度的度量,但是对这些置信度值进行阈值化,即使在非常高的值下,仍然产生一些错误。我们介绍了一种新的技术,用于确定一组正确的话,具有非常高的精度。我们不是估计后验概率,而是使用近似的最差情况分析,在非常一般的假设下,限制任何给定单词不正确的概率。因此,模型的参数几乎是不相关的,即使在嘈杂的文档中,我们也能够识别出一个词的子集,我们对此非常有信心。在我们的10个文档中,我们平均能够识别大约6%的单词,而不会犯任何错误。这种以非常高的精度产生单词列表的能力允许我们使用依赖于这种干净单词列表的模型族。
2009-07-02 cs.CV
Image-based table recognition: data, model, and evaluation
IBM Research Australia(澳大利亚IBM研究院)
文档中与特定主题相关的重要信息通常以表格格式组织,以帮助读者进行信息检索和比较,这可能难以用自然语言提供。然而,非结构化数字文档中的表格数据,例如,可移植文档格式(PDF)和图像由于其结构和风格的复杂性和多样性而难以解析成结构化的机器可读格式。为了通过深度学习促进基于图像的表格识别,我们开发了最大的公开可用表格识别数据集PubTabNet(https://github.com/ibm-aur-nlp/PubTabNet),其中包含568 k表格图像以及相应的结构化HTML表示。PubTabNet通过匹配PubMed Central开放获取子集(PMCOA)中科学文章的XML和PDF表示自动生成。我们还提出了一种新的注意力为基础的编码器双解码器(EDD)架构,将图像的表到HTML代码。该模型有一个结构解码器,它重建表结构,并帮助单元解码器识别单元内容。此外,我们提出了一个新的树编辑距离为基础的相似性(TEDS)指标的表识别,更适当地捕捉多跳细胞错位和OCR错误比预先建立的度量。实验表明,EDD模型可以准确地识别复杂的表格,完全依赖于图像表示,超过9.7%的绝对TEDS得分的最先进的。
2020-03-04 cs.CV
Self-supervised Data Bootstrapping for Deep Optical Character Recognition of Identity Documents
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
在机场和国家边界核查个人身份的基本任务非常耗时。为了加速它,由于身份证件(ID)中的文本内容的高度可变性,使用字典对ID进行光学字符识别是不合适的,例如,街道名称或姓氏。此外,ID中使用的字体的属性也是未知的。因此,我们提出了一个迭代的自我监督的自举方法,使用智能策略挖掘真正的字符数据的身份证。与合成生成的字符数据相结合,使用真实数据来训练用于字符分类的有效卷积神经网络,其服务于实际运行时间以及高精度。在具有74个字符类的数据集上,我们实现了99.4%的平均类准确率。相比之下,如果我们应用仅使用合成数据训练的分类器,则准确率降低到58.1%。最后,我们表明,我们提出的整个管道优于一个既定的开源框架
2019-08-12 cs.CV cs.LG
DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting
Amazon Web Services(亚马逊网络服务)
DocSplit提出首个全面的文档包识别与分割基准数据集及评估方法,涵盖多类型文档和复杂场景,揭示当前模型在处理复杂文档分割任务中的性能差距。
2026-02-17 cs.AI cs.CL cs.CV
SPAN: a Simple Predict & Align Network for Handwritten Paragraph Recognition
LITIS Laboratory(LITIS实验室);Rouen University(鲁昂大学);Normandie University(诺曼底大学);INSA of Rouen(鲁昂国立应用科学学院)
无约束手写体识别是文档分析中的一项重要任务。它通常分两步进行。首先,文档被分割成文本行。其次,对这些行图像应用光学字符识别模型。我们提出了简单预测和对齐网络:一个端到端的无递归完全卷积网络,在段落级别执行OCR,而无需任何先前的分割阶段。该框架与用于识别孤立线的框架一样简单,我们在三个流行的数据集上取得了有竞争力的结果:RIMES,IAM和READ 2016。所提出的模型不需要任何数据集自适应,它可以从头开始训练,没有分割标签,并且它不需要转录标签中的换行符。我们的代码和训练的模型权重可在https://github.com/FactoDeepLearning/SPAN上获得。
2021-02-17 cs.CV
Handwritten Optical Character Recognition (OCR): A Comprehensive Systematic Literature Review (SLR)
Barrett Hodgson University(巴雷特霍奇森大学);Quest International University(奎斯特国际大学);NED University of Engineering and technology(NED工程技术大学);Université Claude Bernard Lyon1(里昂第一大学)
鉴于手写文档在人类交易中的普遍性,文档的光学字符识别(OCR)具有非常宝贵的实用价值。光学字符识别是一门能够将各种类型的文档或图像转换为可分析、可编辑和可搜索的数据的科学。在过去的十年中,研究人员已经使用人工智能/机器学习工具来自动分析手写和打印文档,以便将其转换为电子格式。这篇综述的目的是总结已经进行的手写文档的字符识别的研究,并提供研究方向。在本系统性文献综述(SLR)中,我们收集、综合和分析了2000年至2018年期间发表的关于手写OCR主题(以及密切相关主题)的研究文章。我们遵循广泛使用的电子数据库,遵循预定义的审查协议。使用关键词、前向参考文献检索和后向参考文献检索进行文献检索,以检索与主题相关的所有文献。在仔细遵循研究选择过程后,为本SLR选择了142篇文章。这篇综述文章的目的是介绍OCR的最新成果和技术,并通过突出研究差距提供研究方向。
2020-01-01 cs.CV cs.LG
Automatic Recognition of Learning Resource Category in a Digital Library
IIT Kharagpur(印度理工学院卡拉格普尔分校);Indian Association for the Cultivation of Science(印度科学培育协会);Jadavpur University(贾达普大学)
本文针对数字图书馆元数据标注耗时易错的问题,提出基于HLR数据集的自动分类方法,将学习资源分解为页面图像并结合OCR文本与先进分类器,实现文档整体类别预测。
2023-11-28 cs.CV cs.DL
Structure-Aware Text Recognition for Ancient Greek Critical Editions
Inria(法国国家信息与自动化技术研究所)
本文通过构建大规模合成语料库和真实扫描基准,评估了视觉语言模型在结构感知文本识别上的性能,发现Qwen3VL-8B模型在真实扫描上达到1.0%的中位字符错误率。
2026-06-17 cs.CV
Multi-Type-TD-TSR -- Extracting Tables from Document Images using a Multi-stage Pipeline for Table Detection and Table Structure Recognition: from OCR to Structured Table Representations
随着全球趋势转向数据驱动型行业,对能够将扫描文档的数字图像转换为机器可读信息的自动算法的需求正在迅速增长。除了数据数字化为数据分析工具的应用提供了机会外,流程自动化也有了巨大的改进,而以前需要手动检查文件。虽然光学字符识别技术的引入主要解决了将人类可读的字符从图像转换为机器可读的字符的任务,但多年来提取表语义的任务较少关注。表格的识别主要包括两个任务,即表格检测和表格结构识别。关于这个问题的大多数先前工作集中在没有提供端到端解决方案的任务上,或者关注真实的应用条件,如旋转图像或文档图像内的噪声伪影。最近的工作显示了一个明显的趋势,即深度学习方法加上迁移学习用于表结构识别任务,因为缺乏足够大的数据集。在本文中,我们提出了一个多级流水线命名为多类型TD-TSR,它提供了一个端到端的解决方案,表识别的问题。它利用最先进的深度学习模型进行表格检测,并根据表格的边界区分3种不同类型的表格。对于表结构的识别,我们使用一个确定性的非数据驱动的算法,它适用于所有的表类型。我们还提出了两个算法。一个是无边框表,一个是有边框表,这是所使用的表结构识别算法的基础。我们在ICDAR 2019表格结构识别数据集上评估了Multi-Type-TD-TSR,并实现了新的最先进技术。
2021-05-23 cs.AI cs.CV cs.LG
SPRINT: Script-agnostic Structure Recognition in Tables
IIT Bombay(印度理工学院孟买分校);Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程系)
本文提出语言无关的表格结构识别框架SPRINT,利用OTSL序列与预训练网格估计器提升多语言TSR性能,降低延迟,并发布13语言MUSTARD数据集。
2025-03-15 cs.CV
PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks
Xuzhou Medical University(徐州医科大学);Ping An Property & Casualty Insurance Company(平安产险公司)
最近,具有最先进深度学习模型的计算机视觉在光学字符识别(OCR)领域(包括文本检测和识别任务)取得了巨大成功。然而,作为OCR下游任务的文档关键信息抽取(Key Information Extraction,KIE)在现实世界中有着大量的使用场景,但由于文档中不仅有OCR系统提取的文本特征,而且还有语义视觉特征,这些特征在KIE中起着至关重要的作用,尚未得到充分利用,因此KIE仍然是一个挑战。在有效地充分利用文件的文字和视觉特征方面所做的工作太少。在本文中,我们介绍了PICK,一个框架,是有效的和强大的处理复杂的文档布局KIE通过结合图学习与图卷积运算,产生一个更丰富的语义表示包含文本和视觉功能和全局布局没有歧义。在真实数据集上进行了大量的实验,结果表明,我们的方法明显优于基线方法。我们的代码可在https://github.com/wenwenyu/PICK-pytorch上获得。
2020-07-18 cs.CV
Can You Read Me Now? Content Aware Rectification using Angle Supervision
Amazon Web Services(亚马逊云科技)
智能手机摄像头的无处不在导致越来越多的文档被摄像头捕获而不是扫描。与平板扫描仪不同,拍摄的文档经常被折叠和弄皱,导致文本结构的局部差异很大。文档校正问题是文档上的光学字符识别(OCR)过程的基础,并且其克服几何失真的能力显著影响识别精度。尽管最近的OCR系统取得了很大的进步,但大多数仍然依赖于确保文本行是直的和轴对齐的预处理。最近的工作已经解决了使用各种监督信号和对准手段来校正在野外拍摄的文档图像的问题。然而,他们专注于可以从文档边界提取的全局特征,忽略了可以从文档内容中获得的各种信号。我们提出折痕:使用角度监督的内容感知纠正,这是第一种学习的文档纠正方法,依赖于文档的内容,单词的位置,特别是它们的方向,作为帮助纠正过程的提示。我们利用一种新的逐像素角度回归方法和曲率估计副任务来优化我们的校正模型。我们的方法超越了以前的方法在OCR精度,几何误差和视觉相似性。
2020-08-05 cs.CV
Classification of Documents Extracted from Images with Optical Character Recognition Methods
Manisa Celal Bayar Üniversitesi(马尼萨杰拉尔·巴亚尔大学)
在过去的十年里,机器学习方法为我们带来了无人驾驶汽车、话音识别、有效的网络搜索以及对人类基因组的更好理解。机器学习在今天非常普遍,每天都要使用几十次,可能是在不知不觉中。试图教机器一些过程或一些情况,可以让它们预测一些人脑难以预测的结果。这些方法也帮助我们在短时间内完成一些人类活动通常不可能或难以完成的操作。由于这些原因,机器学习在今天非常重要。在这项研究中,两种不同的机器学习方法相结合。为了解决一个现实世界的问题,手稿文件首先被转移到计算机上,然后被分类。我们使用了三种基本方法来实现整个过程。手写或打印的文件已被扫描仪或数码相机数字化。这些文档已使用两种不同的光学字符识别(OCR)操作进行处理。然后利用朴素贝叶斯算法对生成的文本进行分类。所有项目都是在Windows操作系统上的Microsoft Visual Studio 12平台上编写的。研究的所有部分均使用C#程序设计语言。此外,还使用了一些准备好的代码和DLL。
2021-06-15 cs.CV cs.LG eess.IV
bbOCR: An Open-source Multi-domain OCR Pipeline for Bengali Documents
Brac University(布拉卡大学);Apsis Solutions Limited(阿普西斯解决方案有限公司)
针对孟加拉语等低资源语言OCR工具与数据集匮乏的问题,研究团队提出开源多领域OCR系统bbOCR,依托新型识别模型与合成数据集实现文档结构化数字化,性能优于现有同类系统。
2023-08-22 cs.CV
Object Recognition from Scientific Document based on Compartment Refinement Framework
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Center for Innovative Distance Education and Research(创新远程教育与研究中心)
针对科学文档数据提取中规则方法编码成本高和机器学习方法标注成本高的问题,提出CTBR框架,通过分层定义文档结构并利用文本块分类结果实现基于规则的对象识别。
2024-08-23 cs.CV cs.DL cs.LG
ClinOCR-Bench: A Comprehensive Clinical Scanned Document Dataset for Optical Character Recognition Model Evaluation
McWilliams School of Biomedical Informatics, University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校麦威廉斯生物医学信息学学院);Enterprise Development & Integration, University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心企业开发与集成)
针对从扫描医疗文档提取文本信息的挑战,通过发布ClinOCR-Bench数据集,用多样文档类型、覆盖扫描伪像等特性,评估基准OCR性能,为临床OCR模型评估提供公开资源。
2026-07-07 cs.AI cs.CV
Optimization of Image Processing Algorithms for Character Recognition in Cultural Typewritten Documents
Faculty of Engineering of the University of Porto(波尔图大学工程学院);INESC-TEC(葡萄牙系统与计算机工程研究所)
本文针对打字文化遗产文档的OCR任务,提出基于NSGA-II算法的多目标参数优化方法,通过最小化编辑距离和最大化正确识别词数,发现针对不同文档类型采用特定图像预处理算法能显著提升OCR性能。
2023-11-27 cs.CV cs.DL
Nougat: Neural Optical Understanding for Academic Documents
Meta AI
针对PDF格式科学文档语义信息易丢失的问题,提出名为Nougat的Visual Transformer模型,可通过OCR将科学文档转为标记语言,在新数据集上验证了有效性并开源模型代码,助力提升科学知识可访问性。
2023-08-25 cs.CV cs.LG
Hierarchical Modeling Approach to Fast and Accurate Table Recognition
Preferred Networks, Inc.(Preferred Networks公司)
本文提出了一种基于非因果注意力和并行推理的分层建模方法,用于提升表格识别的准确性和效率。
2025-12-24 cs.CV cs.LG
Image Based Character Recognition, Documentation System To Decode Inscription From Temple
Vellore Institute of Technology Chennai(韦洛尔理工学院金奈校区)
本研究训练并分析OCR方法,以解码布里哈迪斯瓦拉神庙的10世纪泰米尔铭文,使用Tesseract和ICR技术,通过准确率评估性能,旨在提升古代铭文的保存与解读。
2024-05-21 cs.AI cs.CV cs.LG
A Gaussian Process Upsampling Model for Improvements in Optical Character Recognition
University of California, Santa Cruz(加州大学圣克鲁兹分校);AppZen Inc.(AppZen公司)
光学字符识别和提取是金融领域文档自动评估的关键工具。然而,提供给自动化系统的图像数据可能具有不可靠的质量,并且可能固有地是低分辨率的或被传输程序下采样和压缩。在本文中,我们说明了高斯过程上采样模型的有效性,通过对低分辨率文档进行上采样来改善OCR和提取。
2020-05-07 cs.CV cs.LG stat.ML
Robustness of Structured Data Extraction from Perspectively Distorted Documents
本研究探讨了透视变形对多模态LLMs提取文档数据准确性的影响,发现结构识别准确性显著下降,但可通过旋转校正提升。
2025-11-18 cs.CL cs.CV cs.LG
Digitization of Document and Information Extraction using OCR
RV College of Engineering(RV工程学院)
针对混合格式文档的信息抽取需求,提出融合OCR与LLM的文本抽取框架,结合布局感知处理与LLM语义分析生成结构化结果,经多维度OCR工具对比验证,该方法优于传统规则与模板方法,提升了跨文档类别的抽取灵活性与语义精度。
2025-06-11 cs.CV cs.IR
Rethinking Table Recognition using Graph Neural Networks
National University of Sciences and Technology (NUST)(国立科技大学);National Center of Artificial Intelligence (NCAI)(国家人工智能中心)
文档结构分析,如区域分割和表格识别,是文档处理中的一个复杂问题,也是一个活跃的研究领域。深度学习最近在解决各种计算机视觉和机器学习问题方面取得的成功尚未反映在文档结构分析中,因为传统的神经网络不太适合问题的输入结构。在本文中,我们提出了一个架构的基础上,图网络作为一个更好的替代标准神经网络的表识别。我们认为,图网络是一个更自然的选择,这些问题,并探讨两个基于梯度的图神经网络。我们提出的架构结合了用于视觉特征提取的卷积神经网络和用于处理问题结构的图网络的优点。我们的经验表明,我们的方法优于基线的显着保证金。此外,我们确定缺乏大规模数据集作为结构分析的深度学习研究的主要障碍,并提出了一个新的大规模合成数据集的表识别问题。最后,我们开源了数据集生成的实现和我们的图网络的训练框架,以促进这一方向的可重复研究。
2019-07-03 cs.CV cs.LG
ClapperText: A Benchmark for Text Recognition in Low-Resource Archival Documents
Computer Vision Lab, TU Wien(维也纳技术大学计算机视觉实验室)
ClapperText是一个基于二战档案视频场记板构建的文本识别基准,包含9,813帧和94,573个词级实例,用于评估低资源环境下OCR模型的性能,实验表明微调能显著提升效果。
2025-10-17 cs.AI cs.CV eess.IV
Reference-Based Post-OCR Processing with LLM for Precise Diacritic Text in Historical Document Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对历史变音符号文档OCR错误,提出利用电子书参考与LLM的后处理方法,生成高精度伪标签,平均评分8.72,优于现有模型,并公开数据集。
2025-02-27 cs.CL cs.CV
Post-OCR Paragraph Recognition by Graph Convolutional Networks
Google Research(谷歌研究院)
本文提出了一种基于空间图卷积网络(GCN)的OCR文本框段落识别方法。通过行分割和行聚类两个步骤从OCR结果中提取段落。每一步都使用由边界框构建的beta骨架图,其中图形边缘为图形卷积操作提供有效支持。由于只有纯布局输入特征,GCN模型的大小比基于R-CNN的模型小3~4个数量级,同时在PubLayNet和其他数据集上实现了相当或更好的准确性。此外,GCN模型表现出良好的泛化能力,从合成的训练数据到真实世界的图像,以及良好的适应性,为可变的文档风格。
2022-11-15 cs.CV cs.LG
UTRNet: High-Resolution Urdu Text Recognition In Printed Documents
Indian Institute of Technology Delhi(德里印度理工学院)
针对印刷乌尔都语文字识别的难点与数据不足问题,提出混合CNN-RNN模型UTRNet,构建并修正相关数据集,开发端到端在线OCR工具,达到当前最优性能并推动领域研究。
2023-08-23 cs.AI cs.CV cs.LG
Efficient End-to-End Visual Document Understanding with Rationale Distillation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学)
本文提出理由蒸馏(RD)方法,将OCR、LLM和多模态模型的输出作为中间理由训练小规模图像到文本模型,在三个视觉文档理解基准上以仅1%的额外计算成本将Pix2Struct准确率提升4-5%。
2024-04-02 cs.CL cs.CV