Leveraging Semantic Segmentation Masks with Embeddings for Fine-Grained Form Classification
Brigham Young University(杨百翰大学)
本文提出结合语义分割与多种深度学习嵌入的表示学习策略,用于细粒度无监督表格分类,并贡献两个新数据集,实验证明该方法能有效提升分类效果。
2024-05-24 cs.CV
Historical Document Image Segmentation with LDA-Initialized Deep Neural Networks
University of Fribourg(弗里堡大学)
在本文中,我们提出了一种新的方法来执行深层神经网络逐层权重初始化使用线性判别分析(LDA)。通常,深度神经网络的权重初始化为:随机值,贪婪逐层预训练(通常作为深度信念网络或自动编码器)或通过重用来自另一个网络的层(迁移学习)。因此,在学习有意义的权重之前需要许多训练时期,或者需要相当类似的数据集来播种迁移学习的微调。在本文中,我们描述了如何将LDA转换为神经层或分类层。我们分析了历史文档的初始化技术。首先,我们表明,基于LDA的初始化是快速的,并导致一个非常稳定的初始化。此外,在像素级的布局分析的任务,我们调查的有效性LDA为基础的初始化,并表明它优于国家的最先进的随机权重初始化方法。
2017-10-19 cs.CV
A Fast Fully Octave Convolutional Neural Network for Document Image Segmentation
Escola Politécnica de Pernambuco, Universidade de Pernambuco(伯南布哥大学伯南布哥理工学院);Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Montreal Institute for Learning Algorithms, University of Montreal(蒙特利尔大学蒙特利尔学习算法研究所);Department of Chemical and Biological Engineering, Northwestern University(西北大学化学与生物工程系)
了解你的客户(KYC)和反洗钱(AML)是基于个人身份证件、相似性和活跃度检查以及地址证明的在线客户身份识别的全球实践。回答一个基本的监管问题:你是你所说的那个人吗?客户需要上传有效的身份证明文件(ID)。这项任务提出了一些计算挑战,因为这些文件是不同的,可能会出现不同的和复杂的背景,一些遮挡,部分旋转,质量差,或损坏。使用先进的文本和文档分割算法来处理ID图像。在此背景下,我们研究了一种基于U-Net的方法来检测ID图像中的文档边缘和文本区域。除了在图像分割上有希望的结果之外,基于U-Net的方法对于实际应用来说在计算上是昂贵的,因为图像分割是客户设备任务。我们提出了一种基于Octave卷积的模型优化,以使该方法适用于存储,处理和时间资源有限的情况,例如移动和机器人应用。我们在两个新的数据集CDPhotoDataset和DTDDataset,这是由巴西文件的真实ID图像进行了评估实验。实验结果表明,本文提出的模型对文本分割任务是有效的,并且具有可移植性.
2020-04-03 cs.CV eess.IV
HRCenterNet: An Anchorless Approach to Chinese Character Segmentation in Historical Documents
National Chengchi University(台湾政治大学)
历史文献所提供的信息在人类文明的传承中一直是不可或缺的,但也使得这些书籍容易受到各种因素的破坏。由于最近的技术,这些文件的自动数字化是最快和最有效的保存手段之一。文本自动数字化的主要步骤可以分为两个阶段,主要是:字符切分和字符识别,其中识别结果在很大程度上取决于切分的准确性。因此,在本研究中,我们将只专注于中文历史文献的字符分割。在本研究中,我们提出了一个名为HRCenterNet的模型,它结合了无锚点目标检测方法和并行架构。MTHv 2数据集由超过3000个中文历史文档图像和超过100万个汉字组成;有了这些庞大的数据,我们的模型的分割能力平均达到了IoU 0.81,与其他模型相比,具有最佳的速度-准确性权衡。我们的源代码可在https://github.com/Tverous/HRCenterNet上获得。
2020-12-10 cs.CV cs.DL cs.LG
Accurate Fine-grained Layout Analysis for the Historical Tibetan Document Based on the Instance Segmentation
Northwest Minzu University(西北民族大学);School of Mathematics and Computer Science(数学与计算机科学学院)
针对历史藏文《甘珠尔》文档粘连严重、背景斑驳的问题,提出基于增强 SOLOv2 实例分割的亚行级细粒度版面分析方法,并构建数据集验证其有效性。
2021-11-15 cs.CV
SwinDocSegmenter: An End-to-End Unified Domain Adaptive Transformer for Document Instance Segmentation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
本文提出一种用于文档图像复杂布局端到端实例分割的统一Transformer架构,采用对比训练与混合查询选择进行锚点初始化,并在四大基准上以十亿参数超越现有最先进方法。
2023-05-08 cs.CV cs.LG
Synthesis in Style: Semantic Segmentation of Historical Documents using Synthetic Data
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
历史文档自动分析中最紧迫的问题之一是带注释的训练数据的可用性。问题是,标记样品是一项耗时的任务,因为它需要人类的专业知识,因此不能很好地自动化。在这项工作中,我们提出了一种新的方法来构建合成标记数据集的历史文件,没有注释。我们训练一个StyleGAN模型来合成捕获原始文档核心特征的文档图像。虽然最初,StyleGAN架构并不打算生成标签,但它间接地学习底层语义来生成逼真的图像。使用我们的方法,我们可以从中间特征图中提取语义信息,并使用它来生成地面真值标签。为了研究我们的合成数据集是否可以用于分割历史文档中的文本,我们使用它来训练多个监督分割模型并评估它们的性能。我们还在另一个由最先进的合成方法创建的数据集上训练这些模型,以表明在我们的数据集上训练的模型可以获得更好的结果,同时需要更少的人工注释工作。
2022-05-20 cs.AI cs.CV
Document-level Relation Extraction as Semantic Segmentation
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
文档级关系抽取的目的是从文档中抽取多个实体对之间的关系。先前提出的基于图或基于变换的模型独立地利用实体,而不管关系三元组之间的全局信息。本文通过预测实体级关系矩阵来捕获局部和全局信息,并行于计算机视觉中的语义分割任务来解决这个问题。在此,我们提出了一个文档U形网络的文档级关系抽取。具体来说,我们利用编码器模块来捕获实体的上下文信息,并在图像风格的特征映射上利用U形分割模块来捕获三元组之间的全局相互依赖性。实验结果表明,我们的方法可以获得最先进的性能在三个基准数据集DocRED,CDR和GDA。
2021-08-22 cs.AI cs.CL cs.CV
Semantic Segmentation Using Super Resolution Technique as Pre-Processing
Tamkang University(淡江大学);Crean Lutheran High School(克里安路德高中)
本文提出将图像超分辨率技术作为预处理步骤集成到语义分割中,用于文档图像二值化,有效提升了分割结果与性能。
2023-06-27 cs.CV
A Comprehensive Study of ImageNet Pre-Training for Historical Document Image Analysis
University of Fribourg(弗里堡大学);University of Applied Sciences and Arts Western Switzerland(瑞士西部应用科学与艺术大学);Luleå University of Technology(吕勒奥理工大学)
扫描的历史文档的自动分析包括广泛的图像分析任务,由于缺乏人类注释的学习样本,这些任务通常对机器学习具有挑战性。随着深度神经网络的出现,应对训练数据缺乏的一种有希望的方法是在来自不同领域的图像上预训练模型,然后在历史文档上对其进行微调。在目前的研究中,这种跨领域迁移学习的一个典型例子是使用在ImageNet数据库上预先训练的神经网络进行对象识别。这种预训练是否有助于分析历史文档仍然是一个悬而未决的问题,与ImageNet相比,历史文档具有根本不同的图像属性。在本文中,我们对ImageNet预训练对各种历史文档分析任务的影响进行了全面的实证调查,包括字符识别,风格分类,手稿日期,语义分割和基于内容的检索。虽然我们在像素级获得了混合的语义分割结果,但我们在不同的网络架构中观察到一个明显的趋势,即ImageNet预训练对分类以及基于内容的检索具有积极影响。
2019-05-22 cs.CV
Generalizable Multiscale Segmentation of Heterogeneous Map Collections
EPFL, Swiss Federal Institute of Technology in Lausanne. Digital Humanities Laboratory (DHLAB), School of Computer(瑞士联邦理工学院洛桑分校,数字人文实验室);EPFL. Laboratory of Urban Sociology (LASUR), School of Architecture, Civil(瑞士联邦理工学院洛桑分校,城市社会学实验室)
本文提出Semap数据集和多尺度分割框架,用于可泛化的异构历史地图分割,提升鲁棒性和迁移能力。
2026-11-02 cs.CV
Linear Object Detection in Document Images using Multiple Object Tracking
EPITA Research Lab (LRE)(EPITA研究实验室(LRE))
本文提出基于多目标跟踪的文档图像线性对象实例分割框架,并构建数据集、评估指标及开源检测器,以恢复像素级精确检测能力。
2023-05-26 cs.CV
Financial Table Extraction in Image Documents
S&P Global(标普全球);NVIDIA(英伟达)
针对金融图像文档中表格内容受像素格式限制、难以提取的问题,本文提出融合图像分割、OCR与序列建模的端到端流程,以高保真保留空间关系。
2024-03-18 cs.CV
Identity documents recognition and detection using semantic segmentation with convolutional neural network
Vasyl Stefanyk Precarpathian National University(瓦西里·斯捷法尼克普里卡尔帕蒂亚国立大学);MindCraft AI LLC(MindCraft AI有限责任公司)
本文提出一种基于卷积神经网络和语义分割的身份证件识别与检测新架构,在50种证件500个视频的数据集上IoU阈值为0.8时准确率超0.75,并验证了其在单板机和智能手机上的可行性。
2025-03-03 cs.CV cs.LG
Screen Content Image Segmentation Using Sparse-Smooth Decomposition
NYU School of Engineering(纽约大学工程学院)
稀疏分解已被广泛用于不同的应用,包括信号压缩和去噪以及文档分析。本文将稀疏分解用于图像分割。该算法利用稀疏-平滑分解技术分离背景和前景,使得平滑和稀疏分量分别对应于背景和前景。该算法在HEVC测试序列的几个测试图像上进行了测试,并显示出比其他方法(如DjVu中的分层k均值聚类)具有更优越的性能。该分割算法也可用于文本提取、视频压缩和医学图像分割。
2015-11-21 cs.CV
Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring
National Technical University of Athens(雅典国立技术大学);University of West Attica(西阿提卡大学);University of Ioannina(约阿尼纳大学)
本文提出一种基于字符计数与CTC重评分的免分割关键词识别方法,用简单紧凑的CNN模型高效扫描文档,在两个数据集上取得优于复杂方案的最先进结果。
2023-08-07 cs.CV
LineCounter: Learning Handwritten Text Line Segmentation by Counting
University of Macau(澳门大学)
本文提出将手写文本行分割重新表述为逐像素行计数问题,并设计端到端深度网络LineCounter直接预测行号,在三个公开数据集上超越现有方法。
2021-05-24 cs.CV
Chinese/English mixed Character Segmentation as Semantic Segmentation
Sun Yat-sen University(中山大学);iPIN
多语种印刷文档中字符的多样性给OCR字符分割带来了困难。以前的方法主要集中在单语文本,不适合多语言的情况下。在这项工作中,我们特别处理的中文/英文混合的情况下,它作为一个语义分割的问题。我们充分利用了语义分割领域中被称为全卷积网络(FCN)的成功架构。如果有足够宽的感受野,FCN可以利用水平位置周围的必要背景来确定这是否是分裂点。作为一种深度神经架构,FCN可以从原始文本行图像中自动学习有用的特征。虽然在具有模拟随机干扰的合成样本上进行了训练,但我们的FCN模型可以很好地推广到现实世界的样本。实验结果表明,我们的模型显着优于以前的方法。
2016-11-16 cs.CV
Combining Visual and Textual Features for Semantic Segmentation of Historical Newspapers
École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Universität Zürich(苏黎世大学)
针对历史报纸语义分割中仅用视觉特征的问题,提出结合视觉与文本特征的多模态方法,实验证明其性能优于视觉基线且对材料变异更鲁棒。
2020-12-14 cs.CL cs.CV cs.IR
ViM-UNet: Vision Mamba for Biomedical Segmentation
Georg-August-University Göttingen(哥廷根大学)
针对生物医学分割中UNet视野有限、Transformer类方法效率低的问题,提出基于Vision Mamba的ViM-UNet分割架构,在两项显微镜实例分割任务上性能优于UNETR且效率更高,表现与UNet相当或更优。
2024-05-14 cs.CV
Segmentation Style Discovery: Application to Skin Lesion Images
School of Computing Science, Simon Fraser University(西蒙菲莎大学计算科学学院);AIP Labs(AIP实验室)
本文提出分割风格发现问题及无需标注者对应关系的 StyleSeg 方法,用于从图像-掩码对中学习多样且语义一致的分割风格,并在皮肤病变数据集上验证其优越性。
2024-08-05 cs.CV
Uncertainty estimates for semantic segmentation: providing enhanced reliability for automated motor claims handling
ControlExpert GmbH(康托埃克斯珀特有限公司)
针对车险理赔自动化中语义分割模型在低质量图像下可靠性不足的问题,提出用元分类模型评估分割精度,实现0.915的AUROC,移除低质量分割后mIoU提升16个百分点、错误分割减少77%。
2024-05-17 cs.CV
Labeling, Cutting, Grouping: an Efficient Text Line Segmentation Method for Medieval Manuscripts
University of Fribourg(弗里堡大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Luleå University of Technology(吕勒奥理工大学)
本文介绍了一种通过集成基于深度学习的预分类和最先进的分割方法来提取文本行的新方法。复杂手写文档中的文本行提取是一个重大的挑战,即使是最现代的计算机视觉算法。历史手稿是一类特别难处理的文件,因为它们呈现出多种形式的噪音,如退化,渗透,行间注释和精心制作的脚本。在这项工作中,我们提出了一种新的方法,它使用语义分割在像素级的中间任务,其次是文本行提取步骤。我们在最近的一个具有挑战性的中世纪手稿数据集上测量了我们方法的性能,并通过将错误减少80.7%而超过了最先进的结果。此外,我们证明了我们的方法在不同脚本编写的各种其他数据集上的有效性。因此,我们的贡献是双重的。首先,我们证明了语义像素分割可以用作强去噪预处理步骤之前,执行文本行提取。其次,我们介绍了一种新颖的,简单的和强大的算法,利用高质量的语义分割,以实现99.42%行IU的文本行提取性能的一个具有挑战性的数据集。
2019-07-01 cs.CL cs.CV
Text Change Detection in Multilingual Documents Using Image Comparison
Samsung SDS(三星 SDS)
针对多语言文档比较中OCR语言模型选择困难及混合模型性能受限的问题,提出基于词级图像比较和多尺度注意力特征的TCD模型,并构建多语言打印扫描词对数据集进行验证。
2024-12-05 cs.AI cs.CL cs.CV
Fully Automatic Wound Segmentation with Deep Convolutional Neural Networks
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Advancing the Zenith of Healthcare (AZH) Wound and Vascular Center(医疗保健提升巅峰伤口与血管中心);College of Nursing, University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校护理学院)
急性和慢性伤口具有不同的病因,并且是世界各地医疗保健系统的经济负担。到2024年,先进的伤口护理市场预计将超过220亿美元。伤口护理专业人员在很大程度上依赖于图像和图像文件进行正确的诊断和治疗。不幸的是,缺乏专业知识可能导致伤口病因诊断不正确,伤口管理和记录不准确。自然图像中伤口区域的全自动分割是诊断和护理协议的重要组成部分,因为它对于测量伤口面积并在治疗中提供定量参数至关重要。各种深度学习模型在图像分析(包括语义分割)方面取得了成功。特别是,MobileNetV2由于其轻量级架构和不折不扣的性能而脱颖而出。本文提出了一种基于MobileNetV2和连接组件标记的新型卷积框架,用于从自然图像中分割伤口区域。我们构建了一个带注释的伤口图像数据集,由来自889名患者的1,109张足部溃疡图像组成,用于训练和测试深度学习模型。我们证明了我们的方法的有效性和流动性进行全面的实验和分析各种分割神经网络。
2020-10-12 cs.CV eess.IV
Leveraging GenAI for Segmenting and Labeling Centuries-old Technical Documents
University of St. Thomas(圣托马斯大学)
本文利用生成式人工智能技术对XVI和XVII世纪的造船论著图像进行分割与标注,以提升珍贵历史文档的整理与检索能力。
2026-02-24 cs.CV cs.IR eess.IV
You Actually Look Twice At it (YALTAi): using an object detection approach instead of region segmentation within the Kraken engine
Centre Jean-Mabillon, PSL Research University(让·马比永中心,巴黎文理研究大学);Hisoma (UMR 5189), Université Lyon 3, Université de Lyon (UDL)(Hisoma(UMR 5189),里昂第三大学,里昂大学(UDL))
本文提出YALTAi方法,将历史文档版面分析从像素分类多边形化转为基于YOLOv5的等轴矩形目标检测,并在小型数据集上显著优于Kraken,同时发布了两个数据集和集成到Kraken 4.1的新软件包。
2024-01-16 cs.AI cs.CV
Palmira: A Deep Deformable Network for Instance Segmentation of Dense and Uneven Layouts in Handwritten Manuscripts
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
手写文档通常具有密集和不均匀布局的特征。尽管取得了进展,但用于语义布局分割的基于标准深度网络的方法对于跨语义区域看到的复杂变形并不鲁棒。这一现象在低资源的印度棕榈叶手稿领域尤为明显。为了解决这个问题,我们首先介绍了Indiscapes2,这是一个新的大规模的具有语义布局注释的印度手稿数据集。Indiscapes2包含来自四个不同历史收藏的文档,比其前身Indiscapes大150%。我们还提出了一种新的深度网络Palmira,用于手写手稿中区域的鲁棒的、变形感知的实例分割。我们还报告了Hausdorff距离及其变体作为边界感知性能指标。我们的实验表明,Palmira提供了强大的布局,优于强大的基线方法和消融变体。我们还包括阿拉伯语,东南亚和希伯来语历史手稿的定性结果,以展示Palmira的泛化能力。
2021-08-21 cs.CL cs.CV cs.MM
Word and character segmentation directly in run-length compressed handwritten document images
University of Mysore(迈索尔大学);Indian Institute of Information Technology – Allahabad(印度信息技术联盟阿拉哈巴德分校)
从文献中,它表明,执行文本行分割直接在游程长度压缩的手写文档图像显着减少了计算时间和内存空间。在本文中,我们研究的问题,字和字符分割的游程长度压缩的文档图像直接。首先,从压缩数据的前景运行中智能地提取字符的扩展,并且随后建立连接的组件。当与字内的连接分量之间的间隔相比时,相邻字之间的连接分量之间的间隔将更大。有了这个知识,阈值是凭经验选择的字间分离。一个单词中的每个连接组件都被进一步分析以进行字符分割。这里,最小割图的概念被用来分离接触字符。分别通过插入和删除操作来解决过分割和欠分割问题。该方法已被开发,特别是压缩手写英文文档图像。然而,该模型已经在非英语文档图像上进行了测试。
2019-08-18 cs.CV
DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition
University of Rouen Normandy(鲁昂诺曼底大学);Normandie Université(诺曼底大学);INSA Rouen Normandy(鲁昂诺曼底国立应用科学学院)
无约束手写文本识别是一个具有挑战性的计算机视觉任务。传统上,它是通过两步方法来处理的,结合行分割,然后是文本行识别。我们首次提出了一种用于手写文档识别任务的端到端无分割架构:文档注意力网络。除了文本识别之外,该模型还被训练为以类似XML的方式使用开始和结束标记来标记文本部分。该模型由一个用于特征提取的FCN编码器和一个用于循环的逐令牌预测过程的Transformer解码器层堆栈组成。它将整个文本文档作为输入,并顺序输出字符以及逻辑布局标记。与现有的基于分割的方法相反,该模型在不使用任何分割标签的情况下进行训练。我们在READ 2016数据集上取得了页面水平和双页面水平的竞争结果,CER分别为3.43%和3.70%。我们还提供了RIMES 2009数据集在页面级别的结果,达到CER的4.54%。我们在https://github.com/FactoDeepLearning/DAN上提供所有源代码和预训练模型权重。
2022-12-13 cs.CV
Devnagari document segmentation using histogram approach
Government Polytechnic(政府理工学院)
文本切分是任何语言机器识别的关键阶段之一。单个符号的正确分割决定了字符识别技术的准确性。它是用来分解的字符序列的图像到单个符号的子图像分割行和词。Devnagari是印度最受欢迎的脚本。它用于书写印地语、马拉地语、梵语和尼泊尔语。此外,印地语是世界上第三大流行语言。Devnagari文件包括元音,辅音和各种修饰语。因此,正确分割Devnagari词是具有挑战性的。提出了一种简单的基于直方图的Devnagari文档分割方法。还讨论了Devnagari脚本分割中的各种挑战。
2011-09-06 cs.CV
Semi Automatic Color Segmentation of Document Pages
LIRIS UMR CNRS 5205- INSA Lyon(法国国家科学研究中心LIRIS实验室 - 里昂国立应用科学学院);ITESOFT(ITESOFT公司)
本文提出了一种半自动的彩色文档分割方法。实际应用是致力于行政文件分割。在这些文档中,就像在许多其他情况下一样,颜色具有语义意义:然后可以识别某些特定区域,如手动注释,橡皮图章或彩色突出显示。第一步,用户控制的学习所需的颜色计划是在几个样本文件。然后可以对更大的集合进行自动处理。我们的实验显示了非常有趣的结果,具有非常有竞争力的处理时间。
2016-09-27 cs.CV
BERTgrid: Contextualized Embedding for 2D Document Representation and Understanding
SAP SE(SAP公司)
为了理解通用文档,诸如字体大小、列布局以及通常单词的定位之类的信息可能携带对于解决下游文档智能任务至关重要的语义信息。我们的新BERTgrid基于Katti等人的Chargrid(2018),将文档表示为上下文化的词块嵌入向量的网格,从而使其空间结构和语义可用于处理神经网络。从BERT语言模型检索上下文化嵌入向量。我们将BERTgrid与一个完全卷积的网络结合使用,用于从发票中提取字段的语义实例分割任务。我们证明了它的性能列表行项目和文档标题字段提取。
2019-10-14 cs.CL cs.CV cs.LG
Indiscapes: Instance Segmentation Networks for Layout Parsing of Historical Indic Manuscripts
Centre for Visual Information Technology (CVIT)(视觉信息技术中心);International Institute of Information Technology, Hyderabad (IIIT-H)(海得拉巴国际信息技术学院)
印度次大陆的棕榈叶手稿和早期纸质文献是世界文学文化遗产的重要组成部分。尽管其重要性,大规模的注释印度手稿图像数据集不存在。为了解决这一缺陷,我们引入了Indiscapes,这是有史以来第一个具有历史印度手稿多区域布局注释的数据集。为了解决脚本的巨大多样性和存在密集的不规则布局元素(例如文本行、图片、每个图像多个文档)的挑战,我们采用全卷积深度神经网络架构,用于手稿图像的全自动实例级空间布局解析。我们证明了所提出的架构的有效性,从Indiscapes数据集的图像。为了注释的灵活性和保持领域专家的非技术性质,我们还提供了一个自定义的基于Web的GUI注释工具和一个仪表板风格的分析门户。总的来说,我们的贡献为大规模启用下游应用程序(如OCR和历史印度语手稿中的单词识别)奠定了基础。
2019-12-15 cs.CL cs.CV
Text Line Segmentation of Historical Documents: a Survey
GET-Ecole Nationale Supérieure des Télécommunications(GET-法国国立高等电信学院);CNRS-LTCI(法国国家科学研究中心LTCI研究所);IUT, Université du Havre(勒阿弗尔大学大学技术学院)
图书馆和各种国家档案馆中有大量的历史文件尚未以电子方式加以利用。尽管在大多数情况下,自动阅读整个页面仍然是一个长期目标,但今天使用的任务包括单词识别、文本/图像对齐、认证和特定字段的提取。对于所有这些任务,一个主要步骤是将文档分割成文本行。由于这些文档的低质量和复杂性(背景噪声、由于老化而产生的伪影、干扰线),自动文本行分割仍然是一个开放的研究领域。本文的目的是提出一个调查现有的方法,在过去的十年中发展起来的,并致力于历史感兴趣的文件。
2007-04-10 cs.CV
Modified Segmentation Algorithm for Recognition of Older Geez Scripts Written on Vellum
Faculty of Informatics, University of Gondar(贡达尔大学信息学院)
手写文档识别的目的是将文档图像转换为机器可理解的格式。手写文档识别是模式识别领域中最具挑战性的研究方向。当一份文件在几百年前写在牛皮纸上时,它就变得更加复杂了,就像更古老的吉兹脚本一样。在这项研究中,我们介绍了一种改进的分割方法来识别旧的吉兹脚本。我们使用自适应滤波降噪,Isodata迭代全局阈值的文档图像二值化,修改限界框投影分割Geez字符,数字和标点符号之间的不同笔画。SVM多类分类器在改进的分割算法下获得了79.32%的识别准确率。
2020-05-31 cs.CV
TextBite: A Historical Czech Document Dataset for Logical Page Segmentation
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
针对现有逻辑页面分割依赖OCR或精确几何信息的问题,研究者将任务定义为图像域分割,提出仅用前景文本像素的评估指标,发布含8449张历史捷克语文档图像的TextBite数据集及结合文本检测与关系预测的基线方法。
2025-03-20 cs.CV
The Robust Semantic Segmentation UNCV2023 Challenge Results
Paris-Saclay University(巴黎萨克雷大学);ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);Xidian University(西安电子科技大学)
本文汇总 ICCV 2023 MUAD 不确定性量化挑战赛的 19 项方案,重点分析自然对抗城市场景下提升语义分割鲁棒性的获胜技术。
2023-09-27 cs.CV cs.LG
Ensemble of Anchor-Free Models for Robust Bangla Document Layout Segmentation
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出基于YOLOv8模型集成的方法,结合图像增强和贝叶斯优化阈值,实现孟加拉文文档的稳健布局分割。
2023-08-29 cs.CV
Automatic Page Segmentation Without Decompressing the Run-Length Compressed Text Documents
Indian Institute of Information Technology, Allahabad(印度阿拉巴德信息技术学院)
页面分割被认为是自动分析具有复杂布局的文档的关键阶段。传统上,这是在未压缩的文档中进行的,尽管现实生活中的大多数文档都以压缩的形式存在,这是为了提高存储和传输效率。然而,直接在压缩文档中进行页面分割而不经过解压缩阶段是一个具有挑战性的目标。本研究提出了展示直接在CCITT Group-3压缩文本文档的游程数据中进行页面分割操作的可能性,该文档可以是单列或多列的,甚至可能在反转文本颜色模式中具有一些文本区域。因此,在执行将文本文档分割成列、将每列分割成段落、将每段落分割成文本行、将每行分割成单词、以及最后将每个单词分割成字符之前,需要执行文本文档的预处理。预处理阶段识别正常文本区域和反转文本区域,并且反转文本区域被切换到正常模式。在启动列分离的后续,一个新的增量同化的白色空间运行在垂直方向和自动估计的某些相关参数的策略被提出。设计了一种利用这些提取的参数实现列分割的方法。接下来,首先是一个两级水平行分隔过程,它将每一列分割成段落,然后再分割成文本行。然后,有一个两级垂直列分离过程,完成分离成单词和字符。
2020-07-02 cs.CV
LineFormer: Rethinking Line Chart Data Extraction as Instance Segmentation
University at Buffalo(纽约州立大学布法罗分校)
针对现有折线图数据提取方法鲁棒性不足的问题,提出基于实例分割的LineFormer方法,在多个合成与真实基准数据集上达到SOTA性能,相关代码已开源。
2023-05-03 cs.AI cs.CV
ViBERTgrid: A Jointly Trained Multi-Modal 2D Document Representation for Key Information Extraction from Documents
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
最近的基于网格的文档表示,如BERTgrid,允许在2D特征图中同时编码文档的文本和布局信息,以便可以直接利用最先进的图像分割和/或目标检测模型来从文档中提取关键信息。然而,这样的方法还没有达到与现有技术的基于序列和基于图的方法(诸如LayoutLM和PICK)相当的性能。在本文中,我们提出了一种新的多模态骨干网络连接BERTgrid到一个CNN模型的中间层,其中CNN的输入是一个文档图像和BERTgrid是一个网格的词嵌入,生成一个更强大的基于网格的文档表示,命名为ViBERTgrid。与BERTgrid不同,我们的多模态骨干网络中的BERT和CNN的参数是联合训练的。我们的实验结果表明,这种联合训练策略显着提高了表示能力的ViBERTgrid。因此,我们的基于ViBERTgrid的关键信息抽取方法在现实世界的数据集上实现了最先进的性能。
2021-05-25 cs.CL cs.CV cs.LG
Fully Convolutional Neural Networks for Page Segmentation of Historical Document Images
University of Würzburg(维尔茨堡大学)
我们提出了一个高性能的完全卷积神经网络(FCN)的历史文件分割,旨在处理一个单一的页面在一个步骤。除了速度之外,这个模型的优点是它能够直接从原始像素中学习,而不是使用预处理步骤e。G.特征计算或超像素生成。我们表明,该网络产生更好的结果比现有的方法在不同的公共数据集。为了评估这个模型,我们引入了一个新的度量标准,它独立于模糊的地面真相,称为前景像素精度(FGPA)。这种基于像素的测量方法只计算二值化页面中的前景像素,忽略任何背景像素。该指标的主要优点是,它使研究人员能够比较不同的分割方法成功分割文本或图片的能力,而不是学习和可能过度拟合模糊的手工地面真实分割的特性的能力。
2018-02-15 cs.CV
WeLayout: WeChat Layout Analysis System for the ICDAR 2023 Competition on Robust Layout Segmentation in Corporate Documents
Tencent Inc(腾讯公司)
WeLayout系统结合DINO与YOLO模型集成,针对ICDAR 2023企业文档版面分割竞赛,通过数据增强、架构优化、边界框细化及贝叶斯调参,以mAP 70.0领先,验证了查询与锚点模型结合的有效性。
2023-05-11 cs.CV
Spotting Separator Points at Line Terminals in Compressed Document Images for Text-line Segmentation
University of Mysore(迈索尔大学)
行分隔符用于在文档图像分析中将文本行彼此分隔开。在文档图像中的每个行终端处找到分隔点将启用文本行分割。特别是,识别手写文本中的分隔符可能是一个令人兴奋的练习。显然,这将是具有挑战性的文件图像的压缩版本中执行这一点,这是在这项研究中提出的目标。这样的努力将防止为文本行分割而解压缩文档的计算负担。由于文档图像通常按照CCITT标准使用行程长度编码(RLE)技术进行压缩,因此RLE中的第一列将是白色列。当特定行是文本行时,白色列中的值(深度)非常低,并且在文本行分隔点处深度可能更大。具有较大深度的较长连续序列应指示文本行之间的间隙,这提供了分隔符区域。在过度分离和分离不足的情况下,分别建议了删除和插入等纠正措施。对ICDAR 13和Alireza等人[17]的基准数据集的压缩图像进行了广泛的实验,以证明其有效性。
2017-08-18 cs.CV
Direct Processing of Run Length Compressed Document Image for Segmentation and Characterization of a Specified Block
University of Mysore(迈索尔大学);Indian Statistical Institute(印度统计学院)
提取感兴趣的块被称为分割图像中的指定块并研究其特性是一般的研究兴趣,并且如果必须直接在压缩图像中执行这样的分割任务,则可能是具有挑战性的。这是本研究工作的目标。该建议是发展一种方法,该方法将分割和提取一个指定的块,并进行其表征,而不解压缩的压缩图像,有两个主要原因,大多数的图像档案包含图像压缩格式和解压缩图像缩进额外的计算时间和空间。具体在这项研究工作中,建议是工作的游程长度压缩的文档图像。
2014-02-18 cs.CV
ICDAR 2025 Competition on FEw-Shot Text line segmentation of ancient handwritten documents (FEST)
Department of Mathematics, Computer Science and Physics(数学、计算机科学与物理系)
针对历史手写文档因不规则手写和标注稀缺导致分割困难的问题,本文介绍了FEST竞赛,要求仅用每份手稿3张标注图像在U-DIADS-TL数据集上开发少样本文本行分割系统,以促进自动化文档分析工具在历史研究中的广泛应用。
2025-09-16 cs.CV
dhSegment: A generic deep-learning approach for document segmentation
These authors contributed equally to this work(这些作者对这项工作贡献相同)
近年来,已经有多个成功的尝试,分别通过设计任务特定的手调策略来解决文档处理问题。我们认为,历史文件处理任务的多样性,禁止一次解决一个,并显示需要设计通用的方法,以处理历史系列的变化。在本文中,我们同时解决多个任务,如页面提取,基线提取,布局分析或多种类型的插图和照片提取。我们提出了一个基于CNN的像素预测器的开源实现,再加上任务相关的后处理块。我们表明,一个单一的CNN架构可以用于跨任务具有竞争力的结果。此外,大多数特定于任务的后处理步骤可以分解为少量的简单和标准的可重用操作,增加了我们的方法的灵活性。
2019-08-14 cs.CV
Genetic Programming for Document Segmentation and Region Classification Using Discipulus
PSGR Krishnammal College for Women(PSGR克里希南马尔女子学院);GR Govindarajulu School Of Applied Computer Technology(GR Govindarajulu应用计算机技术学院)
文档分割是一种将文档分割成不同区域的方法。文档是信息的分类,是向他人传达信息的标准模式。从文档中获取数据涉及大量的人力,时间密集,可能会严重禁止使用数据系统。因此,从文档中自动提取信息成为一个重要的课题。它被证明,文档分割将有助于击败这样的问题。本文提出了一种新的方法来分割和分类的文本,图像,图纸和表格的文件区域。利用游程拖影规则对文档图像进行分块,并从每个分块中提取特征。利用遗传算法构造了基于遗传编程的分类器模型,分类准确率达到97.5%。
2013-03-03 cs.CV cs.NE
ICDAR 2023 Competition on Robust Layout Segmentation in Corporate Documents
IBM Research(IBM研究院)
本文介绍ICDAR 2023企业文档鲁棒版面分割竞赛,使用困难评测集与DocLayNet训练集,评估21支团队方案,显示视觉Transformer与集成等方法显著提升泛化性能。
2023-05-24 cs.CV
Extraction of Line Word Character Segments Directly from Run Length Compressed Printed Text Documents
University of Mysore(迈索尔大学);Indian Statistical Institute(印度统计研究所)
在光学字符识别(OCR)中,将文本文档分割成行、词和字符是关键的预处理阶段,传统上是在未压缩的文档上进行的,尽管出于传输和存储效率等原因,现实生活中的大多数文档都是以压缩形式提供的。然而,这意味着压缩的图像应该被解压缩,这会减少额外的计算资源。这种局限性促使我们采取了研究在文档图像分析使用压缩文档。本文提出了一种新的方法,对游程压缩的印刷文本进行行、词、字符级的切分。我们从压缩文件中提取水平投影轮廓曲线,并利用局部极小点进行直线分割。然而,跟踪导致跟踪游程长度压缩文件中的单词-字符的垂直信息并不是非常直接的。因此,我们提出了一种新的技术,同时进行单词和字符分割弹出列运行从每一行中的智能序列。所提出的算法已被验证与1101文本行,1409个单词和7582个字符的数据集的35个噪声和倾斜自由压缩文档的孟加拉语,卡纳达语和英语。
2014-03-30 cs.CV
DocBed: A Multi-Stage OCR Solution for Documents with Complex Layouts
Amazon Web Services AI(亚马逊云科技人工智能)
报纸的数字化有很多原因,包括保存历史,可访问性和搜索能力等。虽然科学文章和杂志等文件的数字化在文学中很普遍,但报纸数字化的主要挑战之一在于其复杂的布局(例如,跨越多个专栏的文章,图像中断的文本)分析,这是保持人类阅读顺序所必需的。这项工作在三个方面提供了报纸数字化的重大突破:首先,发布了来自美国21个不同州的3000个完全注释的真实世界报纸图像的数据集,这些图像代表了各种各样的复杂布局,用于文档布局分析;第二,提出布局分割作为现有光学字符识别(OCR)引擎的先驱,其中,多个国家的最先进的图像分割模型和几个后处理方法进行了探索,用于文档布局分割;第三,提供了一个全面的和结构化的评估协议,孤立的布局分割和端到端的OCR。
2022-02-03 cs.CV
When Superpixels Fail on Documents: A Study of Segmentation for LIME Explanations
L3i, University of La Rochelle(拉罗谢尔大学L3i研究所);Itesoft(Itesoft公司)
本研究针对文档图像分类中的LIME解释,发现标准超像素分割与文档结构不匹配,提出文档感知分割(基于OCR边界框和网格)能产生更稳定、更忠实的解释,并暴露识别码捷径偏差,强调分割应作为解释方法的一部分。
2026-09-09 cs.AI cs.CV
Word Segmentation from Unconstrained Handwritten Bangla Document Images using Distance Transform
Jadavpur University(jadavpur大学);Indian Institute of Engineering Science and Technology, Shibpur(印度工程科学技术学院(希布普尔))
将手写文档图像分割成文本行和单词是开发完整的光学字符识别(OCR)系统中最重要和最具挑战性的任务之一。本文讨论了自动分割文本字直接从无约束孟加拉语手写文档图像。采用目前流行的距离变换(DT)算法定位文字图像的外边界。该技术不产生过切分词。一个简单的后处理过程中应用隔离的分割下的词的图像,如果有的话。所提出的技术进行了测试,从CMATERDb1.1.1数据库中的50个随机图像。实验结果表明,该方法的分割准确率为91.88%,具有较好的鲁棒性。
2020-09-17 cs.CV cs.MM