Query by String word spotting based on character bi-gram indexing
在本文中，我们提出了一个无分割查询的字符串词发现方法。文档和查询字符串都使用最近提出的词表示进行编码，该词表示基于字符的金字塔直方图（PHOC）将图像和字符串投影到公共属性空间中。这些属性模型是使用图像的Fisher向量表示以及相应字符串的PHOC标签上的线性SVM学习的。为了搜索整个页面，文档区域使用类似的属性表示按字符二元语法进行索引。最重要的是，我们提出了一个完整的图像表示的文件，使用简化版本的属性模型进行有效的计算。最后，我们引入了一个重新排序的步骤，以提高检索性能。我们展示了在单作者和多作者标准数据集上通过字符串单词定位进行无分割查询的最新结果
2015-05-28 cs.CV
PHOCNet: A Deep Convolutional Neural Network for Word Spotting in Handwritten Documents
TU Dortmund University（多特蒙德工业大学）
近年来，深度卷积神经网络已经在诸如分类、检测或分割的各种计算机视觉任务中实现了最先进的性能。由于其出色的性能，CNN也越来越多地应用于文档图像分析领域。在这项工作中，我们提出了一个CNN架构，最近提出的PHOC表示训练。我们的经验表明，我们的CNN架构是能够优于各种单词定位基准的最先进的结果，同时表现出较短的训练和测试时间。
2017-12-05 cs.CV
Bootstrapping Weakly Supervised Segmentation-free Word Spotting through HMM-based Alignment
Uppsala University（乌普萨拉大学）
最近在手写文档中的单词识别方面的工作取得了令人印象深刻的结果。这一进展在很大程度上是由监督学习系统取得的，这些系统依赖于手动注释的数据，使得部署到新的集合是一项重大的工作。在本文中，我们提出了一种方法，利用没有限界框注释的成绩单训练无分割查询的字符串单词定位模型，给出了一个部分训练的模型。这是通过基于隐马尔可夫模型的无训练对齐过程完成的。该过程在单词区域建议和transmittance之间创建尝试性映射，以自动创建附加的弱注释训练数据，而不选择任何单个对齐可能性作为正确的对齐。当只使用1%到7%的完全注释的训练集进行部分收敛时，我们会自动注释剩余的训练数据并使用它成功地进行训练。在我们所有的数据集上，我们最终训练的模型的性能与使用完整训练集作为基础事实训练的模型的性能相差几个mAP%。我们相信，这将是一个显着的进步，更广泛地使用单词识别，因为数字转录数据将已经存在的部分，许多收藏的兴趣。
2020-03-24 cs.CV
Exploring Confidence Measures for Word Spotting in Heterogeneous Datasets
TU Dortmund University（多特蒙德工业大学）
近年来，卷积神经网络（CNN）接管了文档分析领域，并成为单词识别的主要模型。特别是学习单词图像和属性表示之间的映射的属性CNN，表现出了出色的性能。这种方法的缺点是神经网络在其训练分布之外使用时的过度自信。在本文中，我们探讨了不同的指标量化的置信度的CNN在其预测，特别是在检索问题的词发现。有了这些信心措施，我们限制检索列表拒绝某些候选人的能力。我们研究了四种不同的方法，无论是基于网络的属性估计或利用一个代理模型。我们的方法还旨在回答这个问题，对于数据集的哪一部分，检索系统给出了可靠的结果。我们进一步表明，存在一个直接的关系，建议的置信度和估计的属性表示的质量。
2019-03-26 cs.CV
Soft-PHOC Descriptor for End-to-End Word Spotting in Egocentric Scene Images
CVC, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；MICC, University of Florence（佛罗伦萨大学MICC）
自然场景图像中的词识别在场景理解和视觉辅助中有着广泛的应用。在本文中，我们提出了一种技术来创建和开发一个中间表示的图像的基础上的文本属性，这是字符概率图。我们的表示扩展了字符金字塔直方图（PHOC）的概念，通过利用全卷积网络来导出候选词区域内字符分布的像素级映射。我们称这种表示为软PHOC。此外，我们展示了如何使用软PHOC描述符，通过一个有效的文本行建议算法，在自我中心的摄像头流字定位任务。这是基于对角色属性贴图进行Hough变换，然后使用动态时间扭曲（DTW）进行评分。我们在ICDAR 2015挑战4数据集上评估了我们的结果，该数据集是由以自我为中心的相机捕获的附带场景文本。
2019-10-11 cs.CV
Cascaded Segmentation-Detection Networks for Word-Level Text Spotting
University of California Santa Cruz（加州大学圣克鲁兹分校）
我们介绍了一种算法，字级的文本发现，能够准确可靠地确定文本的单个单词的边界区域“在野外”。我们的系统是由两个卷积神经网络级联而成。第一个网络是完全卷积的，负责检测包含文本的区域。这导致输入图像的非常可靠但可能不准确的分割。第二个网络（受流行的YOLO架构的启发）分析第一阶段产生的每个片段，并预测包含单个单词的定向矩形区域。不需要后处理（例如文本行分组）。在Titan X GPU上处理1000 x 560图像的执行时间为450 ms，我们的系统在ICDAR 2015 Incidental Scene Text数据集基准测试中获得了迄今为止已发布算法中的最高分数。
2017-04-03 cs.CV
Hierarchical Text Spotter for Joint Text Spotting and Layout Analysis
Google Research（谷歌研究院）
本文提出分层文本检测器HTS，通过UDP检测文本行并构建段落亲和矩阵，结合L2C2W识别器实现字符、单词、行、段落四级层次识别，在词级文本识别与版面分析任务中均取得最优性能。
2023-10-25 cs.CV
Word length-aware text spotting: Enhancing detection and recognition in dense text image
Wuhan Institute of Technology（武汉工程大学）；Hubei Key Laboratory of Intelligent Robot（湖北省智能机器人重点实验室）；Hubei University of Arts and Science（湖北文理学院）；Wuhan University（武汉大学）
提出WordLenSpotter，通过词长感知机制（含SLP模块和LenSeg提议头）增强密集场景中长尾分布的长短词检测与识别，实验验证其在DSTD1500等数据集上的优越性。
2023-12-25 cs.CV
Neural Ctrl-F: Segmentation-free Query-by-String Word Spotting in Handwritten Manuscript Collections
Uppsala University（乌普萨拉大学）
在本文中，我们探讨的问题，分割自由查询的字符串单词发现手写文档。换句话说，我们使用计算机视觉和机器学习启发的方法来搜索大量数字化手稿中的单词。特别是，我们对历史上的手写文本感兴趣，这往往比现代印刷文件更具挑战性。这项任务很重要，因为它为人们提供了一种方法，可以快速找到他们在大型集合中寻找的内容，这些集合繁琐且难以手动阅读。为此，我们引入了一个基于深度神经网络的端到端可训练模型，我们称之为Ctrl-F-Net。给定一个完整的手稿页面，该模型同时生成区域建议，并将这些建议嵌入到分布式词嵌入空间中，在该空间中执行搜索。我们在手写单词识别的常见基准上评估了该模型，其性能大大优于以前最先进的无分割方法，在某些情况下甚至优于基于分割的方法。我们的方法在现实生活中的一个有趣应用是帮助历史学家在法庭记录中找到和计算与妇女的生计活动和劳动分工有关的具体词汇。我们提供了有前途的初步实验，验证我们的方法在这项任务上。
2017-08-17 cs.CV
Learning to Rank Words: Optimizing Ranking Metrics for Word Spotting
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
在本文中，我们探讨和评估使用排名为基础的目标函数学习同时一个单词串和一个字的图像编码器。我们认为检索框架中，用户期望的检索列表排名根据定义的相关性得分。在单词识别问题的上下文中，根据与查询字符串的字符串编辑距离来设置相关性分数。我们的实验证明了所提出的模型的竞争力的性能，手写和真实场景的单词图像上的查询字符串单词发现。我们还提供了查询的例子词发现的结果，虽然它不是这项工作的主要重点。
2021-06-09 cs.CV cs.IR
Exploring Architectures for CNN-Based Word Spotting
TU Dortmund University（多特蒙德工业大学）
该研究针对单词检索任务中CNN架构的复杂度需求问题，对比了TPP-PHOCNet与残差网络、密集连接卷积网络、LeNet的性能，发现复杂模型仅在难任务上有优势，简单基准上无增益。
2024-03-12 cs.CV
Local Binary Pattern for Word Spotting in Handwritten Historical Document
Computer Vision Center（计算机视觉中心）；Universitad Autonoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
数字图书馆存储的图像可能会被高度降级，为了索引这类图像，我们采用词识别作为我们的信息检索系统。手写文档图像的信息检索由于其复杂的版面分析、书写风格的巨大变化以及历史手稿的退化或低质量而更具挑战性。本文提出了一种简单的创新的无学习的方法，结合局部二进制模式（LBP）和空间采样从大规模的历史文档中的词发现。该方法提供了三个优点：首先，它在完全学习自由范式中操作，这与无监督学习方法非常不同;其次，由于LBP特征计算非常快，因此计算时间显著降低;第三，该方法可以用于注释不可用的场景。最后，我们比较了我们提出的检索方法与文献中的其他方法的结果。
2016-04-21 cs.CV
TextProposals: a Text-specific Selective Search Algorithm for Word Spotting in the Wild
Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
受强大而昂贵的技术以整体方式识别单词的成功的激励，对象建议技术成为传统文本检测器的替代品。在本文中，我们介绍了一种新的对象建议方法，是专门为文本设计的。我们依赖于基于相似性的区域分组算法，该算法生成单词假设的层次结构。在该层次结构的节点上，可以以有效的方式应用整体单词识别方法。我们的实验表明，所提出的方法是优越的，在其能力产生高质量的词的建议相比，类独立的算法。我们在不同的标准基准测试中展示了令人印象深刻的召回率，其中包括重点或附带的文本数据集以及多语言场景。此外，我们的目标提案与现有的全词识别器的组合显示出端到端的单词识别的竞争力，并在一些基准测试中，优于以前公布的结果。具体地说，在具有挑战性的ICDAR 2015附带文本数据集中，我们以超过10%的f分数战胜了上一届ICDAR稳健阅读竞赛中表现最好的方法。完整端到端系统的源代码可在https://github.com/lluisgomez/TextProposals上获得
2017-02-01 cs.CV
Annotation-free Learning of Deep Representations for Word Spotting using Synthetic Data and Self Labeling
TU Dortmund University（多特蒙德工业大学）
单词识别是一种流行的工具，用于支持对历史性手写文档集的首次探索。如今，性能最好的方法依赖于机器学习技术，这需要大量带注释的训练材料。由于训练数据在应用场景中通常是不可用的，无标注方法旨在解决没有代表性训练样本的检索任务。在这项工作中，我们提出了一种无注释的方法，仍然采用机器学习技术，因此优于其他无学习的方法。弱监督训练方案依赖于词典，不需要精确拟合数据集。结合基于置信度的伪标记训练样本的选择，我们实现了最先进的逐例查询性能。此外，我们的方法允许执行按字符串查询，这通常不是其他无注释方法的情况。
2020-05-25 cs.CV
Cross-language Framework for Word Recognition and Spotting of Indic Scripts
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Statistical Institute（印度统计研究所）
手写单词识别和低资源脚本的定位是困难的，因为没有足够的训练数据可用，并且收集这种脚本的数据通常是昂贵的。本文提出了一种新的跨语言平台，用于手写单词识别和定位这种低资源脚本，其中使用足够大的可用脚本数据集（被视为源脚本）进行训练，并在其他脚本（被视为目标脚本）上进行测试。由于脚本之间手写变化的复杂性质，用一个源脚本进行训练并用另一个脚本进行测试以获得合理的结果在手写领域并不容易。另外，当源字符出现在草书字图像中时，源字符和目标字符之间的映射也很困难。提出的印度语跨语言框架利用大量的数据集资源进行训练，并使用它来识别和定位其他目标脚本的文本，其中没有足够的训练数据。由于印度文字大多写在3个区域，即上，中，下，我们采用逐区字符（或组件）映射有效的学习目的。我们的跨语言框架的性能取决于源脚本和目标脚本之间的相似程度。因此，我们设计了一个基于熵的脚本相似性得分使用源到目标字符映射，这将提供跨语言转录的可行性。我们已经测试了我们的方法在三个印度语脚本，即孟加拉语，梵文和Gurumukhi，并报告了相应的结果。
2018-01-28 cs.CV
HPMD: A Historical Persian Manuscript Dataset for Word Spotting with Line-Level Annotation
Payame Noor University（帕亚梅努尔大学）
本文提出历史波斯语手稿数据集HPMD（223页、3,678行），并设计仅用行级标注训练的词定位基线，通过后验矩阵匹配将F1从0.487提升至0.558，优于PHOC基线。
2026-09-29 cs.CV
Seeing wake words: Audio-visual Keyword Spotting
University of Oxford（牛津大学）；Omilia Conversational Intelligence（奥米利亚对话智能公司）
这项工作的目标是自动确定一个感兴趣的词是否以及何时由一个说话的脸说出，有或没有音频。我们提出了一种适用于野外视频的zero-shot方法。我们的主要贡献包括：（1）一种新的卷积架构，KWS-Net，它使用相似性映射中间表示将任务分为（i）序列匹配，和（ii）模式检测，以决定单词是否存在以及何时存在;（2）我们证明，如果音频可用，视觉关键字定位可以提高干净和嘈杂音频信号的性能。最后，（3）我们证明了我们的方法可以推广到其他语言，特别是法语和德语，并且通过微调在英语上预先训练的网络，在语言特定数据较少的情况下实现了与英语相当的性能。该方法在相同的基准上进行训练和测试时，超过了以前最先进的视觉关键字识别架构的性能，也超过了最先进的唇读方法的性能。
2020-09-02 cs.CV eess.AS
Efficiently Leveraging Linguistic Priors for Scene Text Spotting
University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出用大型语料库的语言先验替代独热编码，并生成无需领域微调的文本分布，以提升自回归场景文本定位与识别的准确率和定位精度。
2024-02-27 cs.CV
Zero-shot keyword spotting for visual speech recognition in-the-wild
University of Nottingham（诺丁汉大学）
视觉关键词定位（KWS）是仅使用视频信息来估计给定记录中是否出现文本查询的问题。本文的重点是视觉KWS的训练过程中看不见的话，一个真实的世界，实际的设置，到目前为止还没有得到社会的关注。为此，我们设计了一个端到端的架构，包括（a）一个国家的最先进的视觉特征提取器的基础上时空残差网络，（b）一个字素到音素模型的基础上序列到序列的神经网络，以及（c）一个堆栈的递归神经网络学习如何相关的视觉特征与关键字表示。与KWS之前的作品不同，KWS试图仅仅从字素序列（即字母）中学习单词表示，我们提出使用一个字素到音素的编码器-解码器模型，该模型学习如何将单词映射到它们的发音。我们证明了我们的系统在具有挑战性的LRS 2数据库上获得了非常有希望的仅视觉KWS结果，用于训练过程中看不到的关键字。我们还表明，我们的系统优于通过自动语音识别（ASR）解决KWS的基线，而它大大提高了其他最近提出的ASR免费KWS方法。
2018-07-26 cs.CV
Towards End-to-End Text Spotting in Natural Scenes
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；Samsung Research（三星研究院）；Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）
自然场景图像中的文本识别对于许多图像理解任务都是非常重要的。它包括两个子任务：文本检测和识别。在这项工作中，我们提出了一个统一的网络，它可以同时定位和识别文本，避免中间过程，如图像裁剪和特征重新计算，单词分离和字符分组。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，并且能够处理任意形状的文本。卷积特征仅计算一次，并由检测和识别模块共享。通过多任务训练，学习到的特征变得更具区分力，并提高了整体表现。通过将$2$ D注意力模型应用于单词识别，可以鲁棒地处理文本的不规则性。它提供了每个字符的空间位置，这不仅有助于文字识别中的局部特征提取，而且还指示了一个方向角，以细化文本定位。我们提出的方法已经达到了国家的最先进的性能在几个标准的文本定位基准，包括规则和不规则的。
2021-06-26 cs.CV
Semantic Relatedness Based Re-ranker for Text Spotting
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人与信息学研究所（CSIC-UPC））
文本蕴涵、剽窃检测或文档聚类等应用依赖于语义相似性的概念，通常使用LDA等降维技术或基于嵌入的神经方法。我们提出了一个场景，语义相似性是不够的，我们设计了一个神经方法来学习语义相关性。该场景是在野外进行文本识别，其中必须识别和识别图像中的文本（例如，街道标志，广告或公共汽车目的地）。我们的目标是通过利用语义信息来提高视觉系统的性能。我们的理由是，要发现的文本通常与它出现的图像上下文相关（Delta-airplane或Quarters-parking等词对不相似，但明显相关）。我们展示了如何学习单词到单词或单词到句子的相关性得分可以将文本识别系统的性能提高到2.9分，优于基准数据集中的其他指标。
2019-09-19 cs.CL cs.CV
Word Searching in Scene Image and Video Frame in Multi-Script Scenario using Dynamic Shape Coding
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Institute of Engineering & Management（工程与管理学院）；Indian Statistical Institute（印度统计研究所）
从自然场景图像和视频帧中检索文本信息是一项具有挑战性的任务，由于其固有的问题，如复杂的字符形状，低分辨率，背景噪声等可用的OCR系统往往无法检索这样的信息在场景/视频帧。关键字定位是一种检索信息的替代方法，在这种情况下可以执行高效的文本搜索。然而，当前的场景/视频图像中的单词识别技术是脚本特定的，并且它们主要是针对拉丁脚本开发的。本文提出了一种新的词发现框架，使用动态形状编码的文本检索自然场景的图像和视频帧。该框架的目的是搜索查询关键字从多个脚本的帮助下，在飞行脚本明智的关键字生成相应的脚本。我们已经使用了两个阶段的词发现方法，使用隐马尔可夫模型（HMM）检测翻译的关键字在一个给定的文本行通过识别行的脚本。一种新的无监督的动态形状编码为基础的计划已被用来组相似的形状字符，以避免混淆，并提高文本对齐。接下来，假设的位置进行验证，以提高检索性能。为了评估所提出的系统从自然场景图像和视频帧中搜索关键字，我们考虑了两个流行的印度语脚本，如孟加拉语（孟加拉语）和梵文以及英语。受印度语脚本中的逐区识别方法的启发[1]，逐区文本信息已用于改善印度语脚本中的传统单词定位性能。对于我们的实验，考虑了由不同场景的图像和英语，孟加拉语和梵文脚本的视频帧组成的数据集。实验结果表明了我们提出的单词识别方法的有效性。
2018-07-30 cs.CV cs.IR
A3S: Adversarial learning of semantic representations for Scene-Text Spotting
Fast Accounting Co., Ltd.（快速会计有限公司）
场景文本识别是在自然场景图像上预测文本区域并同时识别文本字符的任务。近年来，由于其广泛的应用，它引起了人们的广泛关注。现有的研究主要集中在改进文本区域检测，而不是文本识别。因此，虽然提高了检测精度，但端到端的精度不足。自然场景图像中的文本往往不是随机的字符串，而是有意义的字符串，即单词。因此，我们提出了对场景文本识别（A3S）的语义表示进行对抗性学习，以提高端到端的准确性，包括文本识别。A3S同时预测检测到的文本区域中的语义特征，而不是仅基于现有的视觉特征进行文本识别。在公开数据集上的实验结果表明，该方法比其他方法具有更好的准确性。
2023-02-21 cs.CV
Visual Re-ranking with Natural Language Understanding for Text Spotting
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
许多场景文本识别方法都是基于纯视觉信息，忽略了场景和文本之间的语义关系。本文从自然语言处理的角度来解决这一问题，以填补语言和视觉之间的空白。本文提出了一种后处理方法，利用词的出现概率（unigram语言模型）和场景与文本之间的语义相关性来提高场景文本识别的准确率。为此，我们最初依赖于现成的深度神经网络，该网络已经用大量数据进行了训练，它为每个输入图像提供了一系列文本假设。这些假设，然后重新排名使用词的频率和语义相关的对象或场景中的图像。由于这种组合，原始网络的性能得到了提升，几乎没有额外的成本。我们在ICDAR'17数据集上验证了我们的方法。
2018-10-29 cs.CV
Radial Line Fourier Descriptor for Historical Handwritten Text Representation
Uppsala University（乌普萨拉大学）
历史手写手稿的自动识别是一项艰巨的任务，由于纸张降解随着时间的推移。免标注检索或单词识别广泛用于历史手写文档的信息检索和数字化。然而，词识别算法的性能在很大程度上取决于特征检测和表示方法。虽然存在流行的特征描述符，如尺度不变特征变换（SIFT）和加速鲁棒特征（SURF），这些描述符的不变属性放大了降质文档图像中的噪声，使它们对噪声和历史手稿的复杂特征更加敏感。因此，需要一个有效和宽松的特征描述符，因为不同文档中的手写单词确实相似，但不完全相同。本文提出了一种用于手写体文字表示的径向线傅立叶（RLF）描述子，该描述子具有32维的短特征向量。本文研究了一种无分割、无训练的手写单词识别方法，该方法依赖于所提出的RLF描述符，考虑了不同的关键点表示，并使用了一种简单的基于预条件的特征匹配算法。的有效性的RLF描述符的分割自由的手写单词发现经验评估著名的历史手写数据集使用标准的评估措施。
2018-03-20 cs.CV cs.IR
Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring
National Technical University of Athens（雅典国立技术大学）；University of West Attica（西阿提卡大学）；University of Ioannina（约阿尼纳大学）
本文提出一种基于字符计数与CTC重评分的免分割关键词识别方法，用简单紧凑的CNN模型高效扫描文档，在两个数据集上取得优于复杂方案的最先进结果。
2023-08-07 cs.CV
SPTS: Single-Point Text Spotting
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies（华为云计算技术有限公司）
现有场景文本定位（即，端到端文本检测和识别）方法依赖于昂贵的限界框注释（例如，文本行、单词级或字符级边界框）。这是第一次，我们证明了训练场景文本识别模型可以通过对每个实例进行极低成本的单点注释来实现。我们提出了一个端到端的场景文本定位方法，处理场景文本定位作为一个序列预测任务。给定一幅图像作为输入，我们制定了所需的检测和识别结果作为一个序列的离散令牌，并使用自回归Transformer来预测序列。所提出的方法是简单而有效的，它可以实现国家的最先进的结果在广泛使用的基准。最重要的是，我们表明，性能是不是很敏感的点注释的位置，这意味着它可以更容易被注释，甚至自动生成比限界框，需要精确的位置。我们相信，这样的先驱尝试为比以前可能的规模大得多的场景文本发现应用程序提供了一个重要的机会。该代码可在https://github.com/shannanyinxiang/SPTS上获得。
2022-08-29 cs.CV
A Few Shot Multi-Representation Approach for N-gram Spotting in Historical Manuscripts
University of Salerno（萨勒诺大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
尽管最近在自动文本识别方面取得了进展，但在历史手稿方面，性能仍然适中。这主要是因为缺乏可用的标记数据来训练数据饥渴的手写文本识别（HTR）模型。关键词识别系统（KWS）提供了一个有效的替代HTR由于出错率的减少，但它通常是有限的封闭的参考词汇。在本文中，我们提出了一个少样本学习范式，用于识别几个字符（N元）的序列，需要少量的标记训练数据。我们展示了重要的n元语法的识别可以减少系统对词汇的依赖。在这种情况下，输入手写行图像中的词汇表外（OOV）单词可以是属于词典的n元语法的序列。边沁的历史手稿集的一个子集上进行了广泛的实验评估，我们提出的多代表性的方法，以获得一些真正有前途的结果，在这个方向。
2022-09-21 cs.CV
HWNet v2: An Efficient Word Image Representation for Handwritten Documents
IIIT Hyderabad（印度理工学院海得拉巴分校）；CVIT, IIIT Hyderabad（印度理工学院海得拉巴分校计算机视觉与智能技术实验室(CVIT, IIIT Hyderabad)）
我们提出了一个框架，学习一个有效的整体表示手写文字图像。所提出的方法使用具有传统分类损失的深度卷积神经网络。我们工作的主要优势在于：（i）有效使用合成数据来预训练深度网络，（ii）具有感兴趣区域池的ResNet-34架构的适应版本（称为HWNet v2），其学习可变大小的单词图像的区别特征，以及（iii）具有模仿手写的自然过程的多个尺度和失真的训练数据的真实增强。我们进一步研究了迁移学习的过程，以减少合成域和真实域之间的域差距，并使用文献中提出的可视化技术分析了在网络的不同层学习的不变性。我们的表示导致了最先进的单词识别性能的标准手写数据集和历史手稿在不同的语言与最小的表示大小。在具有挑战性的IAM数据集上，我们的方法首先报告了大约0.90的mAP，用于单词识别，其表示大小仅为32维。此外，我们还提出了在英语和印度语脚本的打印文档数据集上的结果，这验证了所提出的学习单词图像表示的框架的通用性。
2019-03-19 cs.CV
Neural Word Search in Historical Manuscript Collections
Uppsala University（乌普萨拉大学）
我们解决的问题，分割和检索词图像的历史手稿的集合给出了一个文本查询。这通常被称为“单词识别”。为此，我们首先提出了一个基于深度神经网络的端到端可训练模型，我们称之为Ctrl-F-Net。该模型同时生成区域建议并将它们嵌入到词嵌入空间中，在该空间中执行搜索。我们进一步介绍一个简化的版本，称为Ctrl-F-Mini。它在性能相似的情况下更快，尽管它仅限于更容易分割的手稿。最后，我们与历史学家合作，使用Ctrl-F-Net搜索了超过10万页的大型手稿集，这些手稿跨越了两个世纪。仅用11个训练页面，我们就可以在基于手稿的历史研究中进行大规模的数据汇集。这导致加快了数据汇集的速度，处理的手稿数量也增加了几个数量级。考虑到研究人文学科的旧手稿所需的耗时的手工工作，快速而强大的单词识别工具有可能彻底改变历史，宗教和语言等领域。
2020-03-31 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
A Study of Designing Compact Audio-Visual Wake Word Spotting System Based on Iterative Fine-Tuning in Neural Network Pruning
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）；iFlytek Research（科大讯飞研究院）
由于信号传输中的环境干扰，仅基于音频的唤醒字定位（WWS）在噪声条件下具有挑战性。在本文中，我们研究设计一个紧凑的视听WWS系统，利用视觉信息，以减轻退化。具体来说，为了使用视觉信息，我们首先使用MobileNet将检测到的嘴唇编码为固定大小的向量，并将它们与声学特征连接起来，然后使用WWS的融合网络。然而，基于神经网络的视听模型需要大的足迹和高的计算复杂性。为了满足应用需求，我们引入了一个神经网络修剪策略，通过彩票假设在迭代微调的方式（LTH-IF），单模态和多模态模型，分别。测试我们的内部语料库的视听WWS在家庭电视场景中，建议的视听系统实现了显着的性能改善，在不同的噪声条件下的单模态（音频或视频）系统。此外，LTH-IF修剪可以在不降低WWS性能的情况下大大减少网络参数和计算，从而为TV唤醒场景提供潜在的产品解决方案。
2022-02-17 cs.AI cs.CV cs.LG
Handwriting Recognition in Low-resource Scripts using Adversarial Learning
Nanyang Technological University（南洋理工大学）；Institute of Engineering & Management（工程与管理学院）；Jadavpur University（贾达普大学）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
手写体文字识别是一个具有挑战性的领域，需要处理形状不规则和复杂的手写体文字。深度神经网络模型的设计使得有必要扩展训练数据集，以引入变化并增加样本数量;因此，在低资源脚本中进行单词检索非常困难。大部分现有的文献包括预处理策略，很少足以涵盖所有可能的变化。我们提出了对抗性特征变形模块（AFDM），它学习以可扩展的方式弹性地扭曲提取的特征的方法。AFDM被插入中间层之间，并与原始框架交替训练，提高了其更好地学习高度信息化特征而不是琐碎特征的能力。我们测试我们的元框架，这是建立在流行的单词识别和单词识别框架之上，并通过AFDM增强，不仅在广泛的拉丁语单词数据集，而且稀疏的印度语脚本。我们记录了不同训练数据大小的结果，并观察到我们的增强型网络在低数据状态下的泛化能力更好;观察到整体单词出错率和mAP分数也有所改善。
2019-02-25 cs.CV
Generating Synthetic Data for Text Recognition
CVIT, IIIT Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）
生成合成图像是一种以最接近的可能方式模拟图像生成的自然过程的艺术。在这项工作中，我们利用这样一个框架，在手写领域的数据生成。我们使用开源字体渲染合成数据，并结合数据增强方案。作为这项工作的一部分，我们发布了9M合成手写单词图像语料库，这可能有助于训练深度网络架构，并提高手写单词识别和识别任务的性能。
2016-08-15 cs.CV
Matching Handwritten Document Images
IIIT Hyderabad（海得拉巴国际信息技术学院）
我们解决的问题，预测由不同的个人写的一对手写文档图像之间的相似性。这具有与包含手写内容的图像集合中的匹配和挖掘相关的应用。通过检测文档图像之间的文本重复使用的模式来计算相似性得分，而不管内容的词形态、词排序、布局和释义的微小变化。我们的方法不依赖于精确的单词和行的分割。我们制定的文件匹配问题作为一个结构化的比较字分布在两个文档图像。为了匹配两个单词图像，我们提出了一个基于卷积神经网络（CNN）的特征描述符。这种表示的性能超过了手写单词识别的最新水平。最后，我们证明了我们的方法匹配手写作业的实际问题上的适用性。
2016-05-19 cs.CV
TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Lenovo Research（联想研究院）；School of Cyber Science and Engineering, Nanjing University of Science and Technology（南京理工大学网络空间科学与工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出TextBlockV2，利用预训练语言模型在无需精确检测的情况下进行场景文本识别，通过块级检测和PLM微调实现多行、遮挡等复杂场景下的高效准确识别。
2024-03-15 cs.CV
Reading Text in the Wild with Convolutional Neural Networks
University of Oxford（牛津大学）
在这项工作中，我们提出了一个端到端的系统，用于文本定位-定位和识别自然场景图像中的文本-和基于文本的图像检索。该系统基于用于检测的区域建议机制和用于识别的深度卷积神经网络。我们的流水线使用了一种新的互补建议生成技术的组合，以确保高召回率，以及快速的后续过滤阶段，以提高精度。对于提案的识别和排序，我们训练非常大的卷积神经网络，以同时对整个提案区域执行单词识别，而不是过去基于字符分类器的系统。这些网络仅基于合成文本生成引擎生成的数据进行训练，不需要人工标记的数据。分析我们的管道的各个阶段，我们展示了最先进的性能。我们在许多标准的端到端文本定位基准和基于文本的图像检索数据集上进行了严格的实验，显示出比以前所有方法都有很大的改进。最后，我们展示了一个真实世界的应用程序，我们的文本发现系统，让数千小时的新闻镜头，通过文本查询即时搜索。
2014-12-04 cs.CV
Fused Text Recogniser and Deep Embeddings Improve Word Recognition and Retrieval
IIIT Hyderabad（海得拉巴国际信息技术研究所）
从大型文档集合中识别和检索文本内容一直是文档图像分析社区的一个强大用例。通常，单词是识别和检索的基本单位。仅依赖于文本识别器（OCR）输出的系统在许多情况下不够鲁棒，特别是当单词识别率很差时，如在历史文档或数字图书馆的情况下。一种替代方案是基于单词识别的方法，其基于单词的整体表示来检索/匹配单词。在本文中，我们融合了文本识别器的噪声输出与整个单词的深度嵌入表示。我们使用平均和最大融合的情况下，改善检索的排名结果。我们验证我们的方法收集印地语文档。在mAP中，我们将单词识别率提高了1.4，检索率提高了11.13。
2020-07-01 cs.CV
Deep Neural Network for Semantic-based Text Recognition in Images
Boston University（波士顿大学）
最先进的文本识别系统通常旨在检测自然场景图像中的孤立单词或逐字文本，而忽略文本区域内的语义连贯性。然而，当一起解释时，看似孤立的单词可能更容易识别。在此基础上，我们提出了一种新的“基于语义的文本识别”（STR）深度学习模型，该模型在理解上下文的帮助下读取图像中的文本。STR由几个模块组成。我们引入了文本排列和排列（TGA）算法来连接和排序孤立的文本区域。文本识别网络解释孤立的单词。受益于语义信息，序列到序列网络模型有效地纠正了STR管道中早期产生的不准确和不确定的短语。我们提出了两个新的不同的数据集，包含扫描目录图像的室内设计和手写的标志，抗议者的照片，分别实验。我们的研究结果表明，我们的STR模型优于在两个数据集上使用最先进的单字识别技术的基线方法。STR在目录图像上的准确率高达90%，在更困难的抗议图像上的准确率为71%，这表明它在识别文本方面具有普遍性。
2019-12-09 cs.CV
MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting
Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）；Indian Institute of Technology (ISM) Dhanbad（印度理工学院（ISM）丹巴德分校）；University of Salford（索尔福德大学）
提出两阶段场景文本识别方法，用多冻结视觉编码器融合分割生成多边形掩码，再经LoRA微调的视觉语言模型识别，在CTW1500上达到SOTA，无需合成数据。
2026-09-25 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University（多特蒙德工业大学）；Department of Computer Science（计算机科学系）
属性表示在图像识别和单词识别中变得相关，在存在不平衡和不相交数据集的情况下提供支持。然而，对于使用来自身体传感器的序列数据的人类活动识别，缺乏人类标记的属性。本文介绍了一种搜索属性，代表有利的信号段识别人类活动。它提出了三种深度架构，包括时间卷积和以IMU为中心的设计，用于预测属性。随机和学习的属性表示，以及网络的经验评估是在两个数据集上进行的，优于最先进的。
2018-02-02 cs.CV
TexT - Text Extractor Tool for Handwritten Document Transcription and Annotation
Uppsala University（乌普萨拉大学）
本文提出了一个大规模历史手写文档的半自动转录框架，并提出了一个简单的用户友好的文本提取工具，用于转录的TexT。所提出的方法提供了一个快速和容易的文本转录使用计算机辅助交互技术。该算法使用单词识别系统在运行中发现标记文本的多次出现。TexT还能够执行手写文本的即时注释，自动生成地面真实标签，以及动态调整和校正用户生成的限界框注释，并完美地封装单词。用户可以查看文档和原始形式的找到的单词，或者删除背景噪音，以便更容易地可视化转录结果。TexT的有效性证明了从著名的公开可用的数据集的档案手稿收集。
2017-11-22 cs.CV cs.DL
Text Line Segmentation of Historical Documents: a Survey
GET-Ecole Nationale Supérieure des Télécommunications（GET-法国国立高等电信学院）；CNRS-LTCI（法国国家科学研究中心LTCI研究所）；IUT, Université du Havre（勒阿弗尔大学大学技术学院）
图书馆和各种国家档案馆中有大量的历史文件尚未以电子方式加以利用。尽管在大多数情况下，自动阅读整个页面仍然是一个长期目标，但今天使用的任务包括单词识别、文本/图像对齐、认证和特定字段的提取。对于所有这些任务，一个主要步骤是将文档分割成文本行。由于这些文档的低质量和复杂性（背景噪声、由于老化而产生的伪影、干扰线），自动文本行分割仍然是一个开放的研究领域。本文的目的是提出一个调查现有的方法，在过去的十年中发展起来的，并致力于历史感兴趣的文件。
2007-04-10 cs.CV
BN-HTRd: A Benchmark Dataset for Document Level Offline Bangla Handwritten Text Recognition (HTR) and Line Segmentation
我们引入了一个新的数据集，用于从孟加拉语脚本的图像中进行离线手写文本识别（HTR），该图像包括单词，线条和文档级注释。BN-HTRd数据集基于BBC孟加拉新闻语料库，旨在充当地面实况文本。这些文本随后被用来生成注释，由人们用手写体填写。我们的数据集包括大约150个不同作家制作的788张手写页面图像。它可以作为各种手写分类任务的基础，如端到端的文档识别，单词定位，单词或行分割，等等。我们还提出了一个计划，孟加拉国的手写文档图像分割成相应的行在一个无监督的方式。我们的线分割方法照顾到不同的书写风格，准确地分割复杂的手写文本线的曲线性质的变化。通过一系列的预处理和形态学操作，Hough直线和圆变换被用来区分不同的线性分量。为了将这些组件排列到相应的行中，我们采用了无监督聚类方法。我们的分割技术的平均成功率为81.57%，在FM指标（类似于F-测量）方面，平均平均精度（mAP）为0.547。
2022-05-29 cs.CL cs.CV
Indiscapes: Instance Segmentation Networks for Layout Parsing of Historical Indic Manuscripts
Centre for Visual Information Technology (CVIT)（视觉信息技术中心）；International Institute of Information Technology, Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
印度次大陆的棕榈叶手稿和早期纸质文献是世界文学文化遗产的重要组成部分。尽管其重要性，大规模的注释印度手稿图像数据集不存在。为了解决这一缺陷，我们引入了Indiscapes，这是有史以来第一个具有历史印度手稿多区域布局注释的数据集。为了解决脚本的巨大多样性和存在密集的不规则布局元素（例如文本行、图片、每个图像多个文档）的挑战，我们采用全卷积深度神经网络架构，用于手稿图像的全自动实例级空间布局解析。我们证明了所提出的架构的有效性，从Indiscapes数据集的图像。为了注释的灵活性和保持领域专家的非技术性质，我们还提供了一个自定义的基于Web的GUI注释工具和一个仪表板风格的分析门户。总的来说，我们的贡献为大规模启用下游应用程序（如OCR和历史印度语手稿中的单词识别）奠定了基础。
2019-12-15 cs.CL cs.CV
