Machine Learning Methods for Shark Detection
African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所(AIMS))
本文回顾了人类的行为为基础的方法,在Muizenberg海滩的鲨鱼发现。它研究了用于自动鲨鱼检测的机器学习方法,目的是增强人类观察。问卷调查和访谈被用来收集有关鲨鱼发现,实际的鲨鱼发现计划的动机和它的局限性的信息。我们已经为我们的模型定义了一系列理想的属性,并选择了适当的数学技术。研究的初步结果表明,我们可以期望从鲨鱼图像中提取有用的信息,尽管鲨鱼进行几何变换,其特征不会改变。总之,我们已经部分实现了我们的模型;剩下的实现需要数据集。
2019-05-21 cs.CV cs.LG stat.ML
Zone-based Keyword Spotting in Bangla and Devanagari Documents
Institute of Engineering & Management(工程与管理学院);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Indian Statistical Institute(印度统计研究所)
在本文中,我们提出了一个词发现系统的文本行离线印度语脚本,如孟加拉语(孟加拉语)和梵文。最近,研究表明,分区识别方法比传统的全字识别系统在印度语脚本中提高了字识别性能。受此启发,我们考虑了区域分割方法,并使用中间区域信息来改善传统的词定位性能。为了避免使用启发式方法进行区域分割的问题,本文提出了一种基于HMM的方法来从文本行图像中分割上下区域分量。候选关键字是从一行中搜索的,而不需要分割字符或单词。此外,我们提出了一个新的功能结合前景和背景信息的文本行图像的关键字定位字符填充模型。通过使用前景和背景信息而不是它们各自的信息,注意到性能的显著改善。金字塔直方图的方向梯度(PHOG)功能已被用于我们的词发现框架。从实验中,已经注意到,所提出的基于区域分割的系统优于传统的单词定位方法。
2017-12-05 cs.CV
Block-level Text Spotting with LLMs
Indian Institute of Science(印度科学学院)
针对块级文本定位研究不足的问题,提出BTS-LLM方法,通过行级识别、行分组和LLM排序实现块级文本定位,还可修正识别错误并重构文本,提升翻译等下游应用效果。
2024-06-19 cs.CV
Deformation Robust Text Spotting with Geometric Prior
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The University of Hong Kong(香港大学)
针对场景文本中字符形状与字体多样性导致的识别难题,提出含33,000张艺术图像的ARText数据集及DR TextSpotter方法,利用几何先验与图卷积网络增强特征,实验验证其有效性。
2023-08-31 cs.CV
1st Place Solution to ICDAR 2021 RRC-ICTEXT End-to-end Text Spotting and Aesthetic Assessment on Integrated Circuit
Hikvision(海康威视)
本文介绍了我们为ICDAR 2021稳健阅读挑战-集成电路文本识别和美学评估(ICDAR RRC-ICTEXT 2021)提出的方法。对于文本识别任务,我们基于yolov 5检测模型对集成电路上的字符进行检测和分类。通过使用SynthText、生成数据和数据采样器来平衡可扩展性和非可扩展性。我们采用半监督算法和蒸馏法进一步提高模型的精度。对于美学评估任务,我们添加了3个类别的分类分支,以区分每个角色的美学类别。最后,基于NVIDIA Tensorrt进行模型部署,加快推理速度,降低内存消耗。我们的方法在具有31 FPS和306 M内存的任务3.1上实现了59.1 mAP(等级1),在具有30 FPS和306 M内存的任务3.2上实现了78.7\%F2分数(等级1)。
2021-04-08 cs.CV
Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring
National Technical University of Athens(雅典国立技术大学);University of West Attica(西阿提卡大学);University of Ioannina(约阿尼纳大学)
本文提出一种基于字符计数与CTC重评分的免分割关键词识别方法,用简单紧凑的CNN模型高效扫描文档,在两个数据集上取得优于复杂方案的最先进结果。
2023-08-07 cs.CV
VGTS: Visually Guided Text Spotting for Novel Categories in Historical Manuscripts
East China Normal University(华东师范大学);iFLYTEK(科大讯飞);Concordia University(康考迪亚大学)
本文提出视觉引导文本定位方法 VGTS,通过双空间注意力和几何匹配模块,仅用一个支持样本即可定位历史手稿中的新字符,并引入环面损失函数和东巴象形文字数据集,在多个基准上超越现有方法。
2024-03-29 cs.AI cs.CV
GloTSFormer: Global Video Text Spotting Transformer
ByteDance Inc.(字节跳动有限公司)
提出GloTSFormer,通过全局关联和Wasserstein距离建模视频文本定位的跟踪问题,在ICDAR2015数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV
Text Spotting Transformers
UC San Diego(加州大学圣迭戈分校);Shanghai Jiao Tong University(上海交通大学);Intel Labs(英特尔实验室)
在本文中,我们提出了TExt发现TRansformers(TESTR),一个通用的端到端的文本发现框架,使用Transformers的文本检测和识别在野外。TESTR建立在一个单一的编码器和双重解码器的联合文本框控制点回归和字符识别。除了大多数现有的文献,我们的方法是免费的区域感兴趣的操作和数学驱动的后处理程序; TESTR是特别有效的处理弯曲的文本框时,需要特别照顾的适应传统的边界框表示。我们展示了我们的规范表示的控制点,适合文本实例中的贝塞尔曲线和多边形注释。此外,我们设计了一个边界框引导的多边形检测(框到多边形)过程。弯曲和任意形状的数据集上的实验证明了所提出的TESTR算法的最先进的性能。
2022-04-05 cs.CV
DNTextSpotter: Arbitrary-Shaped Scene Text Spotting via Improved Denoising Training
Soochow University(苏州大学);bilibili Inc.(哔哩哔哩公司);The Hong Kong Polytechnic University(香港理工大学)
本文提出DNTextSpotter去噪训练方法,通过分解带噪查询、Bezier控制点生成位置查询和掩码字符滑动初始化内容查询,解决任意形状文本识别中二分图匹配不稳定问题,并在多个基准上取得最优性能。
2025-06-02 cs.AI cs.CV
WeCromCL: Weakly Supervised Cross-Modality Contrastive Learning for Transcription-only Supervised Text Spotting
Baidu Inc.(百度公司)
针对仅转录监督文本定位无需边界标注的需求,提出弱监督跨模态对比学习模型WeCromCL,通过逐字符细粒度对比学习检测转录文本锚点作为伪标签,在四个基准上取得优于现有方法的性能。
2025-01-13 cs.AI cs.CV
Efficiently Leveraging Linguistic Priors for Scene Text Spotting
University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出用大型语料库的语言先验替代独热编码,并生成无需领域微调的文本分布,以提升自回归场景文本定位与识别的准确率和定位精度。
2024-02-27 cs.CV
Character Region Attention For Text Spotting
NAVER Corp.(NAVER公司)
场景文本检测器由文本检测和识别模块组成。已经进行了许多研究,以将这些模块统一到端到端的可训练模型中,以实现更好的性能。典型的架构将检测和识别模块放置在单独的分支中,并且通常使用RoI池来让分支共享视觉特征。然而,当采用使用基于注意力的解码器和表示字符区域的空间信息的检测器的识别器时,仍然存在在模块之间建立更互补的连接的机会。这是可能的,因为这两个模块共享一个共同的子任务,即找到字符区域的位置。在此基础上,我们构建了一个紧耦合的单管道模型。该架构通过利用识别器中的检测输出并通过检测阶段传播识别损失来形成。字符得分图的使用有助于识别器更好地关注字符中心点,识别损失传播到检测器模块增强了字符区域的定位。此外,加强共享阶段允许任意形状的文本区域的特征校正和边界定位。广泛的实验表明,国家的最先进的性能在公开的直和弯曲的基准数据集。
2020-07-19 cs.CV
SPTS: Single-Point Text Spotting
South China University of Technology(华南理工大学);Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学);Chinese University of Hong Kong(香港中文大学);Huawei Cloud Computing Technologies(华为云计算技术有限公司)
现有场景文本定位(即,端到端文本检测和识别)方法依赖于昂贵的限界框注释(例如,文本行、单词级或字符级边界框)。这是第一次,我们证明了训练场景文本识别模型可以通过对每个实例进行极低成本的单点注释来实现。我们提出了一个端到端的场景文本定位方法,处理场景文本定位作为一个序列预测任务。给定一幅图像作为输入,我们制定了所需的检测和识别结果作为一个序列的离散令牌,并使用自回归Transformer来预测序列。所提出的方法是简单而有效的,它可以实现国家的最先进的结果在广泛使用的基准。最重要的是,我们表明,性能是不是很敏感的点注释的位置,这意味着它可以更容易被注释,甚至自动生成比限界框,需要精确的位置。我们相信,这样的先驱尝试为比以前可能的规模大得多的场景文本发现应用程序提供了一个重要的机会。该代码可在https://github.com/shannanyinxiang/SPTS上获得。
2022-08-29 cs.CV
Spotting tell-tale visual artifacts in face swapping videos: strengths and pitfalls of CNN detectors
Center for Cybersecurity, Fondazione Bruno Kessler(布鲁诺·科斯基勒基金会网络安全中心);Department of Mathematics, University of Trento(特伦托大学数学系);DIBRIS, University of Genoa(热那亚大学DIBRIS)
本文通过基准测试CNN模型在不同数据源和换脸算法下的表现,发现其源内性能优异但跨数据集泛化困难,凸显了针对遮挡伪影开发专门检测策略的必要性。
2025-06-19 cs.AI cs.CR cs.CV
PGNet: Real-time Arbitrarily-Shaped Text Spotting with Point Gathering Network
Xidian University(西安电子科技大学);Baidu Inc.(百度公司)
任意形状文本的阅读越来越受到研究者的关注。然而,现有的文本定位器大多是建立在两个阶段的框架或基于字符的方法,遭受非最大抑制(NMS),感兴趣区域(ROI)操作,或字符级注释。在本文中,为了解决上述问题,我们提出了一种新的全卷积点聚集网络(PGNet),用于实时的【形】读取任意形状的文本。PGNet是一个单次文本定位器,其中像素级字符分类图是通过建议的PG-CTC损失来学习的,避免使用字符级注释。使用PG-CTC解码器,我们从二维空间中收集高级字符分类向量,并将其解码为文本符号,而不涉及NMS和RoI操作,这保证了高效率。此外,通过推理每个字符与其邻居之间的关系,提出了一个图细化模块(GRM),以优化粗识别,提高端到端的性能。实验证明,该方法在取得有竞争力的准确率的同时,运行速度也有明显提高。特别是在Total-Text中,它的运行速度为46.7 FPS,以很大的优势超过了之前的spotters。
2021-04-12 cs.CV
Towards End-to-End Text Spotting in Natural Scenes
Northwestern Polytechnical University(西北工业大学);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(空天地海一体化大数据应用技术国家工程实验室);Samsung Research(三星研究院);Monash University(莫纳什大学);The University of Adelaide(阿德莱德大学)
自然场景图像中的文本识别对于许多图像理解任务都是非常重要的。它包括两个子任务:文本检测和识别。在这项工作中,我们提出了一个统一的网络,它可以同时定位和识别文本,避免中间过程,如图像裁剪和特征重新计算,单词分离和字符分组。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比,所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练,并且能够处理任意形状的文本。卷积特征仅计算一次,并由检测和识别模块共享。通过多任务训练,学习到的特征变得更具区分力,并提高了整体表现。通过将$2$ D注意力模型应用于单词识别,可以鲁棒地处理文本的不规则性。它提供了每个字符的空间位置,这不仅有助于文字识别中的局部特征提取,而且还指示了一个方向角,以细化文本定位。我们提出的方法已经达到了国家的最先进的性能在几个标准的文本定位基准,包括规则和不规则的。
2021-06-26 cs.CV
DEER: Detection-agnostic End-to-End Recognizer for Scene Text Spotting
NAVER Clova(NAVER Clova(NAVER 克洛韦))
最近的端到端场景文本定位器在识别任意形状的文本实例方面取得了很大的进步。文本识别的常见方法使用感兴趣区域池或分割掩码来将特征限制为单个文本实例。然而,当检测不准确时,即一个或多个字符被裁剪时,这使得识别器难以解码正确的序列。考虑到它是很难准确地确定词的边界,只有检测器,我们提出了一种新的检测不可知的端到端识别器,DEER,框架。所提出的方法减少了检测和识别模块之间的紧密依赖性,通过为每个文本实例桥接它们,而不是使用检测到的区域。所提出的方法允许解码器识别由参考点指示的文本,具有来自整个图像的特征。由于只需要一个点来识别文本,所提出的方法使文本定位没有任意形状的检测器或边界多边形注释。实验结果表明,该方法在规则和任意形状的文本检测基准上取得了有竞争力的结果。进一步的分析表明,DEER对检测误差具有鲁棒性。代码和数据集将公开提供。
2022-03-10 cs.CV
A Few Shot Multi-Representation Approach for N-gram Spotting in Historical Manuscripts
University of Salerno(萨勒诺大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
尽管最近在自动文本识别方面取得了进展,但在历史手稿方面,性能仍然适中。这主要是因为缺乏可用的标记数据来训练数据饥渴的手写文本识别(HTR)模型。关键词识别系统(KWS)提供了一个有效的替代HTR由于出错率的减少,但它通常是有限的封闭的参考词汇。在本文中,我们提出了一个少样本学习范式,用于识别几个字符(N元)的序列,需要少量的标记训练数据。我们展示了重要的n元语法的识别可以减少系统对词汇的依赖。在这种情况下,输入手写行图像中的词汇表外(OOV)单词可以是属于词典的n元语法的序列。边沁的历史手稿集的一个子集上进行了广泛的实验评估,我们提出的多代表性的方法,以获得一些真正有前途的结果,在这个方向。
2022-09-21 cs.CV
Word length-aware text spotting: Enhancing detection and recognition in dense text image
Wuhan Institute of Technology(武汉工程大学);Hubei Key Laboratory of Intelligent Robot(湖北省智能机器人重点实验室);Hubei University of Arts and Science(湖北文理学院);Wuhan University(武汉大学)
提出WordLenSpotter,通过词长感知机制(含SLP模块和LenSeg提议头)增强密集场景中长尾分布的长短词检测与识别,实验验证其在DSTD1500等数据集上的优越性。
2023-12-25 cs.CV
HPMD: A Historical Persian Manuscript Dataset for Word Spotting with Line-Level Annotation
Payame Noor University(帕亚梅努尔大学)
本文提出历史波斯语手稿数据集HPMD(223页、3,678行),并设计仅用行级标注训练的词定位基线,通过后验矩阵匹配将F1从0.487提升至0.558,优于PHOC基线。
2026-09-29 cs.CV
AE TextSpotter: Learning Visual and Linguistic Representation for Ambiguous Text Spotting
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学);Alibaba-Group(阿里巴巴集团);The University of Adelaide(阿德莱德大学)
场景文本识别的目的是在自然图像中检测和识别包含多个字符的完整单词或句子。它仍然具有挑战性,因为当字符之间的间距很大或字符均匀分布在多个行和列中时,经常会出现歧义,从而使许多视觉上看似合理的字符分组(例如,在图1(c)中,“BERLIN”被错误地检测为“BERL”和“IN”)。不同于以往的作品,仅仅采用视觉特征的文本检测,这项工作提出了一种新的文本spotter,名为歧义消除文本Spotter(AE TextSpotter),学习视觉和语言特征,以显着减少文本检测中的歧义。拟议的AE TextSpotter有三个重要的好处。1)语言表征与视觉表征一起在一个框架中学习。据我们所知,这是第一次通过使用语言模型来改进文本检测。2)一个精心设计的语言模块被用来降低检测不正确的文本行的信心,使他们很容易修剪在检测阶段。3)大量的实验表明,AE TextSpotter优于其他国家的最先进的方法,由一个很大的利润。例如,我们从IC 19-ReCTS数据集中仔细选择了一组非常模糊的样本,我们的方法比其他方法高出4%以上。该代码已在https://github.com/whai362/AE_TextSpotter上发布。验证集的图像列表和评估脚本已在https://github.com/whai362/TDA-ReCTS上发布。
2021-07-06 cs.CV
ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting
University of Science and Technology of China(中国科学技术大学);Hangzhou Dianzi University(杭州电子科技大学)
场景文本识别由于其广泛的应用而对计算机视觉界具有重要意义。最近的方法试图引入具有挑战性的识别,而不是纯粹的视觉分类的语言知识。然而,如何在端到端深度网络中有效地建模语言规则仍然是一个研究挑战。本文认为语言模型的有限容量来自:1)隐式语言建模; 2)单向特征表示; 3)带有噪声输入的语言模型。相应地,我们提出了一个自主的,双向的和迭代的ABINet++场景文本定位。首先,自主性建议通过将识别器解耦为视觉模型和语言模型,并阻断两个模型之间的梯度流,来执行显式语言建模。其次,提出了一种基于双向特征表示的双向完形填空网络(BCN)作为语言模型。第三,提出了一种对语言模型进行迭代校正的执行方式,可以有效地减轻噪声输入的影响。最后,为了提高ABINet++在长文本识别中的性能,提出在U-Net中嵌入Transformer单元来聚合水平特征,并设计了一个位置和内容关注模块,将字符顺序和内容结合起来,精确关注字符特征。ABINet++在场景文本识别和场景文本定位基准上都达到了最先进的性能,这始终证明了我们的方法在各种环境中的优越性,特别是在低质量图像上。此外,大量的实验,包括英语和中文也证明,一个文本spotter,结合我们的语言建模方法可以显着提高其性能的准确性和速度相比,常用的基于注意力的识别器。
2022-12-12 cs.CV
MANGO: A Mask Attention Guided One-Stage Scene Text Spotter
Hikvision Research Institute(海康威视研究院)
近年来,端到端的场景文本发现由于其全局优化和高可维护性的优点而成为一个热门的研究课题。大多数方法试图开发各种感兴趣区域(RoI)操作,以将检测部分和序列识别部分连接到两阶段文本定位框架中。然而,在这样的框架中,识别部分对检测到的结果高度敏感(例如,文本轮廓的紧凑性)。为了解决这个问题,在本文中,我们提出了一种新的掩码AttentioN引导的一阶段文本定位框架名为MANGO,其中字符序列可以直接识别没有ROI操作。具体地说,一个位置感知的面具注意力模块的开发,以产生注意力的权重对每个文本实例及其字符。它允许将图像中的不同文本实例分配到不同的特征映射通道上,这些通道进一步分组为一批实例特征。最后,一个轻量级的序列解码器被应用到生成的字符序列。值得注意的是,MANGO固有地适应任意形状的文本定位,并且可以仅使用粗略的位置信息(例如)进行端到端的训练,矩形限界框)和文本注释。实验结果表明,该方法在规则和不规则文本检测基准上都取得了有竞争力的甚至是新的最先进的性能,即,ICDAR 2013、ICDAR 2015、Total-Text和SCUT-CTW1500。
2021-10-25 cs.CV
FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting
Indian Statistical Institute(印度统计研究所);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出FastTextSpotter框架,通过结合Swin Transformer骨干网络与编码器-解码器架构,并引入更快的自注意力单元SAC2,在多语言场景文本检测与识别中同时提升了精度和效率。
2025-03-12 cs.CV
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology(华南理工大学);Chinese University of Hong Kong(香港中文大学);Huawei Cloud AI(华为云人工智能部门);IntSig Information Co., Ltd(合合信息科技股份有限公司);Peng Cheng Laboratory(鹏城实验室)
端到端的场景文本发现由于成功地挖掘了场景文本检测与识别的内在协同作用,近年来引起了人们的极大关注。然而,最近的国家的最先进的方法通常只是通过共享骨干,这并不直接利用这两个任务之间的功能相互作用,将检测和识别。在本文中,我们提出了一个新的端到端的场景文本定位框架,称为SwinTextSpotter。使用一个Transformer编码器与动态头作为检测器,我们统一了这两个任务与一个新的识别转换机制,明确指导文本定位通过识别损失。这种简单的设计产生了一个简洁的框架,既不需要额外的校正模块,也不需要对任意形状的文本进行字符级注释。在多方向数据集RoIC13和ICDAR 2015、任意形状数据集Total-Text和CTW1500以及多语言数据集ReCTS(中文)和VinText(越南语)上的定性和定量实验表明,SwinTextSpotter显著优于现有方法。代码可在www.example.com上获得。
2022-03-19 cs.CV
ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting
South China University of Technology(华南理工大学);The University of Adelaide(阿德莱德大学)
端到端的文本定位,其目的是在一个统一的框架中集成检测和识别,吸引了越来越多的关注,由于其简单的两个互补的任务。它仍然是一个悬而未决的问题,特别是在处理任意形状的文本实例。以前的方法可以大致分为两类:基于字符的和基于分割的,由于非结构化的输出,这些方法通常需要字符级注释和/或复杂的后处理。在这里,我们通过介绍自适应贝塞尔曲线网络v2(ABCNet v2)来解决端到端文本定位。我们的主要贡献有四个方面:1)首次采用参数化Bezier曲线自适应地拟合任意形状的文本,与基于分割的方法相比,该方法不仅可以提供结构化的输出,而且可以提供可控的表示。2)我们设计了一个新的BezierAlign层,用于提取任意形状的文本实例的准确卷积特征,与以前的方法相比,显著提高了识别精度。3)与以前的方法不同,这些方法通常会受到复杂的后处理和敏感的超参数的影响,我们的ABCNet v2保持了一个简单的管道,只有后处理非最大抑制(NMS)。4)由于文本识别的性能密切依赖于特征对齐,ABCNet v2进一步采用了一种简单而有效的坐标卷积来编码卷积滤波器的位置,这导致了相当大的改进,而计算开销可以忽略不计。在各种双语(英语和中文)基准数据集上进行的综合实验表明,ABCNet v2可以实现最先进的性能,同时保持非常高的效率。
2021-07-20 cs.CV
Language Matters: A Weakly Supervised Vision-Language Pre-training Approach for Scene Text Detection and Spotting
Nanyang Technological University(南洋理工大学);ByteDance Inc.(字节跳动公司);University of Oxford(牛津大学)
近年来,视觉语言预训练(VLP)技术通过联合学习视觉和文本表征,极大地帮助了各种视觉语言任务,由于场景文本图像中丰富的视觉和文本信息,这直观地帮助了光学字符识别(OCR)任务。然而,这些方法不能很好地应付OCR任务,因为在实例级的文本编码和图像-文本对获取(即图像和捕获的文本中)的困难。本文提出了一种弱监督的预训练方法oCLIP,它可以通过联合学习和对齐视觉和文本信息来获得有效的场景文本表示。我们的网络包括一个图像编码器和一个字符感知文本编码器,分别提取视觉和文本特征,以及一个视觉-文本解码器,模拟文本和视觉特征之间的交互,以学习有效的场景文本表示。通过对文本特征的学习,预训练模型可以很好地处理图像中的文本,并具有字符意识。此外,这些设计使得能够从弱注释文本(即没有文本边界框的图像中的部分文本)中学习,这大大减轻了数据注释约束。在ICDAR 2019-LSVT中对弱注释图像的实验表明,我们的预训练模型将F分数提高了+2.5\%和+4.8\%,同时将其权重分别转移到其他文本检测和定位网络。此外,所提出的方法在多个公共数据集(例如,Total-Text和CTW 1500分别为+3.2\%和+1.3\%)。
2022-11-14 cs.CV
ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy in Transformer
South China University of Technology(华南理工大学);ByteDance(字节跳动);Huazhong University of Science and Technology(华中科技大学)
针对现有Transformer类文本定位识别方法隐式协同的不足,提出ESTextSpotter框架,通过任务感知查询、视觉-语言通信模块及初始化方案实现显式协同,性能超越此前最优方法。
2023-08-20 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide(阿德莱德大学)
在这项工作中,我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络,它可以通过一次向前传递同时定位和识别文本,避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比,所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练,只需要图像,地面实况边界框和文本标签。通过端到端的训练,学习到的特征可以提供更多信息,从而提高整体性能。卷积特征仅计算一次,并由检测和识别共享,这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Lenovo Research(联想研究院);School of Cyber Science and Engineering, Nanjing University of Science and Technology(南京理工大学网络空间科学与工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出TextBlockV2,利用预训练语言模型在无需精确检测的情况下进行场景文本识别,通过块级检测和PLM微调实现多行、遮挡等复杂场景下的高效准确识别。
2024-03-15 cs.CV
Watermark Text Pattern Spotting in Document Images
Charles University(查理大学);Amazon Inc.(亚马逊公司)
本文针对文档图像中水印文本检测与识别缺乏资源的问题,提出包含65,447个样本的K-Watermark基准和端到端解决方案Wextract,通过方差最小化损失与分层自注意力机制,在检测AP和字符准确率上分别超越基线5个点和4个点。
2024-01-11 cs.CV
DeepSolo++: Let Transformer Decoder with Explicit Points Solo for Multilingual Text Spotting
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
本文提出DeepSolo++,一种基于Transformer解码器和显式点查询的端到端多语言文本识别方法,同时处理检测、识别和脚本识别,性能优于现有方法且扩展性强。
2024-03-18 cs.CV
Word Searching in Scene Image and Video Frame in Multi-Script Scenario using Dynamic Shape Coding
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Institute of Engineering & Management(工程与管理学院);Indian Statistical Institute(印度统计研究所)
从自然场景图像和视频帧中检索文本信息是一项具有挑战性的任务,由于其固有的问题,如复杂的字符形状,低分辨率,背景噪声等可用的OCR系统往往无法检索这样的信息在场景/视频帧。关键字定位是一种检索信息的替代方法,在这种情况下可以执行高效的文本搜索。然而,当前的场景/视频图像中的单词识别技术是脚本特定的,并且它们主要是针对拉丁脚本开发的。本文提出了一种新的词发现框架,使用动态形状编码的文本检索自然场景的图像和视频帧。该框架的目的是搜索查询关键字从多个脚本的帮助下,在飞行脚本明智的关键字生成相应的脚本。我们已经使用了两个阶段的词发现方法,使用隐马尔可夫模型(HMM)检测翻译的关键字在一个给定的文本行通过识别行的脚本。一种新的无监督的动态形状编码为基础的计划已被用来组相似的形状字符,以避免混淆,并提高文本对齐。接下来,假设的位置进行验证,以提高检索性能。为了评估所提出的系统从自然场景图像和视频帧中搜索关键字,我们考虑了两个流行的印度语脚本,如孟加拉语(孟加拉语)和梵文以及英语。受印度语脚本中的逐区识别方法的启发[1],逐区文本信息已用于改善印度语脚本中的传统单词定位性能。对于我们的实验,考虑了由不同场景的图像和英语,孟加拉语和梵文脚本的视频帧组成的数据集。实验结果表明了我们提出的单词识别方法的有效性。
2018-07-30 cs.CV cs.IR
ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network
South China University of Technology(华南理工大学);University of Adelaide(阿德莱德大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
场景文本的检测与识别受到了越来越多的研究关注。现有的方法可以大致分为两类:基于字符的和基于分割的。这些方法要么是字符注释成本高,要么需要维护一个复杂的管道,这往往是不适合实时的【形】应用。在这里,我们通过提出自适应Bezier曲线网络(ABCNet)来解决这个问题。我们的贡献是三方面的:1)第一次,我们适应性地适合任意形状的文本的参数化Bezier曲线。2)我们设计了一个新的BezierAlign层,用于提取具有任意形状的文本实例的准确卷积特征,与以前的方法相比,显着提高了精度。3)与标准的限界框检测相比,我们的Bezier曲线检测引入的计算开销可以忽略不计,从而使我们的方法在效率和准确性上都具有优势。在任意形状的基准数据集Total-Text和CTW 1500上进行的实验表明,ABCNet实现了最先进的准确性,同时显着提高了速度。特别是,在Total-Text上,我们的实时版本比最近的最先进的方法快10倍以上,具有竞争力的识别准确性。代码可在https://tinyurl.com/AdelaiDet上获得
2020-02-25 cs.CV
DeepSolo: Let Transformer Decoder with Explicit Points Solo for Text Spotting
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
端到端文本定位旨在将场景文本检测和识别集成到一个统一的框架中。如何处理好这两个子任务之间的关系,是设计高效侦察员的关键。虽然基于transformer的方法消除了启发式后处理,但它们仍然存在子任务之间的协同问题和低训练效率。在本文中,我们提出了DeepSolo,这是一个简单的类似DETR的基线,可以让一个带有显式点Solo的解码器同时进行文本检测和识别。从技术上讲,对于每个文本实例,我们将字符序列表示为有序点,并使用可学习的显式点查询对其进行建模。在通过单个解码器之后,点查询已经编码了必要的文本语义和位置,因此可以通过非常简单的预测头并行地进一步解码到文本的中心线、边界、脚本和置信度。此外,我们还引入了文本匹配标准,以提供更准确的监督信号,从而实现更有效的训练。在公共基准上的定量实验表明,DeepSolo优于以前的最先进的方法,并实现了更好的训练效率。此外,DeepSolo还兼容线注释,这需要比多边形少得多的注释成本。该代码可在https://github.com/ViTAE-Transformer/DeepSolo上获得。
2023-03-15 cs.CV
ODM: A Text-Image Further Alignment Pre-training Approach for Scene Text Detection and Spotting
Meituan(美团)
针对OCR任务中文本与图像文本区域对齐难、标注成本高的问题,提出ODM预训练方法结合Text-Controller模块,实现更优文本对齐并利用无标注数据,在场景文本检测与识别定位任务上性能优于现有预训练方法。
2024-04-17 cs.CV
Date-Field Retrieval in Scene Image and Video Frames using Text Enhancement and Shape Coding
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Institute of Engineering & Management, Kolkata(加尔各答工程与管理学院);Indian Statistical Institute, Kolkata(印度统计学院加尔各答分校)
场景图像和视频帧中的文本识别是困难的,因为低分辨率,模糊,背景噪声等。由于传统的OCR在这样的图像中不能很好地执行,使用关键字的信息检索可以是索引/检索这样的文本信息的替代方式。日期是一种有用的信息,它具有各种应用,包括日期式视频/场景搜索,索引或检索。本文提出了一个基于数据发现的信息检索系统,该系统适用于自然场景图像和视频帧中出现的复杂背景的文本。我们提出了一种基于行的日期发现方法,使用隐马尔可夫模型(HMM),用于检测给定文本中的日期信息。不同的日期模型,从一行搜索,没有分割的字符或单词。给定一个RGB的文本行图像,我们应用一个有效的灰度图像转换来增强文本信息。利用小波分解和梯度子带增强文本的灰度信息。其次,从灰度图像和二值图像中提取了金字塔方向梯度直方图(PHOG)特征用于日期识别框架。基于MLP的Tandem方法将二值和灰度图像特征相结合。最后,为了进一步提高识别性能,本文提出了一种基于形状编码的方法,将形状相似的字符合并到同一类中。对于我们的实验,三个不同的日期模型已被构造为搜索类似的日期信息,具有包含数字值和标点符号的数字日期和包含带有数字的日期以及场景/视频文本中的月份的半数字日期。我们已经测试了我们的系统上的1648文本行,结果表明,我们提出的日期定位方法的有效性。
2017-07-21 cs.CV
Do You Need Text Rectification? Soft Attention Mask Embedding for Rectification-Free Scene Text Spotting
School of Information, Polytechnic University of Turin(理工学院信息学院)
本文提出了一种新的软注意力掩码嵌入模块(SAME),通过Transformer编码器的全局感受野编码高级特征并计算软注意力权重,然后与预测的掩码进行分层嵌入,生成精细的文本边界感知掩码,从而有效抑制背景噪声。基于该模块,本文提出了一个鲁棒的端到端文本识别框架SAME-Net,无需字符级标注或辅助文本校正模块。
2026-05-18 cs.CV
SwinTextSpotter v2: Towards Better Synergy for Scene Text Spotting
South China University of Technology(华南理工大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Chinese University of Hong Kong(香港中文大学);Huazhong University of Science and Technology(华中科技大学)
SwinTextSpotter v2 通过 Recognition Conversion 和 Recognition Alignment 模块增强检测与识别协同,并以 Box Selection Schedule 减少参数量,在多语言场景文本定位基准上达到最先进性能。
2025-04-08 cs.CV
Radial Line Fourier Descriptor for Historical Handwritten Text Representation
Uppsala University(乌普萨拉大学)
历史手写手稿的自动识别是一项艰巨的任务,由于纸张降解随着时间的推移。免标注检索或单词识别广泛用于历史手写文档的信息检索和数字化。然而,词识别算法的性能在很大程度上取决于特征检测和表示方法。虽然存在流行的特征描述符,如尺度不变特征变换(SIFT)和加速鲁棒特征(SURF),这些描述符的不变属性放大了降质文档图像中的噪声,使它们对噪声和历史手稿的复杂特征更加敏感。因此,需要一个有效和宽松的特征描述符,因为不同文档中的手写单词确实相似,但不完全相同。本文提出了一种用于手写体文字表示的径向线傅立叶(RLF)描述子,该描述子具有32维的短特征向量。本文研究了一种无分割、无训练的手写单词识别方法,该方法依赖于所提出的RLF描述符,考虑了不同的关键点表示,并使用了一种简单的基于预条件的特征匹配算法。的有效性的RLF描述符的分割自由的手写单词发现经验评估著名的历史手写数据集使用标准的评估措施。
2018-03-20 cs.CV cs.IR
Hyper-Local Deformable Transformers for Text Spotting on Historical Maps
University of Minnesota, Twin Cities(明尼苏达大学)
本文提出PALETTE,一种超局部可变形Transformer,用于历史地图文本检测与识别,通过超局部采样和位置嵌入提升长文本和倾斜文本的精度,并利用合成数据SynthMap+训练,在基准上超越现有方法。
2025-06-17 cs.CV
Scene Text Detection for Augmented Reality -- Character Bigram Approach to reduce False Positive Rate
Indian Institute of Science(印度科学学院)
自然场景文本检测是场景理解的一个重要方面,是构建引人入胜的增强现实应用的有用工具。在这项工作中,我们解决了文本识别中的误报问题。我们建议通过查找字符对(bigram)而不是单个字符来提高滑动窗口文本定位器的性能。设计并训练了一个高效的卷积神经网络来检测二元组。该检测器在ICDAR 2015数据集上将假阳性率降低了28.16%。我们证明,检测bigrams是一种计算成本低廉的方式来提高滑动窗口文本定位。
2020-12-26 cs.CV cs.LG
Reading Text in the Wild with Convolutional Neural Networks
University of Oxford(牛津大学)
在这项工作中,我们提出了一个端到端的系统,用于文本定位-定位和识别自然场景图像中的文本-和基于文本的图像检索。该系统基于用于检测的区域建议机制和用于识别的深度卷积神经网络。我们的流水线使用了一种新的互补建议生成技术的组合,以确保高召回率,以及快速的后续过滤阶段,以提高精度。对于提案的识别和排序,我们训练非常大的卷积神经网络,以同时对整个提案区域执行单词识别,而不是过去基于字符分类器的系统。这些网络仅基于合成文本生成引擎生成的数据进行训练,不需要人工标记的数据。分析我们的管道的各个阶段,我们展示了最先进的性能。我们在许多标准的端到端文本定位基准和基于文本的图像检索数据集上进行了严格的实验,显示出比以前所有方法都有很大的改进。最后,我们展示了一个真实世界的应用程序,我们的文本发现系统,让数千小时的新闻镜头,通过文本查询即时搜索。
2014-12-04 cs.CV
MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting
Rajiv Gandhi Institute of Petroleum Technology(拉吉夫·甘地石油技术学院);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(ISM)丹巴德分校);University of Salford(索尔福德大学)
提出两阶段场景文本识别方法,用多冻结视觉编码器融合分割生成多边形掩码,再经LoRA微调的视觉语言模型识别,在CTW1500上达到SOTA,无需合成数据。
2026-09-25 cs.CV
Enhanced Characterness for Text Detection in the Wild
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
文本识别是一个有趣的研究问题,因为文本可能出现在任何随机的地方,并且可能以各种形式出现。此外,检测文本的能力为改进许多高级计算机视觉问题打开了视野。在本文中,我们提出了一种新的语言无关的文本检测方法,利用边缘增强的最大稳定极值区域在自然场景中定义强特征的措施。我们表明,一个简单的组合字符线索有助于拒绝非文本区域。这些区域被进一步微调以拒绝非文本相邻区域。综合评价表明,该方案提供了比较,以更好的推广性能,传统的方法,这项任务。
2017-12-04 cs.CV
Towards Open-Set Text Recognition via Label-to-Prototype Learning
University of Science and Technology Beijing(北京科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
场景文本识别是一个热门的话题,在工业界有着广泛的应用。虽然许多方法在闭集文本识别挑战中取得了令人满意的性能,但这些方法在开集场景中失去了可行性,在开集场景中,收集数据或重新训练新字符的模型可能会产生很高的成本。例如,为外语注释样本可能是昂贵的,而每次从历史文档中发现新字符时重新训练模型都会花费时间和资源。在本文中,我们介绍并制定了一个新的开放集的文本识别任务,需要的能力,发现和识别新的字符,而无需再培训。一个标签到原型的学习框架也被提议作为拟议任务的基线。具体来说,该框架引入了一个可推广的标签到原型的映射函数,为可见和不可见的类构建原型(类中心)。然后利用开集预测器根据原型识别或拒绝样本。对集外字符的拒绝能力的实现允许在传入的数据流中自动识别未知字符。大量的实验表明,我们的方法在各种zero-shot,闭集和开集文本识别数据集上都取得了令人满意的性能
2022-08-07 cs.CV
Layout Agnostic Scene Text Image Synthesis with Diffusion Models
Rutgers University(罗格斯大学);Meta AI
针对扩散模型生成场景文本时依赖布局导致样式单一的问题,提出无需预定义布局的SceneTextGen模型,通过整合字符级编码器等三个组件提升文本生成多样性与准确率,在公开数据集上字符识别率优于现有方法。
2024-09-15 cs.CV
Chronicles-OCR: A Cross-Temporal Perception Benchmark for the Evolutionary Trajectory of Chinese Characters
Institute of Information Engineering, Chinese Academy of Sciences(信息工程研究所,中国科学院);Tencent(腾讯);Anyang Normal University(安阳师范学院);The Palace Museum(故宫博物院);Nankai University(南开大学)
Chronicles-OCR通过跨时代视觉感知任务评估VLLMs在汉字演变中的鲁棒性,包含2800张平衡图像和四个量化任务,推动历史文本感知研究。
2026-09-29 cs.CV