KISS: Keeping It Simple for Scene Text Recognition
Hasso-Plattner-Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
在过去的几年里,已经提出了几种新的方法用于场景文本识别。这些方法中的大多数为神经网络提出了新的构建块。这些新颖的构建块是专门为场景文本识别任务量身定制的,因此几乎不能用于任何其他任务。在本文中,我们介绍了一个新的模型,场景文本识别,只包括现成的构建块的神经网络。我们的模型(KISS)由两个基于ResNet的特征提取器,一个空间Transformer和一个Transformer组成。我们仅在公开可用的合成训练数据上训练我们的模型,并在一系列场景文本识别基准上对其进行评估,在这些基准上,我们达到了最先进的或有竞争力的性能,尽管我们的模型不使用2D注意力或图像校正等方法。
2019-11-19 cs.CV
JSTR: Judgment Improves Scene Text Recognition
FA Research(FA研究所);Fast Accounting Co., Ltd.(快会计有限公司)
针对场景文本识别错误,本文提出JSTR,通过判断图像与文本是否匹配并分析模型误识别倾向提供显式反馈,实验证明其优于基线和现有方法。
2024-04-09 cs.AI cs.CL cs.CV
IFR: Iterative Fusion Based Recognizer For Low Quality Scene Text Recognition
Shanghai Institute for Advanced Communication and Data Science, Shanghai University(上海大学上海先进通信与数据科学研究院)
尽管最近基于深度学习的工作在提高场景文本识别的识别精度方面取得了进展,但如何在端到端深度网络中处理低质量的文本图像仍然是一个研究挑战。在本文中,我们提出了一个基于迭代融合的识别器(IFR)低质量的场景文本识别,利用精细的文本图像输入和强大的特征表示。IFR包含两个分支,分别专注于场景文本识别和低质量场景文本图像恢复。我们利用两个分支之间的迭代协作,可以有效地减轻低质量输入的影响。提出了一个特征融合模块,将识别器的特征与图像复原分支进行融合,增强了两个分支的特征表达能力。在不改变识别网络结构的情况下,大量的定量和定性实验结果表明,该方法在提高基准数据集和TextZoom数据集中低分辨率图像的识别准确率方面明显优于基线方法。
2021-08-13 cs.CV
A Feasible Framework for Arbitrary-Shaped Scene Text Recognition
Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
基于深度学习的方法在计算机视觉的经典问题之一场景文本识别(STR)中取得了令人惊讶的进展。本文提出了一个可行的多语言任意形状STR框架,包括基于实例分割的文本检测和基于语言模型的注意力机制的文本识别。我们的STR算法不仅可以识别拉丁文和非拉丁文字符,而且还支持任意形状的文本识别。我们的方法在ICDAR 2019 Robust Reading Challenge的Scene Text Spotting Task(Latin Only,Latin and Chinese)中获得了冠军。代码可在https://github.com/zhang0jhon/AttentionOCR上获得。
2019-12-12 cs.CV
A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University(上海交通大学)
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集,我们设计了一个用于中文场景字符生成的合成数据引擎,该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂,英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性,CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比,该算法具有更高的识别精度。
2016-04-07 cs.CV
2D-CTC for Scene Text Recognition
Megvii(旷视科技);Huazhong University of Science and Technology(华中科技大学)
场景文本识别一直是计算机视觉中一个重要而活跃的研究课题。以往的方法主要是将文本看作一维信号,将场景文本识别看作序列预测问题,利用CTC或基于注意力的编解码器框架的特点,而这种框架最初是为语音识别而设计的。然而,与语音语音不同,语音是1D信号,文本实例基本上分布在2D图像空间中。为了坚持和利用文本的2D性质以获得更高的识别精度,我们将vanilla CTC模型扩展到第二维,从而创建2D-CTC。2D-CTC可以自适应地集中于最相关的特征,同时排除背景中的杂波和噪声的影响;它还可以自然地处理各种形式的文本实例(水平,定向和弯曲),同时给出更多可解释的中间预测。在IIIT-5 K、ICDAR 2015、SVP-Perspective和CUTE 80等场景文本识别标准基准上的实验表明,所提出的2D-CTC模型在规则和不规则形状的文本上的性能优于现有的方法。此外,2D-CTC在训练和测试速度方面表现出优于现有技术的优势。我们的2D-CTC的实施和模型将在不久之后公开。
2019-07-23 cs.CL cs.CV cs.LG
The First Swahili Language Scene Text Detection and Recognition Dataset
Huazhong University of Science and Technology(华中科技大学)
针对斯瓦希里语场景文本研究缺乏公开数据集的问题,本文构建含976张词级标注图像的数据集,并在多种检测与识别模型上评估,将其作为基准公开以促进相关研究。
2024-05-19 cs.CV
Scene Text Recognition With Finer Grid Rectification
Beijing Institute of Technology(北京理工大学)
场景文本的识别是一个具有挑战性的问题,因为不规则的风格和各种失真。本文提出了一种端到端的可训练模型,该模型由精细校正模块和双向注意力识别网络(Firbarn)组成。校正模块采用更细的网格对输入图像进行校正,双向解码器由原来的两层解码层改为一层解码层。Firbarn可以以弱监督的方式进行训练,只需要场景文本图像和相应的单词标签。通过灵活的校正和新颖的双向解码器,在标准基准测试上的广泛评估结果表明,Firbarn优于以往的工作,特别是在不规则数据集上。
2020-01-26 cs.CV
GTC: Guided Training of CTC Towards Efficient and Accurate Scene Text Recognition
Nanyang Technological University(南洋理工大学);SenseTime Group Ltd.(商汤集团有限公司)
连接主义时态分类和注意力机制是当前场景文本识别研究中的两种主要方法。与基于注意力的方法相比,CTC解码器具有更短的推理时间,但准确率较低。为了设计一个高效和有效的模型,我们提出了CTC的指导训练(GTC),其中CTC模型从更强大的注意力指导中学习更好的对齐和特征表示。CTC模型通过引导式训练,在保持快速推理速度的同时,实现了对规则和不规则场景文本的鲁棒和准确预测。此外,为了进一步利用CTC解码器的潜力,提出了一种图卷积网络(GCN)来学习提取的特征的局部相关性。在标准基准上的大量实验表明,我们的端到端模型实现了规则和不规则场景文本识别的新的最先进水平,并且比基于注意力的方法需要短6倍的推理时间。
2020-02-04 cs.CV cs.LG eess.IV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构,它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比,该架构具有四个独特的属性:(1)它是端到端的可训练的,与大多数现有的算法,其组件是单独训练和调整。(2)它自然地处理任意长度的序列,不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制,在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型,这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明,该算法优于现有算法。此外,该算法在基于图像的乐谱识别任务中表现良好,这明显验证了它的通用性。
2015-07-21 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd(媒体智能技术有限公司)
场景文本识别的流行观点是从序列到序列(seq2seq)和分割。然而,前者由许多组件组成,这使得实现和部署复杂,而后者需要昂贵的字符级注释。在本文中,我们重新分类的角度来看,模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道,只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点,该模型的性能与其他观点的方法一样好。CSTR模型由CPNet(分类透视网络)和SPPN(分离卷积与全局平均池化预测网络)组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单,易于实现和部署。通过大量的实验,我们证明了分类视角对场景文本识别的有效性。此外,CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所智能软件研究中心);University of Chinese Academy of Sciences(中国科学院大学);The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能实验室);State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所计算机科学国家重点实验室)
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题,本文提出CMFN,通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息,达到与SOTA相当的性能。
2024-01-18 cs.CV
I2C2W: Image-to-Character-to-Word Transformers for Accurate Scene Text Recognition
Nanyang Technological University(南洋理工大学);Bytedance Inc.(字节跳动公司)
利用自然语言处理的进步,最近的场景文本识别器采用编码器-解码器架构,其中文本图像首先被转换为代表性的功能,然后通过“顺序解码”的字符序列。然而,场景文本图像遭受丰富的噪声的不同来源,如复杂的背景和几何失真,这往往混淆解码器,并导致不正确的对齐的视觉特征在嘈杂的解码时间步长。本文提出了I2 C2 W,一种新的场景文本识别技术,是宽容的几何和光度退化分解场景文本识别成两个相互连接的任务。第一个任务侧重于图像到字符(I2C)的映射,它检测一组字符候选人从图像的基础上不同的视觉特征的对齐,在一个非顺序的方式。第二个任务处理字符到单词(C2 W)映射,其通过从检测到的候选字符解码单词来识别场景文本。直接从字符语义(而不是噪声图像特征)学习,有效地纠正了错误检测的字符候选人,大大提高了最终的文本识别精度。在9个公共数据集上的大量实验表明,所提出的I2 C2 W在具有各种曲率和透视失真的具有挑战性的场景文本数据集上的性能优于最先进的算法。它还在多个正常场景文本数据集上实现了非常有竞争力的识别性能。
2022-12-19 cs.CV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.(玉山金融控股股份有限公司);National Kaohsiung Normal University(高雄师范大学)
场景文本识别(STR)在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据,但数据标记可能很困难,昂贵或耗时,特别是对于繁体中文文本识别。据我们所知,缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架,旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据,并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明,文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Recurrent Calibration Network for Irregular Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
场景文本识别在研究界受到越来越多的关注。野外的文本通常具有不规则的排列,典型的有透视文本、弯曲文本、定向文本。大多数现有的方法很难很好地工作不规则的文本,特别是严重扭曲的文本。在本文中,我们提出了一种新的递归校准网络(RCN)的不规则场景的文本识别。RCN逐步校准不规则文本,以提高识别性能。通过将校准过程分解为多个步骤,可以一步一步地将不规则文本校准为正常。此外,为了避免由于不准确的转换而导致信息丢失的积累,我们进一步设计了一个基准点细化结构,以保持文本在循环过程中的完整性。代替校准的图像,基准点的坐标被跟踪和细化,这隐含地对变换信息进行建模。基于细化的基准点,我们估计变换参数,并在每一步从原始图像中采样。通过这种方式,原始字符信息被保留,直到最后的变换。这样的设计导致最佳的校准结果,以提高后续识别的性能。在具有挑战性的数据集上进行的大量实验证明了我们方法的优越性,特别是在不规则基准上。
2018-12-18 cs.CV
Exploring Font-independent Features for Scene Text Recognition
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
场景文本识别(STR)在过去几年中得到了广泛的研究。许多最近提出的方法是专门设计,以适应任意形状,布局和方向的场景文本,但忽略了各种字体(或写作)风格也提出了严峻的挑战,STR。这些方法,其中字体特征和字符的内容特征纠缠在一起,表现不佳的文本识别场景图像与文本在新的字体风格。为了解决这个问题,我们通过大量的字体样式的字形的注意力生成的场景文本探索字体独立的功能。具体来说,我们引入了可训练的字体嵌入来塑造生成的字形的字体样式,场景文本的图像特征仅表示其基本模式。生成过程由空间注意力机制指导,该机制有效地处理不规则文本,并生成比现有图像到图像翻译方法更高质量的字形。在几个STR基准上进行的实验表明,与现有技术相比,我们的方法具有优越性。
2020-09-16 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University(厦门大学);University of Waterloo(滑铁卢大学);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一种有效的场景文本识别方法,使用稀疏编码的基础上的功能,称为稀疏编码直方图(HSC)功能。对于字符检测,我们使用的HSC功能,而不是使用直方图的方向一致性(HOG)功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码,并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别,我们整合了多个线索,包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差(MCE)训练方法来学习。在几个具有挑战性的数据集上的实验表明,所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法,并且优于大多数最先进的方法。
2015-12-29 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo(东京大学)
场景文本识别(STR)任务有一个共同的做法:所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反,当我们必须在没有合成数据的情况下训练STR模型时,只在较少的真实标签上训练STR模型(标签较少的STR)是很重要的:对于难以合成生成的手写或艺术文本,以及对于英语以外的语言,我们并不总是有合成数据。然而,有一个隐含的常识,即在真实数据上训练STR模型几乎是不可能的,因为真实数据是不够的。我们认为,这种常识阻碍了STR的研究与较少的标签。在这项工作中,我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据,并表明,我们可以训练STR模型令人满意的只有真正的标记数据。随后,我们发现简单的数据增强,以充分利用真实数据。此外,我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此,我们得到了一个竞争模型的国家的最先进的方法。据我们所知,这是第一项研究,1)仅使用真实标签显示出足够的性能,2)将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得:https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Primitive Representation Learning for Scene Text Recognition
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
由于自然场景图像中文本实例的多样性变化,场景文本识别是一项具有挑战性的任务。传统的基于CNN-RNN-CTC或具有注意力机制的编码器-解码器的方法可能无法充分研究多方向场景文本的稳定和有效的特征表示。在本文中,我们提出了一个原始的表示学习方法,旨在利用场景文本图像的内在表示。我们将特征图中的元素建模为无向图的节点。提出了一种池化聚合器和一种加权聚合器来学习原始表示,这些原始表示通过图卷积网络转换为高级视觉文本表示。构造了一个原始的表示学习网络(PREN),利用视觉文本表示进行并行解码。此外,通过将视觉文本表示与2D注意力机制集成到编码器-解码器模型中,我们提出了一个称为PREN 2D的框架,以减轻基于注意力的方法中的错位问题。中英文场景文本识别的实验结果表明,PREN在准确率和效率之间保持了平衡,而PREN 2D则达到了最先进的性能。
2021-05-10 cs.CV
Edit Probability for Scene Text Recognition
Fudan University(复旦大学);Hikvision Research Institute(海康威视研究院)
本文在基于注意力的编码器-解码器框架下研究场景文本识别问题,现有方法通常采用逐帧最大似然损失来优化模型。在对模型进行训练时,由于字符的缺失或多余而导致的注意力输出序列与真实字符串的概率分布不一致,会对训练过程造成混淆和误导,从而造成训练代价的增加和识别精度的降低。为了解决这个问题,我们提出了一种新的方法称为编辑概率(EP)的场景文本识别。EP试图有效地估计从以输入图像为条件的概率分布的输出序列生成字符串的概率,同时考虑丢失/多余字符的可能发生。其优点在于,训练过程可以集中在丢失的,多余的和未识别的字符,从而可以减轻甚至克服错位问题的影响。我们对标准基准进行了广泛的实验,包括IIIT-5 K,街景文本和ICDAR数据集。实验结果表明,该方法能显著提高场景文本识别性能.
2018-05-09 cs.CV
Unconstrained Scene Text and Video Text Recognition for Arabic Script
Center for Visual Information Technology, IIIT Hyderabad(海得拉巴国际信息技术研究所视觉信息技术中心)
为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务,我们引入了一个新的阿拉伯语场景文本数据集,并建立基线结果。对于像阿拉伯语这样的脚本,开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37],该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要,这对于阿拉伯文字来说通常是困难的。此外,RNN对上下文依赖性进行建模的能力产生了更好的识别结果。
2017-11-07 cs.CV
Reading in the Dark: Low-light Scene Text Recognition
Computer Vision Center, Barcelona, Spain(巴塞罗那计算机视觉中心,西班牙);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出LSTR和ESTR数据集,通过改进的OCR模型和联合训练策略提升低光照环境下的文本识别性能,探讨了光照强度对识别效果的影响。
2026-04-26 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford(牛津大学)
在这项工作中,我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据,并在整个图像上进行文字识别,从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实,足以取代真实数据,为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性,在这里我们考虑三种模型,每种模型都以不同的方式“阅读”单词:通过90 k路字典编码,字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中,我们大大提高了标准数据集的最先进性能,使用我们快速,简单的机器,并要求零数据采集成本。
2014-12-09 cs.CV
Using Human Psychophysics to Evaluate Generalization in Scene Text Recognition Models
New York University(纽约大学);Goethe University Frankfurt(法兰克福歌德大学)
近年来,场景文本识别模型有了很大的发展。受人类阅读的启发,我们描述了两个重要的场景文本识别模型,通过测量它们的域,即它们可以读取的刺激图像的范围。该域指定了读者对不同的字长、字体和遮挡量进行概括的能力。这些指标确定了现有模型的优点和缺点。相对于基于注意力的(Attn)模型,我们发现连接主义时间分类(CTC)模型对噪声和遮挡具有更好的鲁棒性,并且更好地推广到不同的字长。此外,我们表明,在这两个模型中,添加噪声的训练图像产生更好的泛化闭塞。这些结果证明了测试模型直到它们崩溃的价值,补充了传统数据科学对优化性能的关注。
2020-06-30 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology(华南理工大学);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
不规则文本被广泛使用。然而,由于它的各种形状和扭曲的图案,识别起来相当困难。因此,在本文中,我们提出了一个多对象纠正注意力网络(MORAN)的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像,设计了多目标校正网络。它降低了识别的难度,使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的,因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外,为了提高基于注意力的序列识别网络的灵敏度,在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制,MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验,结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Deep Learning based Isolated Arabic Scene Character Recognition
King Saud bin Abdulaziz University for Health Sciences(沙特·本·阿卜杜勒阿齐兹健康科学大学);Malaysia Japan Institute of Information Technology (MJIIT)(马来西亚日本信息技术研究所);Universiti Teknologi Malaysia(马来西亚理工大学);GGPGC No.1, Abbottabad(阿伯塔巴德第一政府研究生院);Higher Education Department, Khyber Pakhtunkhua (KPK)(开伯尔-普赫图赫瓦省高等教育厅)
相机和小工具的技术进步和复杂性促使研究人员专注于图像分析和文本理解。深度学习技术被证明可以很好地评估近年来报道的从自然场景图像中分类文本的潜力。有各种各样的深度学习方法可以有效地从图像中检测和识别文本。在这项工作中,我们提出了使用卷积神经网络(ConvNets)作为深度学习分类器的阿拉伯语场景文本识别。由于场景文本数据是倾斜和歪斜的,因此为了处理最大的变化,我们采用了五个方向相对于一个字符的单次出现。通过保持滤波器大小为3 x 3和5 x 5,步长值为1和2来制定训练。在文本分类阶段,我们以不同的学习率训练网络。我们的方法报告了令人鼓舞的结果识别阿拉伯字符分割阿拉伯场景图像。
2017-04-22 cs.CV
Towards Boosting the Accuracy of Non-Latin Scene Text Recognition
Centre for Vision Information Technology International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院视觉信息技术中心)
由于多种字体、简单的词汇统计、更新的数据生成工具和书写系统等因素,拉丁语言的场景文本识别明显优于非拉丁语言。本文通过比较英语数据集与非拉丁语数据集,研究了准确性低的可能原因。我们比较了各种特征,如单词图像的大小(宽度和高度)和字长统计数据。在过去的十年中,使用强大的深度学习技术生成合成数据集极大地改善了场景文本识别。通过改变(i)创建合成数据的字体和(ii)创建的单词图像的数量,对英语进行几个受控实验。我们发现,这些因素是至关重要的场景文本识别系统。英语合成数据集使用超过1400种字体,而阿拉伯语和其他非拉丁语数据集使用不到100种字体进行数据生成。由于这些语言中的一些是不同地区的一部分,我们通过基于区域的搜索来获得额外的字体,以改善阿拉伯语和梵文的场景文本识别模型。与以前的作品或基线相比,我们将阿拉伯语MLT-17和MLT-19数据集的单词识别率(WRR)提高了24.54%和2.32%。IIIT-ILST和MLT-19 Devanagari数据集的WRR增益分别为7.88%和3.72%。
2022-01-10 cs.CV
Towards Accurate Scene Text Recognition with Semantic Reasoning Networks
Baidu Inc(百度公司)
场景文本图像包含两个层次的内容:视觉纹理和语义信息。虽然在过去的几年中,以前的场景文本识别方法已经取得了很大的进展,挖掘语义信息,以辅助文本识别的研究受到较少的关注,只有RNN的类似结构的探索隐式建模语义信息。然而,我们观察到基于RNN的方法存在一些明显的缺点,如依赖于时间的解码方式和语义上下文的单向串行传输,这极大地限制了语义信息的帮助和计算效率。为了克服这些局限性,我们提出了一种新的端到端的可训练框架命名为语义推理网络(SRN)的准确场景文本识别,其中引入了一个全局语义推理模块(GSRM),通过多路并行传输捕获全局语义上下文。在规则文本、不规则文本和非拉丁文长文本等7个公共基准测试上的最新结果验证了该方法的有效性和鲁棒性。此外,SRN的速度比基于RNN的方法具有显着优势,证明了其在实际使用中的价值。
2020-03-27 cs.CV
Orientation-Independent Chinese Text Recognition in Scene Images
Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);Fudan University(复旦大学)
本文提出通过解耦文本图像的内容与方向信息,引入字符图像重建网络(CIRN),实现对自然场景中水平和垂直中文文本的稳健识别,并在VCTR数据集上取得45.63%的性能提升。
2023-09-03 cs.CV
Why You Should Try the Real Data for the Scene Text Recognition
Intel Corporation(英特尔公司)
近年来文本识别领域的研究工作将识别结果推向了新的高度。但长期以来,由于缺乏大型的人类标记的自然文本识别数据集,迫使研究人员使用合成数据来训练文本识别模型。尽管合成数据集非常大(MJSynth和SynthTest,两个最著名的合成数据集,每个都有数百万张图像),但与ICDAR等自然数据集相比,它们的多样性可能不足。幸运的是,最近发布的OpenImages V5数据集的文本识别注释具有与合成数据集相当的实例数量和更多样化的示例。我们已经使用了这个注释与来自Yet Another Mask Text Spotter的文本识别头部架构,并获得了与SOTA结果相当的结果。在某些数据集上,我们甚至超过了以前的SOTA模型。在本文中,我们还介绍了一个文本识别模型。该模型的代码可用。
2021-07-29 cs.CV
Scene Text recognition with Full Normalization
场景文本识别在近几年取得了长足的进步,已经成为工作流程中的重要组成部分。移动设备的广泛使用为在日常生活中使用OCR技术提供了广泛的可能性。然而,在这一领域缺乏新研究所需的训练数据仍然是相关的。在这篇文章中,我们提出了一个新的数据集,由智能手机上的真实镜头组成,并证明了在这项任务中配置文件归一化的有效性。此外,在智能手机上的文档图像分析模型的训练过程中,各种增强的影响进行了详细研究。我们的数据集是公开的。
2021-07-13 cs.CV
Scene Text Recognition from Two-Dimensional Perspective
Huazhong University of Science and Technology(华中科技大学);Megvii (Face++)(旷视(Face++))
受语音识别的启发,目前的最新算法大多将场景文本识别视为序列预测问题。虽然这些方法取得了很好的性能,但通常忽略了一个重要的事实,即图像中的文本实际上是分布在二维的【形】空间中。它的性质与语音的性质完全不同,语音本质上是一维信号。原则上,直接将文本的特征压缩成一维形式可能会丢失有用的信息并引入额外的噪声。在本文中,我们从二维的【形】角度来处理场景文本识别。提出了一种简单有效的字符注意力全卷积网络(CA-FCN)模型,用于识别任意形状的文本。场景文本识别采用语义分割网络实现,其中采用了字符的注意力机制。结合一个构词模块,CA-FCN可以同时识别脚本和预测每个字符的位置。实验结果表明,该算法在规则和不规则文本数据集上的性能都优于以往的方法。此外,它被证明是更强大的文本检测阶段,这是非常常见的不精确的本地化。
2018-11-17 cs.CV
Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition
Ping An Property & Casualty Insurance(平安财产保险)
近年来,受Transformer的启发,基于自注意的场景文本识别方法取得了优异的性能。然而,我们发现,随着词典的增加,模型的规模迅速扩大。具体来说,softmax分类层和输出嵌入层的参数数量与词汇大小成正比。它阻碍了轻量级文本识别模型的发展,特别是适用于中文和多种语言。因此,我们提出了一个轻量级的场景文本识别模型命名为汉明OCR。在该模型中,提出了一种新的Hamming分类器,该分类器采用局部敏感哈希(LSH)算法对每个字符进行编码,以代替softmax回归,并直接使用生成的LSH码代替输出嵌入。我们也提出了一个简化的Transformer解码器,以减少参数的数量,通过去除前馈网络和使用跨层参数共享技术。与传统方法相比,分类层和嵌入层的参数个数与词汇量无关,在保证准确率的前提下,大大降低了存储量。实验结果表明,Hamming OCR在4个公共基准测试集和一个由SynthText合成的超过20,000个字符的中文文本数据集上取得了较好的效果。
2020-09-23 cs.AI cs.CV cs.LG
SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
场景文本识别是计算机视觉的一个研究热点。近年来,许多基于编码器-解码器框架的识别方法已经被提出,并且它们可以处理具有透视变形和曲线形状的场景文本。尽管如此,它们仍然面临着许多挑战,如图像模糊,光照不均匀和不完整的字符。我们认为,大多数编码器-解码器的方法是基于本地的视觉特征,没有明确的全局语义信息。在这项工作中,我们提出了一个语义增强的编码器-解码器框架,以鲁棒地识别低质量的场景文本。语义信息在编码器模块中用于监督,在解码器模块中用于初始化。特别是,国家的最先进的ASTER方法集成到建议的框架作为范例。大量实验表明,该框架对低质量文本图像具有更强的鲁棒性,并在多个基准数据集上取得了最佳效果。
2020-05-22 cs.CV
Focus-Enhanced Scene Text Recognition with Deformable Convolutions
University of Electronic Science and Technology of China(电子科技大学)
近年来,基于深度学习的场景文本识别方法在计算机视觉领域兴起。现有的方法取得了很好的性能,但不规则文本的识别仍然是具有挑战性的,由于各种形状和扭曲的模式。想想看,在现实世界中阅读文字时,我们通常不会在脑海中纠正它,而是调整我们的焦点和视野。同样,通过利用几何结构可调的可变形卷积层,我们提出了一种增强的识别网络,无需纠正处理不规则文本的步骤。大量的实验已经应用,在公共基准测试的结果证明了我们提出的组件的有效性,并表明我们的方法已经达到令人满意的性能。该代码将很快在https://github.com/Alpaca07/dtr上公开发布。
2019-09-23 cs.CV
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology(华南理工大学);Chinese University of Hong Kong(香港中文大学);Huawei Cloud AI(华为云人工智能部门);IntSig Information Co., Ltd(合合信息科技股份有限公司);Peng Cheng Laboratory(鹏城实验室)
端到端的场景文本发现由于成功地挖掘了场景文本检测与识别的内在协同作用,近年来引起了人们的极大关注。然而,最近的国家的最先进的方法通常只是通过共享骨干,这并不直接利用这两个任务之间的功能相互作用,将检测和识别。在本文中,我们提出了一个新的端到端的场景文本定位框架,称为SwinTextSpotter。使用一个Transformer编码器与动态头作为检测器,我们统一了这两个任务与一个新的识别转换机制,明确指导文本定位通过识别损失。这种简单的设计产生了一个简洁的框架,既不需要额外的校正模块,也不需要对任意形状的文本进行字符级注释。在多方向数据集RoIC13和ICDAR 2015、任意形状数据集Total-Text和CTW1500以及多语言数据集ReCTS(中文)和VinText(越南语)上的定性和定量实验表明,SwinTextSpotter显著优于现有方法。代码可在www.example.com上获得。
2022-03-19 cs.CV
Efficiently Leveraging Linguistic Priors for Scene Text Spotting
University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出用大型语料库的语言先验替代独热编码,并生成无需领域微调的文本分布,以提升自回归场景文本定位与识别的准确率和定位精度。
2024-02-27 cs.CV
IterVM: Iterative Vision Modeling Module for Scene Text Recognition
Wangxuan Institute of Computer Technology Peking University, Beijing, China Email
由于自然图像中的图像条件不完善,场景文本识别(STR)是一个具有挑战性的问题。最先进的方法利用视觉线索和语言知识来解决这个具有挑战性的问题。具体来说,他们提出了迭代语言建模模块(IterLM)来反复优化视觉建模模块(VM)的输出序列。虽然取得了很好的效果,视觉建模模块已成为这些方法的性能瓶颈。在本文中,我们新提出了迭代视觉建模模块(IterVM),以进一步提高STR的准确性。具体地,第一个VM直接从输入图像中提取多级特征,并且随后的VM从输入图像中重新提取多级特征并将其与高级(即,最语义的一个)特征。通过将IterVM与迭代语言建模模块相结合,我们进一步提出了一个强大的场景文本识别器IterNet。大量的实验表明,所提出的IterVM可以显着提高场景文本识别的准确性,特别是在低质量的场景文本图像。此外,所提出的场景文本识别器IterNet在几个公共基准测试中取得了新的最先进的结果。代码将在https://github.com/VDIGPKU/IterNet上提供。
2022-04-06 cs.CV
Visual attention models for scene text recognition
Computer Vision Center(计算机视觉中心);Media Integration and Communication Center (MICC)(媒体集成与通信中心 (MICC));Universita di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种方法来词汇的无文本识别场景图像。我们的方法依赖于从卷积特征中学习的基于LSTM的软视觉注意力模型。从对应于图像的不同区域的中间卷积层导出一组特征向量。这允许将空间信息编码到图像表示中。通过这种方式,框架能够学习如何选择性地关注图像的不同部分。在每个时间步,识别器根据学习的注意力模型使用卷积特征向量的加权组合来发出一个字符。训练可以只使用单词级注释进行端到端。此外,我们表明,通过整合显式语言模型来修改波束搜索算法会导致更好的识别结果。我们在标准SVT和ICDAR '03场景文本数据集上验证了我们的方法的性能,在无约束文本识别中显示了最先进的性能。
2017-06-05 cs.CV
Scene Text Recognition with Temporal Convolutional Encoder
Shanghai Key Laboratory of Multidimensional Information Processing(上海市多维信息处理重点实验室);East China Normal University(华东师范大学);Videt Tech Ltd.(Videt科技有限公司)
来自场景图像的文本通常由多个字符组成,并表现出特征序列结构。现有的方法通过编码器捕获具有序列到序列模型的结构以具有视觉表示,然后解码器将特征翻译成标签序列。在本文中,我们研究的文本识别框架,考虑长期的时间依赖性在编码器阶段。我们证明了所提出的时间卷积编码器,增加了连续的程度,提高了文本识别的准确性。我们还研究了卷积块中不同注意力模块对学习准确文本表示的影响。我们在七个数据集上进行了比较,实验证明了我们提出的方法的有效性。
2020-02-16 cs.CV
SVTR: Scene Text Recognition with a Single Visual Model
Beijing Jiaotong University(北京交通大学);Fudan University(复旦大学);Baidu Inc.(百度公司)
主要场景文本识别模型通常包含两个构建块,用于特征提取的视觉模型和用于文本转录的序列模型。这种混合架构虽然准确,但复杂且效率较低。在这项研究中,我们提出了一个单一的视觉模型场景文本识别的分块图像标记化框架内,完全免除了顺序建模。该方法,称为SVTR,首先分解成小块的图像文本命名为字符组件。之后,通过成分级混合、合并和/或组合来循环地执行分层阶段。设计了全局和局部混合块来感知字符间和字符内模式,从而实现多粒度的字符组件感知。因此,通过简单的线性预测来识别字符。中英文场景文本识别的实验结果验证了SVTR的有效性。SVTR-L(Large)在英文中实现了极具竞争力的准确性,在中文中大幅优于现有方法,同时运行速度更快。此外,SVTR-T(Tiny)是一个有效的和更小的模型,它显示了吸引人的推理速度。该代码可在https://github.com/PaddlePaddle/PaddleOCR上公开获取。
2022-05-23 cs.CV
Image Processing Based Scene-Text Detection and Recognition with Tesseract
Kamag(卡马克公司)
文本识别是计算机视觉的一个具有挑战性的课题,具有很大的实际意义。光学字符识别(OCR)使不同的自动化应用成为可能。该项目的重点是自然图像中的单词检测和识别。与阅读扫描文档中的文本相比,目标问题更具挑战性。聚焦的用例有助于以更高的准确度检测自然场景中的文本区域,因为图像在约束条件下可用。这是通过安装在卡车上的摄像机实现的,该摄像机同样可以全天候捕捉图像。然后使用Tesseract OCR引擎识别检测到的文本区域。尽管它有利于低计算能力要求,但该模型仅限于特定用例。本文讨论了在测试过程中出现的严重误报情况,并阐述了用于缓解该问题的策略。该项目取得了80%以上的正确字符识别率。本文概述了该项目的发展阶段、主要挑战和一些有趣的发现。
2020-04-17 cs.CV
UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World
Carnegie Mellon University(卡内基梅隆大学);Megvii (Face++) Technology Inc.(旷视科技)
合成数据已成为训练场景文本检测和识别模型的重要工具。一方面,在训练场景文本识别器时,合成文字图像已被证明是真实图像的成功替代。然而,另一方面,场景文本检测器仍然严重依赖于大量的手动注释的真实世界的图像,这是昂贵的。在本文中,我们介绍了UnrealText,一种高效的图像合成方法,通过3D图形引擎渲染逼真的图像。3D合成引擎通过整体渲染场景和文本来提供逼真的外观,并允许更好的文本区域建议,同时可以访问精确的场景信息,例如正常和均匀的对象网格。综合实验验证了该方法在场景文本检测和识别上的有效性。我们还生成了多语言版本,用于未来多语言场景文本检测和识别的研究。此外,我们以区分大小写的方式重新注释场景文本识别数据集,并包括标点符号以进行更全面的评估。代码和生成的数据集发布于:https://github.com/Jyouhou/UnrealText/。
2020-08-18 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.(卫士通信息产业股份有限公司)
场景文本识别(STR)使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息,除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers(MVLT)捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer,我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段:在第一阶段,我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段,我们微调我们的模型,并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
SEE: Towards Semi-Supervised End-to-End Scene Text Recognition
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
在自然场景图像中检测和识别文本是一个具有挑战性的,但尚未完全解决的任务。近年来,已经提出了几个新的系统,试图解决至少两个子任务(文本检测和文本识别)之一。在本文中,我们提出了SEE,半监督神经网络的场景文本检测和识别,可以优化端到端的一步。大多数现有的作品包括多个深度神经网络和几个预处理步骤。与此相反,我们建议使用单个深度神经网络,它以半监督的方式学习从自然图像中检测和识别文本。SEE是一个网络,它集成并联合学习空间Transformer网络和文本识别网络,空间transformer网络可以学习检测图像中的文本区域,文本识别网络可以识别识别的文本区域并识别其文本内容。我们介绍了我们的新方法背后的想法,并通过在标准基准数据集上进行一系列实验来展示其可行性,在这些实验中,我们获得了有竞争力的结果。
2017-12-14 cs.CV
SPIN: Structure-Preserving Inner Offset Network for Scene Text Recognition
Hikvision Research Institute(海康威视研究院)
在场景文本识别任务中,任意出现的文本都是一个很大的挑战。现有的作品大多是从形状变形的角度来处理这个问题,包括透视变形、线条弯曲或其他风格的变化。因此,基于空间Transformers的方法被广泛研究。然而,在复杂的场景中的色彩困难没有得到太多的关注。在这项工作中,我们引入了一个新的可学习的几何无关的模块,结构保持内偏移网络(SPIN),它允许在网络内的源数据的颜色操作。这个可微分模块可以插入到任何识别架构之前,以简化下游任务,使神经网络能够主动转换输入强度,而不是现有的空间校正。它还可以作为已知空间转换的补充模块,并以独立和协作的方式与它们一起工作。大量的实验表明,使用SPIN的结果在多个文本识别基准相比,国家的最先进的显着改善。
2021-10-25 cs.CV
ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition
Meituan-Dianping Group(美团点评集团)
近年来,场景文本识别一直被认为是一个序列到序列的问题。连接主义时间分类(CTC)和注意序列识别(Attn)是两种非常流行的方法来解决这个问题,但他们可能会在某些情况下分别失败。CTC更关注单个字符,但在文本语义依赖建模方面比较薄弱。基于Attn的方法具有更好的上下文语义建模能力,但往往在有限的训练数据上过拟合。在本文中,我们精心设计了一个校正注意双监督网络(ReADS)的一般场景文本识别。为了克服CTC和Attn的不足,我们将它们都应用到我们的方法中,但在两个监督分支中使用了不同的模块,可以相互补充。此外,有效的空间和通道注意力机制的引入,以消除背景噪声和提取有效的前景信息。最后,实现了一个简单的校正网络来校正不规则文本。ReADS可以进行端到端的训练,只需要单词级的注释。在各种基准测试上的大量实验验证了ReADS的有效性,达到了最先进的性能。
2020-04-07 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology(国防科技大学)
自然场景中的文本识别是一个具有挑战性的问题,因为影响文本外观的因素很多。在本文中,我们提出了一种方法,直接转录场景文本图像的文本,而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说,我们集成了卷积神经网络(CNN)和循环神经网络(RNN),这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆(LSTM)块作为隐藏单元,我们的模型可以保留长期记忆,而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明,该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
FedOCR: Communication-Efficient Federated Learning for Scene Text Recognition
Huazhong University of Science and Technology(华中科技大学);Meituan(美团)
虽然场景文本识别技术已被广泛应用于商业应用,但数据隐私很少被该研究社区考虑。大多数现有的算法都假设一组共享或集中的训练数据。然而,在实践中,数据可能分布在不同的本地设备上,由于隐私限制,这些设备无法集中共享。在本文中,我们研究了如何利用分散的数据集来训练一个强大的场景文本识别器,同时保持它们留在本地设备上。据我们所知,我们提出了第一个利用联邦学习进行场景文本识别的框架,该框架是用分散的数据集协同训练的。因此,我们将其命名为FedOCR。为了使FedCOR非常适合部署在终端设备上,我们做了两个改进,包括使用轻量级模型和哈希技术。我们认为,就联邦学习的通信效率而言,这两者对FedOCR都至关重要。在分散数据集上的模拟表明,与使用集中数据训练的模型相比,所提出的FedOCR实现了具有竞争力的结果,具有更少的通信成本和更高级别的隐私保护。
2022-02-07 cs.CV
AutoSTR: Efficient Backbone Search for Scene Text Recognition
Paradigm Inc.(第四范式公司);Huazhong University of Science and Technology(华中科技大学)
由于文本实例的多样性和场景的复杂性,场景文本识别(STR)具有很大的挑战性。社区越来越关注通过改进预处理图像模块来提高性能,如校正和去模糊,或序列翻译器。然而,另一个关键模块,即,特征序列提取器还没有被广泛研究。在这项工作中,受到神经架构搜索(NAS)的成功启发,它可以识别比人类设计的更好的架构,我们提出了自动STR(AutoSTR)来搜索依赖于数据的主干,以提高文本识别性能。首先,设计了一个特定领域的STR搜索空间,其中包含了操作选择和下采样路径约束,然后提出了一个两步搜索算法,该算法将操作和下采样路径相结合,在给定的搜索空间中进行有效的搜索。实验表明,通过搜索数据依赖的主干,AutoSTR可以在标准基准测试上以更少的FLOPS和模型参数表现出比最先进的方法更好的性能。
2020-07-16 cs.CV
Multi-Granularity Prediction for Scene Text Recognition
Alibaba DAMO Academy(阿里巴巴达摩院)
场景文本识别(STR)是计算机视觉中一个非常活跃的研究课题。为了解决这个具有挑战性的问题,许多创新的方法已经相继提出,并将语言知识融入STR模型最近已成为一个突出的趋势。在这项工作中,我们首先从视觉Transformer(ViT)的最新进展中汲取灵感,构建一个概念简单但功能强大的视觉STR模型,该模型建立在ViT基础上,优于以前的最先进的场景文本识别模型,包括纯视觉模型和语言增强方法。为了整合语言知识,我们进一步提出了一种多粒度预测策略,以隐式的方式将来自语言模态的信息注入到模型中,即,除了传统的字符级表示之外,还将NLP中广泛使用的子词表示(BPE和WordPiece)引入到输出空间中,而不采用独立的语言模型(LM)。由此产生的算法(称为MGP-STR)是能够推动STR的性能包络到一个更高的水平。具体来说,它在标准基准测试中的平均识别准确率为93.35%。代码可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR上获得。
2022-10-17 cs.CV
A New Perspective for Flexible Feature Gathering in Scene Text Recognition Via Character Anchor Pooling
Peking University(北京大学);Megvii (Face++) Technology Inc.(旷视(Face++)科技有限公司)
不规则场景文本识别一直受到研究界的关注,这主要是由于自然场景中文本形状的复杂性。然而,最近的方法要么依赖于形状敏感的模块,如限界框回归,或放弃序列学习。为了解决这些问题,我们提出了一对耦合模块,被称为字符识别模块(CAM)和锚池模块(APM),从二维空间中提取高层次的语义,形成特征序列。所提出的CAM本地化的文本在一个形状不敏感的方式通过设计锚定字符单独。然后,APM沿着字符锚点灵活地插值和收集特征,从而实现序列学习。互补模块实现了空间信息和序列学习的和谐统一。通过所提出的模块,我们的识别系统在不规则和透视文本数据集(包括ICDAR 2015,CUTE和Total-Text)上的得分超过了以前的最先进水平,同时在常规文本数据集上的性能达到了最先进水平。
2020-02-10 cs.CV
SCAN: Sliding Convolutional Attention Network for Scene Text Recognition
National Laboratory of Pattern Recognition (NLPR), Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
场景文本识别因其具有挑战性和广泛的应用前景而受到计算机视觉和人工智能领域的广泛关注。最先进的基于递归神经网络(RNN)的模型将输入序列映射到可变长度的输出序列,但通常以黑盒方式应用并且缺乏进一步改进的透明度,并且维持整个过去隐藏状态阻止了序列中的并行计算。本文研究了文本识别的内在特征,并借鉴人类阅读文本的认知机制,提出了一种基于滑动卷积注意力网络(SCAN)的场景文本识别方法。与阅读过程中的眼球运动类似,扫描的过程可以被视为扫视和视觉注视之间的交替。与以前的循环模型相比,SCAN的所有元素的计算在训练期间可以完全并行化。几个具有挑战性的基准测试,包括IIIT 5 k,SVT和ICDAR 2003/2013数据集的实验结果表明,SCAN在模型可解释性和性能方面优于最先进的方法。
2018-06-02 cs.CV
When VLMs Trust Context: Evaluating Scene Text Recognition under Misleading Context
Jilin University(吉林大学)
本研究提出SceneFaith基准,揭示视觉语言模型在场景文本识别中受上下文误导而改写文本,并强调需平衡视觉证据与上下文信息。
2026-09-29 cs.AI cs.CV