A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University（上海交通大学）
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集，我们设计了一个用于中文场景字符生成的合成数据引擎，该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂，英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性，CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比，该算法具有更高的识别精度。
2016-04-07 cs.CV
The First Swahili Language Scene Text Detection and Recognition Dataset
Huazhong University of Science and Technology（华中科技大学）
针对斯瓦希里语场景文本研究缺乏公开数据集的问题，本文构建含976张词级标注图像的数据集，并在多种检测与识别模型上评估，将其作为基准公开以促进相关研究。
2024-05-19 cs.CV
Scene Text Recognition With Finer Grid Rectification
Beijing Institute of Technology（北京理工大学）
场景文本的识别是一个具有挑战性的问题，因为不规则的风格和各种失真。本文提出了一种端到端的可训练模型，该模型由精细校正模块和双向注意力识别网络（Firbarn）组成。校正模块采用更细的网格对输入图像进行校正，双向解码器由原来的两层解码层改为一层解码层。Firbarn可以以弱监督的方式进行训练，只需要场景文本图像和相应的单词标签。通过灵活的校正和新颖的双向解码器，在标准基准测试上的广泛评估结果表明，Firbarn优于以往的工作，特别是在不规则数据集上。
2020-01-26 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications（电子信息与通信学院）；Huazhong University of Science and Technology（华中科技大学）
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构，它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比，该架构具有四个独特的属性：（1）它是端到端的可训练的，与大多数现有的算法，其组件是单独训练和调整。(2)它自然地处理任意长度的序列，不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制，在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型，这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明，该算法优于现有算法。此外，该算法在基于图像的乐谱识别任务中表现良好，这明显验证了它的通用性。
2015-07-21 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd（媒体智能技术有限公司）
场景文本识别的流行观点是从序列到序列（seq2seq）和分割。然而，前者由许多组件组成，这使得实现和部署复杂，而后者需要昂贵的字符级注释。在本文中，我们重新分类的角度来看，模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道，只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点，该模型的性能与其他观点的方法一样好。CSTR模型由CPNet（分类透视网络）和SPPN（分离卷积与全局平均池化预测网络）组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单，易于实现和部署。通过大量的实验，我们证明了分类视角对场景文本识别的有效性。此外，CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所智能软件研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室）；State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题，本文提出CMFN，通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息，达到与SOTA相当的性能。
2024-01-18 cs.CV
I2C2W: Image-to-Character-to-Word Transformers for Accurate Scene Text Recognition
Nanyang Technological University（南洋理工大学）；Bytedance Inc.（字节跳动公司）
利用自然语言处理的进步，最近的场景文本识别器采用编码器-解码器架构，其中文本图像首先被转换为代表性的功能，然后通过“顺序解码”的字符序列。然而，场景文本图像遭受丰富的噪声的不同来源，如复杂的背景和几何失真，这往往混淆解码器，并导致不正确的对齐的视觉特征在嘈杂的解码时间步长。本文提出了I2 C2 W，一种新的场景文本识别技术，是宽容的几何和光度退化分解场景文本识别成两个相互连接的任务。第一个任务侧重于图像到字符（I2C）的映射，它检测一组字符候选人从图像的基础上不同的视觉特征的对齐，在一个非顺序的方式。第二个任务处理字符到单词（C2 W）映射，其通过从检测到的候选字符解码单词来识别场景文本。直接从字符语义（而不是噪声图像特征）学习，有效地纠正了错误检测的字符候选人，大大提高了最终的文本识别精度。在9个公共数据集上的大量实验表明，所提出的I2 C2 W在具有各种曲率和透视失真的具有挑战性的场景文本数据集上的性能优于最先进的算法。它还在多个正常场景文本数据集上实现了非常有竞争力的识别性能。
2022-12-19 cs.CV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（高雄师范大学）
场景文本识别（STR）在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据，但数据标记可能很困难，昂贵或耗时，特别是对于繁体中文文本识别。据我们所知，缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架，旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据，并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明，文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Exploring Font-independent Features for Scene Text Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
场景文本识别（STR）在过去几年中得到了广泛的研究。许多最近提出的方法是专门设计，以适应任意形状，布局和方向的场景文本，但忽略了各种字体（或写作）风格也提出了严峻的挑战，STR。这些方法，其中字体特征和字符的内容特征纠缠在一起，表现不佳的文本识别场景图像与文本在新的字体风格。为了解决这个问题，我们通过大量的字体样式的字形的注意力生成的场景文本探索字体独立的功能。具体来说，我们引入了可训练的字体嵌入来塑造生成的字形的字体样式，场景文本的图像特征仅表示其基本模式。生成过程由空间注意力机制指导，该机制有效地处理不规则文本，并生成比现有图像到图像翻译方法更高质量的字形。在几个STR基准上进行的实验表明，与现有技术相比，我们的方法具有优越性。
2020-09-16 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University（厦门大学）；University of Waterloo（滑铁卢大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一种有效的场景文本识别方法，使用稀疏编码的基础上的功能，称为稀疏编码直方图（HSC）功能。对于字符检测，我们使用的HSC功能，而不是使用直方图的方向一致性（HOG）功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码，并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别，我们整合了多个线索，包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差（MCE）训练方法来学习。在几个具有挑战性的数据集上的实验表明，所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法，并且优于大多数最先进的方法。
2015-12-29 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo（东京大学）
场景文本识别（STR）任务有一个共同的做法：所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反，当我们必须在没有合成数据的情况下训练STR模型时，只在较少的真实标签上训练STR模型（标签较少的STR）是很重要的：对于难以合成生成的手写或艺术文本，以及对于英语以外的语言，我们并不总是有合成数据。然而，有一个隐含的常识，即在真实数据上训练STR模型几乎是不可能的，因为真实数据是不够的。我们认为，这种常识阻碍了STR的研究与较少的标签。在这项工作中，我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据，并表明，我们可以训练STR模型令人满意的只有真正的标记数据。随后，我们发现简单的数据增强，以充分利用真实数据。此外，我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此，我们得到了一个竞争模型的国家的最先进的方法。据我们所知，这是第一项研究，1）仅使用真实标签显示出足够的性能，2）将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得：https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Primitive Representation Learning for Scene Text Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
由于自然场景图像中文本实例的多样性变化，场景文本识别是一项具有挑战性的任务。传统的基于CNN-RNN-CTC或具有注意力机制的编码器-解码器的方法可能无法充分研究多方向场景文本的稳定和有效的特征表示。在本文中，我们提出了一个原始的表示学习方法，旨在利用场景文本图像的内在表示。我们将特征图中的元素建模为无向图的节点。提出了一种池化聚合器和一种加权聚合器来学习原始表示，这些原始表示通过图卷积网络转换为高级视觉文本表示。构造了一个原始的表示学习网络（PREN），利用视觉文本表示进行并行解码。此外，通过将视觉文本表示与2D注意力机制集成到编码器-解码器模型中，我们提出了一个称为PREN 2D的框架，以减轻基于注意力的方法中的错位问题。中英文场景文本识别的实验结果表明，PREN在准确率和效率之间保持了平衡，而PREN 2D则达到了最先进的性能。
2021-05-10 cs.CV
Edit Probability for Scene Text Recognition
Fudan University（复旦大学）；Hikvision Research Institute（海康威视研究院）
本文在基于注意力的编码器-解码器框架下研究场景文本识别问题，现有方法通常采用逐帧最大似然损失来优化模型。在对模型进行训练时，由于字符的缺失或多余而导致的注意力输出序列与真实字符串的概率分布不一致，会对训练过程造成混淆和误导，从而造成训练代价的增加和识别精度的降低。为了解决这个问题，我们提出了一种新的方法称为编辑概率（EP）的场景文本识别。EP试图有效地估计从以输入图像为条件的概率分布的输出序列生成字符串的概率，同时考虑丢失/多余字符的可能发生。其优点在于，训练过程可以集中在丢失的，多余的和未识别的字符，从而可以减轻甚至克服错位问题的影响。我们对标准基准进行了广泛的实验，包括IIIT-5 K，街景文本和ICDAR数据集。实验结果表明，该方法能显著提高场景文本识别性能.
2018-05-09 cs.CV
Unconstrained Scene Text and Video Text Recognition for Arabic Script
Center for Visual Information Technology, IIIT Hyderabad（海得拉巴国际信息技术研究所视觉信息技术中心）
为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务，我们引入了一个新的阿拉伯语场景文本数据集，并建立基线结果。对于像阿拉伯语这样的脚本，开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37]，该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要，这对于阿拉伯文字来说通常是困难的。此外，RNN对上下文依赖性进行建模的能力产生了更好的识别结果。
2017-11-07 cs.CV
Reading in the Dark: Low-light Scene Text Recognition
Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心，西班牙）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出LSTR和ESTR数据集，通过改进的OCR模型和联合训练策略提升低光照环境下的文本识别性能，探讨了光照强度对识别效果的影响。
2026-04-26 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford（牛津大学）
在这项工作中，我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据，并在整个图像上进行文字识别，从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实，足以取代真实数据，为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性，在这里我们考虑三种模型，每种模型都以不同的方式“阅读”单词：通过90 k路字典编码，字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中，我们大大提高了标准数据集的最先进性能，使用我们快速，简单的机器，并要求零数据采集成本。
2014-12-09 cs.CV
Using Human Psychophysics to Evaluate Generalization in Scene Text Recognition Models
New York University（纽约大学）；Goethe University Frankfurt（法兰克福歌德大学）
近年来，场景文本识别模型有了很大的发展。受人类阅读的启发，我们描述了两个重要的场景文本识别模型，通过测量它们的域，即它们可以读取的刺激图像的范围。该域指定了读者对不同的字长、字体和遮挡量进行概括的能力。这些指标确定了现有模型的优点和缺点。相对于基于注意力的（Attn）模型，我们发现连接主义时间分类（CTC）模型对噪声和遮挡具有更好的鲁棒性，并且更好地推广到不同的字长。此外，我们表明，在这两个模型中，添加噪声的训练图像产生更好的泛化闭塞。这些结果证明了测试模型直到它们崩溃的价值，补充了传统数据科学对优化性能的关注。
2020-06-30 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology（华南理工大学）；SCUT-Zhuhai Institute of Modern Industrial Innovation（华南理工大学珠海现代产业创新研究院）
不规则文本被广泛使用。然而，由于它的各种形状和扭曲的图案，识别起来相当困难。因此，在本文中，我们提出了一个多对象纠正注意力网络（MORAN）的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像，设计了多目标校正网络。它降低了识别的难度，使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的，因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外，为了提高基于注意力的序列识别网络的灵敏度，在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制，MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验，结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Deep Learning based Isolated Arabic Scene Character Recognition
King Saud bin Abdulaziz University for Health Sciences（沙特·本·阿卜杜勒阿齐兹健康科学大学）；Malaysia Japan Institute of Information Technology (MJIIT)（马来西亚日本信息技术研究所）；Universiti Teknologi Malaysia（马来西亚理工大学）；GGPGC No.1, Abbottabad（阿伯塔巴德第一政府研究生院）；Higher Education Department, Khyber Pakhtunkhua (KPK)（开伯尔-普赫图赫瓦省高等教育厅）
相机和小工具的技术进步和复杂性促使研究人员专注于图像分析和文本理解。深度学习技术被证明可以很好地评估近年来报道的从自然场景图像中分类文本的潜力。有各种各样的深度学习方法可以有效地从图像中检测和识别文本。在这项工作中，我们提出了使用卷积神经网络（ConvNets）作为深度学习分类器的阿拉伯语场景文本识别。由于场景文本数据是倾斜和歪斜的，因此为了处理最大的变化，我们采用了五个方向相对于一个字符的单次出现。通过保持滤波器大小为3 x 3和5 x 5，步长值为1和2来制定训练。在文本分类阶段，我们以不同的学习率训练网络。我们的方法报告了令人鼓舞的结果识别阿拉伯字符分割阿拉伯场景图像。
2017-04-22 cs.CV
Towards Boosting the Accuracy of Non-Latin Scene Text Recognition
Centre for Vision Information Technology International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）
由于多种字体、简单的词汇统计、更新的数据生成工具和书写系统等因素，拉丁语言的场景文本识别明显优于非拉丁语言。本文通过比较英语数据集与非拉丁语数据集，研究了准确性低的可能原因。我们比较了各种特征，如单词图像的大小（宽度和高度）和字长统计数据。在过去的十年中，使用强大的深度学习技术生成合成数据集极大地改善了场景文本识别。通过改变（i）创建合成数据的字体和（ii）创建的单词图像的数量，对英语进行几个受控实验。我们发现，这些因素是至关重要的场景文本识别系统。英语合成数据集使用超过1400种字体，而阿拉伯语和其他非拉丁语数据集使用不到100种字体进行数据生成。由于这些语言中的一些是不同地区的一部分，我们通过基于区域的搜索来获得额外的字体，以改善阿拉伯语和梵文的场景文本识别模型。与以前的作品或基线相比，我们将阿拉伯语MLT-17和MLT-19数据集的单词识别率（WRR）提高了24.54%和2.32%。IIIT-ILST和MLT-19 Devanagari数据集的WRR增益分别为7.88%和3.72%。
2022-01-10 cs.CV
Towards Accurate Scene Text Recognition with Semantic Reasoning Networks
Baidu Inc（百度公司）
场景文本图像包含两个层次的内容：视觉纹理和语义信息。虽然在过去的几年中，以前的场景文本识别方法已经取得了很大的进展，挖掘语义信息，以辅助文本识别的研究受到较少的关注，只有RNN的类似结构的探索隐式建模语义信息。然而，我们观察到基于RNN的方法存在一些明显的缺点，如依赖于时间的解码方式和语义上下文的单向串行传输，这极大地限制了语义信息的帮助和计算效率。为了克服这些局限性，我们提出了一种新的端到端的可训练框架命名为语义推理网络（SRN）的准确场景文本识别，其中引入了一个全局语义推理模块（GSRM），通过多路并行传输捕获全局语义上下文。在规则文本、不规则文本和非拉丁文长文本等7个公共基准测试上的最新结果验证了该方法的有效性和鲁棒性。此外，SRN的速度比基于RNN的方法具有显着优势，证明了其在实际使用中的价值。
2020-03-27 cs.CV
Orientation-Independent Chinese Text Recognition in Scene Images
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Fudan University（复旦大学）
本文提出通过解耦文本图像的内容与方向信息，引入字符图像重建网络（CIRN），实现对自然场景中水平和垂直中文文本的稳健识别，并在VCTR数据集上取得45.63%的性能提升。
2023-09-03 cs.CV
Why You Should Try the Real Data for the Scene Text Recognition
Intel Corporation（英特尔公司）
近年来文本识别领域的研究工作将识别结果推向了新的高度。但长期以来，由于缺乏大型的人类标记的自然文本识别数据集，迫使研究人员使用合成数据来训练文本识别模型。尽管合成数据集非常大（MJSynth和SynthTest，两个最著名的合成数据集，每个都有数百万张图像），但与ICDAR等自然数据集相比，它们的多样性可能不足。幸运的是，最近发布的OpenImages V5数据集的文本识别注释具有与合成数据集相当的实例数量和更多样化的示例。我们已经使用了这个注释与来自Yet Another Mask Text Spotter的文本识别头部架构，并获得了与SOTA结果相当的结果。在某些数据集上，我们甚至超过了以前的SOTA模型。在本文中，我们还介绍了一个文本识别模型。该模型的代码可用。
2021-07-29 cs.CV
Scene Text recognition with Full Normalization
场景文本识别在近几年取得了长足的进步，已经成为工作流程中的重要组成部分。移动设备的广泛使用为在日常生活中使用OCR技术提供了广泛的可能性。然而，在这一领域缺乏新研究所需的训练数据仍然是相关的。在这篇文章中，我们提出了一个新的数据集，由智能手机上的真实镜头组成，并证明了在这项任务中配置文件归一化的有效性。此外，在智能手机上的文档图像分析模型的训练过程中，各种增强的影响进行了详细研究。我们的数据集是公开的。
2021-07-13 cs.CV
SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
场景文本识别是计算机视觉的一个研究热点。近年来，许多基于编码器-解码器框架的识别方法已经被提出，并且它们可以处理具有透视变形和曲线形状的场景文本。尽管如此，它们仍然面临着许多挑战，如图像模糊，光照不均匀和不完整的字符。我们认为，大多数编码器-解码器的方法是基于本地的视觉特征，没有明确的全局语义信息。在这项工作中，我们提出了一个语义增强的编码器-解码器框架，以鲁棒地识别低质量的场景文本。语义信息在编码器模块中用于监督，在解码器模块中用于初始化。特别是，国家的最先进的ASTER方法集成到建议的框架作为范例。大量实验表明，该框架对低质量文本图像具有更强的鲁棒性，并在多个基准数据集上取得了最佳效果。
2020-05-22 cs.CV
Focus-Enhanced Scene Text Recognition with Deformable Convolutions
University of Electronic Science and Technology of China（电子科技大学）
近年来，基于深度学习的场景文本识别方法在计算机视觉领域兴起。现有的方法取得了很好的性能，但不规则文本的识别仍然是具有挑战性的，由于各种形状和扭曲的模式。想想看，在现实世界中阅读文字时，我们通常不会在脑海中纠正它，而是调整我们的焦点和视野。同样，通过利用几何结构可调的可变形卷积层，我们提出了一种增强的识别网络，无需纠正处理不规则文本的步骤。大量的实验已经应用，在公共基准测试的结果证明了我们提出的组件的有效性，并表明我们的方法已经达到令人满意的性能。该代码将很快在https://github.com/Alpaca07/dtr上公开发布。
2019-09-23 cs.CV
SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition
South China University of Technology（华南理工大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Cloud AI（华为云人工智能部门）；IntSig Information Co., Ltd（合合信息科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
端到端的场景文本发现由于成功地挖掘了场景文本检测与识别的内在协同作用，近年来引起了人们的极大关注。然而，最近的国家的最先进的方法通常只是通过共享骨干，这并不直接利用这两个任务之间的功能相互作用，将检测和识别。在本文中，我们提出了一个新的端到端的场景文本定位框架，称为SwinTextSpotter。使用一个Transformer编码器与动态头作为检测器，我们统一了这两个任务与一个新的识别转换机制，明确指导文本定位通过识别损失。这种简单的设计产生了一个简洁的框架，既不需要额外的校正模块，也不需要对任意形状的文本进行字符级注释。在多方向数据集RoIC13和ICDAR 2015、任意形状数据集Total-Text和CTW1500以及多语言数据集ReCTS（中文）和VinText（越南语）上的定性和定量实验表明，SwinTextSpotter显著优于现有方法。代码可在www.example.com上获得。
2022-03-19 cs.CV
Efficiently Leveraging Linguistic Priors for Scene Text Spotting
University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出用大型语料库的语言先验替代独热编码，并生成无需领域微调的文本分布，以提升自回归场景文本定位与识别的准确率和定位精度。
2024-02-27 cs.CV
IterVM: Iterative Vision Modeling Module for Scene Text Recognition
Wangxuan Institute of Computer Technology Peking University, Beijing, China Email
由于自然图像中的图像条件不完善，场景文本识别（STR）是一个具有挑战性的问题。最先进的方法利用视觉线索和语言知识来解决这个具有挑战性的问题。具体来说，他们提出了迭代语言建模模块（IterLM）来反复优化视觉建模模块（VM）的输出序列。虽然取得了很好的效果，视觉建模模块已成为这些方法的性能瓶颈。在本文中，我们新提出了迭代视觉建模模块（IterVM），以进一步提高STR的准确性。具体地，第一个VM直接从输入图像中提取多级特征，并且随后的VM从输入图像中重新提取多级特征并将其与高级（即，最语义的一个）特征。通过将IterVM与迭代语言建模模块相结合，我们进一步提出了一个强大的场景文本识别器IterNet。大量的实验表明，所提出的IterVM可以显着提高场景文本识别的准确性，特别是在低质量的场景文本图像。此外，所提出的场景文本识别器IterNet在几个公共基准测试中取得了新的最先进的结果。代码将在https://github.com/VDIGPKU/IterNet上提供。
2022-04-06 cs.CV
Visual attention models for scene text recognition
Computer Vision Center（计算机视觉中心）；Media Integration and Communication Center (MICC)（媒体集成与通信中心 (MICC)）；Universita di Firenze（佛罗伦萨大学）
在本文中，我们提出了一种方法来词汇的无文本识别场景图像。我们的方法依赖于从卷积特征中学习的基于LSTM的软视觉注意力模型。从对应于图像的不同区域的中间卷积层导出一组特征向量。这允许将空间信息编码到图像表示中。通过这种方式，框架能够学习如何选择性地关注图像的不同部分。在每个时间步，识别器根据学习的注意力模型使用卷积特征向量的加权组合来发出一个字符。训练可以只使用单词级注释进行端到端。此外，我们表明，通过整合显式语言模型来修改波束搜索算法会导致更好的识别结果。我们在标准SVT和ICDAR '03场景文本数据集上验证了我们的方法的性能，在无约束文本识别中显示了最先进的性能。
2017-06-05 cs.CV
Scene Text Recognition with Temporal Convolutional Encoder
Shanghai Key Laboratory of Multidimensional Information Processing（上海市多维信息处理重点实验室）；East China Normal University（华东师范大学）；Videt Tech Ltd.（Videt科技有限公司）
来自场景图像的文本通常由多个字符组成，并表现出特征序列结构。现有的方法通过编码器捕获具有序列到序列模型的结构以具有视觉表示，然后解码器将特征翻译成标签序列。在本文中，我们研究的文本识别框架，考虑长期的时间依赖性在编码器阶段。我们证明了所提出的时间卷积编码器，增加了连续的程度，提高了文本识别的准确性。我们还研究了卷积块中不同注意力模块对学习准确文本表示的影响。我们在七个数据集上进行了比较，实验证明了我们提出的方法的有效性。
2020-02-16 cs.CV
SVTR: Scene Text Recognition with a Single Visual Model
Beijing Jiaotong University（北京交通大学）；Fudan University（复旦大学）；Baidu Inc.（百度公司）
主要场景文本识别模型通常包含两个构建块，用于特征提取的视觉模型和用于文本转录的序列模型。这种混合架构虽然准确，但复杂且效率较低。在这项研究中，我们提出了一个单一的视觉模型场景文本识别的分块图像标记化框架内，完全免除了顺序建模。该方法，称为SVTR，首先分解成小块的图像文本命名为字符组件。之后，通过成分级混合、合并和/或组合来循环地执行分层阶段。设计了全局和局部混合块来感知字符间和字符内模式，从而实现多粒度的字符组件感知。因此，通过简单的线性预测来识别字符。中英文场景文本识别的实验结果验证了SVTR的有效性。SVTR-L（Large）在英文中实现了极具竞争力的准确性，在中文中大幅优于现有方法，同时运行速度更快。此外，SVTR-T（Tiny）是一个有效的和更小的模型，它显示了吸引人的推理速度。该代码可在https://github.com/PaddlePaddle/PaddleOCR上公开获取。
2022-05-23 cs.CV
Image Processing Based Scene-Text Detection and Recognition with Tesseract
Kamag（卡马克公司）
文本识别是计算机视觉的一个具有挑战性的课题，具有很大的实际意义。光学字符识别（OCR）使不同的自动化应用成为可能。该项目的重点是自然图像中的单词检测和识别。与阅读扫描文档中的文本相比，目标问题更具挑战性。聚焦的用例有助于以更高的准确度检测自然场景中的文本区域，因为图像在约束条件下可用。这是通过安装在卡车上的摄像机实现的，该摄像机同样可以全天候捕捉图像。然后使用Tesseract OCR引擎识别检测到的文本区域。尽管它有利于低计算能力要求，但该模型仅限于特定用例。本文讨论了在测试过程中出现的严重误报情况，并阐述了用于缓解该问题的策略。该项目取得了80%以上的正确字符识别率。本文概述了该项目的发展阶段、主要挑战和一些有趣的发现。
2020-04-17 cs.CV
UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World
Carnegie Mellon University（卡内基梅隆大学）；Megvii (Face++) Technology Inc.（旷视科技）
合成数据已成为训练场景文本检测和识别模型的重要工具。一方面，在训练场景文本识别器时，合成文字图像已被证明是真实图像的成功替代。然而，另一方面，场景文本检测器仍然严重依赖于大量的手动注释的真实世界的图像，这是昂贵的。在本文中，我们介绍了UnrealText，一种高效的图像合成方法，通过3D图形引擎渲染逼真的图像。3D合成引擎通过整体渲染场景和文本来提供逼真的外观，并允许更好的文本区域建议，同时可以访问精确的场景信息，例如正常和均匀的对象网格。综合实验验证了该方法在场景文本检测和识别上的有效性。我们还生成了多语言版本，用于未来多语言场景文本检测和识别的研究。此外，我们以区分大小写的方式重新注释场景文本识别数据集，并包括标点符号以进行更全面的评估。代码和生成的数据集发布于：https://github.com/Jyouhou/UnrealText/。
2020-08-18 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.（卫士通信息产业股份有限公司）
场景文本识别（STR）使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息，除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers（MVLT）捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer，我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段：在第一阶段，我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段，我们微调我们的模型，并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
SEE: Towards Semi-Supervised End-to-End Scene Text Recognition
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳学院）
在自然场景图像中检测和识别文本是一个具有挑战性的，但尚未完全解决的任务。近年来，已经提出了几个新的系统，试图解决至少两个子任务（文本检测和文本识别）之一。在本文中，我们提出了SEE，半监督神经网络的场景文本检测和识别，可以优化端到端的一步。大多数现有的作品包括多个深度神经网络和几个预处理步骤。与此相反，我们建议使用单个深度神经网络，它以半监督的方式学习从自然图像中检测和识别文本。SEE是一个网络，它集成并联合学习空间Transformer网络和文本识别网络，空间transformer网络可以学习检测图像中的文本区域，文本识别网络可以识别识别的文本区域并识别其文本内容。我们介绍了我们的新方法背后的想法，并通过在标准基准数据集上进行一系列实验来展示其可行性，在这些实验中，我们获得了有竞争力的结果。
2017-12-14 cs.CV
SPIN: Structure-Preserving Inner Offset Network for Scene Text Recognition
Hikvision Research Institute（海康威视研究院）
在场景文本识别任务中，任意出现的文本都是一个很大的挑战。现有的作品大多是从形状变形的角度来处理这个问题，包括透视变形、线条弯曲或其他风格的变化。因此，基于空间Transformers的方法被广泛研究。然而，在复杂的场景中的色彩困难没有得到太多的关注。在这项工作中，我们引入了一个新的可学习的几何无关的模块，结构保持内偏移网络（SPIN），它允许在网络内的源数据的颜色操作。这个可微分模块可以插入到任何识别架构之前，以简化下游任务，使神经网络能够主动转换输入强度，而不是现有的空间校正。它还可以作为已知空间转换的补充模块，并以独立和协作的方式与它们一起工作。大量的实验表明，使用SPIN的结果在多个文本识别基准相比，国家的最先进的显着改善。
2021-10-25 cs.CV
ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition
Meituan-Dianping Group（美团点评集团）
近年来，场景文本识别一直被认为是一个序列到序列的问题。连接主义时间分类（CTC）和注意序列识别（Attn）是两种非常流行的方法来解决这个问题，但他们可能会在某些情况下分别失败。CTC更关注单个字符，但在文本语义依赖建模方面比较薄弱。基于Attn的方法具有更好的上下文语义建模能力，但往往在有限的训练数据上过拟合。在本文中，我们精心设计了一个校正注意双监督网络（ReADS）的一般场景文本识别。为了克服CTC和Attn的不足，我们将它们都应用到我们的方法中，但在两个监督分支中使用了不同的模块，可以相互补充。此外，有效的空间和通道注意力机制的引入，以消除背景噪声和提取有效的前景信息。最后，实现了一个简单的校正网络来校正不规则文本。ReADS可以进行端到端的训练，只需要单词级的注释。在各种基准测试上的大量实验验证了ReADS的有效性，达到了最先进的性能。
2020-04-07 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology（国防科技大学）
自然场景中的文本识别是一个具有挑战性的问题，因为影响文本外观的因素很多。在本文中，我们提出了一种方法，直接转录场景文本图像的文本，而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说，我们集成了卷积神经网络（CNN）和循环神经网络（RNN），这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆（LSTM）块作为隐藏单元，我们的模型可以保留长期记忆，而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明，该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
FedOCR: Communication-Efficient Federated Learning for Scene Text Recognition
Huazhong University of Science and Technology（华中科技大学）；Meituan（美团）
虽然场景文本识别技术已被广泛应用于商业应用，但数据隐私很少被该研究社区考虑。大多数现有的算法都假设一组共享或集中的训练数据。然而，在实践中，数据可能分布在不同的本地设备上，由于隐私限制，这些设备无法集中共享。在本文中，我们研究了如何利用分散的数据集来训练一个强大的场景文本识别器，同时保持它们留在本地设备上。据我们所知，我们提出了第一个利用联邦学习进行场景文本识别的框架，该框架是用分散的数据集协同训练的。因此，我们将其命名为FedOCR。为了使FedCOR非常适合部署在终端设备上，我们做了两个改进，包括使用轻量级模型和哈希技术。我们认为，就联邦学习的通信效率而言，这两者对FedOCR都至关重要。在分散数据集上的模拟表明，与使用集中数据训练的模型相比，所提出的FedOCR实现了具有竞争力的结果，具有更少的通信成本和更高级别的隐私保护。
2022-02-07 cs.CV
AutoSTR: Efficient Backbone Search for Scene Text Recognition
Paradigm Inc.（第四范式公司）；Huazhong University of Science and Technology（华中科技大学）
由于文本实例的多样性和场景的复杂性，场景文本识别（STR）具有很大的挑战性。社区越来越关注通过改进预处理图像模块来提高性能，如校正和去模糊，或序列翻译器。然而，另一个关键模块，即，特征序列提取器还没有被广泛研究。在这项工作中，受到神经架构搜索（NAS）的成功启发，它可以识别比人类设计的更好的架构，我们提出了自动STR（AutoSTR）来搜索依赖于数据的主干，以提高文本识别性能。首先，设计了一个特定领域的STR搜索空间，其中包含了操作选择和下采样路径约束，然后提出了一个两步搜索算法，该算法将操作和下采样路径相结合，在给定的搜索空间中进行有效的搜索。实验表明，通过搜索数据依赖的主干，AutoSTR可以在标准基准测试上以更少的FLOPS和模型参数表现出比最先进的方法更好的性能。
2020-07-16 cs.CV
Multi-Granularity Prediction for Scene Text Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）
场景文本识别（STR）是计算机视觉中一个非常活跃的研究课题。为了解决这个具有挑战性的问题，许多创新的方法已经相继提出，并将语言知识融入STR模型最近已成为一个突出的趋势。在这项工作中，我们首先从视觉Transformer（ViT）的最新进展中汲取灵感，构建一个概念简单但功能强大的视觉STR模型，该模型建立在ViT基础上，优于以前的最先进的场景文本识别模型，包括纯视觉模型和语言增强方法。为了整合语言知识，我们进一步提出了一种多粒度预测策略，以隐式的方式将来自语言模态的信息注入到模型中，即，除了传统的字符级表示之外，还将NLP中广泛使用的子词表示（BPE和WordPiece）引入到输出空间中，而不采用独立的语言模型（LM）。由此产生的算法（称为MGP-STR）是能够推动STR的性能包络到一个更高的水平。具体来说，它在标准基准测试中的平均识别准确率为93.35%。代码可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR上获得。
2022-10-17 cs.CV
A New Perspective for Flexible Feature Gathering in Scene Text Recognition Via Character Anchor Pooling
Peking University（北京大学）；Megvii (Face++) Technology Inc.（旷视（Face++）科技有限公司）
不规则场景文本识别一直受到研究界的关注，这主要是由于自然场景中文本形状的复杂性。然而，最近的方法要么依赖于形状敏感的模块，如限界框回归，或放弃序列学习。为了解决这些问题，我们提出了一对耦合模块，被称为字符识别模块（CAM）和锚池模块（APM），从二维空间中提取高层次的语义，形成特征序列。所提出的CAM本地化的文本在一个形状不敏感的方式通过设计锚定字符单独。然后，APM沿着字符锚点灵活地插值和收集特征，从而实现序列学习。互补模块实现了空间信息和序列学习的和谐统一。通过所提出的模块，我们的识别系统在不规则和透视文本数据集（包括ICDAR 2015，CUTE和Total-Text）上的得分超过了以前的最先进水平，同时在常规文本数据集上的性能达到了最先进水平。
2020-02-10 cs.CV
SCAN: Sliding Convolutional Attention Network for Scene Text Recognition
National Laboratory of Pattern Recognition (NLPR), Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
场景文本识别因其具有挑战性和广泛的应用前景而受到计算机视觉和人工智能领域的广泛关注。最先进的基于递归神经网络（RNN）的模型将输入序列映射到可变长度的输出序列，但通常以黑盒方式应用并且缺乏进一步改进的透明度，并且维持整个过去隐藏状态阻止了序列中的并行计算。本文研究了文本识别的内在特征，并借鉴人类阅读文本的认知机制，提出了一种基于滑动卷积注意力网络（SCAN）的场景文本识别方法。与阅读过程中的眼球运动类似，扫描的过程可以被视为扫视和视觉注视之间的交替。与以前的循环模型相比，SCAN的所有元素的计算在训练期间可以完全并行化。几个具有挑战性的基准测试，包括IIIT 5 k，SVT和ICDAR 2003/2013数据集的实验结果表明，SCAN在模型可解释性和性能方面优于最先进的方法。
2018-06-02 cs.CV
Scene Text Recognition with Sliding Convolutional Character Models
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
近年来，场景文本识别引起了计算机视觉和模式识别界的极大兴趣。最先进的方法使用卷积神经网络（CNN）、具有长短期记忆的递归神经网络（RNN-LSTM）或它们的组合。本文研究了文本识别的内在特征，并借鉴人类阅读文本的认知机制，提出了一种基于卷积特征映射的字符模型的场景文本识别方法。该方法同时检测和识别字符滑动的文本行图像与字符模型，这是学习端到端的文本行图像标记的文本抄本。滑动窗口上的字符分类器的输出进行归一化和解码的连接主义时间分类（CTC）的算法。与以前的方法相比，我们的方法具有许多吸引人的特性：（1）它避免了字符分割的困难，这阻碍了基于分割的识别方法的性能;（2）模型可以简单有效地训练，因为它避免了在训练基于RNN-LSTM的模型时的梯度消失/爆炸;（3）它基于无词典训练的字符模型，可以识别未知单词。(4)识别过程是高度并行的，并且能够实现快速识别。我们在几个具有挑战性的英文和中文基准测试数据集上的实验表明，该方法在模型规模相对较小的情况下，与现有方法相比，具有更好的性能。
2017-09-06 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的，由于文本的形状，字体，颜色，背景等大的变化，大多数国家的最先进的算法纠正输入图像到归一化的图像，然后把识别作为一个序列预测任务。这类方法的瓶颈是校正，这将导致错误，由于失真的角度。在本文中，我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此，我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56，34]不同，该模型仅使用Transformer的解码器来解码卷积注意力，所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式，我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明，所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一，其最先进的预测准确率为89.6%，我们的方法达到了99.3%，这是一个非常令人惊讶的结果。我们将公布我们的源代码，并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
Scene Text Recognition with Single-Point Decoding Network
University of Science and Technology Beijing（北京科技大学）
近年来，基于注意力的场景文本识别方法受到了广泛的关注。基于注意力的方法可以在解码过程中自适应地将注意力集中在一个小的区域甚至单个点上，其中注意力矩阵几乎是one-hot分布。此外，在推理过程中，整个特征图将被所有注意力矩阵加权和求和，导致巨大的冗余计算。在本文中，我们提出了一个有效的注意力自由单点解码网络（简称SPDN）的场景文本识别，它可以取代传统的注意力为基础的解码网络。具体来说，我们提出了单点采样模块（SPSM），以有效地采样特征图上的一个关键点解码一个字符。这样，我们的方法不仅可以精确地定位每个字符的关键点，但也删除了冗余的计算。基于SPSM，我们设计了一个高效的单点解码网络来代替基于注意力的解码网络。在公开的基准上进行的大量实验验证了我们的SPDN可以在不牺牲性能的情况下大大提高解码效率。
2022-09-05 cs.CV
TEACH: Text Encoding as Curriculum Hints for Scene Text Recognition
TEACH通过将真实文本作为辅助输入并逐步减少其影响，模拟课程学习过程，无需外部预训练和推理开销，在多个基准上提升场景文本识别准确率。
2025-08-02 cs.CV
A Holistic Representation Guided Attention Network for Scene Text Recognition
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（国家空天地海一体化大数据应用技术国家工程实验室）；The University of Adelaide（阿德莱德大学）；MinSheng FinTech Corp. Ltd.（民生金融科技股份有限公司）
自然图像中任意形状的不规则场景文本的读取仍然是一个具有挑战性的问题，尽管最近取得了进展。许多现有的方法结合了复杂的网络结构来处理各种形状，使用额外的注释进行更强的监督，或者采用难以训练的递归神经网络进行序列建模。在这项工作中，我们提出了一个简单而强大的场景文本识别方法。在不需要将输入图像转换为序列表示的情况下，我们直接将二维CNN特征连接到由整体表示指导的基于注意力的序列解码器。整体表示可以引导基于注意力的解码器关注更准确的区域。由于没有采用递归模块，我们的模型可以并行训练。与RNN相比，它实现了1.5倍至9.4倍的向后传递加速和1.3倍至7.9倍的向前传递加速。所提出的模型仅使用单词级注释进行训练。通过这种简单的设计，我们的方法在评估的规则和不规则场景文本基准数据集上实现了最先进或有竞争力的识别性能。
2021-03-30 cs.CV
FACLSTM: ConvLSTM with Focused Attention for Scene Text Recognition
East China Normal University（华东师范大学）；University of Technology Sydney（悉尼科技大学）；Tongji University（同济大学）
场景文本识别最近被广泛视为序列到序列的预测问题，其中传统的全连接LSTM（FC-LSTM）发挥了关键作用。由于FC-LSTM的局限性，现有方法必须将二维特征映射转换为一维序列特征向量，严重破坏了文本图像的空间和结构信息。在本文中，我们认为，场景文本识别本质上是一个时空预测问题，其2-D图像输入，并提出了一个基于卷积LSTM（ConvLSTM）的场景文本识别器，即FACLSTM，即，Focused Attention ConvLSTM，在使用LSTM执行顺序预测时，充分利用像素的空间相关性。特别地，通过卷积运算将注意力机制适当地结合到有效的ConvLSTM结构中，并且生成附加的字符中心掩码以帮助将注意力集中在正确的特征区域上。在基准数据集IIIT 5 K、SVT和CUTE上的实验结果表明，我们提出的FACLSTM在规则、低分辨率和有噪声的文本图像上具有竞争力，在大边距的弯曲文本上优于现有的方法。
2020-01-05 cs.CV
Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition
University of Science and Technology of China（中国科学技术大学）
语言知识对场景文本识别有很大帮助。然而，如何在端到端深度网络中有效地建模语言规则仍然是一个研究挑战。本文认为语言模型的有限容量来自：1）隐式语言建模; 2）单向特征表示; 3）带有噪声输入的语言模型。相应地，我们提出了一个自主的，双向的和迭代的ABINet场景文本识别。首先，自主建议阻止视觉和语言模型之间的梯度流，以执行显式语言建模。其次，提出了一种基于双向特征表示的双向完形填空网络（BCN）作为语言模型。第三，提出了一种语言模型迭代校正的执行方式，可以有效缓解噪声输入的影响。此外，基于迭代预测的集合，我们提出了一种自训练方法，可以有效地从未标记的图像中学习。大量的实验表明，ABINet在低质量图像上具有优越性，并在几个主流基准测试中取得了最先进的结果。此外，集成自训练训练的ABINet在实现人类水平的识别方面表现出了很好的改善。代码可在https://github.com/FangShancheng/ABINet上获得。
2021-03-11 cs.CV
Representation and Correlation Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于注意力的编码器-解码器框架广泛应用于场景文本识别任务中。然而，对于当前最先进的（SOTA）方法，在输入文本图像的局部视觉和全局上下文信息的有效使用以及场景处理模块（编码器）和文本处理模块（解码器）之间的鲁棒相关性方面存在改进的空间。在本文中，我们提出了一个表示和相关增强的编码器-解码器框架（RCEED），以解决这些不足，打破性能瓶颈。在编码器模块中，局部视觉特征、全局上下文特征和位置信息被对齐并融合以生成小尺寸的综合特征图。在解码模块中，采用了两种方法来增强场景和文本特征空间之间的相关性。1)解码器初始化由从编码器导出的整体特征和全局瞥见向量引导。2)由多头一般注意力产生的特征丰富的一瞥向量用于辅助RNN迭代和每个时间步的字符预测。同时，我们还设计了一个Layermorm-Dropout LSTM单元，以提高模型对可变文本的泛化能力。大量的基准测试实验表明，RCEED在场景文本识别任务，特别是不规则的文本识别任务中具有优越的性能。
2021-11-14 cs.CV
Text Recognition in Scene Image and Video Frame using Color Channel Selection
Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答分校）
近年来，自然场景图像和视频帧中的文本识别由于其复杂性和挑战性越来越受到研究者的关注。由于图像和视频帧内的文本的低分辨率、模糊效果、复杂的背景、不同的字体、颜色和变化的对齐方式等，在这种情况下文本识别是困难的。目前的方法大多采用二值化算法将图像转换为二值图像，然后进行OCR识别。本文提出了一种基于颜色通道选择的文本识别方法。在该方法中，首先，颜色通道的自动选择，然后选择颜色通道的文本识别。我们的文本识别框架是基于隐马尔可夫模型（HMM），它使用金字塔直方图的方向梯度特征提取选定的颜色通道。从每个滑动窗口的颜色通道，我们的颜色通道选择方法分析从滑动窗口的图像属性，然后应用多标签支持向量机（SVM）分类器选择的颜色通道，将提供最佳的识别结果在滑动窗口。已经发现，针对每个滑动窗口的这种颜色通道选择比针对整个单词图像考虑单个颜色通道更有成效。分析了五种不同的特征用于基于多标记支持向量机的颜色通道选择，其中基于小波变换的特征优于其他特征。我们的框架已经在不同的公开场景/视频文本图像数据集上进行了测试。对于梵文脚本，我们收集了自己的数据集。实验结果表明，该方法具有较好的性能.
2017-07-27 cs.CV
Relational Contrastive Learning for Scene Text Recognition
Shanghai Jiao Tong University（上海交通大学）
针对场景文本识别中因数据集有限和词汇依赖导致的文本关系受限及过拟合问题，提出统一框架RCLSTR，通过重排、层次和交互丰富文本关系，并基于因果性抑制上下文先验偏差以增强表示鲁棒性，实验证明其优于现有自监督方法。
2023-08-01 cs.CV
