A Robust Indoor Scene Recognition Method based on Sparse Representation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
在本文中，我们提出了一个强大的场景识别方法，它利用卷积神经网络（CNN）的功能和稀疏编码设置，通过创建一个新的表示室内场景。虽然CNN在计算机视觉和模式识别领域受益匪浅，但卷积层在全局方法上调整权重，这可能导致丢失重要的局部细节，如对象和小结构。我们提出的场景表示依赖于两个：全球功能，主要是指环境的结构，和本地功能，稀疏地结合起来，捕捉一个给定的场景中的常见对象的特性。这种新的表示基于场景的片段，并利用CNN提取的特征。实验评估表明，所得到的表示优于以前的场景识别方法Scene15和MIT67数据集上，并在SUN397上具有竞争力，同时对输入图像中的扰动（如噪声和遮挡）具有很强的鲁棒性。
2017-08-24 cs.CV
DiffusionSTR: Diffusion Model for Scene Text Recognition
FA Research, Fast Accounting Co., Ltd.（快速会计有限公司FA研究院）
本文提出DiffusionSTR，首次将扩散模型应用于场景文本识别，将其视为图像条件下的文本到文本任务，在公开数据集上取得了具竞争力的准确率。
2023-06-29 cs.CV
Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich（苏黎世联邦理工学院）；UCSD（加州大学圣迭戈分校）
在领域泛化中，从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中，我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符，共同捕捉细粒度的场景之间的细微差别，同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模，捕获每个场景中每个对象的信息量和可辨别性。然后，我们将这种情况转化为场景概率为每个场景图像。其次，我们认为，场景图像属于隐藏的语义主题，可以通过聚类我们的语义描述符发现。为了评估所提出的方法，我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明，所提出的方法在细粒度场景转换方面的有效性，优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
1st Place Solution to ECCV 2022 Challenge on Out of Vocabulary Scene Text Understanding: End-to-End Recognition of Out of Vocabulary Words
ByteDance Inc.（字节跳动公司）
场景文本识别近年来引起了越来越多的兴趣，由于其在多语言翻译，自动驾驶等方面的广泛应用，在这份报告中，我们描述了我们的解决方案，以词汇场景文本理解（OOV-ST）的挑战，其目的是从自然场景图像中提取词汇（OOV）的话。我们基于oCLIP的模型在h-mean中达到28.59\%，在ECCV 2022 TiE研讨会的OOV Challenge端到端OOV单词识别轨道中排名第一。
2022-09-01 cs.CV
Compositional 3D Scene Generation using Locally Conditioned Diffusion
Stanford University（斯坦福大学）
设计复杂的3D场景一直是一个繁琐的手动过程，需要领域专业知识。新兴的文本到3D生成模型显示出很大的希望，使这项任务更直观，但现有的方法仅限于对象级的生成。我们引入\textbf{locally conditioned diffusion}作为一种方法组成的场景扩散，使用文本提示和边界框提供对语义部分的控制，同时确保这些部分之间的无缝过渡。我们展示了一个分数蒸馏采样-基于文本到3D合成管道，使组成的3D场景生成在更高的保真度比相关的基线。
2023-03-23 cs.CV
KISS: Keeping It Simple for Scene Text Recognition
Hasso-Plattner-Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
在过去的几年里，已经提出了几种新的方法用于场景文本识别。这些方法中的大多数为神经网络提出了新的构建块。这些新颖的构建块是专门为场景文本识别任务量身定制的，因此几乎不能用于任何其他任务。在本文中，我们介绍了一个新的模型，场景文本识别，只包括现成的构建块的神经网络。我们的模型（KISS）由两个基于ResNet的特征提取器，一个空间Transformer和一个Transformer组成。我们仅在公开可用的合成训练数据上训练我们的模型，并在一系列场景文本识别基准上对其进行评估，在这些基准上，我们达到了最先进的或有竞争力的性能，尽管我们的模型不使用2D注意力或图像校正等方法。
2019-11-19 cs.CV
IFR: Iterative Fusion Based Recognizer For Low Quality Scene Text Recognition
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）
尽管最近基于深度学习的工作在提高场景文本识别的识别精度方面取得了进展，但如何在端到端深度网络中处理低质量的文本图像仍然是一个研究挑战。在本文中，我们提出了一个基于迭代融合的识别器（IFR）低质量的场景文本识别，利用精细的文本图像输入和强大的特征表示。IFR包含两个分支，分别专注于场景文本识别和低质量场景文本图像恢复。我们利用两个分支之间的迭代协作，可以有效地减轻低质量输入的影响。提出了一个特征融合模块，将识别器的特征与图像复原分支进行融合，增强了两个分支的特征表达能力。在不改变识别网络结构的情况下，大量的定量和定性实验结果表明，该方法在提高基准数据集和TextZoom数据集中低分辨率图像的识别准确率方面明显优于基线方法。
2021-08-13 cs.CV
Object Activity Scene Description, Construction and Recognition
Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
动作识别是社交机器人有意义地参与其环境的关键任务。基于人脸的三维人体动作识别是近年来的一个研究热点。虽然现有的方法在动作识别方面做得很好，但要识别活动场景中的一组动作是一个很大的挑战。为了解决这个问题，首先，我们划分成几个基本动作（PA）的运动注意力机制的基础上的场景。然后，基元动作由相应关节的轨迹向量描述。在此基础上，基于词嵌入的文本分类，我们采用卷积神经网络（CNN）识别活动场景，考虑到关节的运动作为“词”的活动。在人体活动场景数据集上的实验结果表明了该方法的有效性。
2018-05-01 cs.CV
A Feasible Framework for Arbitrary-Shaped Scene Text Recognition
Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
基于深度学习的方法在计算机视觉的经典问题之一场景文本识别（STR）中取得了令人惊讶的进展。本文提出了一个可行的多语言任意形状STR框架，包括基于实例分割的文本检测和基于语言模型的注意力机制的文本识别。我们的STR算法不仅可以识别拉丁文和非拉丁文字符，而且还支持任意形状的文本识别。我们的方法在ICDAR 2019 Robust Reading Challenge的Scene Text Spotting Task（Latin Only，Latin and Chinese）中获得了冠军。代码可在https://github.com/zhang0jhon/AttentionOCR上获得。
2019-12-12 cs.CV
A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University（上海交通大学）
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集，我们设计了一个用于中文场景字符生成的合成数据引擎，该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂，英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性，CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比，该算法具有更高的识别精度。
2016-04-07 cs.CV
ASK: Adaptively Selecting Key Local Features for RGB-D Scene Recognition
室内场景图像通常包含分散的对象和各种场景布局，这使得RGB-D场景分类成为一项具有挑战性的任务。现有的方法在对具有较大空间变化的场景图像进行分类时仍然存在局限性。因此，如何仅使用图像标签有效地提取局部块级特征仍然是RGB-D场景识别的一个开放问题。在本文中，我们提出了一个有效的框架RGB-D场景识别，自适应地选择重要的本地功能，以捕捉场景图像的巨大空间变化。具体来说，我们设计了一个可微局部特征选择（DLFS）模块，它可以提取适当数量的关键局部场景相关特征。可以使用DLFS模块从空间相关的多模态RGB-D特征中选择有区别的局部主题级和对象级表示。我们利用RGB和深度模态之间的相关性，为选择局部特征提供更多线索。为保证局部特征的区分性，提出了变分互信息损失最大化方法.此外，DLFS模块可以很容易地扩展到选择不同尺度的本地特征。通过连接局部无序和全局结构化多模态特征，所提出的框架可以在公开的RGB-D场景识别数据集上实现最先进的性能。
2021-10-14 cs.CV
Natural Scene Recognition Based on Superpixels and Deep Boltzmann Machines
Beijing University of Technology（北京工业大学）；University of Kansas（堪萨斯大学）
深度玻尔兹曼机（DBM）是一种最先进的无监督学习模型，已成功应用于手写数字识别和物体识别。然而，DBM在场景识别中受到限制，这是由于自然场景图像通常是非常大的。提出了一种基于超像素和DBM的场景识别方法。首先，一个简单的线性迭代聚类（SLIC）算法被用来生成输入图像的超像素，其中每个超像素被视为一个学习模型的输入。然后，一个两层DBM模型的构造通过堆叠两个限制玻尔兹曼机（RBM），和贪婪逐层算法被应用到训练的DBM模型。最后，使用softmax回归对场景图像进行分类。该方法可以有效地降低计算复杂性，提高大面积自然图像识别的性能。通过大量的实验对该方法进行了验证和评估，包括十五类场景数据集、UIUC八项运动数据集和SIFT流数据集。实验结果表明，该方法优于其他国家的最先进的方法在识别率。
2015-06-24 cs.CV
Scene Flow to Action Map: A New Representation for RGB-D based Action Recognition with Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；China University of Geosciences（中国地质大学）
场景流描述了真实世界中三维物体的运动，可能是三维动作识别的基础。然而，它用于动作识别，特别是在卷积神经网络（ConvNets）的背景下，以前没有研究过。在本文中，我们提出了从RGB-D数据中提取和使用场景流进行动作识别。以前的工作已经考虑了深度和RGB模态作为单独的通道，并提取特征用于以后的融合。我们采取不同的方法，并考虑作为一个实体的模态，从而允许特征提取的动作识别在开始。提出了利用场景流进行动作识别的两个关键问题：如何组织场景流矢量和如何基于场景流表示视频的长期动态特性。为了在可用数据集上正确计算场景流，我们提出了一种有效的自校准方法，在不知道相机参数的情况下在空间上对齐RGB和深度数据。基于场景流矢量，我们提出了一种新的表示，即场景流动作图（SFAM），描述了几个长期的时空动态动作识别。我们采用一个通道变换核，将场景流向量转换到一个类似RGB的最佳颜色空间。这种转换比ImageNet更好地利用了经过训练的ConvNets模型。实验结果表明，这种新的表示方法在两个大型公共数据集上的性能可以超过最先进的方法。
2017-03-27 cs.CV
The First Swahili Language Scene Text Detection and Recognition Dataset
Huazhong University of Science and Technology（华中科技大学）
针对斯瓦希里语场景文本研究缺乏公开数据集的问题，本文构建含976张词级标注图像的数据集，并在多种检测与识别模型上评估，将其作为基准公开以促进相关研究。
2024-05-19 cs.CV
From Volcano to Toyshop: Adaptive Discriminative Region Discovery for Scene Recognition
Radboud University（拉德堡德大学）；TU Delft（代尔夫特理工大学）
随着场景识别的深度学习方法的出现，它们继续在多个尺度上利用区分区域，建立在传统图像分类研究建立的实践基础上。然而，这些方法在很大程度上仍然是通用的，并且没有仔细考虑场景的特殊属性。在本文中，受场景和对象之间的直观差异的启发，我们提出了Adi-Red，一种自适应的判别区域发现方法，用于场景识别。Adi-Red使用CNN分类器，该分类器仅使用图像级场景标签进行预训练，以直接发现有区别的图像区域。然后，这些区域被用作执行场景识别的特征源。CNN分类器的使用使得可以以相对低的计算成本使用简单而优雅的阈值来适应每个图像的区分区域的数量。在场景识别基准数据集SUN 397上的实验结果证明了Adi-Red超越现有技术的能力。在Places数据集上的其他实验分析揭示了Adi-Red的优势，并强调了它们如何特定于场景。我们将Adi-Red的有效性归因于自适应区域发现的能力，以避免引入噪声，同时也不会错过重要信息。
2018-08-15 cs.CV
Scene Text Recognition With Finer Grid Rectification
Beijing Institute of Technology（北京理工大学）
场景文本的识别是一个具有挑战性的问题，因为不规则的风格和各种失真。本文提出了一种端到端的可训练模型，该模型由精细校正模块和双向注意力识别网络（Firbarn）组成。校正模块采用更细的网格对输入图像进行校正，双向解码器由原来的两层解码层改为一层解码层。Firbarn可以以弱监督的方式进行训练，只需要场景文本图像和相应的单词标签。通过灵活的校正和新颖的双向解码器，在标准基准测试上的广泛评估结果表明，Firbarn优于以往的工作，特别是在不规则数据集上。
2020-01-26 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此，对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法，熟悉的场景识别自我中心的视频，通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
A Novel Feature Extraction Method for Scene Recognition Based on Centered Convolutional Restricted Boltzmann Machines
Beijing University of Technology（北京工业大学）；University of Kansas（堪萨斯大学）
场景识别是计算机视觉领域的一个重要研究课题，而特征提取是目标识别的关键步骤。经典的受限玻尔兹曼机（RBM）虽然能够有效地表示复杂的数据，但由于其计算的复杂性，很难处理大型图像。提出了一种新的用于场景识别的特征提取方法--中心卷积限制玻尔兹曼机（CCRBM）。该模型是一种改进的卷积限制玻尔兹曼机（CRBM），通过在其学习策略中引入中心因子来减少不稳定性的来源。首先，使用中心因子重新定义网络的可见单元。然后，通过利用分布函数，用修改的能量函数来学习隐藏单元，并且使用学习的隐藏单元来重建可见单元。为了实现更好的生成能力，中心卷积深度信念网络（CCDBN）以贪婪的逐层方式进行训练。最后，结合softmax回归进行场景识别。使用自然场景，麻省理工学院室内场景和加州理工学院101数据集进行的广泛的实验评估表明，所提出的方法在稳定性，泛化和歧视方面优于其他同行。CCDBN模型由于具有卷积特性，更适合于自然场景图像识别。
2015-06-24 cs.CV
Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
空中场景识别是一项基本的视觉任务，在过去的几年里吸引了越来越多的研究兴趣。目前的研究主要集中在将一幅航拍图像分类到一个场景级标签上，而在现实场景中，一幅图像往往包含多个场景。因此，在本文中，我们提出了一个更实际和具有挑战性的任务，即多场景识别在单一的图像向前迈进了一步。此外，我们注意到，手动产生这样一个任务的注释是非常耗时耗力的。为了解决这个问题，我们提出了一个基于原型的记忆网络，通过利用大量注释良好的单场景图像来识别单个图像中的多个场景。所提出的网络由三个关键组件组成：1）一个原型学习模块，2）一个原型居住的外部存储器，和3）一个多头注意力为基础的记忆检索模块。更具体地说，我们首先从单场景航拍图像数据集中学习每个航拍场景的原型表示，并将其存储在外部存储器中。之后，设计了一个基于多头注意力的记忆检索模块，用于检索与查询多场景图像相关的场景原型，以进行最终预测。值得注意的是，在训练阶段仅需要有限数量的带注释的多场景图像。为了促进航空场景识别的进展，我们产生了一个新的多场景航空图像（MAI）数据集。在不同数据集配置上的实验结果证明了该网络的有效性。我们的数据集和代码是公开的。
2021-04-22 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications（电子信息与通信学院）；Huazhong University of Science and Technology（华中科技大学）
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构，它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比，该架构具有四个独特的属性：（1）它是端到端的可训练的，与大多数现有的算法，其组件是单独训练和调整。(2)它自然地处理任意长度的序列，不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制，在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型，这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明，该算法优于现有算法。此外，该算法在基于图像的乐谱识别任务中表现良好，这明显验证了它的通用性。
2015-07-21 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd（媒体智能技术有限公司）
场景文本识别的流行观点是从序列到序列（seq2seq）和分割。然而，前者由许多组件组成，这使得实现和部署复杂，而后者需要昂贵的字符级注释。在本文中，我们重新分类的角度来看，模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道，只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点，该模型的性能与其他观点的方法一样好。CSTR模型由CPNet（分类透视网络）和SPPN（分离卷积与全局平均池化预测网络）组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单，易于实现和部署。通过大量的实验，我们证明了分类视角对场景文本识别的有效性。此外，CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
A Discriminative Representation of Convolutional Features for Indoor Scene Recognition
University of Western Australia（西澳大利亚大学）
室内场景识别是一个多方面的和具有挑战性的问题，由于不同的类内变化和混乱的类间相似性。本文提出了一种新的方法，利用丰富的中层卷积特征来分类室内场景。传统上使用的卷积特征保留了全局空间结构，这是一般对象识别的理想属性。然而，我们认为，当我们在场景布局中有很大的变化时，这种结构性并没有多大帮助，例如，在室内场景中。我们建议将结构化卷积激活转换到另一个高度区分的特征空间。变换空间中的表示不仅结合了目标数据集的判别方面，而且还根据室内场景中存在的一般对象类别对特征进行编码。为此，我们引入了一个新的大规模数据集的1300对象类别，通常存在于室内场景。我们提出的方法实现了显着的性能提升，比以前的最先进的方法在五个主要的场景分类数据集。
2015-06-17 cs.CV
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
针对严重模糊图像生成能力不足的问题，提出识别引导扩散模型RGDiffSR，通过识别引导去噪网络提供语义指导，在TextZoom数据集上显著提升了文本识别准确率与图像保真度。
2023-11-22 cs.CV
Transferring Object-Scene Convolutional Neural Networks for Event Recognition in Still Images
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
静止图像中的事件识别是一个有趣的问题，具有实际应用的潜力。本文通过提出一种利用对象和场景知识进行事件分类的卷积神经网络（OS 2 E-CNN）来解决事件识别问题。直观地说，物体、场景和事件的概念之间存在着一种相互关联。我们的经验表明，识别的对象和场景大大有助于识别的事件。同时，我们提出了一种迭代选择方法来识别对象和场景类的子集，这有助于更有效地将它们的深层表示转换为事件识别。具体而言，我们开发了三种类型的传输技术：（1）基于初始化的传输，（2）基于知识的传输，和（3）基于数据的传输。这些新设计的转移技术利用多任务学习框架，将来自其他网络和其他数据集的额外知识纳入事件CNN的训练过程。这些多任务学习框架在减少过拟合的影响和提高学习的CNN的泛化能力方面是有效的。在OS 2 E-CNN中，我们设计了多比率和多尺度裁剪策略，并提出了一个端到端的事件识别管道。我们在三个事件识别基准上进行实验：ChaLearn文化事件识别数据集，事件识别Web图像数据集（WIDER）和UIUC体育事件数据集。实验结果表明，我们提出的算法成功地适应对象和场景表示对事件数据集，它实现了目前的最先进的性能，这些具有挑战性的数据集。
2016-09-01 cs.CV
MultiScene: A Large-scale Dataset and Benchmark for Multi-scene Recognition in Single Aerial Images
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
航空景象识别是高分辨率航空影像解译的基础研究课题。在过去的几年里，大多数研究都集中在将图像分类到一个场景类别中，而在现实世界中，更常见的是一幅图像包含多个场景。因此，在本文中，我们研究了一个更实际但尚未探索的任务-在单一图像的多场景识别。为此，我们创建了一个名为MultiScene的大规模数据集，由100，000张无约束的高分辨率航拍图像组成。考虑到手动标记这些图像是非常艰巨的，我们求助于来自众包平台的低成本注释，例如，OpenStreetMap（OSM）.然而，OSM数据可能会遭受不完整和不正确，这将噪声引入图像标签。为了解决这个问题，我们对14，000张图像进行了视觉检查，并纠正了它们的场景标签，产生了一个名为MultiScene-Clean的干净注释图像子集。有了它，我们可以使用干净的数据开发和评估用于多场景识别的深度网络。此外，我们提供了所有图像的众包注释，以研究带有噪声标签的网络学习。我们在MultiScene-Clean和MultiScene上使用广泛的基线模型进行实验，分别为单个图像中的多场景识别和从噪声标签中学习提供基准。为了促进进展，我们在https://gitlab.lrz.de/ai4eo/reasoning/multiscene上提供我们的数据集和训练模型。
2021-09-07 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所智能软件研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室）；State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题，本文提出CMFN，通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息，达到与SOTA相当的性能。
2024-01-18 cs.CV
Object-Scene Convolutional Neural Networks for Event Recognition in Images
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
从静止图像中识别事件对于图像理解具有重要意义。然而，与视频中的事件识别相比，图像中的事件识别的研究工作要少得多。针对图像事件识别问题，提出了一种基于深度神经网络的有效方法。具体来说，我们设计了一个新的架构，称为对象场景卷积神经网络（OS-CNN）。该体系结构被分解为对象网和场景网，分别从对象和场景上下文的角度提取对事件理解有用的信息。同时，我们研究了OS-CNN设计的不同网络架构，并使深度（AlexNet）和非常深度（GoogLeNet）网络适应事件识别任务。此外，我们还发现深度网络和超深度网络是互补的。最后，基于所提出的OS-CNN和不同网络架构的比较研究，我们提出了一个五流CNN的解决方案，用于ChaLearn Looking at People（ChaLearn Looking at People）2015挑战赛中的文化事件识别。我们的方法获得了85.5%的性能和排名的$1^{st}$在这个挑战的地方。
2015-05-02 cs.CV
Scene Recognition with Prototype-agnostic Scene Layout
University of Chinese Academy of Sciences（中国科学院大学）；China University of Mining and Technology（中国矿业大学）
摘要-利用场景图像的空间结构特征是场景识别的一个重要研究方向.由于类内结构的多样性，构建和建模灵活的结构布局以适应各种图像特征是一个挑战。现有的场景识别中的结构建模方法要么集中在预定义的网格上，要么依赖于学习的原型，这都具有有限的代表性能力。在本文中，我们提出了原型不可知场景布局（PaSL）的建设方法来建立空间结构的每一个图像不符合任何原型。我们的PaSL可以灵活地捕捉场景图像的不同空间特征，并具有相当的泛化能力。给定一个PaSL，我们构建布局图网络（LGN），其中PaSL中的区域被定义为节点，区域之间的两种独立关系被编码为边。LGN旨在通过图卷积将两个拓扑结构（在空间和语义相似性维度中形成）合并到图像表示中。大量的实验表明，我们的方法在广泛认可的MIT 67和SUN 397数据集上实现了最先进的结果，而无需多模型或多尺度融合。此外，我们还在最大规模的数据集之一Places 365上进行了实验。实验结果表明，该方法具有较好的推广性和较好的性能.
2019-09-07 cs.CV
I2C2W: Image-to-Character-to-Word Transformers for Accurate Scene Text Recognition
Nanyang Technological University（南洋理工大学）；Bytedance Inc.（字节跳动公司）
利用自然语言处理的进步，最近的场景文本识别器采用编码器-解码器架构，其中文本图像首先被转换为代表性的功能，然后通过“顺序解码”的字符序列。然而，场景文本图像遭受丰富的噪声的不同来源，如复杂的背景和几何失真，这往往混淆解码器，并导致不正确的对齐的视觉特征在嘈杂的解码时间步长。本文提出了I2 C2 W，一种新的场景文本识别技术，是宽容的几何和光度退化分解场景文本识别成两个相互连接的任务。第一个任务侧重于图像到字符（I2C）的映射，它检测一组字符候选人从图像的基础上不同的视觉特征的对齐，在一个非顺序的方式。第二个任务处理字符到单词（C2 W）映射，其通过从检测到的候选字符解码单词来识别场景文本。直接从字符语义（而不是噪声图像特征）学习，有效地纠正了错误检测的字符候选人，大大提高了最终的文本识别精度。在9个公共数据集上的大量实验表明，所提出的I2 C2 W在具有各种曲率和透视失真的具有挑战性的场景文本数据集上的性能优于最先进的算法。它还在多个正常场景文本数据集上实现了非常有竞争力的识别性能。
2022-12-19 cs.CV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（高雄师范大学）
场景文本识别（STR）在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据，但数据标记可能很困难，昂贵或耗时，特别是对于繁体中文文本识别。据我们所知，缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架，旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据，并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明，文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Semantic-guided modeling of spatial relation and object co-occurrence for indoor scene recognition
Shandong University（山东大学）；Engineering Research Center of Intelligent Unmanned System, Ministry of Education（教育部智能无人系统工程研究中心）
针对室内场景识别中空间布局多样与对象共存差异的挑战，提出SpaCoNet，通过语义分割引导同时建模空间关系与对象共现，并在三个数据集上验证了其有效性与通用性。
2025-01-04 cs.CV
Exploring Font-independent Features for Scene Text Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
场景文本识别（STR）在过去几年中得到了广泛的研究。许多最近提出的方法是专门设计，以适应任意形状，布局和方向的场景文本，但忽略了各种字体（或写作）风格也提出了严峻的挑战，STR。这些方法，其中字体特征和字符的内容特征纠缠在一起，表现不佳的文本识别场景图像与文本在新的字体风格。为了解决这个问题，我们通过大量的字体样式的字形的注意力生成的场景文本探索字体独立的功能。具体来说，我们引入了可训练的字体嵌入来塑造生成的字形的字体样式，场景文本的图像特征仅表示其基本模式。生成过程由空间注意力机制指导，该机制有效地处理不规则文本，并生成比现有图像到图像翻译方法更高质量的字形。在几个STR基准上进行的实验表明，与现有技术相比，我们的方法具有优越性。
2020-09-16 cs.CV
Learning Effective RGB-D Representations for Scene Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Computer Vision Center（计算机视觉中心）
深度卷积网络（CNN）可以在RGB场景识别上取得令人印象深刻的结果，这要归功于Places等大型数据集。相比之下，RGB-D场景识别相比之下仍然是欠发达的，由于我们在本文中解决的RGB-D数据的两个限制。第一个限制是缺乏用于训练深度学习模型的深度数据。我们没有微调或转移RGB特定的特征，而是通过提出一种架构和两步训练方法来解决这一限制，该方法通过补丁使用弱监督直接学习有效的深度特定特征。由此产生的RGB-D模型还受益于更多互补的多模态特征。另一个限制是深度传感器的短距离（通常为0.5米至5.5米），导致深度图像无法捕获RGB图像可以捕获的场景中的远处物体。我们表明，这种限制可以通过使用RGB-D视频来解决，当相机在场景中移动时，可以积累更全面的深度信息。针对这种情况，我们引入了ISIA RGB-D视频数据集来评估视频的RGB-D场景识别。我们的视频识别架构结合了卷积和递归神经网络（RNN），这些网络通过三个步骤进行训练，并使用越来越复杂的数据来学习有效的特征（即补丁，帧和序列）。我们的方法在RGB-D图像（NYUD 2和SUN RGB-D）和视频（ISIA RGB-D）场景识别上获得了最先进的性能。
2018-09-17 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University（厦门大学）；University of Waterloo（滑铁卢大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一种有效的场景文本识别方法，使用稀疏编码的基础上的功能，称为稀疏编码直方图（HSC）功能。对于字符检测，我们使用的HSC功能，而不是使用直方图的方向一致性（HOG）功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码，并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别，我们整合了多个线索，包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差（MCE）训练方法来学习。在几个具有挑战性的数据集上的实验表明，所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法，并且优于大多数最先进的方法。
2015-12-29 cs.CV
MMIS: Multimodal Dataset for Interior Scene Visual Generation and Recognition
MSA University（MSA大学）
本研究推出包含近16万张图像、配套文本描述与语音标注的多模态室内场景数据集MMIS，覆盖多样室内空间风格布局，可支撑图像生成、检索等多模态表征学习研究。
2024-07-08 cs.CV
Traffic scene recognition based on deep cnn and vlad spatial pyramids
University of Liverpool（利物浦大学）
交通场景识别是智能交通系统（ITS）中的一个重要而又具有挑战性的问题.近年来，卷积神经网络（CNN）模型在包括场景分类在内的许多应用中取得了巨大的成功。CNN显著的表征学习能力仍有待进一步探索，以解决现实世界的问题。局部聚集描述符向量（VLAD）编码也被证明是一种捕获全局上下文信息的强大方法。在本文中，我们试图解决交通场景识别问题相结合的功能表示能力的CNN与VLAD编码方案。更具体地，通过应用VLAD来编码由区域提议算法生成的图像块的CNN特征，其随后以紧凑表示来表示图像。为了捕获空间信息，利用空间金字塔来编码CNN特征。我们实验了10类交通场景的数据集，具有令人满意的分类性能。
2017-07-24 cs.CV
Boosting Scene Character Recognition by Learning Canonical Forms of Glyphs
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
场景字符识别作为文档分析中的基本问题之一，近年来引起了人们的广泛关注。但是，这个问题仍然被认为是非常具有挑战性的，由于许多不可控的因素，包括图像变换，模糊，嘈杂的背景，不均匀的照明，在本文中，我们提出了一种新的方法来提高场景字符识别学习规范形式的字形，基于这一事实，即出现在场景图像中的字符都来自其相应的规范形式。我们的主要观察结果是，与传统的基于分类的特征学习框架相比，通过解决专门设计的生成任务可以学习到更多的区分特征。具体来说，我们设计了一个基于GAN的模型，使学习到的给定场景角色的深度特征能够以多种标准字体风格重建相应的字形。通过这种方式，我们获得了场景字符的深度特征，这些特征在识别中更具歧视性，并且对上述因素不太敏感。我们在几个公开的数据库上进行的实验证明了我们的方法与现有技术相比的优越性。
2019-07-25 cs.CV
KhmerST: A Low-Resource Khmer Scene Text Detection and Recognition Benchmark
La Rochelle University（拉罗谢尔大学）；Cambodia Academy of Digital Technology（柬埔寨数字技术学院）
针对高棉语低资源场景文本检测与识别缺乏数据的问题，本文构建含1,544张专家标注图像的KhmerST数据集及基线模型，并公开发布。
2024-10-23 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo（东京大学）
场景文本识别（STR）任务有一个共同的做法：所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反，当我们必须在没有合成数据的情况下训练STR模型时，只在较少的真实标签上训练STR模型（标签较少的STR）是很重要的：对于难以合成生成的手写或艺术文本，以及对于英语以外的语言，我们并不总是有合成数据。然而，有一个隐含的常识，即在真实数据上训练STR模型几乎是不可能的，因为真实数据是不够的。我们认为，这种常识阻碍了STR的研究与较少的标签。在这项工作中，我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据，并表明，我们可以训练STR模型令人满意的只有真正的标记数据。随后，我们发现简单的数据增强，以充分利用真实数据。此外，我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此，我们得到了一个竞争模型的国家的最先进的方法。据我们所知，这是第一项研究，1）仅使用真实标签显示出足够的性能，2）将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得：https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition
Harvard University（哈佛大学）
卷积神经网络（CNN）的进步在实现多个对象识别任务的高性能水平方面取得了重大进展。虽然一些方法利用来自整个场景的信息来提出感兴趣的区域，但是解释特定区域或对象的任务仍然独立于图像中的其他对象和特征来执行。在这里，我们证明了一个场景的“要点”可以显着有助于人类如何识别物体。这些发现与人类在物体上形成中央凹并结合周边信息以帮助识别的概念一致。我们使用生物启发的两部分卷积神经网络（“GistNet”），该网络对中央凹和外围进行建模，以提供原理证明，即计算对象识别可以从场景的要点作为上下文信息中显著受益。我们的模型在某些对象类别中结合上下文要点时，准确性提高了50%，而原始模型大小仅增加了5%。这个模型反映了我们对人类视觉系统如何识别物体的直觉，提出了具体的生物学合理的约束，以改善机器视觉和建立初步步骤的挑战场景理解。
2018-06-09 cs.CV
Primitive Representation Learning for Scene Text Recognition
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
由于自然场景图像中文本实例的多样性变化，场景文本识别是一项具有挑战性的任务。传统的基于CNN-RNN-CTC或具有注意力机制的编码器-解码器的方法可能无法充分研究多方向场景文本的稳定和有效的特征表示。在本文中，我们提出了一个原始的表示学习方法，旨在利用场景文本图像的内在表示。我们将特征图中的元素建模为无向图的节点。提出了一种池化聚合器和一种加权聚合器来学习原始表示，这些原始表示通过图卷积网络转换为高级视觉文本表示。构造了一个原始的表示学习网络（PREN），利用视觉文本表示进行并行解码。此外，通过将视觉文本表示与2D注意力机制集成到编码器-解码器模型中，我们提出了一个称为PREN 2D的框架，以减轻基于注意力的方法中的错位问题。中英文场景文本识别的实验结果表明，PREN在准确率和效率之间保持了平衡，而PREN 2D则达到了最先进的性能。
2021-05-10 cs.CV
Edit Probability for Scene Text Recognition
Fudan University（复旦大学）；Hikvision Research Institute（海康威视研究院）
本文在基于注意力的编码器-解码器框架下研究场景文本识别问题，现有方法通常采用逐帧最大似然损失来优化模型。在对模型进行训练时，由于字符的缺失或多余而导致的注意力输出序列与真实字符串的概率分布不一致，会对训练过程造成混淆和误导，从而造成训练代价的增加和识别精度的降低。为了解决这个问题，我们提出了一种新的方法称为编辑概率（EP）的场景文本识别。EP试图有效地估计从以输入图像为条件的概率分布的输出序列生成字符串的概率，同时考虑丢失/多余字符的可能发生。其优点在于，训练过程可以集中在丢失的，多余的和未识别的字符，从而可以减轻甚至克服错位问题的影响。我们对标准基准进行了广泛的实验，包括IIIT-5 K，街景文本和ICDAR数据集。实验结果表明，该方法能显著提高场景文本识别性能.
2018-05-09 cs.CV
Unconstrained Scene Text and Video Text Recognition for Arabic Script
Center for Visual Information Technology, IIIT Hyderabad（海得拉巴国际信息技术研究所视觉信息技术中心）
为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务，我们引入了一个新的阿拉伯语场景文本数据集，并建立基线结果。对于像阿拉伯语这样的脚本，开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37]，该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要，这对于阿拉伯文字来说通常是困难的。此外，RNN对上下文依赖性进行建模的能力产生了更好的识别结果。
2017-11-07 cs.CV
SOAR: Scene-debiasing Open-set Action Recognition
University at Buffalo（布法罗大学）；Wormpex AI Research（Wormpex AI研究院）
针对开放集动作识别中模型依赖背景场景等虚假线索的问题，提出SOAR方法，通过对抗性场景重建与自适应对抗性场景分类模块学习场景不变特征，实验证明其优于现有方法。
2023-09-03 cs.CV
Reading in the Dark: Low-light Scene Text Recognition
Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心，西班牙）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出LSTR和ESTR数据集，通过改进的OCR模型和联合训练策略提升低光照环境下的文本识别性能，探讨了光照强度对识别效果的影响。
2026-04-26 cs.CV
Places205-VGGNet Models for Scene Recognition
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
VGGNet已经被证明对静态图像中的对象识别有效。然而，它无法通过直接调整在ImageNet数据集上训练的VGGNet模型来获得良好的性能。本报告描述了我们在大规模Places 205数据集上训练VGGNet的实现。具体来说，我们训练三个VGGNet模型，即VGGNet-11，VGGNet-13和VGGNet-16，通过使用多GPU扩展的Caffe工具箱具有高计算效率。我们在三个数据集上验证了经过训练的Places 205-VGGNet模型的性能：MIT 67，SUN 397和Places 205。我们的训练模型在这些数据集上实现了最先进的性能，并公开提供。
2015-08-07 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford（牛津大学）
在这项工作中，我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据，并在整个图像上进行文字识别，从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实，足以取代真实数据，为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性，在这里我们考虑三种模型，每种模型都以不同的方式“阅读”单词：通过90 k路字典编码，字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中，我们大大提高了标准数据集的最先进性能，使用我们快速，简单的机器，并要求零数据采集成本。
2014-12-09 cs.CV
Using Human Psychophysics to Evaluate Generalization in Scene Text Recognition Models
New York University（纽约大学）；Goethe University Frankfurt（法兰克福歌德大学）
近年来，场景文本识别模型有了很大的发展。受人类阅读的启发，我们描述了两个重要的场景文本识别模型，通过测量它们的域，即它们可以读取的刺激图像的范围。该域指定了读者对不同的字长、字体和遮挡量进行概括的能力。这些指标确定了现有模型的优点和缺点。相对于基于注意力的（Attn）模型，我们发现连接主义时间分类（CTC）模型对噪声和遮挡具有更好的鲁棒性，并且更好地推广到不同的字长。此外，我们表明，在这两个模型中，添加噪声的训练图像产生更好的泛化闭塞。这些结果证明了测试模型直到它们崩溃的价值，补充了传统数据科学对优化性能的关注。
2020-06-30 cs.CV
Scene recognition with CNNs: objects, scales and dataset bias
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)（中国科学院智能信息处理重点实验室）；Institute of Computer Technology, CAS, Beijing, 100190, China（中国科学院计算机技术研究所）
由于场景是由部分对象组成的，因此场景的准确识别需要关于场景和对象的知识。在本文中，我们解决了两个相关的问题：1）多尺度卷积神经网络（CNN）架构中的尺度诱导数据集偏差，以及2）如何在CNN中有效地结合以场景为中心和以对象为中心的知识（即Places和ImageNet）。早期的一次尝试Hybrid-CNN表明，整合ImageNet并没有多大帮助。在这里，我们提出了一种替代方法，考虑到规模，导致显着的识别增益。通过分析不同尺度下ImageNet-CNN和Places-CNN的响应，我们发现两者都在不同的尺度范围内运行，因此对所有尺度使用相同的网络会导致数据集偏差，从而导致性能有限。因此，使特征提取器适应每个特定尺度（即特定尺度的CNN）对于提高识别率至关重要，因为场景中的对象具有特定的尺度范围。实验结果表明，识别准确率高度依赖于尺度，并且简单但精心选择的ImageNet-CNN和Places-CNN的多尺度组合可以将SUN 397中最先进的识别准确率提高到66.26%（甚至70.17%，具有更深的架构，与人类表现相当）。
2018-01-21 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology（华南理工大学）；SCUT-Zhuhai Institute of Modern Industrial Innovation（华南理工大学珠海现代产业创新研究院）
不规则文本被广泛使用。然而，由于它的各种形状和扭曲的图案，识别起来相当困难。因此，在本文中，我们提出了一个多对象纠正注意力网络（MORAN）的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像，设计了多目标校正网络。它降低了识别的难度，使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的，因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外，为了提高基于注意力的序列识别网络的灵敏度，在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制，MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验，结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Deep Learning based Isolated Arabic Scene Character Recognition
King Saud bin Abdulaziz University for Health Sciences（沙特·本·阿卜杜勒阿齐兹健康科学大学）；Malaysia Japan Institute of Information Technology (MJIIT)（马来西亚日本信息技术研究所）；Universiti Teknologi Malaysia（马来西亚理工大学）；GGPGC No.1, Abbottabad（阿伯塔巴德第一政府研究生院）；Higher Education Department, Khyber Pakhtunkhua (KPK)（开伯尔-普赫图赫瓦省高等教育厅）
相机和小工具的技术进步和复杂性促使研究人员专注于图像分析和文本理解。深度学习技术被证明可以很好地评估近年来报道的从自然场景图像中分类文本的潜力。有各种各样的深度学习方法可以有效地从图像中检测和识别文本。在这项工作中，我们提出了使用卷积神经网络（ConvNets）作为深度学习分类器的阿拉伯语场景文本识别。由于场景文本数据是倾斜和歪斜的，因此为了处理最大的变化，我们采用了五个方向相对于一个字符的单次出现。通过保持滤波器大小为3 x 3和5 x 5，步长值为1和2来制定训练。在文本分类阶段，我们以不同的学习率训练网络。我们的方法报告了令人鼓舞的结果识别阿拉伯字符分割阿拉伯场景图像。
2017-04-22 cs.CV
Towards Boosting the Accuracy of Non-Latin Scene Text Recognition
Centre for Vision Information Technology International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）
由于多种字体、简单的词汇统计、更新的数据生成工具和书写系统等因素，拉丁语言的场景文本识别明显优于非拉丁语言。本文通过比较英语数据集与非拉丁语数据集，研究了准确性低的可能原因。我们比较了各种特征，如单词图像的大小（宽度和高度）和字长统计数据。在过去的十年中，使用强大的深度学习技术生成合成数据集极大地改善了场景文本识别。通过改变（i）创建合成数据的字体和（ii）创建的单词图像的数量，对英语进行几个受控实验。我们发现，这些因素是至关重要的场景文本识别系统。英语合成数据集使用超过1400种字体，而阿拉伯语和其他非拉丁语数据集使用不到100种字体进行数据生成。由于这些语言中的一些是不同地区的一部分，我们通过基于区域的搜索来获得额外的字体，以改善阿拉伯语和梵文的场景文本识别模型。与以前的作品或基线相比，我们将阿拉伯语MLT-17和MLT-19数据集的单词识别率（WRR）提高了24.54%和2.32%。IIIT-ILST和MLT-19 Devanagari数据集的WRR增益分别为7.88%和3.72%。
2022-01-10 cs.CV
Translate-to-Recognize Networks for RGB-D Scene Recognition
Nanjing University（南京大学）
跨模态迁移有助于增强场景识别的模态区分能力。为此，本文提出了一个统一的框架，整合跨模态翻译和特定模态识别的任务，称为翻译识别网络（TRecgNet）。具体来说，翻译和识别任务共享相同的编码器网络，这允许在翻译的帮助下显式地正则化识别任务的训练，从而提高其最终的泛化能力。对于翻译任务，我们在编码器网络之上放置解码器模块，并使用新的逐层语义损失进行优化，而对于识别任务，我们使用基于编码器特征嵌入的线性分类器，其训练由标准交叉熵损失指导。此外，我们的TRegNet允许利用大量未标记的RGB-D数据来训练翻译任务，从而提高编码器网络的表示能力。实验证明，这种新的半监督设置能够进一步提高识别网络的性能。我们在两个RGB-D场景识别基准测试：NYU Depth v2和SUN RGB-D上进行了实验，证明了TRegNet比现有的最先进的方法具有更好的性能，特别是对于仅基于单一模态的识别。
2019-04-28 cs.CV
Towards Accurate Scene Text Recognition with Semantic Reasoning Networks
Baidu Inc（百度公司）
场景文本图像包含两个层次的内容：视觉纹理和语义信息。虽然在过去的几年中，以前的场景文本识别方法已经取得了很大的进展，挖掘语义信息，以辅助文本识别的研究受到较少的关注，只有RNN的类似结构的探索隐式建模语义信息。然而，我们观察到基于RNN的方法存在一些明显的缺点，如依赖于时间的解码方式和语义上下文的单向串行传输，这极大地限制了语义信息的帮助和计算效率。为了克服这些局限性，我们提出了一种新的端到端的可训练框架命名为语义推理网络（SRN）的准确场景文本识别，其中引入了一个全局语义推理模块（GSRM），通过多路并行传输捕获全局语义上下文。在规则文本、不规则文本和非拉丁文长文本等7个公共基准测试上的最新结果验证了该方法的有效性和鲁棒性。此外，SRN的速度比基于RNN的方法具有显着优势，证明了其在实际使用中的价值。
2020-03-27 cs.CV
