IFR: Iterative Fusion Based Recognizer For Low Quality Scene Text Recognition
Shanghai Institute for Advanced Communication and Data Science, Shanghai University(上海大学上海先进通信与数据科学研究院)
尽管最近基于深度学习的工作在提高场景文本识别的识别精度方面取得了进展,但如何在端到端深度网络中处理低质量的文本图像仍然是一个研究挑战。在本文中,我们提出了一个基于迭代融合的识别器(IFR)低质量的场景文本识别,利用精细的文本图像输入和强大的特征表示。IFR包含两个分支,分别专注于场景文本识别和低质量场景文本图像恢复。我们利用两个分支之间的迭代协作,可以有效地减轻低质量输入的影响。提出了一个特征融合模块,将识别器的特征与图像复原分支进行融合,增强了两个分支的特征表达能力。在不改变识别网络结构的情况下,大量的定量和定性实验结果表明,该方法在提高基准数据集和TextZoom数据集中低分辨率图像的识别准确率方面明显优于基线方法。
2021-08-13 cs.CV
A Feasible Framework for Arbitrary-Shaped Scene Text Recognition
Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
基于深度学习的方法在计算机视觉的经典问题之一场景文本识别(STR)中取得了令人惊讶的进展。本文提出了一个可行的多语言任意形状STR框架,包括基于实例分割的文本检测和基于语言模型的注意力机制的文本识别。我们的STR算法不仅可以识别拉丁文和非拉丁文字符,而且还支持任意形状的文本识别。我们的方法在ICDAR 2019 Robust Reading Challenge的Scene Text Spotting Task(Latin Only,Latin and Chinese)中获得了冠军。代码可在https://github.com/zhang0jhon/AttentionOCR上获得。
2019-12-12 cs.CV
A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University(上海交通大学)
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集,我们设计了一个用于中文场景字符生成的合成数据引擎,该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂,英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性,CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比,该算法具有更高的识别精度。
2016-04-07 cs.CV
The First Swahili Language Scene Text Detection and Recognition Dataset
Huazhong University of Science and Technology(华中科技大学)
针对斯瓦希里语场景文本研究缺乏公开数据集的问题,本文构建含976张词级标注图像的数据集,并在多种检测与识别模型上评估,将其作为基准公开以促进相关研究。
2024-05-19 cs.CV
Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);Huawei Inc.(华为公司);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院)
本文提出类别感知掩码引导特征细化方法CAM,利用规范字形掩码抑制背景与风格噪声,并通过特征对齐与融合模块提升场景文本识别性能,在多个基准上优于现有方法。
2024-02-21 cs.CV
Scene Text Recognition With Finer Grid Rectification
Beijing Institute of Technology(北京理工大学)
场景文本的识别是一个具有挑战性的问题,因为不规则的风格和各种失真。本文提出了一种端到端的可训练模型,该模型由精细校正模块和双向注意力识别网络(Firbarn)组成。校正模块采用更细的网格对输入图像进行校正,双向解码器由原来的两层解码层改为一层解码层。Firbarn可以以弱监督的方式进行训练,只需要场景文本图像和相应的单词标签。通过灵活的校正和新颖的双向解码器,在标准基准测试上的广泛评估结果表明,Firbarn优于以往的工作,特别是在不规则数据集上。
2020-01-26 cs.CV
Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting
Huazhong University of Science and Technology(华中科技大学);Facebook AI(Facebook人工智能)
近年来,端到端可训练的场景文本定位方法,结合检测和识别,显示了很大的进展。然而,目前大多数的任意形状的场景文本spotters使用区域建议网络(RPN)产生的建议。RPN在很大程度上依赖于手动设计的锚点,其建议用轴对齐的矩形表示。前者在处理极端纵横比或不规则形状的文本实例时存在困难,而后者通常在密集定向文本的情况下将多个相邻实例包含到单个提案中。为了解决这些问题,我们提出了Mask TextSpotter v3,这是一个端到端的可训练场景文本定位器,它采用了分割建议网络(SPN)而不是RPN。我们的SPN是无锚的,并给出了任意形状的建议的准确表示。因此,它在检测极端纵横比或不规则形状的文本实例方面优于RPN。此外,SPN产生的准确建议允许掩蔽的RoI特征用于解耦相邻文本实例。因此,我们的TextMask TextSpotter v3可以处理极端宽高比或不规则形状的文本实例,其识别精度不会受到附近文本或背景噪音的影响。具体来说,我们在Rotated ICDAR 2013数据集上的表现比最先进的方法高出21.9%(旋转鲁棒性),在Total-Text数据集上高出5.9%(形状鲁棒性),并在MSRA-TD 500数据集上实现了最先进的性能(纵横比鲁棒性)。代码可在:https://github.com/MhLiao/MaskTextSpotterV3
2020-07-18 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构,它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比,该架构具有四个独特的属性:(1)它是端到端的可训练的,与大多数现有的算法,其组件是单独训练和调整。(2)它自然地处理任意长度的序列,不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制,在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型,这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明,该算法优于现有算法。此外,该算法在基于图像的乐谱识别任务中表现良好,这明显验证了它的通用性。
2015-07-21 cs.CV
Revisiting Classification Perspective on Scene Text Recognition
Media Intelligence Technology Co.,Ltd(媒体智能技术有限公司)
场景文本识别的流行观点是从序列到序列(seq2seq)和分割。然而,前者由许多组件组成,这使得实现和部署复杂,而后者需要昂贵的字符级注释。在本文中,我们重新分类的角度来看,模型场景文本识别作为一个图像分类问题。分类透视图有一个简单的管道,只需要单词级别的注释。我们通过设计一个名为CSTR的场景文本识别模型来恢复分类的观点,该模型的性能与其他观点的方法一样好。CSTR模型由CPNet(分类透视网络)和SPPN(分离卷积与全局平均池化预测网络)组成。CSTR与ResNet \cite{he2016deep}等图像分类模型一样简单,易于实现和部署。通过大量的实验,我们证明了分类视角对场景文本识别的有效性。此外,CSTR在包括常规文本、不规则文本在内的六个公共基准测试中达到了接近最先进的性能。该代码将在https://github.com/Media-Smart/vedastr上提供。
2021-06-12 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所智能软件研究中心);University of Chinese Academy of Sciences(中国科学院大学);The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能实验室);State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所计算机科学国家重点实验室)
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题,本文提出CMFN,通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息,达到与SOTA相当的性能。
2024-01-18 cs.CV
I2C2W: Image-to-Character-to-Word Transformers for Accurate Scene Text Recognition
Nanyang Technological University(南洋理工大学);Bytedance Inc.(字节跳动公司)
利用自然语言处理的进步,最近的场景文本识别器采用编码器-解码器架构,其中文本图像首先被转换为代表性的功能,然后通过“顺序解码”的字符序列。然而,场景文本图像遭受丰富的噪声的不同来源,如复杂的背景和几何失真,这往往混淆解码器,并导致不正确的对齐的视觉特征在嘈杂的解码时间步长。本文提出了I2 C2 W,一种新的场景文本识别技术,是宽容的几何和光度退化分解场景文本识别成两个相互连接的任务。第一个任务侧重于图像到字符(I2C)的映射,它检测一组字符候选人从图像的基础上不同的视觉特征的对齐,在一个非顺序的方式。第二个任务处理字符到单词(C2 W)映射,其通过从检测到的候选字符解码单词来识别场景文本。直接从字符语义(而不是噪声图像特征)学习,有效地纠正了错误检测的字符候选人,大大提高了最终的文本识别精度。在9个公共数据集上的大量实验表明,所提出的I2 C2 W在具有各种曲率和透视失真的具有挑战性的场景文本数据集上的性能优于最先进的算法。它还在多个正常场景文本数据集上实现了非常有竞争力的识别性能。
2022-12-19 cs.CV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.(玉山金融控股股份有限公司);National Kaohsiung Normal University(高雄师范大学)
场景文本识别(STR)在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据,但数据标记可能很困难,昂贵或耗时,特别是对于繁体中文文本识别。据我们所知,缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架,旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据,并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明,文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Exploring Font-independent Features for Scene Text Recognition
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
场景文本识别(STR)在过去几年中得到了广泛的研究。许多最近提出的方法是专门设计,以适应任意形状,布局和方向的场景文本,但忽略了各种字体(或写作)风格也提出了严峻的挑战,STR。这些方法,其中字体特征和字符的内容特征纠缠在一起,表现不佳的文本识别场景图像与文本在新的字体风格。为了解决这个问题,我们通过大量的字体样式的字形的注意力生成的场景文本探索字体独立的功能。具体来说,我们引入了可训练的字体嵌入来塑造生成的字形的字体样式,场景文本的图像特征仅表示其基本模式。生成过程由空间注意力机制指导,该机制有效地处理不规则文本,并生成比现有图像到图像翻译方法更高质量的字形。在几个STR基准上进行的实验表明,与现有技术相比,我们的方法具有优越性。
2020-09-16 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University(厦门大学);University of Waterloo(滑铁卢大学);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一种有效的场景文本识别方法,使用稀疏编码的基础上的功能,称为稀疏编码直方图(HSC)功能。对于字符检测,我们使用的HSC功能,而不是使用直方图的方向一致性(HOG)功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码,并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别,我们整合了多个线索,包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差(MCE)训练方法来学习。在几个具有挑战性的数据集上的实验表明,所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法,并且优于大多数最先进的方法。
2015-12-29 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo(东京大学)
场景文本识别(STR)任务有一个共同的做法:所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反,当我们必须在没有合成数据的情况下训练STR模型时,只在较少的真实标签上训练STR模型(标签较少的STR)是很重要的:对于难以合成生成的手写或艺术文本,以及对于英语以外的语言,我们并不总是有合成数据。然而,有一个隐含的常识,即在真实数据上训练STR模型几乎是不可能的,因为真实数据是不够的。我们认为,这种常识阻碍了STR的研究与较少的标签。在这项工作中,我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据,并表明,我们可以训练STR模型令人满意的只有真正的标记数据。随后,我们发现简单的数据增强,以充分利用真实数据。此外,我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此,我们得到了一个竞争模型的国家的最先进的方法。据我们所知,这是第一项研究,1)仅使用真实标签显示出足够的性能,2)将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得:https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Primitive Representation Learning for Scene Text Recognition
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
由于自然场景图像中文本实例的多样性变化,场景文本识别是一项具有挑战性的任务。传统的基于CNN-RNN-CTC或具有注意力机制的编码器-解码器的方法可能无法充分研究多方向场景文本的稳定和有效的特征表示。在本文中,我们提出了一个原始的表示学习方法,旨在利用场景文本图像的内在表示。我们将特征图中的元素建模为无向图的节点。提出了一种池化聚合器和一种加权聚合器来学习原始表示,这些原始表示通过图卷积网络转换为高级视觉文本表示。构造了一个原始的表示学习网络(PREN),利用视觉文本表示进行并行解码。此外,通过将视觉文本表示与2D注意力机制集成到编码器-解码器模型中,我们提出了一个称为PREN 2D的框架,以减轻基于注意力的方法中的错位问题。中英文场景文本识别的实验结果表明,PREN在准确率和效率之间保持了平衡,而PREN 2D则达到了最先进的性能。
2021-05-10 cs.CV
Edit Probability for Scene Text Recognition
Fudan University(复旦大学);Hikvision Research Institute(海康威视研究院)
本文在基于注意力的编码器-解码器框架下研究场景文本识别问题,现有方法通常采用逐帧最大似然损失来优化模型。在对模型进行训练时,由于字符的缺失或多余而导致的注意力输出序列与真实字符串的概率分布不一致,会对训练过程造成混淆和误导,从而造成训练代价的增加和识别精度的降低。为了解决这个问题,我们提出了一种新的方法称为编辑概率(EP)的场景文本识别。EP试图有效地估计从以输入图像为条件的概率分布的输出序列生成字符串的概率,同时考虑丢失/多余字符的可能发生。其优点在于,训练过程可以集中在丢失的,多余的和未识别的字符,从而可以减轻甚至克服错位问题的影响。我们对标准基准进行了广泛的实验,包括IIIT-5 K,街景文本和ICDAR数据集。实验结果表明,该方法能显著提高场景文本识别性能.
2018-05-09 cs.CV
Unconstrained Scene Text and Video Text Recognition for Arabic Script
Center for Visual Information Technology, IIIT Hyderabad(海得拉巴国际信息技术研究所视觉信息技术中心)
为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务,我们引入了一个新的阿拉伯语场景文本数据集,并建立基线结果。对于像阿拉伯语这样的脚本,开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37],该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要,这对于阿拉伯文字来说通常是困难的。此外,RNN对上下文依赖性进行建模的能力产生了更好的识别结果。
2017-11-07 cs.CV
Reading in the Dark: Low-light Scene Text Recognition
Computer Vision Center, Barcelona, Spain(巴塞罗那计算机视觉中心,西班牙);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出LSTR和ESTR数据集,通过改进的OCR模型和联合训练策略提升低光照环境下的文本识别性能,探讨了光照强度对识别效果的影响。
2026-04-26 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford(牛津大学)
在这项工作中,我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据,并在整个图像上进行文字识别,从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实,足以取代真实数据,为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性,在这里我们考虑三种模型,每种模型都以不同的方式“阅读”单词:通过90 k路字典编码,字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中,我们大大提高了标准数据集的最先进性能,使用我们快速,简单的机器,并要求零数据采集成本。
2014-12-09 cs.CV
Using Human Psychophysics to Evaluate Generalization in Scene Text Recognition Models
New York University(纽约大学);Goethe University Frankfurt(法兰克福歌德大学)
近年来,场景文本识别模型有了很大的发展。受人类阅读的启发,我们描述了两个重要的场景文本识别模型,通过测量它们的域,即它们可以读取的刺激图像的范围。该域指定了读者对不同的字长、字体和遮挡量进行概括的能力。这些指标确定了现有模型的优点和缺点。相对于基于注意力的(Attn)模型,我们发现连接主义时间分类(CTC)模型对噪声和遮挡具有更好的鲁棒性,并且更好地推广到不同的字长。此外,我们表明,在这两个模型中,添加噪声的训练图像产生更好的泛化闭塞。这些结果证明了测试模型直到它们崩溃的价值,补充了传统数据科学对优化性能的关注。
2020-06-30 cs.CV
Scene Text Recognition with Semantics
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院)
场景文本识别(STR)模型近年来在基准数据集上取得了很高的性能,其中文本图像以最小的噪声呈现。传统的STR识别管道将裁剪的图像作为唯一输入,并尝试识别存在的字符。在输入图像有噪声或文本部分模糊的情况下,这种基础设施可能会失败。本文提出了使用语义信息从更大的场景上下文化预测。我们使用对象标签生成语义向量,并将此信息融合到基于transformer的架构中。结果表明,我们的多模态方法产生更高的性能比传统的基准模型,特别是在嘈杂的情况下。
2022-10-19 cs.CV cs.LG
When VLMs Trust Context: Evaluating Scene Text Recognition under Misleading Context
Jilin University(吉林大学)
本研究提出SceneFaith基准,揭示视觉语言模型在场景文本识别中受上下文误导而改写文本,并强调需平衡视觉证据与上下文信息。
2026-09-29 cs.AI cs.CV
Multilingual Scene Character Recognition System using Sparse Auto-Encoder for Efficient Local Features Representation in Bag of Features
REsearch Groups in Intelligent Machines Laboratory(智能机器研究组实验室);ENIS-Sfax(斯法克斯国立工程师学院);Higher Institute of Computer Science and Communication Techniques(高等计算机科学与通信技术学院);University of Sousse(苏塞大学);Al Baha University(巴哈大学);Laboratoire d’InfoRmatique en Images et Systmes d’information (LIRIS)(图像与信息系统信息学实验室(LIRIS));INSA of Lyon(里昂国立应用科学学院)
在过去的几十年中,存在于相机捕获的图像中的文本的识别已经成为大量研究的重要问题。这就产生了场景字符识别(SCR),它是场景文本识别流水线中的重要一步。在本文中,我们使用深度学习扩展了基于特征袋(BoF)的模型,用于表示不同语言的准确SCR的特征。在特征编码阶段,采用了基于深度稀疏自动编码器(SAE)的编码策略,增强了图像特征的代表性和鉴别力。这种深度学习架构提供了更有效的特征表示,因此具有更好的识别准确性。我们的系统进行了广泛的评估,所有的场景字符数据集的五种不同的语言。实验结果证明了我们的多语种SCR系统的效率。
2018-07-19 cs.CV cs.LG
Utilizing Resource-Rich Language Datasets for End-to-End Scene Text Recognition in Resource-Poor Languages
NTT Corporation(日本电信电话公司)
提出了一种新的端到端场景文本识别训练方法。端到端场景文本识别可提供高识别准确性,尤其是在使用基于Transformer的编码器-解码器模型时。为了训练高度准确的端到端模型,我们需要为目标语言准备一个大型的图像到文本配对数据集。然而,很难收集这些数据,特别是对于资源贫乏的语言。为了克服这一困难,我们提出的方法利用资源丰富的语言,如英语,准备良好的大型数据集,训练资源贫乏的编码器-解码器模型。我们的主要思想是建立一个模型,其中编码器反映了多种语言的知识,而解码器专门知识的资源贫乏的语言。为此,所提出的方法通过使用多语言数据集来预训练编码器,该多语言数据集结合了资源贫乏语言的数据集和资源丰富语言的数据集,以学习用于场景文本识别的语言不变知识。所提出的方法还通过使用资源贫乏语言的数据集来预训练解码器,以使解码器更好地适应资源贫乏语言。使用一个小的,公开可用的数据集上的日语场景文本识别的实验证明了所提出的方法的有效性。
2021-11-24 cs.CV cs.LG
On Vocabulary Reliance in Scene Text Recognition
Megvii(旷视科技);China University of Mining and Technology(中国矿业大学);University of Rochester(罗切斯特大学)
对公共基准测试的高性能的追求一直是场景文本识别研究的动力,并取得了显着的进展。然而,一项仔细的调查揭示了一个令人震惊的事实:最先进的方法在词汇表内包含单词的图像上表现良好,但在词汇表外包含单词的图像上推广效果较差。我们称这种现象为“词汇依赖”。本文建立了一个分析框架,对场景文本识别中的词汇依赖问题进行了深入研究。主要发现包括:(1)词汇依赖是普遍存在的,即,所有现有的算法或多或少地表现出这样的特征;(2)基于注意的解码器证明在对词汇表之外的词的概括方面较弱,而基于分割的解码器在利用视觉特征方面表现良好;(3)上下文建模与预测层高度耦合。这些发现提供了新的见解,可以在场景文本识别的未来研究。此外,我们提出了一个简单而有效的相互学习策略,让两个家庭(基于注意力和分割)的模型进行协作学习。这种补救措施消除了词汇依赖的问题,并提高了整体场景文本识别性能。
2020-05-08 cs.CL cs.CV
JSTR: Judgment Improves Scene Text Recognition
FA Research(FA研究所);Fast Accounting Co., Ltd.(快会计有限公司)
针对场景文本识别错误,本文提出JSTR,通过判断图像与文本是否匹配并分析模型误识别倾向提供显式反馈,实验证明其优于基线和现有方法。
2024-04-09 cs.AI cs.CL cs.CV
2D-CTC for Scene Text Recognition
Megvii(旷视科技);Huazhong University of Science and Technology(华中科技大学)
场景文本识别一直是计算机视觉中一个重要而活跃的研究课题。以往的方法主要是将文本看作一维信号,将场景文本识别看作序列预测问题,利用CTC或基于注意力的编解码器框架的特点,而这种框架最初是为语音识别而设计的。然而,与语音语音不同,语音是1D信号,文本实例基本上分布在2D图像空间中。为了坚持和利用文本的2D性质以获得更高的识别精度,我们将vanilla CTC模型扩展到第二维,从而创建2D-CTC。2D-CTC可以自适应地集中于最相关的特征,同时排除背景中的杂波和噪声的影响;它还可以自然地处理各种形式的文本实例(水平,定向和弯曲),同时给出更多可解释的中间预测。在IIIT-5 K、ICDAR 2015、SVP-Perspective和CUTE 80等场景文本识别标准基准上的实验表明,所提出的2D-CTC模型在规则和不规则形状的文本上的性能优于现有的方法。此外,2D-CTC在训练和测试速度方面表现出优于现有技术的优势。我们的2D-CTC的实施和模型将在不久之后公开。
2019-07-23 cs.CL cs.CV cs.LG
Analysis of face detection, face landmarking, and face recognition performance with masked face images
University of Ljubljana(卢布尔雅那大学);Faculty of Computer and Information Science(计算机与信息科学学院)
人脸识别已经成为我们生活中必不可少的任务。然而,当前COVID-19疫情导致口罩的广泛使用。戴口罩的影响目前是一个研究不足的问题。本文的目的是分析人脸检测,人脸地标,人脸识别性能与蒙面的人脸图像。HOG和CNN人脸检测器与5点和68点人脸界标预测器相结合用于人脸检测,VGG 16人脸识别模型用于掩蔽和未掩蔽图像上的人脸识别。我们发现,人脸检测,人脸地标和人脸识别的性能受到面具的负面影响
2022-06-03 cs.CV
Mask$^2$DiT: Dual Mask-based Diffusion Transformer for Multi-Scene Long Video Generation
University of Science and Technology of China(中国科学技术大学);Bytedance Intelligent Creation(字节跳动智能创作);Yuanshi Inc.(元视科技公司)
提出Mask$^2$DiT,通过双掩码机制实现多场景长视频生成中的片段级文本-视觉对齐与自回归场景扩展。
2025-03-25 cs.CV
MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications(北京邮电大学)
随着越来越多的人因当前的COVID-19大流行而开始戴口罩,现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响,本文建立了一个简单有效的工具,可以自动地从非面具人脸生成面具人脸,并在跨年龄LFW(Cross-Age LFW,CALFW)数据库的基础上构建了一个新的面具LFW(Masked LFW,MLFW)数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外,我们收集了各种面具模板,涵盖了日常生活中出现的大多数常见样式,以实现多样化的生成效果。考虑到现实场景,我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
Fast and Efficient: Mask Neural Fields for 3D Scene Segmentation
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
本文提出MaskField,通过构建掩码特征场和查询解耦掩码与语义特征蒸馏,克服对象边界模糊问题,实现高效快速的3D开放词汇分割,兼容3DGS等显式表示。
2024-12-19 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后,为控制疫情,公共场所已强制佩戴口罩。然而,由于戴口罩的人脸遮挡提出了一个新兴的挑战,人脸识别系统。在本文中,我们提出了一种解决方案,以提高蒙面人脸识别性能。具体来说,我们提出了嵌入解蔽模型(EUM)操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数,自我约束的三元组(SRT),这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型,两个真实的蒙面数据集,和两个合成生成的蒙面人脸数据集上取得的评价结果证明,我们提出的方法显着提高了性能,在大多数实验设置。
2021-12-13 cs.CV
Mask R-CNN with Pyramid Attention Network for Scene Text Detection
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);South China University of Technology(华南理工大学)
在本文中,我们提出了一种新的基于Mask R-CNN的文本检测方法,该方法可以以统一的方式从自然场景图像中鲁棒地检测多方向和弯曲的文本。为了增强Mask R-CNN在文本检测任务中的特征表示能力,我们建议使用金字塔注意力网络(PAN)作为Mask R-CNN的新骨干网络。实验表明,PAN能更有效地抑制类文本背景引起的虚警。我们提出的方法仅使用单尺度和单模型测试,在多方向(ICDAR-2015,ICDAR-2017 MLT)和弯曲(SCUT-CTW 1500)文本检测基准任务上都取得了优异的性能。
2018-11-22 cs.CV
Mask-invariant Face Recognition through Template-level Knowledge Distillation
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
全球COVID-19疫情的出现为生物识别技术带来了新的挑战。不仅非接触式生物识别选项变得越来越重要,人脸识别最近也面临着频繁佩戴口罩的问题。这些面具影响了以前的人脸识别系统的性能,因为它们隐藏了重要的身份信息。在本文中,我们提出了一个面具不变的人脸识别解决方案(MaskInv),利用模板级的知识蒸馏内的训练范式,目的是在生产的蒙面脸,类似于那些非蒙面的脸相同的身份嵌入。除了提取的知识之外,学生网络还受益于基于边缘的身份分类损失的额外指导,ElasticFace,使用掩蔽和非掩蔽的面孔。在两个真实的面具人脸数据库和五个主流数据库与合成面具逐步消融研究,我们证明了我们的MaskInv方法的合理性。在最近的MFRC-21挑战中,我们提出的解决方案在两种情况下(掩蔽与掩蔽和掩蔽与非掩蔽)都优于以前的最先进(SOTA)学术解决方案,并且在MFR 2数据集上也优于以前的解决方案。此外,我们证明了该模型仍然可以很好地执行未掩蔽的面孔,只有一个轻微的损失,在验证性能。代码、训练模型以及综合掩蔽数据的评估协议可在https://github.com/fdbtrs/Masked-Face-Recognition-KD上公开获得。
2021-12-10 cs.CV
Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
Beijing University Of Posts and Telecommunications(北京邮电大学);Oppo Research Institute(OPPO研究院)
本文提出多任务生成式口罩解耦人脸识别网络MEER,通过口罩解耦模块分离口罩与身份信息,并利用联合训练策略恢复无遮挡面容以优化识别,在真实和合成遮挡基准上优于现有方法。
2023-11-20 cs.CV
Longitudinal Analysis of Mask and No-Mask on Child Face Recognition
Malaviya National Institute of Technology Jaipur(斋浦尔马拉维亚国家理工学院);State University of New York Polytechnic Institute(纽约州立大学理工学院)
人脸是人脸识别中应用最广泛的特征之一,甚至在许多大规模的应用中也是如此。尽管人脸识别系统的技术进步,他们仍然面临着姿势,表情,遮挡和老化变化造成的障碍。由于COVID-19疫情,非接触式身份验证变得极其重要。近年来,关于口罩对成人面部识别系统(FRS)影响的研究很少。然而,戴口罩的年龄对儿童主体识别的影响尚未得到充分探讨。因此,本研究的主要目的是分析儿童的纵向影响,以及口罩和其他协变量对FRS。具体而言,我们使用我们生成的合成口罩和无口罩样本,在儿童跨年龄验证和识别设置下,对三个表现最佳的公开可用人脸匹配器和COVID-19后的商业现货(COTS)系统进行了比较研究。此外,我们还研究了戴口罩和不戴口罩眼镜的纵向后果。该研究利用了无掩模纵向儿童面部数据集(即,扩展的印度儿童纵向面部数据集),包含平均3.35年的年龄组[2,18]中7,473名受试者的26,258张面部图像。由于面具和人脸老化的综合影响,FaceNet,PFE,ArcFace和COTS人脸验证系统的准确率分别下降约25%,22%,18%,12%。
2022-03-13 cs.CV
Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
该研究提出一种从单一语义掩码合成自然场景多视图一致彩色图像的新方法,以语义场为中间表示,无需多视图监督或类别级先验,优于基线方法且能生成逼真视频。
2025-04-12 cs.CV
Masked Face Recognition under Different Backbones
Sichuan University(四川大学)
本文通过对比实验评估不同主干网络在带口罩人脸识别中的性能,揭示模型对遮挡环境的适应性并提供部署建议。
2026-01-23 cs.CV
MTRNet++: One-stage Mask-based Scene Text Eraser
Queensland University of Technology(昆士兰科技大学);The University of Sydney(悉尼大学)
一个精确的,可控的,可解释的和易于训练的文本删除方法是必要的用户特定的和大规模的文本删除应用程序。为了实现这一点,我们提出了一个基于掩码的一级文本修复网络MTRNet++。它有一个新颖的架构,包括掩码细化,粗修补和精细修补分支,以及注意力块。通过这种架构,MTRNet++可以在有或没有外部掩码的情况下删除文本。它在牛津和SCUT数据集上实现了最先进的结果,而无需使用外部地面实况掩码。消融研究的结果表明,所提出的多分支结构与注意力块是有效的和必要的。它还展示了可控性和可解释性。
2020-06-04 cs.CV
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University(南京大学)
细粒度图像识别是一个具有挑战性的计算机视觉问题,这是由于高度相似的从属类别引起的小的类间变化,以及姿态、尺度和旋转的大的类内变化。在本文中,我们提出了一种新的端到端Mask-CNN模型,没有完全连接的层,用于细粒度识别。基于细粒度图像的部分注释,所提出的模型由一个完全卷积的网络组成,以定位有区别的部分(例如,头部和躯干),更重要的是,生成对象/部分掩模,用于选择有用和有意义的卷积描述符。之后,构建一个四流Mask-CNN模型,用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比,所提出的Mask-CNN模型具有最少的参数数量,最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University(台湾清华大学计算机科学系);Microsoft AI R&D Center(微软人工智能研发中心)
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同,缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少,导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络,称为DepthNet,它通过包含语义分割信息来估计RGB人脸图像的深度图,以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型,它包含一个RGB识别分支,一个深度图识别分支,和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集,用于训练准确的RGB-D人脸识别模型。此外,所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息,并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明,深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
InstaIndoor and Multi-modal Deep Learning for Indoor Scene Recognition
University of Groningen(格罗宁根大学)
室内场景识别是一个不断发展的领域,在行为理解、机器人定位和老年人监控等方面具有巨大潜力。在这项研究中,我们从一个新的角度来处理场景识别的任务,使用多模态学习和从社交媒体收集的视频数据。社交媒体视频的可访问性和多样性可以为现代场景识别技术和应用提供真实的数据。我们提出了一种基于融合转录语音到文本和视觉特征的模型,该模型用于对名为InstaIndoor的室内场景的社交媒体视频的新数据集进行分类。我们的模型实现了高达70%的准确率和0.7 F1分数。此外,我们还通过对YouTube-8 M室内场景子集进行基准测试,突出了我们方法的潜力,它实现了74%的准确率和0.74 F1分数。我们希望这项工作的贡献铺平了道路,在具有挑战性的室内场景识别领域的新的研究。
2021-12-23 cs.CV
Enhancing Image Matting in Real-World Scenes with Mask-Guided Iterative Refinement
针对真实场景图像抠图面临的复杂背景与数据稀缺问题,提出Mask2Alpha迭代细化框架,利用自监督ViT语义先验、掩码引导特征选择与稀疏卷积渐进优化,在多个数据集上取得最先进效果。
2025-02-24 cs.CV
Deep learning for scene recognition from visual data: a survey
University of Groningen(格罗宁根大学)
深度学习技术的使用在过去几年中呈爆炸式增长,对人工智能领域做出了直接贡献。这项工作的目的是回顾最先进的场景识别与深度学习模型从视觉数据。场景识别是计算机视觉中的一个新兴领域,目前已从单图像和动态图像的角度进行了研究。我们首先概述了用于图像和视频场景识别的可用数据集。后来,我们描述了集成技术在该领域的研究论文。最后,我们对我们的研究结果发表了一些评论,并讨论了我们认为该领域的挑战和未来的研究方向。本文旨在成为未来的指导模型选择的任务,场景识别。
2020-07-03 cs.CV
FOSNet: An End-to-End Trainable Deep Neural Network for Scene Recognition
Yonsei University(延世大学)
场景识别是一个图像识别问题,旨在预测图像拍摄地点的类别。提出了一种基于卷积神经网络(CNN)的场景识别方法。该方法基于图像中目标和场景信息的融合,将CNN框架称为FOS(fusion of object and scene)Net。此外,提出了一种新的损失-场景相干损失(SCL),用于训练FOSNet,提高场景识别性能。提出的SCL是基于独特的特点,场景的“场景”传播和场景类不改变整个图像。建议的FOSNet实验与三个最流行的场景识别数据集,并在两组中获得他们的国家的最先进的性能:60.14%的地方2和90.37%的麻省理工学院室内67。在SUN 397上获得了第二高的77.28%的性能。
2019-07-18 cs.CV
Semantic-Aware Scene Recognition
Universidad Autónoma de Madrid(马德里自治大学)
场景识别是当前计算机视觉中最具挑战性的研究领域之一。这可能是由于类之间的模糊性:几个场景类的图像可能共享相似的对象,这导致它们之间的混淆。当特定场景类的图像明显不同时,该问题加剧。卷积神经网络(CNN)已经显著提高了场景识别的性能,尽管它仍然远远低于其他识别任务(例如,对象或图像识别)。在本文中,我们描述了一种新的方法,场景识别的基础上,端到端的多模态CNN,结合图像和上下文信息的注意力模块。上下文信息,在语义分割的形式,用于门的特征提取的RGB图像,通过利用在语义表示编码的信息:场景对象和东西的集合,以及它们的相对位置。该门控过程通过将CNN的感受野重新聚焦到指示性场景内容来加强对指示性场景内容的学习并增强场景消歧。在四个公开数据集上的实验结果表明,该方法在显著减少网络参数数量的同时,性能优于其他所有最先进的方法。本文中使用的所有代码和数据都可以在https://github.com/vpulab/Semantic-Aware-Scene-Recognition上获得
2020-01-22 cs.CV
Object-to-Scene: Learning to Transfer Object Knowledge to Indoor Scene Recognition
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The University of Western Australia(西澳大学)
对周围场景的准确感知有助于机器人做出合理的判断和行为。因此,开发有效的场景表示和识别方法在机器人技术中具有重要意义。目前,大量的研究集中在开发新的辅助特征和网络,以提高室内场景识别能力。然而,很少有人关注于直接构建室内场景识别的对象特征和关系。本文分析了现有室内场景识别方法的不足,提出了一种基于对象到场景(OTS)的室内场景识别方法。提出的OTS首先提取的分割网络和建议的对象特征聚合模块(OFAM)的基础上的对象特征。然后,对象关系的计算和场景表示构建的基础上提出的对象注意力模块(OAM)和全局关系聚合模块(ORM)。这项工作的最终结果表明,OTS成功地从分割网络中提取对象特征并学习对象关系。此外,OTS优于国家的最先进的方法超过2%的室内场景识别,而无需使用任何额外的流。代码可在https://github.com/FreeformRobotics/OTS上公开获取。
2021-08-01 cs.CV
A Robust Indoor Scene Recognition Method based on Sparse Representation
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
在本文中,我们提出了一个强大的场景识别方法,它利用卷积神经网络(CNN)的功能和稀疏编码设置,通过创建一个新的表示室内场景。虽然CNN在计算机视觉和模式识别领域受益匪浅,但卷积层在全局方法上调整权重,这可能导致丢失重要的局部细节,如对象和小结构。我们提出的场景表示依赖于两个:全球功能,主要是指环境的结构,和本地功能,稀疏地结合起来,捕捉一个给定的场景中的常见对象的特性。这种新的表示基于场景的片段,并利用CNN提取的特征。实验评估表明,所得到的表示优于以前的场景识别方法Scene15和MIT67数据集上,并在SUN397上具有竞争力,同时对输入图像中的扰动(如噪声和遮挡)具有很强的鲁棒性。
2017-08-24 cs.CV
Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich(苏黎世联邦理工学院);UCSD(加州大学圣迭戈分校)
在领域泛化中,从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中,我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符,共同捕捉细粒度的场景之间的细微差别,同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模,捕获每个场景中每个对象的信息量和可辨别性。然后,我们将这种情况转化为场景概率为每个场景图像。其次,我们认为,场景图像属于隐藏的语义主题,可以通过聚类我们的语义描述符发现。为了评估所提出的方法,我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明,所提出的方法在细粒度场景转换方面的有效性,优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training
Tsinghua University(清华大学);OpenAI;Peking University(北京大学);KAUST(阿卜杜拉国王科技大学);Mila(米拉);University of California, Merced(加州大学默塞德分校);Google Research(谷歌研究院)
从图结构的输入(例如场景图)生成图像是独特的挑战,这是由于难以将图中的节点和连接与图像中的对象及其关系对齐。大多数现有的方法通过使用场景布局来解决这个挑战,场景布局是设计用于捕获场景图像的粗略结构的场景图的图像状表示。由于场景布局是手动制作的,因此可能无法完全优化与图像的对齐,从而导致生成的图像与原始场景图形之间的符合性不理想。为了解决这个问题,我们建议通过直接优化它们与图像的对齐来学习场景图嵌入。具体来说,我们预训练编码器从预测相应图像的场景图中提取全局和局部信息,依赖于两个损失函数:掩蔽的自动编码损失和对比损失。前者通过重建随机掩蔽的图像区域来训练嵌入,而后者训练嵌入以根据场景图区分兼容和不兼容的图像。给定这些嵌入,我们建立了一个潜空间扩散模型,从场景图生成图像。由此产生的方法称为SGDiff,允许通过修改场景图节点和连接来对生成的图像进行语义操作。在Visual Genome和COCO-Stuff数据集上,我们证明了SGDiff优于最先进的方法,如Inception Score和Fréchet Inception Distance(FID)指标所测量的。我们将在https://github.com/YangLing0818/SGDiff上发布我们的源代码和训练模型。
2022-11-21 cs.CV
Learning Content-enhanced Mask Transformer for Domain Generalized Urban-Scene Segmentation
University of Amsterdam(阿姆斯特丹大学)
针对域泛化城市场景语义分割,本文提出 CMFormer,通过融合多分辨率图像特征的内容增强型掩码注意力提升风格鲁棒性,mIoU 最高提升 14.00%。
2023-12-17 cs.CV
A Comprehensive Study on Occlusion Invariant Face Recognition under Face Mask Occlusion
University of Westminster(威斯敏斯特大学);Informatics Institute of Technology(信息学技术学院)
口罩是日常生活中必不可少的卫生用品,在疫情期间不断增长,对目前的人脸识别系统构成了巨大威胁。面具破坏了面部大面积的许多细节,即使是人类也很难识别它们。评估报告显示了识别蒙面面孔时的困难。近年来,深度学习的快速发展和突破见证了人脸识别算法最有希望的结果。但是,在不受约束的环境中,在诸如变化的照明条件、低分辨率、面部表情、姿势变化和遮挡等挑战期间,它们的表现远远不能令人满意。面部咬合被认为是最棘手的问题之一。特别是当遮挡占据面部的大区域时,因为它破坏了许多官方特征。
2022-01-22 cs.CV
Masked Face Dataset Generation and Masked Face Recognition
针对口罩人脸识别挑战,自建口罩数据集并微调Inception ResNet v1,结合数据增强,在50身份识别中达到95%准确率。
2023-12-25 cs.CV