TPS++: Attention-Enhanced Thin-Plate Spline for Scene Text Recognition
Fudan University(复旦大学);Tomorrow Advance Life(明日进阶生命(公司));University of Science and Technology of China(中国科学技术大学)
TPS++通过引入注意力机制到薄板样条校正中,联合回归控制点与估计内容注意力分数,实现特征级内容感知校正,在公开基准上达到最先进识别精度,且开销小、泛化性强。
2023-05-09 cs.CV
CLIPTER: Looking at the Bigger Picture in Scene Text Recognition
AWS AI Labs(AWS人工智能实验室);Technion(以色列理工学院)
针对现有场景文本识别器仅用裁剪文本图像、缺乏全局上下文的问题,提出模型无关框架CLIPTER,通过门控交叉注意力融合CLIP的全局场景表征与识别器词级特征,实现多基准最优,提升未登录词鲁棒性与小数据泛化性。
2023-07-23 cs.CV cs.LG
SAFE: Scale Aware Feature Encoder for Scene Text Recognition
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
在本文中,我们解决的问题,具有不同尺度的字符在场景文本识别。我们提出了一种新的尺度感知特征编码器(SAFE),是专为编码字符与不同的尺度。SAFE由多尺度卷积编码器和尺度注意网络组成。多尺度卷积编码器的目标是在多个尺度下提取字符特征,尺度注意力网络负责从最相关的尺度中选择特征。与当前最先进的文本识别器中使用的传统单CNN编码器相比,SAFE有两个主要优势。首先,它明确地解决了规模问题,从字符中提取尺度不变的功能。这使得识别器可以将更多的精力放在处理场景文本识别中的其他挑战上,例如由视图失真和图像质量差引起的挑战。其次,它可以跨不同的字符尺度转移特征编码的学习。当训练集具有非常不平衡的字符尺度分布时,这一点尤其重要,因为使用这样的数据集进行训练将使编码器偏向于从主要尺度中提取特征。为了评估SAFE的有效性,我们设计了一个简单的文本识别器S-SAN(Scale-Spatial Attention Network),它采用SAFE作为特征编码器,并在六个公共基准测试上进行了实验。实验结果表明,S-SAN可以实现最先进的(或在某些情况下,极具竞争力的)性能,而无需任何后处理。
2019-01-17 cs.CV
SAFL: A Self-Attention Scene Text Recognizer with Focal Loss
Hanoi University of Science and Technology(河内理工大学);School of Information and Communication Technology(信息与通信技术学院)
在过去的几十年里,场景文本识别由于其在广泛的应用中的重要性而得到了学术界和实际用户的广泛关注。尽管在光学字符识别方面取得了成就,但由于诸如失真或不规则布局等固有问题,场景文本识别仍然具有挑战性。大多数现有的方法主要利用基于递归或卷积的神经网络。然而,由于递归神经网络(RNN)的顺序计算,通常遭受缓慢的训练速度,并遇到消失梯度或瓶颈的问题,CNN忍受复杂性和性能之间的权衡。针对现有方法的局限性,本文提出了一种基于自注意的具有聚焦损失的神经网络模型SAFL用于场景文本识别。使用焦点损失而不是负对数似然有助于模型更专注于低频样本训练。此外,为了处理失真和不规则的文本,我们利用空间变换器网络(Spatial TransformerNetwork,简称SPNN)在传递到识别网络之前对文本进行校正。我们进行实验,比较所提出的模型与七个基准的性能。数值结果表明,我们的模型取得了最好的性能。
2022-01-01 cs.CV cs.LG
Unconstrained Scene Text and Video Text Recognition for Arabic Script
Center for Visual Information Technology, IIIT Hyderabad(海得拉巴国际信息技术研究所视觉信息技术中心)
为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务,我们引入了一个新的阿拉伯语场景文本数据集,并建立基线结果。对于像阿拉伯语这样的脚本,开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37],该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要,这对于阿拉伯文字来说通常是困难的。此外,RNN对上下文依赖性进行建模的能力产生了更好的识别结果。
2017-11-07 cs.CV
IterVM: Iterative Vision Modeling Module for Scene Text Recognition
Wangxuan Institute of Computer Technology Peking University, Beijing, China Email
由于自然图像中的图像条件不完善,场景文本识别(STR)是一个具有挑战性的问题。最先进的方法利用视觉线索和语言知识来解决这个具有挑战性的问题。具体来说,他们提出了迭代语言建模模块(IterLM)来反复优化视觉建模模块(VM)的输出序列。虽然取得了很好的效果,视觉建模模块已成为这些方法的性能瓶颈。在本文中,我们新提出了迭代视觉建模模块(IterVM),以进一步提高STR的准确性。具体地,第一个VM直接从输入图像中提取多级特征,并且随后的VM从输入图像中重新提取多级特征并将其与高级(即,最语义的一个)特征。通过将IterVM与迭代语言建模模块相结合,我们进一步提出了一个强大的场景文本识别器IterNet。大量的实验表明,所提出的IterVM可以显着提高场景文本识别的准确性,特别是在低质量的场景文本图像。此外,所提出的场景文本识别器IterNet在几个公共基准测试中取得了新的最先进的结果。代码将在https://github.com/VDIGPKU/IterNet上提供。
2022-04-06 cs.CV
MASTER: Multi-Aspect Non-local Network for Scene Text Recognition
Ping An Property and Casualty Insurance Company(平安财产保险股份有限公司);Xuzhou Medical University(徐州医科大学);Huazhong University of Science and Technology(华中科技大学)
基于注意力的场景文本识别器已经取得了巨大的成功,它利用更紧凑的中间表示来通过基于RNN的编码器-解码器架构学习1d或2d注意力。然而,这样的方法遭受注意力漂移问题,因为在基于RNN的局部注意力机制下,编码特征之间的高相似性导致注意力混淆。此外,基于RNN的方法由于并行性差而效率低下。为了克服这些问题,我们提出了MASTER,一个基于自注意的场景文本识别器,它(1)不仅编码输入-输出注意,而且还学习编码编码器和解码器内部的特征-特征和目标-目标关系的自注意,(2)学习一个更强大和鲁棒的空间失真中间表示,以及(3)由于高训练并行化而具有高训练效率,并且由于高效的存储器缓存机制而具有高速推理。在各种基准测试上进行的大量实验证明了我们的MASTER在规则和不规则场景文本上的优越性能。Pytorch代码可以在https://github.com/wenwenyu/MASTER-pytorch找到,Tensorflow代码可以在https://github.com/jiangxiluning/MASTER-TF找到。
2021-04-11 cs.CV
TRIG: Transformer-Based Text Recognizer with Initial Embedding Guidance
Shanghai University(上海大学)
场景文本识别是图像和文本之间的重要桥梁,引起了广泛的研究关注。虽然卷积神经网络(CNNS)在这一任务上取得了显著的进展,但现有的大多数工作都需要一个额外的模块(上下文建模模块)来帮助CNN捕捉全局依赖关系,以解决归纳偏差,加强文本特征之间的关系。近年来,Transformer被认为是一种基于自注意力机制的全局上下文建模网络,但其主要缺点之一是识别效率低。我们提出了一个1-D的分裂,以解决复杂性的挑战,并取代CNN与Transformer编码器,以减少对上下文建模模块的需要。此外,最近的方法使用冻结的初始嵌入来引导解码器将特征解码为文本,从而导致精度损失。我们建议使用从Transformer编码器学习的可学习的初始嵌入,使其适应不同的输入图像。首先,我们介绍了一种新的文本识别体系结构,命名为TRansformer为基础的文本识别器与初始嵌入指导(TRIG),由三个阶段(转换,特征提取,和预测)。大量的实验表明,我们的方法可以达到国家的最先进的文本识别基准。
2021-11-16 cs.CV
All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身智能重点实验室);WeChat Vision, Tencent Inc.(腾讯微信视觉团队);South China University of Technology(华南理工大学)
针对多语言场景文本识别,提出ScriptMoE架构,利用脚本感知的混合专家和合成数据集TextMuSS-10M,在多个基准上超越现有方法,实现更轻量且更准确的统一识别器。
2026-09-22 cs.CV
TextAdaIN: Paying Attention to Shortcut Learning in Text Recognizers
AWS AI Labs(亚马逊云科技人工智能实验室)
利用卷积层的特性,神经网络对于模式识别任务非常有效。然而,在某些情况下,他们的决策是基于非预期的信息,导致在标准基准测试中的高性能,但也缺乏对具有挑战性的测试条件和非直观故障的概括。最近的研究称之为“捷径学习”,并解决了它在多个领域的存在。在文本识别中,我们揭示了另一个这样的捷径,即识别器过度依赖于本地图像统计。出于这一动机,我们提出了一种方法来调节依赖本地统计数据,提高文本识别性能。我们的方法,称为TextAdaIN,在特征图中创建局部扭曲,防止网络过度拟合局部统计数据。它通过将每个特征图看作一个元素序列,并故意在一个小批中的元素之间不匹配细粒度的特征统计信息来实现这一点。尽管TextAdaIN很简单,但大量的实验表明,与其他更复杂的方法相比,它是有效的。TextAdaIN在标准手写文本识别基准测试中获得了最先进的结果。它可以推广到多种体系结构和场景文本识别领域。此外,我们证明,集成TextAdaIN提高了对更具挑战性的测试条件的鲁棒性。官方的Pytorch实现可以在https://github.com/amazon-research/textadain-robust-recognition上找到。
2022-07-24 cs.CV
ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting
University of Science and Technology of China(中国科学技术大学);Hangzhou Dianzi University(杭州电子科技大学)
场景文本识别由于其广泛的应用而对计算机视觉界具有重要意义。最近的方法试图引入具有挑战性的识别,而不是纯粹的视觉分类的语言知识。然而,如何在端到端深度网络中有效地建模语言规则仍然是一个研究挑战。本文认为语言模型的有限容量来自:1)隐式语言建模; 2)单向特征表示; 3)带有噪声输入的语言模型。相应地,我们提出了一个自主的,双向的和迭代的ABINet++场景文本定位。首先,自主性建议通过将识别器解耦为视觉模型和语言模型,并阻断两个模型之间的梯度流,来执行显式语言建模。其次,提出了一种基于双向特征表示的双向完形填空网络(BCN)作为语言模型。第三,提出了一种对语言模型进行迭代校正的执行方式,可以有效地减轻噪声输入的影响。最后,为了提高ABINet++在长文本识别中的性能,提出在U-Net中嵌入Transformer单元来聚合水平特征,并设计了一个位置和内容关注模块,将字符顺序和内容结合起来,精确关注字符特征。ABINet++在场景文本识别和场景文本定位基准上都达到了最先进的性能,这始终证明了我们的方法在各种环境中的优越性,特别是在低质量图像上。此外,大量的实验,包括英语和中文也证明,一个文本spotter,结合我们的语言建模方法可以显着提高其性能的准确性和速度相比,常用的基于注意力的识别器。
2022-12-12 cs.CV
UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World
Carnegie Mellon University(卡内基梅隆大学);Megvii (Face++) Technology Inc.(旷视科技)
合成数据已成为训练场景文本检测和识别模型的重要工具。一方面,在训练场景文本识别器时,合成文字图像已被证明是真实图像的成功替代。然而,另一方面,场景文本检测器仍然严重依赖于大量的手动注释的真实世界的图像,这是昂贵的。在本文中,我们介绍了UnrealText,一种高效的图像合成方法,通过3D图形引擎渲染逼真的图像。3D合成引擎通过整体渲染场景和文本来提供逼真的外观,并允许更好的文本区域建议,同时可以访问精确的场景信息,例如正常和均匀的对象网格。综合实验验证了该方法在场景文本检测和识别上的有效性。我们还生成了多语言版本,用于未来多语言场景文本检测和识别的研究。此外,我们以区分大小写的方式重新注释场景文本识别数据集,并包括标点符号以进行更全面的评估。代码和生成的数据集发布于:https://github.com/Jyouhou/UnrealText/。
2020-08-18 cs.CV
2D Attentional Irregular Scene Text Recognizer
YouTu Lab, Tencent(腾讯优图实验室);Harbin Institute of Technology(哈尔滨工业大学);The Chinese University of Hong Kong(香港中文大学)
不规则的场景文本在二维空间中具有复杂的布局,这对大多数现有的场景文本识别器来说是一个挑战。近年来,一些不规则场景文本识别器要么将不规则文本纠正为具有近似一维布局的规则文本图像,要么将二维图像特征映射转换为一维特征序列。虽然这些方法取得了良好的性能,但由于在2D到1D的转换过程中丢失了空间信息,因此其鲁棒性和准确性仍然受到限制。与以往不同的是,本文提出了一个框架,通过二维注意模式将二维布局的不规则文本直接转换为字符序列。我们利用一个关系注意模块来捕获特征映射的依赖关系,并利用一个并行注意模块来并行解码所有字符,这使得我们的方法更加有效和高效。在几个公共基准测试和我们收集的多行文本数据集上的大量实验表明,我们的方法可以有效地识别规则和不规则的场景文本,并且在准确性和速度方面都优于以前的方法。
2019-06-13 cs.CV
Character Region Attention For Text Spotting
NAVER Corp.(NAVER公司)
场景文本检测器由文本检测和识别模块组成。已经进行了许多研究,以将这些模块统一到端到端的可训练模型中,以实现更好的性能。典型的架构将检测和识别模块放置在单独的分支中,并且通常使用RoI池来让分支共享视觉特征。然而,当采用使用基于注意力的解码器和表示字符区域的空间信息的检测器的识别器时,仍然存在在模块之间建立更互补的连接的机会。这是可能的,因为这两个模块共享一个共同的子任务,即找到字符区域的位置。在此基础上,我们构建了一个紧耦合的单管道模型。该架构通过利用识别器中的检测输出并通过检测阶段传播识别损失来形成。字符得分图的使用有助于识别器更好地关注字符中心点,识别损失传播到检测器模块增强了字符区域的定位。此外,加强共享阶段允许任意形状的文本区域的特征校正和边界定位。广泛的实验表明,国家的最先进的性能在公开的直和弯曲的基准数据集。
2020-07-19 cs.CV
Visual attention models for scene text recognition
Computer Vision Center(计算机视觉中心);Media Integration and Communication Center (MICC)(媒体集成与通信中心 (MICC));Universita di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种方法来词汇的无文本识别场景图像。我们的方法依赖于从卷积特征中学习的基于LSTM的软视觉注意力模型。从对应于图像的不同区域的中间卷积层导出一组特征向量。这允许将空间信息编码到图像表示中。通过这种方式,框架能够学习如何选择性地关注图像的不同部分。在每个时间步,识别器根据学习的注意力模型使用卷积特征向量的加权组合来发出一个字符。训练可以只使用单词级注释进行端到端。此外,我们表明,通过整合显式语言模型来修改波束搜索算法会导致更好的识别结果。我们在标准SVT和ICDAR '03场景文本数据集上验证了我们的方法的性能,在无约束文本识别中显示了最先进的性能。
2017-06-05 cs.CV
TextBoxes++: A Single-Shot Oriented Scene Text Detector
Huazhong University of Science and Technology(华中科技大学)
场景文本检测是场景文本识别系统的重要环节,也是一个具有挑战性的问题。与一般的目标检测不同,场景文本检测的主要挑战在于自然图像中文本的任意方向、小尺寸和显著变化的长宽比。在本文中,我们提出了一个端到端可训练的快速场景文本检测器,名为TextBoxes++,它可以在单个网络前向传递中以高精度和高效率检测任意方向的场景文本。除了有效的非最大抑制之外,不涉及后处理。我们已经在四个公共数据集上评估了拟议的TextBoxes++。在所有实验中,TextBoxes++在文本定位准确性和运行时间方面优于竞争方法。更具体地说,TextBoxes++对于1024*1024 ICDAR 2015 Incidental文本图像在11.6fps下的f值为0.817,对于768*768 COCO-Text图像在19.8fps下的f值为0.5591。此外,与文本识别器相结合,TextBoxes++在流行的基准测试中显著优于最先进的单词识别和端到端文本识别任务方法。代码可在:https://github.com/MhLiao/TextBoxes_plusplus
2018-04-27 cs.CV
FedOCR: Communication-Efficient Federated Learning for Scene Text Recognition
Huazhong University of Science and Technology(华中科技大学);Meituan(美团)
虽然场景文本识别技术已被广泛应用于商业应用,但数据隐私很少被该研究社区考虑。大多数现有的算法都假设一组共享或集中的训练数据。然而,在实践中,数据可能分布在不同的本地设备上,由于隐私限制,这些设备无法集中共享。在本文中,我们研究了如何利用分散的数据集来训练一个强大的场景文本识别器,同时保持它们留在本地设备上。据我们所知,我们提出了第一个利用联邦学习进行场景文本识别的框架,该框架是用分散的数据集协同训练的。因此,我们将其命名为FedOCR。为了使FedCOR非常适合部署在终端设备上,我们做了两个改进,包括使用轻量级模型和哈希技术。我们认为,就联邦学习的通信效率而言,这两者对FedOCR都至关重要。在分散数据集上的模拟表明,与使用集中数据训练的模型相比,所提出的FedOCR实现了具有竞争力的结果,具有更少的通信成本和更高级别的隐私保护。
2022-02-07 cs.CV
FACLSTM: ConvLSTM with Focused Attention for Scene Text Recognition
East China Normal University(华东师范大学);University of Technology Sydney(悉尼科技大学);Tongji University(同济大学)
场景文本识别最近被广泛视为序列到序列的预测问题,其中传统的全连接LSTM(FC-LSTM)发挥了关键作用。由于FC-LSTM的局限性,现有方法必须将二维特征映射转换为一维序列特征向量,严重破坏了文本图像的空间和结构信息。在本文中,我们认为,场景文本识别本质上是一个时空预测问题,其2-D图像输入,并提出了一个基于卷积LSTM(ConvLSTM)的场景文本识别器,即FACLSTM,即,Focused Attention ConvLSTM,在使用LSTM执行顺序预测时,充分利用像素的空间相关性。特别地,通过卷积运算将注意力机制适当地结合到有效的ConvLSTM结构中,并且生成附加的字符中心掩码以帮助将注意力集中在正确的特征区域上。在基准数据集IIIT 5 K、SVT和CUTE上的实验结果表明,我们提出的FACLSTM在规则、低分辨率和有噪声的文本图像上具有竞争力,在大边距的弯曲文本上优于现有的方法。
2020-01-05 cs.CV
I2C2W: Image-to-Character-to-Word Transformers for Accurate Scene Text Recognition
Nanyang Technological University(南洋理工大学);Bytedance Inc.(字节跳动公司)
利用自然语言处理的进步,最近的场景文本识别器采用编码器-解码器架构,其中文本图像首先被转换为代表性的功能,然后通过“顺序解码”的字符序列。然而,场景文本图像遭受丰富的噪声的不同来源,如复杂的背景和几何失真,这往往混淆解码器,并导致不正确的对齐的视觉特征在嘈杂的解码时间步长。本文提出了I2 C2 W,一种新的场景文本识别技术,是宽容的几何和光度退化分解场景文本识别成两个相互连接的任务。第一个任务侧重于图像到字符(I2C)的映射,它检测一组字符候选人从图像的基础上不同的视觉特征的对齐,在一个非顺序的方式。第二个任务处理字符到单词(C2 W)映射,其通过从检测到的候选字符解码单词来识别场景文本。直接从字符语义(而不是噪声图像特征)学习,有效地纠正了错误检测的字符候选人,大大提高了最终的文本识别精度。在9个公共数据集上的大量实验表明,所提出的I2 C2 W在具有各种曲率和透视失真的具有挑战性的场景文本数据集上的性能优于最先进的算法。它还在多个正常场景文本数据集上实现了非常有竞争力的识别性能。
2022-12-19 cs.CV
Robust Scene Text Recognition with Automatic Rectification
Huazhong University of Science and Technology(华中科技大学)
在自然图像中识别文本是一项具有挑战性的任务,有许多未解决的问题。与文档中的文字不同,自然图像中的文字通常具有不规则的形状,这是由透视变形,弯曲的字符放置等引起的。我们提出了RARE(Robust text recognizer with Automatic Rectification),一种对不规则文本具有鲁棒性的识别模型。RARE是一种特殊设计的深度神经网络,由空间Transformer网络(SPIRE)和序列识别网络(SRN)组成。在测试中,首先通过预测的薄板样条(TPS)变换将图像校正为更“可读”的图像,以供随后的SRN使用,SRN通过序列识别方法识别文本。我们表明,该模型能够识别几种类型的不规则文本,包括透视文本和弯曲的文本。RARE是端到端可训练的,只需要图像和相关的文本标签,便于在实际系统中训练和部署模型。国家的最先进的或高度竞争力的性能达到几个基准很好地证明了所提出的模型的有效性。
2016-04-19 cs.CV
NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
场景文本识别由于其在各种应用中的重要性而吸引了大量的研究。现有的方法主要采用递归或卷积网络。虽然这些方法已经取得了良好的性能,但仍然受到两个限制:由于RNN的内部递归而导致的训练速度慢,以及由于长期特征提取的堆叠卷积层而导致的高复杂度。本文首次提出了一种无递归的序列到序列文本识别器NRTR,它完全省去了递归和卷积运算。NRTR遵循编码器-解码器范式,其中编码器使用堆叠的自注意力来提取图像特征,解码器应用堆叠的自注意力来基于编码器输出识别文本。NRTR仅依赖于自我注意力机制,因此可以以更高的并行性和更低的复杂度来训练。考虑到场景图像的文本和背景变化较大,本文进一步设计了模态变换模块,将二维输入图像有效地变换为一维序列,并结合编码器提取更具鉴别力的特征。NRTR在常规和非常规基准测试中都达到了最先进或极具竞争力的性能,同时与文献中的最佳模型相比,只需要一小部分训练时间(至少快8倍)。
2019-10-10 cs.CV
Optimal Boxes: Boosting End-to-End Scene Text Recognition by Adjusting Annotated Bounding Boxes via Reinforcement Learning
Ant Group(蚂蚁集团);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);University of Rochester(罗切斯特大学);Hangzhou Dianzi University(杭州电子科技大学);Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
文本检测和识别是现代OCR系统的重要组成部分。大多数OCR方法试图在检测阶段获得文本的准确边界框,其用作文本识别阶段的输入。我们观察到,当使用紧密的文本边界框作为输入时,由于边界框和文本识别的深度表示之间的不一致,文本识别器经常无法实现最佳性能。在本文中,我们提出了Box Adjuster,这是一种基于强化学习的方法,用于调整每个文本限界框的形状,使其与文本识别模型更兼容。此外,当处理跨域问题,如合成到真实的,所提出的方法显着减少不匹配的域分布之间的源域和目标域。实验表明,当使用调整后的边界框作为训练的地面真值时,端到端文本识别系统的性能可以得到改善。具体而言,在场景文本理解的几个基准数据集上,所提出的方法在端到端文本识别任务上的平均F-Score为2.0%,在领域自适应任务上的平均F-Score为4.6%,优于最先进的文本定位器。
2022-07-26 cs.CV
LEGO: Self-Supervised Representation Learning for Scene Text Images
South China University of Technology(华南理工大学)
针对场景文本图像合成与真实数据分布差异问题,提出 LEGO 自监督表示学习方法,通过三个前置任务和文本知识码本建模序列、语义与结构特征,提升识别及相关文本任务性能。
2024-08-04 cs.CV
Levenshtein OCR
Alibaba DAMO Academy(阿里巴巴达摩院)
提出了一种基于视觉语言Transformer(VLT)的场景文本识别器。受自然语言处理领域Levenshtein Transformer的启发,本文提出的方法(Levenshtein OCR,简称LevOCR)探索了一种从裁剪的自然图像中自动转录文本内容的方法。具体来说,我们投场景文本识别的问题作为一个迭代序列细化过程。由纯视觉模型产生的初始预测序列被编码并馈送到跨模态Transformer中,以与视觉特征交互并融合,从而逐步逼近地面实况。细化过程是通过两个基本的字符级操作完成的:删除和插入,这是通过模仿学习学习的,并允许并行解码,动态长度变化和良好的可解释性。定量实验清楚地表明,LevOCR达到国家的最先进的性能标准的基准和定性分析验证了所提出的LevOCR算法的有效性和优势。代码可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/LevOCR上获得。
2022-11-14 cs.CV
Multimodal Semi-Supervised Learning for Text Recognition
AWS AI Labs(亚马逊云科技人工智能实验室);Technion(以色列理工学院)
直到最近,公开的真实世界文本图像的数量还不足以训练场景文本识别器。因此,大多数现代训练方法依赖于合成数据,并以完全监督的方式运行。然而,最近公开的真实世界文本图像的数量显著增加,其中包括大量未标记的数据。利用这些资源需要半监督方法;然而,现有的几种方法不考虑视觉语言的多模态结构,因此对于最先进的多模态架构来说是次优的。为了弥补这一差距,我们提出了多模态文本识别器(SemiMTR)的半监督学习,它在每个模态训练阶段利用未标记的数据。值得注意的是,我们的方法避免了额外的训练阶段,并保持了当前的三阶段多模式训练过程。我们的算法首先通过将自监督学习与监督训练相结合的单阶段训练来预训练视觉模型。更具体地说,我们扩展了现有的视觉表示学习算法,并提出了第一个基于对比度的场景文本识别方法。在文本语料库上预训练语言模型后,我们通过文本图像的弱增强视图和强增强视图之间的顺序、字符级、一致性正则化来微调整个网络。在一个新的设置中,一致性分别在每个模态上强制执行。大量的实验验证了我们的方法优于当前的训练方案,并在多个场景文本识别基准测试中取得了最先进的结果。
2022-05-08 cs.AI cs.CV cs.LG
LISTER: Neighbor Decoding for Length-Insensitive Scene Text Recognition
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
针对现有场景文本识别方法对文本长度敏感、长文本识别与长度外推能力不足的问题,提出带邻域解码器和特征增强模块的LISTER方法,实现长度不敏感识别,在长文本任务和短文本标准基准上均表现优异。
2023-08-24 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司)
语义信息建模有助于场景文本识别。在这项工作中,我们提出了一个视觉语义Transformer(VST)的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后,语义信息与视觉特征图(被视为序列)相结合,以形成结合视觉和语义信息的伪多域序列,该序列随后被馈送到基于变换器的交互模块中,以使得能够学习视觉和语义特征之间的交互。通过这种方式,可以通过语义信息增强视觉特征,反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后,解码的视觉特征和增强的语义特征由第三Transformer模块联合处理,获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性,在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
A Controller-Recognizer Framework: How necessary is recognition for control?
University of Oxford(牛津大学);Université de Montréal(蒙特利尔大学);New York University(纽约大学)
最近,人们对构建主动视觉对象识别器的兴趣越来越大,这与通常的被动识别器相反,被动识别器将给定的静态图像分类为预定义的一组对象类别。在本文中,我们建议将这些最近提出的端到端的主动视觉识别器推广到一个嵌入式识别器框架。一个模型在操纵器识别器框架包括一个控制器,它与外部操纵器接口,和一个识别器,它分类的视觉输入调整的操纵器。我们描述了两个最近提出的识别器-识别器模型:递归注意模型和空间Transformer网络作为识别器-识别器模型的代表性例子。基于这种描述,我们观察到大多数现有的端到端的识别器-识别器紧密地或完全地耦合控制器和识别器。我们问一个问题,这种紧密的耦合是否是必要的,并试图回答这个问题的经验,建立一个解耦的控制器和识别器识别器模型。我们的实验表明,它并不总是有必要紧密耦合它们,通过解耦控制器和识别器,有可能构建一个通用的控制器,它是预先训练的,并与任何后续的识别器一起工作。
2016-02-09 cs.CV cs.LG
C3-STISR: Scene Text Image Super-resolution with Triple Clues
Fudan University(复旦大学);ByteDance(字节跳动)
场景文本图像超分辨率(STISR)是从低分辨率场景文本图像中进行文本识别的重要预处理任务。最新的方法使用识别器的反馈作为线索来指导超分辨率。然而,直接使用识别线索有两个问题:1)兼容性。它是概率分布的形式,与像素级任务STISR有明显的模态差距; 2)不准确性。它通常包含错误的信息,从而会误导主任务并降低超分辨率性能。在本文中,我们提出了一种新的方法C3-STISR,联合利用识别器的反馈,视觉和语言信息作为线索,指导超分辨率。其中,视觉线索来自识别器预测的文本图像,信息量大,与STISR任务兼容性强;而语言线索由预先训练好的字符级语言模型生成,能够对预测文本进行修正。我们设计了有效的三重交叉模态线索提取和融合机制,为超分辨率提供全面统一的指导。在TextZoom上进行的大量实验表明,C3-STISR方法在保真度和识别性能上优于SOTA方法。代码可在https://github.com/zhaominyiz/C3-STISR上找到。
2022-04-29 cs.CV
NCAP: Scene Text Image Super-Resolution with Non-CAtegorical Prior
THINKWARE Corporation(THINKWARE公司)
针对场景文本图像超分辨率中文本先验不稳定及预训练识别器在低分辨率下过自信的问题,提出使用倒数第二层表示的非类别先验(NCAP)并混合硬软标签,显著提升了识别准确率与泛化性能。
2025-04-01 cs.CV
Label or Message: A Large-Scale Experimental Survey of Texts and Objects Co-Occurrence
Kyushu University(九州大学)
我们的日常生活被文本信息所包围。随着场景文本检测器和识别器技术的飞速发展,文本信息的自动采集成为可能。本文的目的是进行一个大规模的调查,视觉对象(如书籍和汽车)和场景文本之间的共现与大型图像数据集和国家的最先进的场景文本检测器和识别器。特别是,我们专注于“标签”文本的功能,这是附加到对象的细节对象。通过分析对象和场景文本之间的共现,可以观察标签文本的统计数据,并了解场景文本如何有助于识别对象,反之亦然。
2020-07-30 cs.CV
Show Me the World in My Language: Establishing the First Baseline for Scene-Text to Scene-Text Translation
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校);University of Bristol(布里斯托大学)
本文首次将场景文本视觉翻译作为独立任务研究,提出结合识别、翻译与合成的级联基线框架及专用评估指标,并通过印地语-英语实验揭示现有方法的不足。
2024-09-02 cs.AI cs.CL cs.CV
Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Daylight
University of Amsterdam(阿姆斯特丹大学)
针对黑暗环境下行为识别性能差的问题,提出伪监督学习方案和黑暗自适应音视频识别器,利用无标注黑暗视频和光照不变的音频信息提升识别效果,在多个数据集上表现优于现有方法。
2023-08-27 cs.CV
Inverse Scene Text Removal
Kyushu University(九州大学)
本文提出逆向场景文本去除(ISTR)方法,通过二分类和定位任务高精度检测图像是否经过STR处理及定位被去除文本区域,以防范滥用风险并改进STR,同时尝试恢复被去除文本以评估难度。
2025-06-26 cs.CV
TextBoxes: A Fast Text Detector with a Single Deep Neural Network
Huazhong University of Science and Technology(华中科技大学)
本文提出了一种端到端可训练的快速场景文本检测器,名为TextBoxes,它可以在单个网络前向传递中以高精度和高效率检测场景文本,除了标准的非最大值抑制之外,不涉及任何后处理。TextBoxes在文本定位准确性方面优于竞争方法,并且速度更快,在快速实现中每个图像仅需0.09秒。此外,与文本识别器相结合,TextBoxes在单词识别和端到端文本识别任务上的表现明显优于最先进的方法。
2016-11-21 cs.CV
A Free Lunch? Adapting PP-OCRv6 for Historical Text Recognition
Inria Paris(法国国家信息与自动化研究所巴黎中心)
本文评估了轻量级识别器 PP-OCRv6 在历史文本识别中的表现,发现其通过异构预训练和微调可优于传统 CRNN 及大型视觉语言模型,兼具准确性与实用性。
2026-09-18 cs.CV
Efficient scene text image super-resolution with semantic guidance
School of Computer Science, Fudan University(复旦大学计算机科学学院);Videt Technology(Videt科技);Innovation Center of Calligraphy and Painting Creation Technology, MCT(MCT书画创作技术创新中心)
本文提出高效框架SGENet,通过语义引导分支与超分辨率分支结合,利用轻量级预训练识别器和视觉-语义对齐模块生成高质量先验,在减少计算成本的同时实现了优异的场景文本图像超分辨率性能。
2024-03-20 cs.CV
SOAR: Scene-debiasing Open-set Action Recognition
University at Buffalo(布法罗大学);Wormpex AI Research(Wormpex AI研究院)
针对开放集动作识别中模型依赖背景场景等虚假线索的问题,提出SOAR方法,通过对抗性场景重建与自适应对抗性场景分类模块学习场景不变特征,实验证明其优于现有方法。
2023-09-03 cs.CV
Enhanced Video Text Editing with Trajectory-Aligned Glyph Rendering
South China University of Technology(华南理工大学);The Chinese University of Hong Kong(香港中文大学);Huawei(华为)
针对视频扩散模型生成文本笔画错误的问题,提出轨迹对齐字形渲染与深度归一化识别器监督,构建VTEdit基准,实现高文本准确率与背景保持。
2026-10-07 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而,由于自然场景的复杂退化,从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络,这些神经网络经过针对自然图像重建而设计的像素级损失训练,忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而,他们只关注文本识别器的准确性,而重建的图像可能仍然是模糊的人类。此外,它们在处理跨语言时通常具有较弱的通用性。为此,我们提出了TATSR,一个文本感知的文本超分辨率框架,它有效地学习独特的文本特征,使用交叉Transformer块(CCTBs)和一种新的内容感知(CP)损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构,有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明,TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Effectiveness of Function Matching in Driving Scene Recognition
Denso IT Laboratory, Inc.(电装IT实验室有限公司)
知识蒸馏是训练自动驾驶所需的紧凑识别器的有效方法。最近对图像分类的研究表明,在广泛的数据点上匹配学生和教师对于提高蒸馏性能至关重要。这个概念(称为函数匹配)适用于驾驶场景识别,其中通常有几乎无限数量的未标记数据可用。在这项研究中,我们通过实验研究了使用如此大量的未标记数据进行蒸馏对自动驾驶结构化预测任务中学生模型性能的影响。通过大量的实验,我们证明了通过对大量未标记数据进行知识蒸馏,紧凑型学生模型的性能可以得到显著提高,甚至可以与大规模教师的性能相媲美。
2022-08-20 cs.CV cs.LG
Enhancing Table Structure Recognition via Bounding Box Guidance
South China University of Technology(华南理工大学)
针对图像到序列方法忽略边界框信息导致复杂场景错误的问题,提出BGTR框架,先预测单元格边界框再引导HTML生成,并引入合成数据集SNSTab和渐进训练,在五个基准上取得SOTA性能。
2026-09-09 cs.CV
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur(印度理工学院焦特布尔分校);University of Rouen(鲁昂大学);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
具有视觉和场景文本内容的图像在日常生活中无处不在。然而,当前的图像判读系统大多局限于仅使用视觉特征,而忽略了利用场景文本内容。在本文中,我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索,而且还建模它们的相互作用,以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像,场景文本内容,以证明其有效性。在检索框架中,我们增加了我们学到的文本视觉语义表示与场景文本线索,以减轻词汇失误,可能发生在语义嵌入。为了处理场景文本的不相关或错误识别,我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法,涉及视觉语义和场景文本,提高了最先进的。
2019-12-04 cs.CV
Enhance to Read Better: A Multi-Task Adversarial Network for Handwritten Document Image Enhancement
Digital Research Center of Sfax(斯法克斯数字研究中心);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
由于不同的原因,手写文档图像可能会受到严重影响:纸张老化,日常生活场景(皱纹,灰尘等),这些伪影给现有的手写文本识别算法带来了很多可读性问题,严重降低了算法的效率。在本文中,我们提出了一个端到端的架构,基于生成对抗网络(GANs)恢复退化的文档到一个干净和可读的形式。与最著名的文档二值化方法,试图提高退化的文档的视觉质量,所提出的架构集成了一个手写文本识别器,促进生成的文档图像更具可读性。据我们所知,这是第一个使用文本信息,同时二进制化手写文档的工作。对退化的阿拉伯语和拉丁语手写文档进行的大量实验证明了在GAN架构内集成识别器的有用性,这提高了退化文档图像的视觉质量和可读性。此外,我们在H-DIBCO挑战中的表现超过了最先进的水平,在此任务中,我们用合成退化的拉丁手写图像微调了我们的预训练模型。
2021-10-22 cs.CV
Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning
Istituto Italiano di Tecnologia(意大利理工学院)
最近的视觉场景理解方法试图建立一个场景图--一个对象及其成对关系的计算表示。这种丰富的语义表示是非常有吸引力的,但很难从单个图像中获得,特别是当考虑场景中复杂的空间布置时。相应地,图像序列使用由相机运动引起的多视图几何关系来传达有用的信息。实际上,在这种情况下,对象关系自然地与3D场景结构相关。为此,本文提出了一种系统,首先计算对象的几何位置在一个通用的场景,然后有效地构建场景图从视频中嵌入这样的几何推理。这种引人注目的表示是使用一种新模型获得的,其中使用RNN框架合并了几何和视觉特征。我们报告的结果,我们创建的任务,在多个视图中的3D场景图生成的数据集。
2018-11-07 cs.CV
Stroke-based Character Reconstruction
Peking University(北京大学)
由于背景杂乱、光照不均匀、分辨率低、畸变程度不一等原因,含噪字符图像或真实场景中的字符图像的背景消除一直是一个具有挑战性的问题。提出了一种基于笔划的字符重建方法,该方法使用加权二次贝塞尔曲线(WQBC)来表示字符的笔划。只有在我们的合成数据上进行训练,我们的笔划提取器才能在真实场景中达到良好的重建效果。与此同时它还可以帮助实现强大的能力,在防御对抗攻击的字符识别器。
2018-11-29 cs.CV cs.LG stat.ML
Visual Causal Scene Refinement for Video Question Answering
Sun Yat-sen University(中山大学)
本文提出VCSR框架,通过因果前门干预与QGR、CSS模块精炼视觉因果场景,缓解VideoQA中的伪相关问题并提升可解释性与稳健性。
2023-08-01 cs.CV
A transition towards virtual representations of visual scenes
INESC TEC;University of Porto(波尔图大学);Polytechnic of Porto(波尔图理工学院)
针对视觉场景理解算法分散、缺乏统一框架的问题,提出一种面向3D虚拟合成的适应性统一架构,并通过多应用分析与概念验证系统验证其实用性。
2024-10-10 cs.CV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));McGill University(麦吉尔大学)
视听场景理解是一个具有挑战性的问题,由于非结构化的时空关系,存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来,许多研究都集中在从卷积神经网络中提取特征,而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此,我们提出了一个端到端的框架,即注意力图卷积网络(AGCN),结构感知的视听场景表示。首先,声音和输入图像的频谱图通过骨干网络进行特征提取。然后,为了建立输入特征的多尺度层次信息,我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是,为了更好地表示视听输入的显著区域和上下文信息,为视听场景表示构建了显著声学图(SAG)和上下文声学图(CAG)、显著视觉图(SVG)和上下文视觉图(CVG)。最后,构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明,AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性,其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
$L^3$:Scene-agnostic Visual Localization in the Wild
Hunan University(湖南大学)
本文提出$L^3$框架,通过在线3D重建和两阶段优化实现无地图的高精度视觉定位,尤其在稀疏场景中表现优异。
2026-03-09 cs.CV
Semantically-aware Neural Radiance Fields for Visual Scene Understanding: A Comprehensive Review
Huawei Paris Research Center(华为巴黎研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学);The University of Western Australia(西澳大学)
本综述分析了超250篇论文,全面探讨了语义感知神经辐射场在视觉场景理解中的作用,及其在3D表示推断、视点生成、场景补全分割和物体识别等任务中的多样化应用与发展。
2024-02-17 cs.CV
SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
SceneScaffold提出活动场景状态构建框架,将视觉瓶颈转为主动场景组织者,构建角色感知空间脚手架,提升统一三维场景理解中关系密集与空间模糊场景的推理稳定性。
2026-11-04 cs.CV
SceneAssistant: A Visual Feedback Agent for Open-Vocabulary 3D Scene Generation
Peking University(北京大学);NVIDIA(英伟达)
SceneAssistant通过视觉反馈驱动代理实现开放词汇3D场景生成,结合3D物体生成模型和视觉-语言模型的空间推理能力,生成高质量且多样化的3D场景。
2026-03-12 cs.CV
LSceneLLM: Enhancing Large 3D Scene Understanding Using Adaptive Visual Preferences
South China University of Technology(华南理工大学);Tencent Robotics X(腾讯Robotics X实验室);Northeastern University(东北大学);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Pazhou Laboratory(琶洲实验室);Sichuan University(四川大学)
提出自适应框架LSceneLLM,利用LLM视觉偏好识别任务相关区域并结合场景放大器捕捉细粒度细节,同时引入跨房间基准XR-Scene,显著提升了大型3D场景理解能力。
2025-02-02 cs.CV