ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition
Meituan-Dianping Group(美团点评集团)
近年来,场景文本识别一直被认为是一个序列到序列的问题。连接主义时间分类(CTC)和注意序列识别(Attn)是两种非常流行的方法来解决这个问题,但他们可能会在某些情况下分别失败。CTC更关注单个字符,但在文本语义依赖建模方面比较薄弱。基于Attn的方法具有更好的上下文语义建模能力,但往往在有限的训练数据上过拟合。在本文中,我们精心设计了一个校正注意双监督网络(ReADS)的一般场景文本识别。为了克服CTC和Attn的不足,我们将它们都应用到我们的方法中,但在两个监督分支中使用了不同的模块,可以相互补充。此外,有效的空间和通道注意力机制的引入,以消除背景噪声和提取有效的前景信息。最后,实现了一个简单的校正网络来校正不规则文本。ReADS可以进行端到端的训练,只需要单词级的注释。在各种基准测试上的大量实验验证了ReADS的有效性,达到了最先进的性能。
2020-04-07 cs.CV
Visual attention models for scene text recognition
Computer Vision Center(计算机视觉中心);Media Integration and Communication Center (MICC)(媒体集成与通信中心 (MICC));Universita di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种方法来词汇的无文本识别场景图像。我们的方法依赖于从卷积特征中学习的基于LSTM的软视觉注意力模型。从对应于图像的不同区域的中间卷积层导出一组特征向量。这允许将空间信息编码到图像表示中。通过这种方式,框架能够学习如何选择性地关注图像的不同部分。在每个时间步,识别器根据学习的注意力模型使用卷积特征向量的加权组合来发出一个字符。训练可以只使用单词级注释进行端到端。此外,我们表明,通过整合显式语言模型来修改波束搜索算法会导致更好的识别结果。我们在标准SVT和ICDAR '03场景文本数据集上验证了我们的方法的性能,在无约束文本识别中显示了最先进的性能。
2017-06-05 cs.CV
Parallel Scale-wise Attention Network for Effective Scene Text Recognition
University of Kansas(堪萨斯大学);Sony Interactive Entertainment Global R&D(索尼互动娱乐全球研发部);Ryerson University(瑞尔森大学)
本文提出了一种新的场景文本图像的文本识别网络。许多现有技术的方法在文本编码器或解码器中采用注意力机制来进行文本对齐。虽然基于编码器的注意力产生有希望的结果,这些计划继承了显着的局限性。它们顺序地执行特征提取(FE)和视觉注意(VA),这限制了注意力机制仅依赖于FE最终单尺度输出。此外,注意过程的利用仅限于直接将其应用于单尺度特征图。为了解决这些问题,我们提出了一种新的多尺度和基于编码器的注意力网络,用于并行执行多尺度FE和VA的文本识别。多尺度通道之间也会进行规律性的融合,共同发展协调的知识。标准基准测试的定量评估和鲁棒性分析表明,在大多数情况下,该网络的性能优于最先进的。
2021-04-25 cs.AI cs.CV
Double Supervised Network with Attention Mechanism for Scene Text Recognition
Shanghai Jiao Tong University(上海交通大学);Westone Cryptologic Research Center(卫士通密码研究中心)
在本文中,我们提出了双监督网络与注意力机制(DSAN),一种新的端到端的可训练框架的场景文本识别。它在特征提取过程中引入了一个文本关注模块,强制模型关注文本区域,并且整个框架由两个分支监督。一个监督分支来自上下文级建模,另一个来自一个额外的监督增强分支,旨在处理字符级的不明确的语义信息。这两种监督可以相互促进,产生更好的绩效。该方法可以识别任意长度的文本,并且不需要任何预定义的词典。我们的方法优于目前最先进的方法在三个文本识别基准:IIIT5K,ICDAR2013和SVT达到准确率分别为88.6%,92.3%和84.1%,这表明所提出的方法的有效性。
2019-10-22 cs.AI cs.CV
Exploring Self-attention for Image Recognition
CUHK(香港中文大学);Intel Labs(英特尔研究院)
最近的研究表明,自我注意力可以作为图像识别模型的基本构建块。我们探索自我注意力的变化,并评估其有效性的图像识别。我们考虑两种形式的自我关注。一个是成对自注意,它推广了标准的点积注意,基本上是一个集合算子。另一种是局部自我注意,它比卷积更强大。我们的成对自我注意力网络与卷积网络相匹配或优于卷积网络,而补丁模型的性能大大优于卷积基线。我们还进行了实验,探索学习表示的鲁棒性,并得出结论,自我注意网络可能在鲁棒性和泛化方面有显着的好处。
2020-04-28 cs.CV
Scan, Attend and Read: End-to-End Handwritten Paragraph Recognition with MDLSTM Attention
A2iA SAS(A2iA公司)
我们提出了一个基于注意力的端到端手写识别模型。我们的系统不需要对输入段落进行任何分割。该模型的灵感来自于最近提出的用于语音识别、图像描述或翻译的可区分注意模型。主要的区别是隐性和显性注意力,实现为多维LSTM网络。我们对手写识别的主要贡献在于自动转录,而无需事先分割成行,这在以前的方法中是至关重要的。据我们所知,这是端到端多行手写识别的第一次成功尝试。我们在著名的IAM数据库上进行了实验。结果是令人鼓舞的,并带来了希望,在不久的将来进行全段转录。
2016-08-23 cs.CV
CLTA: Contents and Length-based Temporal Attention for Few-shot Action Recognition
McMaster University(麦克马斯特大学)
Few-Shot动作识别由于训练样本难以获取而受到越来越多的关注。目前的工作表明,保留空间信息和比较视频描述符是至关重要的Few-Shot动作识别。然而,保存时间信息的重要性没有得到很好的讨论。在本文中,我们提出了一个基于内容和长度的时间注意力(CLTA)模型,学习定制的时间注意力的个人视频,以解决Few-Shot动作识别问题。CLTA利用高斯似然函数作为模板来生成时间注意力,并训练学习矩阵以基于帧内容和长度来研究平均值和标准差。我们表明,即使是一个没有微调的骨干与普通的softmax分类器仍然可以实现类似或更好的结果相比,国家的最先进的Few-Shot动作识别与精确捕获的时间注意。
2021-03-18 cs.CV
Attentional Pooling for Action Recognition
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们引入了一个简单但功能强大的模型,将注意力纳入动作识别和人类对象交互任务。我们提出的注意力模块可以在有或没有额外监督的情况下进行训练,并且在保持网络大小和计算成本几乎相同的情况下,可以大大提高准确性。它在静态图像和视频的三个标准动作识别基准上对最先进的基础架构进行了显着改进,并在MPII数据集上建立了新的最先进的基础架构,相对改进了12.5%。我们还进行了广泛的分析,我们的注意力模块的经验和分析。在后者方面,我们引入了一种新的衍生自下而上和自上而下的注意力作为双线性池方法(通常用于细粒度分类)的低秩近似。从这个角度来看,我们的注意力公式提出了一个新的表征动作识别作为一个细粒度的识别问题。
2017-12-30 cs.CV
Improving Attention-Based Handwritten Mathematical Expression Recognition with Scale Augmentation and Drop Attention
South China University of Technology(华南理工大学)
手写体数学表达式识别是手写体识别领域的一个重要研究方向。HMER的性能受到数学表达式(ME)的二维结构的影响。为了解决这个问题,在本文中,我们提出了一个高性能的HMER模型与规模增强和下降的注意力。具体来说,解决ME与不稳定的规模在水平和垂直方向上,规模增强提高了模型的性能在各种规模的ME。基于注意力的编码器-解码器网络用于提取特征和生成预测。此外,当解码器的注意力分布不精确时,提出丢弃注意力以进一步提高性能。与以前的方法相比,我们的方法在CROHME 2014和CROHME 2016两个公共数据集上实现了最先进的性能。
2020-07-20 cs.CV
Action Recognition in Untrimmed Videos with Composite Self-Attention Two-Stream Framework
Institute of Cognitive Intelligence, DeepBlue Academy of Sciences(深蓝科学院认知智能研究所);DeepBlue Technology (Shanghai) Co., Ltd.(深蓝科技(上海)有限公司)
随着深度学习算法的快速发展,视频中的动作识别取得了许多重要的研究成果。零镜头动作识别(Zero-Shot Action Recognition,ZSAR)是动作识别中的一个重要问题,它在没有任何正面例子的情况下对新类别进行分类。动作识别中的另一个困难是未修剪的数据可能严重影响模型性能。我们提出了一个具有预训练模型的复合双流框架。我们提出的框架包括一个分类器分支和一个复合特征分支。两个分支均采用图网络模型,有效地提高了框架的特征提取和推理能力。在复合特征分支中,构建了三通道自注意模型,对视频中的每一帧进行加权,并对关键帧给予更多的关注。每个自注意力模型通道输出一组注意力权重以关注视频的特定方面,并且一组注意力权重对应于一维向量。三通道自注意力模型能够从多个角度对关键帧进行评价,输出的注意力权重向量集形成注意力矩阵,有效增强了对动作关联性强的关键帧的注意力。该模型可以实现zero-shot条件下的动作识别,对未经裁剪的视频数据具有良好的识别性能。相关数据集上的实验结果证实了该模型的有效性。
2019-09-02 cs.CV
Recurrent Soft Attention Model for Common Object Recognition
Shanghai Jiao Tong University(上海交通大学)
我们提出了递归软注意模型,它通过下采样网络将原始图像的视觉注意力整合到LSTM存储单元中。该模型循环地将视觉注意传递到存储单元以生成瞥见掩模,这是一般目标检测和识别问题中注意整合和开发的更自然的方式。我们在CIFAR-10数据集上的top-1准确度指标下测试我们的模型。实验表明,我们的下采样网络和反馈机制在整个网络结构中发挥了有效的作用。
2017-05-29 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University(中部大学)
视觉解释使人们能够理解深度卷积神经网络(CNN)的决策,但它不足以促进性能的提高。在本文中,我们专注于视觉解释的注意图,它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制,显着提高了CNN的性能。在这项工作中,我们提出了注意力分支网络(ABN),它扩展了自上而下的视觉解释模型,通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支,可以适用于多种图像识别任务,并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务,如图像分类,细粒度识别,多个面部属性识别。实验结果表明,ABN在这些图像识别任务上的准确性优于基线模型,同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
The Effect of Top-Down Attention in Occluded Object Recognition
Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
本研究关注自上而下的视觉加工在遮挡物体识别任务中的作用。为此,心理物理实验的设计和进行,旨在调查的影响一致性的上下文信息的物体被部分遮挡的识别。结果表明,在存在遮挡的情况下,一致的上下文线索对物体识别任务的促进作用。
2020-07-17 cs.CV
Deep Attentional Structured Representation Learning for Visual Recognition
EPFL(洛桑联邦理工学院)
结构化表示,如Bags of Words,VLAD和Fisher Vectors,已被证明在处理复杂的视觉识别任务方面非常有效。因此,它们最近已被纳入深度架构中。然而,虽然有效,但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征,忽略了这样一个事实,即在复杂的识别任务中,某些区域提供比其他区域更多的区分信息。在本文中,我们引入了一个注意结构化的表示学习框架,它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图,并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样,这始终优于注意力较少的结构化表示学习,并在标准场景识别和细粒度分类基准上产生最先进的结果。
2018-05-14 cs.CV
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition
在本文中,我们建立在任何卷积神经网络中的中间注意力图的弱监督生成机制的基础上,更直接地揭示了注意力模块的有效性,以充分发挥其潜力。给定一个现有的神经网络配备了任意的注意力模块,我们引入了一个Meta评论网络来评估的质量的注意力地图的主要网络。由于我们设计的奖励的离散性,所提出的学习方法被安排在一个强化学习设置,其中注意演员和经常性的批评者交替优化,以提供即时的批评和修正的临时注意表示,因此被称为深度强化注意学习(DREAL)。它可以普遍适用于不同类型的注意力模块的网络架构,并通过最大化每个单独的注意力模块产生的最终识别性能的相对增益来提高它们的表达能力,如在类别和实例识别基准上的广泛实验所示。
2022-08-30 cs.CV
Attention is All We Need: Nailing Down Object-centric Attention for Egocentric Activity Recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
在本文中,我们提出了一个端到端可训练的深度神经网络模型,用于自我中心活动识别。我们的模型是建立在观察自我中心的活动是高度特征的对象和它们在视频中的位置。在此基础上,我们开发了一种空间注意力机制,使网络能够注意到包含与所考虑的活动相关的对象的区域。我们使用针对通用图像识别预训练的CNN中的类特定激活来学习每个帧的高度专业化的注意力图,并使用它们通过卷积LSTM对视频进行时空编码。我们的模型是在弱监督环境中使用原始视频级活动类标签进行训练的。尽管如此,在标准的以自我为中心的活动基准测试中,我们的模型的识别准确率超过了目前最好的方法,该方法利用手部分割和对象位置强监督进行训练。我们对网络生成的注意力图进行了可视化分析,发现网络成功地识别了视频帧中存在的相关对象,这可以解释强大的识别性能。我们还讨论了关于设计选择的广泛消融分析。
2018-07-31 cs.CV
Skeleton-Based Human Action Recognition with Global Context-Aware Attention LSTM Networks
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
三维人体骨架序列中的人体动作识别已经引起了人们的广泛关注。最近,长短期记忆(LSTM)网络在这一任务中表现出了良好的性能,因为它们在建模序列数据中的依赖性和动态方面具有优势。由于并不是所有的骨骼关节都能为动作识别提供信息,并且不相关的关节往往会带来噪声,从而降低性能,因此我们需要更多地关注信息关节。然而,原始的LSTM网络不具有显式注意力能力。在本文中,我们提出了一类新的LSTM网络,全局上下文感知注意力LSTM(GCA-LSTM),用于基于骨架的动作识别。该网络能够通过使用全局上下文存储单元选择性地聚焦于每个骨架序列的每个帧中的信息关节。为了进一步提高网络的注意力能力,我们还引入了一种循环注意力机制,通过这种机制可以逐步提高网络的注意力性能。此外,为了有效地训练我们的网络,我们提出了一个逐步的训练计划。我们的方法在五个具有挑战性的基准数据集上实现了最先进的性能,用于基于骨架的动作识别。
2018-01-11 cs.CV
Micro-Attention for Micro-Expression recognition
University College London(伦敦大学学院);Chongqing Institute of Green and Intelligent Technology, CAS(中国科学院重庆绿色智能技术研究院);Southwest University(西南大学);Institute of Psychology, CAS(中国科学院心理研究所)
微表情由于其在情感检测中的高度客观性,已成为情感计算中一种很有前途的模式。最近,深度学习方法已被成功引入微表情识别领域。虽然实现了更高的识别精度,但微表情识别仍然存在重大挑战。但由于人脸局部小区域内存在微表情,且现有数据库规模有限,使得对这种情绪化的人脸行为的识别精度受到限制。在这项工作中,为了应对这些挑战,我们提出了一种新的注意力机制称为微注意力与剩余网络合作。微注意使网络能够学习关注覆盖不同动作单元的感兴趣的面部区域。此外,针对小数据集,微注意力的设计没有增加明显的参数,而一个简单而有效的迁移学习方法一起使用,以减轻过拟合的风险。通过对三个基准测试(CASMEII、SAMM和SMIC)和事后特征可视化的广泛实验评估,我们证明了所提出的微注意的有效性,并推动了微表情自动识别的边界。
2019-08-27 cs.CV
Teaching Where to Look: Attention Similarity Knowledge Distillation for Low Resolution Face Recognition
Gwangju Institute of Science and Technology (GIST)(光州科学技术院)
深度学习在人脸识别基准测试中取得了出色的性能,但对于低分辨率(LR)图像,性能会显著降低。我们提出了一种注意力相似性知识蒸馏方法,该方法将作为教师从高分辨率(HR)网络获得的注意力地图转移到作为学生的LR网络中,以提高LR识别性能。受人类能够根据从HR图像获得的先验知识从LR图像中近似对象区域的启发,我们使用余弦相似性设计了知识蒸馏损失,以使学生网络的注意力类似于教师网络的注意力。在各种LR人脸相关基准上的实验证实,所提出的方法普遍提高了LR设置上的识别性能,通过简单地转移构造良好的注意力图,其性能优于最先进的结果。代码和预训练模型可在https://github.com/gist-ailab/teaching-where-to-look上公开获取。
2022-09-29 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X(腾讯Robotics X)
尽管在动作识别任务中取得了显着的进展,但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点,提出了一种面向注意力的多级网络框架,以满足实时的【形】交互需求。具体地说,一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率,然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入,利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法,我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台(Nvidia Jetson AGX Xavier)上对我们的数据集和高效率(在640 x 480 RGBD下为112 fps)的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
Multiple Attentional Pyramid Networks for Chinese Herbal Recognition
South China University of Technology(华南理工大学);University of Southampton(南安普顿大学)
中草药在传统中医学中起着至关重要的作用。由于识别粒度不同,只有经验丰富的专业人员才能准确识别。预计可以使用机器学习等新技术自动识别它们。然而,没有可用的中草药图像数据集。同时,目前还没有一种机器学习方法能够很好地处理中药图像识别问题。因此,本文从建立一个新的标准中药数据集开始。在此基础上,提出了一种新的用于中草药识别的注意力金字塔网络(APN),该网络同时引入了新颖的竞争注意力和空间协作注意力,并将其应用于中草药识别。APN可以自适应地对不同特征尺度的中药图像进行建模。最后,作为APN的一个新应用,提出了一个新的中草药识别框架。在我们构造的数据集上进行了实验,验证了我们的方法的有效性。
2020-05-13 cs.CV
AFR-Net: Attention-Driven Fingerprint Recognition Network
Michigan State University(密歇根州立大学)
视觉Transformer(ViT)在计算机视觉中的使用由于有限的电感偏置(例如,位置、权重共享等)并且与其他深度学习方法相比具有更高的可扩展性。这导致了一些关于使用ViT进行生物识别的初步研究,包括指纹识别。在这项工作中,我们改进了这些初步研究的Transformers器在指纹识别通过i。评估附加的基于注意力的架构,ii.)扩展到更大和更多样化的训练和评估数据集,以及iii.)将基于注意力的嵌入和基于CNN的嵌入的互补表示相结合,用于改进的最新技术水平(SOTA)指纹识别(认证和识别两者)。我们的组合架构AFR-Net(Attention-Driven Fingerprint Recognition Network,注意力驱动的指纹识别网络)在传感器内、传感器间以及潜在到滚动指纹匹配数据集上的性能优于几种基于Transformer和CNN的基准模型,包括SOTA商业指纹系统Verifinger v12.3。此外,我们提出了一种重新排列策略,使用从网络内的中间特征图中提取的局部嵌入来改进低确定性情况下的全局嵌入,这显著提高了每个模型的整体识别准确性。这种重新排列策略不需要额外的训练,可以作为包装器应用于任何现有的深度学习网络(包括基于注意力的,基于CNN的,或两者兼而有之),以提高其性能。
2022-12-03 cs.CV
Cross-Modal Learning with 3D Deformable Attention for Action Recognition
Keimyung University(启明大学)
针对多模态时空特征融合难题,提出含3D可变形、局部关节步幅和时间步幅注意力的跨模态Transformer,在四个基准上无需预训练即达到SOTA水平并具可解释性。
2023-08-17 cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而,不利用任何明确的部分信息,他们不能准确地找到多个独特的区域。在这项工作中,我们引入了一个属性引导的注意力定位方案,局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略,我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明,该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Suspicious Object Recognition Method in Video Stream Based on Visual Attention
Fudan University(复旦大学)
我们提出了一种基于人类视觉注意力的智能对象识别和视频监控的最新方法。在感兴趣目标(显著图)的获取和目标识别过程中分别采用了自底向上的和自顶向下的注意。对4通道PFT方法进行了修正,使其具有自底向上的注意力,提高了速度和精度。利用返回抑制(IOR)来判断显著对象的弹出顺序.在判断目标是否匹配和可疑时,综合考虑了颜色分布的欧氏距离、目标中心坐标和速度。对视频和图像的大量测试表明,该方法在视频分析中具有较高的精度和较快的速度。该方法可应用于视频监控、安防等领域。
2013-08-23 cs.CV
Two-stream Flow-guided Convolutional Attention Networks for Action Recognition
National University of Singapore(新加坡国立大学)
本文提出了一种用于视频中动作识别的双流流引导卷积注意力网络。其中心思想是,光流,当适当补偿相机运动,可以用来引导注意到人类前景。因此,我们开发了从时间网络(在流上训练)到空间网络(在RGB帧上训练)的交叉链接层。这些交叉链接层引导空间流更多地关注人类前景区域,并且较少受背景杂波的影响。在UCF 101、HMDB 51和Hollywood2数据集上,我们的方法获得了很好的性能。
2017-08-30 cs.CV
LSTA: Long Short-Term Attention for Egocentric Action Recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学)
自我中心活动识别是视频分析中最具挑战性的任务之一。它需要对小对象及其操作进行细粒度的区分。虽然一些方法基于强监督和注意力机制,但它们要么是注释消耗的,要么不考虑时空模式。在本文中,我们提出LSTA作为一种机制,专注于空间相关部分的功能,而注意力被跟踪平滑的视频序列。我们证明了LSTA在自我中心活动识别上的有效性,并采用端到端的可训练双流架构,在四个标准基准上实现了最先进的性能。
2019-04-12 cs.CV
Gradient Attention Balance Network: Mitigating Face Recognition Racial Bias via Gradient Attention
Inspur Electronic Information Industry Co., Ltd(浪潮电子信息产业股份有限公司);Shandong Massive Information Technology Research Institute(山东海量信息技术研究院)
针对人脸识别中的种族偏见问题,提出梯度注意力平衡网络(GABN),通过对抗学习对齐不同种族的梯度注意力图,并利用掩码擦除Top-N敏感区域以扩大深肤色人群的关注范围,有效提升跨种族识别的均衡性。
2023-04-05 cs.CV
3D Convolutional with Attention for Action Recognition
Chowis(超维斯公司);Gwangju Institute of Science and Technology(光州科学技术院);Monitorapp(Monitorapp公司)
人体动作识别是计算机视觉中具有挑战性的任务之一。当前的动作识别方法使用计算昂贵的模型来学习动作的时空依赖性。分别利用RGB通道和光流的模型、使用双流融合技术的模型以及由卷积神经网络(CNN)和长短期记忆(LSTM)网络组成的模型是这种复杂模型的几个示例。此外,微调这种复杂的模型在计算上也是昂贵的。本文提出了一种用于学习这种依赖关系的深度神经网络架构,该架构由3D卷积层、全连接(FC)层和注意力层组成,该架构更易于实现,并在UCF-101数据集上具有竞争力的性能。该方法首先通过3D-CNN学习动作的空间和时间特征,然后注意力机制帮助模型将注意力定位到识别的基本特征。
2022-06-05 cs.CV
A GRU-based Encoder-Decoder Approach with Attention for Online Handwritten Mathematical Expression Recognition
University of Science and Technology of China(中国科学技术大学)
在这项研究中,我们提出了一种新的端到端的方法的基础上的编码器-解码器框架与注意力机制的在线手写数学表达式识别(OHMER)。首先,输入的手写表情的二维墨水轨迹信息通过基于门控递归单元的递归神经网络(GRU-RNN)进行编码。然后,解码器也实现了GRU-RNN与基于覆盖的注意力模型。该方法可以同时完成符号识别和结构分析,输出LaTeX格式的字符序列。在CROHME 2014竞赛任务上进行了验证,我们的方法仅使用官方训练数据集,表情识别准确率为52.43%,明显优于最先进的方法。此外,通过注意力机制对手写表情的输入轨迹和输出LaTeX序列的对齐进行了可视化,验证了该方法的有效性.
2017-12-04 cs.CV
Stacked Temporal Attention: Improving First-person Action Recognition by Emphasizing Discriminative Clips
第一人称动作识别是视频理解中一个具有挑战性的课题。由于强烈的自我运动和有限的视野,第一人称视频中的许多背景或噪声帧可以在其学习过程中分散动作识别模型的注意力。为了编码更具区分性的特征,模型需要能够专注于视频中最相关的部分以进行动作识别。以前的工作探索,以解决这个问题,通过应用时间注意,但没有考虑到整个视频的全局上下文,这是确定相对重要的部分是至关重要的。在这项工作中,我们提出了一个简单而有效的堆叠时间注意力模块(STAM)来计算时间注意力的基础上,强调最具歧视性的功能的全球知识的剪辑。我们通过堆叠多个自我注意层来实现这一点。而不是天真的堆叠,这是实验证明是无效的,我们仔细设计的输入到每个自我注意力层,以便在生成时间注意力权重的过程中考虑视频的局部和全局上下文。实验表明,我们提出的STAM可以建立在大多数现有的骨干之上,并提高各种数据集的性能。
2021-12-02 cs.CV
CA-Stream: Attention-based pooling for interpretable image recognition
Centrale Marseille(马赛中央理工学院);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Institute of Intelligent Software(智能软件研究所);Institute of Advanced Research on Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI))
本文提出CA-Stream,一种基于注意力的池化机制,通过交叉注意力块与不同深度特征交互来替代GAP,在保持识别性能的同时增强模型的可解释性。
2024-04-23 cs.CV
HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于骨架的手势识别的先前方法大多将骨架序列排列成伪图片或时空图,并应用深度卷积神经网络(CNN)或图卷积网络(GCN)进行特征提取。虽然取得了优异的效果,这些方法有内在的局限性,在动态捕捉局部特征的交互手部件,和计算效率仍然是一个严重的问题。在这项工作中,自我注意力机制的引入,以减轻这个问题。考虑到手部关节的层次结构,提出了一种高效的分层自注意神经网络(HAN),该网络基于纯自注意,不需要任何CNN、RNN或GCN算子。具体而言,关节自注意模块用于获取手指的空间特征,手指自注意模块用于聚合整只手的特征。在时间特征方面,利用时间自我注意模块来捕获手指和整个手的时间动态。最后,这些特征融合的融合自注意力模块的手势分类。实验结果表明,该方法在三个手势识别数据集上取得了较好的识别效果,同时具有较低的计算复杂性。
2021-06-25 cs.CV
Attacks on State-of-the-Art Face Recognition using Attentional Adversarial Attack Generative Network
Beijing University of Posts and Telecommunications(北京邮电大学)
随着人脸识别技术的广泛应用,其易受攻击的弱点也逐渐暴露出来。因此,研究人脸识别网络如何受到攻击是非常重要的。在本文中,我们专注于一种新的方法来做对人脸识别网络的攻击,误导网络识别某人作为目标的人不误分类不显眼。同时,为了这个目的,我们引入了一个特定的注意力对抗攻击生成网络来生成虚假的人脸图像。为了捕捉目标人物的语义信息,本文增加了条件变分自编码器和注意力模块来学习人脸之间的实例级对应关系。与传统的两人GAN不同,本文引入人脸识别网络作为第三方参与生成器和攻击者之间的竞争,使得攻击者能够更好地模仿目标人物。生成的人脸很难引起旁观者的注意,可以逃避识别的国家的最先进的网络和他们中的大多数被识别为目标人物。
2018-11-30 cs.CV
GaitTAKE: Gait Recognition by Temporal Attention and Keypoint-guided Embedding
University of Washington(华盛顿大学);University of Science and Technology, University of Danang(岘港大学科技大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
步态识别是指根据从远处捕获的视频数据,基于其身体形状和行走方式对人进行识别或识别,广泛应用于犯罪预防,法医鉴定和社会安全。然而,据我们所知,大多数现有的方法使用的外观,姿势和时间特征,而不考虑学习的时间注意力机制的全局和局部信息融合。在本文中,我们提出了一种新的步态识别框架,称为时间注意力和关键点引导嵌入(GaitTAKE),有效地融合了时间注意力的全局和局部外观特征和时间聚合的人体姿势特征。实验结果表明,我们提出的方法实现了一个新的SOTA在步态识别的秩-1准确率为98.0%(正常),97.5%(袋)和92.2%(大衣)的CASIA-B步态数据集上; 90.4%的准确率在OU-MVLP步态数据集。
2022-07-12 cs.CV
Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition
Minjiang University(闽江学院)
提出DAN网络,通过FCN提取鲁棒特征、MAN关注多面部区域、AFN分散并融合注意力,在AffectNet等数据集上实现最先进的面部表情识别性能。
2023-05-22 cs.CV
Attentional Feature-Pair Relation Networks for Accurate Face Recognition
人脸识别是生物特征识别领域的一个重要研究方向。然而,在人脸姿态、表情和光照剧烈变化下的鲁棒人脸识别是其实际应用的一大挑战。这种变化使得面部识别更加困难。在本文中,我们提出了一种新的人脸识别方法,称为注意力对关系网络(AFRN),它表示的脸的相关对的局部外观块功能与他们的注意力分数。AFRN通过所有可能的9 × 9局部外观块特征对来表示面部,通过从低秩双线性池化获得的注意力图来考虑每对的重要性,并且每对通过其对应的注意力得分来加权。为了提高准确率,我们选择前K对局部外观块特征作为相关的面部信息,并丢弃其余的不相关信息。利用双线性注意力网络传播加权top-K对,提取联合特征对关系。在实验中,我们在具有挑战性的LFW、YTF、CALFW、CPLFW、CFP、AgeDB、IJB-A、IJB-B和IJB-C数据集上证明了所提出的AFRN的有效性,并在1:1人脸验证和1:N人脸识别任务中取得了与现有最先进方法相比的出色性能。
2019-08-17 cs.CV
Generating Attention from Classifier Activations for Fine-grained Recognition
Fujitsu Research & Development Center(富士通研究开发中心)
细粒度识别的最新进展利用注意力地图来定位感兴趣的对象。虽然有很多方法可以生成注意力地图,但大多数都依赖于复杂的损失函数或复杂的训练过程。在这项工作中,我们提出了一个简单而直接的注意力生成模型的基础上输出激活的分类器。我们的模型的优点是,它可以很容易地用图像级标签和softmax损失函数进行训练。更具体地,首先采用多个线性局部分类器在高级CNN特征图的每个位置处执行细粒度分类。通过聚合和最大池化输出激活来生成注意力地图。然后将注意力图作为替代目标对象掩码来训练这些局部分类器,类似于用于语义分割的训练模型。我们的模型在三个经过严格基准测试的数据集上取得了最先进的结果,即CUB-200-2011数据集上的87.9%、斯坦福汽车数据集上的94.1%和FGVC-Aircraft数据集上的92.1%,证明了其在细粒度识别任务上的有效性。
2018-11-27 cs.CV
An Analysis of Deep Neural Networks with Attention for Action Recognition from a Neurophysiological Perspective
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
我们回顾了最近三种基于深度学习的动作识别方法,并从神经生理学的角度对这些方法进行了简要的比较分析。我们认为这三种基于深度学习的方法与一些关于人脑功能的现有假设之间存在一些相似之处。
2019-07-02 cs.CV
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题,受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而,在大数据时代,整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此,本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性,提出了一种软注意方案,利用全局点云特征对多视点特征进行过滤,实现了两种特征的有效融合。更具体地说,我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征,然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验,实验结果验证了该方法的有效性。
2020-02-28 cs.CV
Object-ABN: Learning to Generate Sharp Attention Maps for Action Recognition
Nagoya Institute of Technology(名古屋工业大学);Chubu University(中部大学)
在本文中,我们提出了一个扩展的注意力分支网络(ABN),通过使用实例分割产生更清晰的注意力图的动作识别。用于视觉解释的方法(例如Grad-CAM)通常生成模糊的地图,这对于人类理解是不直观的,特别是在识别视频中的人的动作时。我们提出的方法,对象ABN,通过引入一个新的掩模损失,使生成的注意力地图接近实例分割的结果来解决这个问题。此外,PC损失和多注意力地图的引入,以提高地图的清晰度,提高分类性能。在UCF 101和SSv2上的实验结果表明,该方法生成的地图在定性和定量上都比原始ABN的地图清晰得多。
2022-07-27 cs.CV
Chinese Herbal Recognition based on Competitive Attentional Fusion of Multi-hierarchies Pyramid Features
South China University of Technology(华南理工大学)
卷积神经网络(CNN)已成功应用于图像识别任务。本研究首先探索了基于神经网络的中药自动识别方法,并建立了标准的中药数据集。针对中药图像的特点,提出了竞争注意力融合金字塔网络模型,从不同层次上对中药图像的特征映射关系进行建模,并采用通道级注意力机制对多级通道进行重新加权。通过这种方式,我们可以根据每个草药图像的视觉特征动态地调整来自各个层的特征图的权重。此外,我们还引入了空间注意力来重新校准的采样造成的特征融合的失调。在我们提出的数据集上进行了大量的实验,并验证了我们提出的模型的优越性能。中草药数据集将在验收后发布,以促进中草药识别的研究。
2018-12-23 cs.CV
Sequence-based Person Attribute Recognition with Joint CTC-Attention Model
Tencent Youtu Lab(腾讯优图实验室);Hefei University of Technology(合肥工业大学)
属性识别在计算机视觉中有着广泛的应用,如身份识别等。像许多物体识别问题一样,视点、照明和远距离识别的变化都使这项任务具有挑战性。在这项工作中,我们提出了一个联合CTC注意力模型(JCM),它映射到序列的属性标签学习属性之间的语义关系。此外,该网络采用神经网络对图像进行序列编码,并采用关联时间分类(CTC)损失对网络进行训练,以提高网络的编码性能。同时,采用注意力模型对序列进行解码,可以实现序列的对齐,更好地从属性中学习语义信息。在三个公共数据集上进行了广泛的实验,即,Market-1501属性数据集、Duke属性数据集和PETA数据集的实验结果表明了该方法的有效性。
2018-11-27 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University(北京航空航天大学)
在本文中,我们提出了一个耦合的时空注意力(CSTA)模型的基于动作识别,其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要,这对模糊和冗余的信息是不鲁棒的。为了解决这个问题,我们首先通过两个子网络分别为不同的关节和帧学习两组权重,这使得模型具有“关注”相对信息部分的能力。然后,我们计算叉积的关节和帧的权重的时空耦合的注意。此外,我们的CSTA机制可以很容易地插入到现有的分层CNN模型(CSTA-CNN),以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明,我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Enhancing Facial Expression Recognition through Dual-Direction Attention Mixed Feature Networks and CLIP: Application to 8th ABAW Challenge
本文面向第8届ABAW挑战赛,采用DDAMFN统一解决效价-唤醒度估计、情绪识别与动作单元检测,并探索CLIP用于情绪识别,性能超过基线。
2025-03-15 cs.CV
Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition
University of Science and Technology of China(中国科学技术大学)
手写数学表达式的识别是一个具有挑战性的问题,因为手写数学符号的二维结构复杂,手写输入具有歧义性,并且手写数学符号的大小不一。为了解决这个问题,我们利用基于注意力的编码器-解码器模型,识别数学表达式图像从二维布局到一维LaTeX字符串。我们通过采用密集连接的卷积网络来改进编码器,因为它们可以加强特征提取并促进梯度传播,特别是在小训练集上。我们还提出了一种新的多尺度注意力模型,该模型用于处理不同尺度下的数学符号识别,并保存了池化操作会丢失的细粒度细节。在CROHME竞赛任务上进行了验证,所提出的方法明显优于最先进的方法,仅使用官方训练数据集,在CROHME 2014和CROHME 2016上的表情识别准确率分别为52.8%和50.1%。
2018-01-31 cs.CV
Focusing on What is Relevant: Time-Series Learning and Understanding using Attention
IBM Research(IBM研究院)
本文是对时间序列的不同应用中的深度学习模型的可解释性的贡献。我们提出了一个时间注意层,能够选择相关的信息来执行各种任务,包括数据完成,关键帧检测和分类。该方法使用整个输入序列来计算每个时间步长的注意力值。这导致比以前的方法更集中的注意力值和更合理的可视化。我们将所提出的方法应用于三个不同的任务。实验结果表明,所提出的网络产生可比的结果,以最先进的。此外,该网络提供了更好的可解释性的决定,也就是说,它产生更显着的关注权相关帧相比,类似的技术尝试在过去。
2018-06-22 cs.CV
DirecFormer: A Directed Attention in Transformer Approach to Robust Action Recognition
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司);Concordia University(康考迪亚大学);University of Wollongong(伍伦贡大学);West Virginia University(西弗吉尼亚大学)
人体动作识别是近年来计算机视觉领域的研究热点之一。已经提出了各种基于3D-CNN的方法来处理视频动作识别任务中的空间和时间维度,并具有竞争力的结果。然而,这些方法遭受了一些基本的限制,例如缺乏鲁棒性和通用性,例如,视频帧的时间顺序如何影响识别结果?这项工作提出了一种新的端到端的基于变压器的定向注意力(DirectFormer)框架,用于鲁棒的动作识别。该方法采用一种简单但新颖的基于transformer的方法来理解序列动作的正确顺序。因此,这项工作的贡献是三方面的。首先,我们将时序学习问题引入到动作识别问题中。其次,引入了一种新的定向注意力机制,以正确的顺序理解和提供对人类行为的注意。第三,我们介绍了动作序列建模中的条件依赖,包括顺序和类。与最近的动作识别方法相比,所提出的方法在三个标准的大规模基准测试(即Jester,Kinetics-400和Something-Something-V2)上始终实现了最先进的(SOTA)结果。
2022-03-19 cs.CV
Attention Guidance Mechanism for Handwritten Mathematical Expression Recognition
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对手写数学表达式识别中的过解析、欠解析问题,提出含自引导和邻域引导的注意力引导机制,优化注意力权重,在多个CROHME数据集上取得优于现有SOTA的识别率。
2024-03-05 cs.CV
High-resolution power equipment recognition based on improved self-attention
Jinan Power Supply Company(济南供电公司);Nanjing University Of Finance & Economics(南京财经大学)
针对现有模型难以直接处理高分辨率变压器图像的问题,本文改进深度自注意力网络,解耦低分辨率定位与高分辨率识别,并融合语义上下文,实验表明其识别性能优于两种主流模型。
2023-12-07 cs.CV
Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network
Technical University of Munich(慕尼黑工业大学)
图卷积网络将人体骨骼关节建模为顶点,并通过邻接矩阵连接它们,该邻接矩阵可以被视为局部注意力掩模。然而,在大多数现有的图卷积网络中,局部注意掩模是基于人体骨骼关节的自然连接来定义的,并且忽略了例如头、手和脚关节之间的动态关系。此外,注意力机制在自然语言处理和图像描述中也被证明是有效的,而在现有的方法中,注意机制的研究却很少。在这项工作中,我们提出了一个新的自适应空间注意力层,扩展局部注意力地图的基础上的相对距离和相对角度信息的全球。此外,我们设计了一个新的初始图邻接矩阵,连接头,手和脚,这表明在动作识别精度方面的明显改善。该模型在人类日常活动领域的两个大规模和具有挑战性的数据集上进行了评估:NTU-RGB+D和Kinetics骨架。结果表明,我们的模型在两个数据集上都具有很强的性能。
2022-07-12 cs.CV
Lexicon and Attention based Handwritten Text Recognition System
Panjab University(旁遮普大学);D.M. College(D.M.学院);PRL(物理研究实验室)
手写文本识别问题是模式识别的一个子领域,由于其改进的范围和对日常生活的适用性,受到计算机视觉界研究者的广泛关注。由于过去几十年来计算机计算能力的进步,基于神经网络的系统对提供最先进的手写文本识别器做出了重大贡献。在同样的方向上,我们采用了两种最先进的神经网络系统,并将注意力机制与之融合,注意力技术已经广泛应用于神经机器翻译和自动语音识别领域,目前正在文本识别领域得到实现。在这项研究中,我们能够实现4.15%的字符出错率和9.72%的字出错率的IAM数据集,7.07%的字符出错率和16.14%的字出错率的GW数据集合并后的注意力和字束搜索解码器与现有的Flor等人。架构。为了进一步分析,我们还使用了类似于Shi等人的系统。具有贪婪解码器的神经网络系统,并观察到从基本模型的字符出错率改善了23.27%。
2022-09-11 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
MERANet: Facial Micro-Expression Recognition using 3D Residual Attention Network
IIIT Sri City(印度信息技术学院斯里城分校);The University of Chicago(芝加哥大学);Shiv Nadar University(希夫·纳达尔大学)
微表情由于其在情感检测中的高度客观性而成为情感计算中一个很有前途的模态。尽管深度学习模型提供了更高的识别精度,但微表情识别技术仍有很大的改进空间。在面部的小的局部区域中的微表情的存在,以及可用数据库的有限大小,继续限制识别微表情的准确性。在这项工作中,我们提出了一个面部微表情识别模型,使用3D剩余注意力网络命名为MERANet来解决这些挑战。该模型将时空注意力和通道注意力结合起来,学习更深层次的细粒度细微特征,用于情感分类。此外,所提出的模型包括空间和时间信息,同时使用3D内核和残差连接。此外,在每个残差模块中,分别使用通道和时空注意力来重新校准通道特征和时空特征。我们的注意力机制使模型能够学习关注不同的面部感兴趣区域。实验在基准人脸微表情数据集上进行。与基准数据上的面部微表情识别的最新技术相比,观察到优越的性能。
2022-01-23 cs.CV