Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Sparse Spatial Attention Network for Semantic Segmentation
The University of Manchester(曼彻斯特大学)
空间注意力机制通过将全局上下文信息聚合到每个查询位置来捕获长距离依赖性,这有利于语义分割。在本文中,我们提出了一个稀疏空间注意力网络(SSANet),以提高空间注意力机制的效率,而不牺牲性能。具体而言,提出了一种稀疏非本地(SNL)块采样每个查询元素的键和值元素的子集,以自适应地捕获长程关系,并生成稀疏亲和矩阵,以有效地聚合上下文信息。在Cityscapes、PASCAL Context和ADE 20K数据集上的实验结果表明,该方法的性能优于其他上下文聚合方法,达到了最先进的性能。
2021-09-04 cs.CV
Simulating Human Gaze with Neural Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Mila(米拉);McGill University(麦吉尔大学);DeepMind(深度思维)
现有的人类视觉注意力模型通常无法包含直接的任务指导,因此在探索场景时无法对意图或目标进行建模。为了将任何下游视觉任务的指导集成到注意力建模中,我们提出了神经视觉注意力(NeVA)算法。为此,我们施加到神经网络的生物约束的中心凹视觉和训练的注意力机制,以产生视觉探索,最大限度地提高性能的下游任务。我们观察到,生物约束的神经网络生成类似人类的扫描路径,而无需为此目的进行训练。在三个常见的基准数据集上进行的大量实验表明,我们的方法在生成类似人类的扫描路径方面优于最先进的无监督人类注意力模型。
2022-11-22 cs.CV
Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions
Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿-罗森多夫研究中心);Center for Advanced Systems Understanding(高级系统理解中心)
已经研究了各种注意力机制以提高各种计算机视觉任务的性能。然而,先前的方法忽略了保留通道和空间方面的信息以增强跨维度交互的重要性。因此,我们提出了一种全局注意力机制,通过减少信息缩减和放大全局交互表示来提高深度神经网络的性能。我们引入了3D置换与多层感知器的通道注意力旁边的卷积空间注意力子模块。在CIFAR-100和ImageNet-1 K上对所提出的图像分类任务机制的评估表明,我们的方法在ResNet和轻量级MobileNet上的性能稳定地优于最近的几种注意力机制。
2021-12-10 cs.CV
Self-Attention Neural Bag-of-Features
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
在这项工作中,我们提出了多变量序列数据的注意力公式。我们建立在最近推出的2D注意力的基础上,通过基于自我注意力的潜在空间量化特征/时间维度的相关性,而不是直接学习它们,从而重新制定注意力学习方法。此外,我们提出了一种联合特征-时间注意力机制,该机制学习联合2D注意力掩模,突出显示相关信息,而无需独立处理特征和时间表示。所提出的方法可以用于各种架构,我们专门评估其应用与神经袋的特征特征提取模块。几个序列数据分析任务的实验表明,我们的方法相比,标准方法产生的性能提高。
2022-01-26 cs.CV
PSA-MIL: A Probabilistic Spatial Attention-Based Multiple Instance Learning for Whole Slide Image Classification
Technion – Israel Institute of Technology(技术学院–以色列理工学院)
PSA-MIL通过整合空间上下文的注意力机制,提升整张滑动图像分类的准确性和效率,同时减少计算成本。
2025-11-23 cs.CV
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation(索尼公司)
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN,以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Video-based Person Re-identification Using Spatial-Temporal Attention Networks
Delhi Technological University(德里理工大学);University of Manitoba(曼尼托巴大学)
我们考虑的问题,基于视频的人重新识别。目标是从不同摄像头拍摄的视频中识别一个人。在本文中,我们提出了一个有效的时空注意力为基础的模型,从视频中的人重新识别。我们的方法基于帧级特征为每个帧生成注意力分数。视频中所有帧的注意力分数用于产生输入视频的加权特征向量。与大多数使用全局表示的现有深度学习方法不同,我们的方法专注于注意力分数。在两个基准数据集上的大量实验表明,我们的方法达到了最先进的性能。这是一份技术报告。
2018-10-26 cs.CV
Understanding More about Human and Machine Attention in Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);South China University of Technology(华南理工大学);University of Electronic Science and Technology of China(电子科技大学);Inception Institute of Artificial Intelligence(起源人工智能研究所)
人类视觉系统可以选择性地关注场景的部分以快速感知,这是一种被称为人类注意力的生物机制。受此启发,最近的深度学习模型对注意力机制进行编码,将注意力集中在输入信号中与任务最相关的部分进行进一步处理,这被称为机器/神经/人工注意力。理解人类和机器注意力之间的关系对于解释和设计神经网络非常重要。许多著作声称,注意力机制通过解释神经网络看起来的位置,提供了一个额外的维度。然而,最近的研究表明,人工注意力地图并不总是与常见的直觉相一致。鉴于这些相互矛盾的证据,本文对人工注意力和人类注意力在神经网络设计中的应用进行了系统的研究。通过三个计算机视觉任务的实例、不同的代表性骨干和著名的体系结构、相应的真实人类注视数据,并系统地进行大规模的定量研究,我们量化了人工注意力和人类视觉注意力之间的一致性,并通过初步回答与人类和人工注意力机制相关的几个关键问题,为现有的人工注意力机制提供了新的见解。总体结果表明,人类的注意力可以基准有意义的“地面真相”在注意力驱动的任务,人工注意力越接近人类的注意力,性能越好;对于更高层次的视觉任务,这是个案。对于注意力驱动的任务来说,明确地强制人工和人类注意力之间更好的对齐以提高性能是可取的;这种对齐也将提高更高级别计算机视觉任务的网络可解释性。
2020-07-06 cs.CV
Convolutional Neural Network optimization via Channel Reassessment Attention module
East China Normal University(华东师范大学)
利用注意力机制调整通道间的相互关系可以提高卷积神经网络的性能。然而,目前的注意力机制并没有充分利用特征图的空间信息,这使得产生的通道注意力的结果有很大的差异。在本文中,我们提出了一种新的网络优化模块称为通道重新评估注意力(CRA)模块,它使用通道注意力与空间信息的特征地图,以提高网络的代表性的权力。该算法采用CRA模块根据不同通道的特征映射来评估通道关注度,然后通过通道关注度与特征映射的乘积来自适应地细化最终特征。CRA模块是一个计算轻量级模块,可以嵌入到任何结构的CNN中。在ImageNet、CIFAR和MS COCO数据集上的实验表明,CRA模块在各种网络上的嵌入有效地提高了不同评估标准下的性能。
2020-10-12 cs.CV
SAWU-Net: Spatial Attention Weighted Unmixing Network for Hyperspectral Images
Ocean University of China(中国海洋大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出SAWU-Net,通过空间注意力机制和加权解混网络端到端地利用高光谱图像空间先验信息,提升解混精度。
2023-04-22 cs.CV eess.IV
Spatial Attention as an Interface for Image Captioning Models
University of Potsdam(波茨坦大学)
现代深度学习模型的内部工作原理对于外部观察者来说通常是不清楚的,尽管涉及空间注意力机制。这项工作的想法是将这些空间注意力转换为自然语言,以提供一个更简单的访问模型的功能。因此,我采取了一个神经图像描述模型,并测量了三种不同的接口方法在其空间注意力的外部修改的反应:固定在整个生成过程中,固定的第一时间步骤和除了发电机的注意力。基于限界框的空间注意力向量的实验结果表明,字幕模型对方法相关变化的反应高达52.65%,并包括9.00%的情况下,对象类别,这是否则未提及。然后,通过提取视觉问答的词、短语和问题层次的空间注意,建立了一个层次共注意网络。在这里,为单词级别生成的字幕包括高达55.20%的情况下的问答对的细节。这项工作表明,空间注意作为一个外部接口的图像字幕生成器是一个有用的方法来访问视觉功能的自然语言。
2020-09-29 cs.CL cs.CV
SCSA: Exploring the Synergistic Effects Between Spatial and Channel Attention
College of Computer Science and Technology, Zhejiang Normal University(浙江师范大学计算机科学与技术学院);Research Institute of Hangzhou Artificial Intelligence, Zhejiang Normal University(浙江师范大学杭州人工智能研究院);Beijing Geekplus Technology Co., Ltd(北京极智嘉科技有限公司)
本文提出空间与通道协同注意力模块(SCSA),通过结合多语义空间注意力与渐进式通道自注意力,有效引导通道重校准并缓解语义差异,在多个视觉任务上超越现有方法。
2024-11-12 cs.CV
Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention
Rutgers University(罗格斯大学);University of Delaware(特拉华大学);University of Rochester(罗切斯特大学)
提出了一种基于动态图的时空注意力(DG-STA)手势识别方法。其关键思想是首先从手部骨架构建一个全连接图,然后通过在空间和时间域中执行的自注意力机制自动学习节点特征和边缘。我们进一步建议利用联合位置的时空线索,以保证在具有挑战性的条件下的鲁棒识别。此外,一种新的时空掩模被应用到显着减少99%的计算成本。我们进行了广泛的实验基准(DHG-14/28和SHREC'17),并证明了我们的方法相比,国家的最先进的方法的优越性能。源代码可以在https://github.com/yuxiaochen1103/DG-STA上找到。
2019-07-20 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University(北京航空航天大学)
在本文中,我们提出了一个耦合的时空注意力(CSTA)模型的基于动作识别,其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要,这对模糊和冗余的信息是不鲁棒的。为了解决这个问题,我们首先通过两个子网络分别为不同的关节和帧学习两组权重,这使得模型具有“关注”相对信息部分的能力。然后,我们计算叉积的关节和帧的权重的时空耦合的注意。此外,我们的CSTA机制可以很容易地插入到现有的分层CNN模型(CSTA-CNN),以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明,我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Spatial--spectral FFPNet: Attention-Based Pyramid Network for Segmentation and Classification of Remote Sensing Images
Institute of Mountain Hazards and Environment, Chinese Academy of Sciences(中国科学院成都山地灾害与环境研究所);University of Chinese Academy of Sciences(中国科学院大学);Bell Labs(贝尔实验室);CAS Center for Excellence in Tibetan Plateau Earth Sciences, Chinese Academy of Sciences(中国科学院青藏高原地球科学卓越创新中心);School of Economics and Management, Southwest Jiao Tong University(西南交通大学经济管理学院)
本文研究了高分辨率和高光谱遥感图像的分割和分类问题。与传统的自然(RGB)图像不同,遥感图像固有的大尺度和复杂结构给直接应用现有模型进行图像分类带来了诸如空间目标分布多样性和光谱信息抽取等重大挑战。在这项研究中,我们开发了一个基于注意力的金字塔网络分割和分类的遥感数据集。注意力机制用于开发以下模块:i)基于注意力的多尺度融合方法,有效地融合了不同尺度和相同尺度的有用空间或光谱信息; ii)基于区域注意力的区域金字塔注意力机制,解决了大尺度遥感图像中目标几何尺寸的多样性;和三跨尺度注意}在我们的自适应atrous空间金字塔池网络适应不同的内容在一个特征嵌入的空间。通过组合这些基于注意力的模块,建立了不同形式的特征融合金字塔框架。首先,提出了一种新的分割框架,称为重空间特征融合金字塔网络(FFPNet),以解决高分辨率遥感图像的空间问题。其次,提出了一个端到端的空间-光谱FFPNet分类高光谱图像。在ISPRS Vaihingen和ISPRS Potsdam高分辨率数据集上进行的实验表明,所提出的重量级空间FFPNet具有竞争力的分割精度。此外,印度松树和帕维亚大学高光谱数据集上的实验表明,所提出的空间-光谱FFPNet优于目前国家的最先进的方法在高光谱图像分类。
2020-08-20 cs.CV
StegaVision: Enhancing Steganography with Attention Mechanism
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本文提出StegaVision,通过在编码器-解码器架构中引入通道和空间注意力模块改进图像隐写术,实验证明并行注意力组合能同时提升图像质量与隐藏容量,打破以往两者的权衡。
2024-11-06 cs.CV
Attention Awareness Multiple Instance Neural Network
Wuhan University(武汉大学)
多示例学习适用于许多弱注释数据的模式识别任务。人工神经网络和多实例学习的结合提供了一种端到端的解决方案,并得到了广泛的应用。然而,挑战仍然是双重的。首先,目前的MIL池操作符通常是预定义的,并且缺乏挖掘关键实例的灵活性。其次,在当前的解决方案中,袋级表示可能是不准确的或不可访问的。为此,本文提出了一个注意感知多实例神经网络框架。它包括一个实例级分类器,一个可训练的MIL池操作员的基础上空间的注意和袋级分类层。一系列模式识别任务的详尽实验表明,我们的框架优于许多国家的最先进的MIL方法,并验证了我们提出的注意力MIL池运营商的有效性。
2022-05-27 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Spatial Bias for Attention-free Non-local Neural Networks
Ajou University(亚洲大学)
本文在卷积神经网络中引入空间偏差来学习全局知识而不需要自注意。由于有限的感受野,传统的卷积神经网络遭受学习长程依赖性。非局部神经网络一直在努力学习全局知识,但由于自注意操作,网络设计必然过于繁重。因此,我们提出了一个快速和轻量级的空间偏置,有效地编码全局知识,没有自我关注的卷积神经网络。空间偏差被堆叠在特征图上并卷积在一起以调整卷积特征的空间结构。因此,我们直接学习卷积层上的全局知识,只需很少的额外资源。我们的方法是非常快速和轻量级的,由于注意自由的非局部方法,同时大大提高了神经网络的性能。与非局部神经网络相比,空间偏差使用的参数减少了约10倍,同时在很小的预算下实现了1.6 ~ 3.3倍的吞吐量。此外,空间偏差可以与传统的非局部神经网络一起使用,以进一步提高骨干模型的性能。我们表明,空间偏差实现了具有竞争力的性能,在ImageNet-1 K和cifar 100数据集上将分类准确率提高了+0.79%和+1.5%。此外,我们还在MS-COCO和ADE 20 K数据集上验证了我们的方法,用于涉及目标检测和语义分割的下游任务。
2023-02-24 cs.CV
Efficient Human Pose Estimation by Maximizing Fusion and High-Level Spatial Attention
本文提出了一种高效的人体姿态估计网络-- SFM(slinge fusion model),该网络融合了多层次特征,并加入了轻量级的注意力块-- HSA(High-Level Spatial Attention)。现有的许多高效网络方法都考虑了特征融合,大大提高了网络的性能。然而,由于其在网络中的融合操作有限,其性能远不如ResNet和HRNet等大型网络。具体地说,我们通过在两个金字塔框架之间建立桥梁来扩大融合操作的数量,而不增加层。同时,为了捕获长距离依赖,我们提出了一个轻量级的注意力块- HSA,它计算二阶注意力图。总之,SFM在有限的层数中最大化特征融合的数量。HSA通过计算空间注意图的注意力来学习高精度的空间信息。在SFM和HSA的帮助下,我们的网络能够以较少的计算资源生成多层次特征并提取精确的全局空间信息。因此,我们的方法实现了可比的,甚至更好的精度与更少的参数和计算成本。在MPII验证集上,我们的SFM在PCKh@0.5中达到89.0,在PCKh@0.1中达到42.0,在COCO验证集上,我们的SFM在AP中达到71.7,在AP@0.5中达到90.7,只有1.7G FLOP和1.5M参数。源代码将很快公开。
2021-07-29 cs.CV
Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition
The University of Queensland(昆士兰大学);The University of New South Wales(新南威尔士大学)
细粒度的视觉识别通常依赖于对对象部分的细微差异进行建模。然而,这些部分往往表现出巨大的视觉变化,如遮挡,视点和空间变换,使其难以检测。在本文中,我们提出了一种新的基于注意力的模型,自动,选择性和准确地集中在关键对象区域具有较高的重要性,对外观变化。给定一幅图像,构造两个不同的卷积神经网络(CNN),其中两个CNN的输出通过双线性池化进行相关,以同时聚焦于有区别的区域并提取相关特征。为了捕捉具有视觉注意的局部区域之间的空间分布,结合了基于软注意的空间长短期记忆单元(LSTM),以实现对局部输入模式的空间递归但视觉选择性。所有上述直觉都为我们的网络提供了以下新模型:双流CNN层,双线性池化层,具有位置注意力的空间递归层通过端到端的方式联合训练,以作为部分检测器和特征提取器,从而专注地定位和提取相关特征。我们展示了我们的网络对两个著名的视觉识别任务的意义:细粒度的图像分类和人的重新识别。
2017-09-18 cs.CV
Spatial-Angular Attention Network for Light Field Reconstruction
Northeastern University(东北大学);Tsinghua University(清华大学)
典型的基于学习的光场重建方法需要通过加深网络来构建大的感受野,以捕获输入视图之间的对应关系。在本文中,我们提出了一个空间-角度的注意力网络,感知光场中的非本地的对应关系,并在端到端的方式重建高角度分辨率的光场。受非局部注意机制的启发,专门针对高维光场数据的空间-角度注意模块被引入,以计算光场中每个像素在极平面中的所有位置的响应,并生成沿着角度维度捕获对应关系的注意图。然后,我们提出了一个多尺度重建结构,有效地实现在低空间尺度的非局部注意,同时也保留在高空间尺度的高频分量。大量的实验表明,所提出的空间-角度注意力网络的优越性能,用于重建稀疏采样的光场与非朗伯效应。
2021-10-14 cs.CV eess.IV
Visual Attention and its Intimate Links to Spatial Cognition
York University(约克大学)
人们几乎普遍认为,注意力是一种能力,它允许智能体(人或机器)优先处理相关的刺激,而忽略不相关的刺激。然而,这一点如何在人类拥有的所有形式的感知和认知过程中表现出来的现实并不清楚。在这里,我们用一个广泛的视角来审视这一现实,以强调注意过程影响感知和认知的无数方式。本文最后展示了两个现实世界中的问题,表现出足够的复杂性,以说明注意力和认知连接的方式。然后,这些指向新的研究途径,可能会照亮空间认知的整体认知架构。
2018-06-29 cs.CV
An Attention Module for Convolutional Neural Networks
Delft University of Technology(代尔夫特理工大学);IBM Research(IBM研究院);Yonsei University(延世大学)
注意力机制被认为是一种先进的技术,以捕捉远程特征的相互作用,并提高卷积神经网络的表示能力。然而,我们发现目前基于注意激活的模型中存在两个被忽视的问题:注意图的近似问题和注意图容量不足问题。为了同时解决这两个问题,我们首先通过开发一个AW卷积来为卷积神经网络提出一个注意力模块,其中注意力映射的形状与权重而不是激活的形状相匹配。我们提出的注意力模块是对之前基于注意力的方案的补充方法,例如应用注意力机制来探索通道特征和空间特征之间关系的方案。在多个图像分类和目标检测任务数据集上的实验表明了我们提出的注意力模块的有效性。特别是,我们提出的注意力模块在ResNet 101基线上实现了ImageNet分类的1.00% Top-1准确度提高,在ResNet 101-FPN的基础上,在更快的R-CNN基线上实现了COCO目标检测的0.63 COCO风格的平均精度提高。当与以前的基于注意力激活的模型集成时,我们提出的注意力模块可以进一步将ImageNet分类的Top-1准确率提高高达0.57%,并将COCO目标检测的COCO风格平均精度提高高达0.45。代码和预训练模型将公开提供。
2021-08-18 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University(奥胡斯大学)
图卷积网络(GCN)通过将骨架序列建模为时空图,在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能,所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力,提出了一种对称的空间注意力,以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接,采用添加剂的空间关注双线性层,我们提出了时空双线性网络(ST-BLN),它不需要使用预定义的邻接矩阵,并允许更灵活的设计模型。实验结果表明,三种模型有效地导致相同的性能。此外,通过利用所提出的ST-BLN提供的灵活性,可以提高模型的效率。
2021-04-22 cs.CV
Development of spatial suppression surrounding the focus of visual attention
York University(约克大学);Centre for Vision Research(视觉研究中心)
从我们的环境中过滤掉不相关信息的能力对于有效处理至关重要。然而,在发展过程中,当建立世界的知识库时,选择性地分配注意力资源的能力是有限的(例如,Amso & Scerif,2015)。在成年期,研究表明,注意力集中的空间位置周围是一个抑制场,这是由自上而下的注意力促进相关刺激的处理和抑制周围的干扰物(例如,霍普夫等人,2006年)。然而,尚不完全清楚这种现象是否在发展中表现出来。在目前的研究中,我们研究了周围的视觉注意力的焦点空间抑制是否表现在发育年龄组。12至27岁的参与者在他们的视觉注意力焦点周围表现出空间抑制。他们的准确性增加作为一个功能的空间提示(和出席)的目标和第二个目标之间的间隔距离,这表明抑制环包围出席的目标。当一个中央线索被呈现,因此注意力不再是空间线索时,没有观察到周围抑制,这表明我们最初的抑制发现确实与注意力的焦点有关。在8至11岁的儿童中没有观察到注意周围抑制,即使空间线索呈现时间较长,这表明在这些年龄段缺乏这种效果并不是由于注意反馈过程减慢。我们的研究结果表明,自上而下的注意力过程在大约12岁之前仍然不成熟,并且在整个青少年时期继续得到完善,与以前关于注意力发展的研究很好地融合。
2018-09-17 cs.CV q-bio.NC
Deep spatial context: when attention-based models meet spatial regression
Faculty of Mathematics and Information Science(数学与信息科学学院);Warsaw University of Technology(华沙理工大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本研究提出DSCon深度空间上下文方法,整合空间回归与三类度量量化分析注意力视觉模型的空间上下文作用,经实验揭示了肿瘤/正常组织分类、邻域大小、不同空间下的空间上下文规律。
2024-03-10 cs.CV
Top-down Neural Attention by Excitation Backprop
Boston University(波士顿大学);Adobe Research(Adobe研究院)
我们的目标是对卷积神经网络(CNN)分类器的自上而下的注意力进行建模,以生成特定于任务的注意力地图。受自上而下的人类视觉注意力模型的启发,我们提出了一种新的反向传播方案,称为激励反向传播,通过概率赢家通吃过程在网络层次结构中向下传递自上而下的信号。此外,我们引入了对比注意的概念,使自上而下的注意力地图更具鉴别力。在实验中,我们证明了我们的方法在MS COCO,PASCAL VOC07和ImageNet数据集上弱监督定位任务中的准确性和通用性。我们的方法的有用性进一步验证了在文本到区域的关联任务。在Flickr30k实体数据集上,我们通过利用CNN模型的自上而下的注意力,在短语本地化方面取得了令人满意的性能,该模型已经在弱标记的Web图像上进行了训练。
2016-08-01 cs.CV
Adaptive Cross-Attention-Driven Spatial-Spectral Graph Convolutional Network for Hyperspectral Image Classification
Southwest Jiaotong University(西南交通大学);Southwest Institute of Electronic Technology(西南电子技术研究所);Mississippi State University(密西西比州立大学)
近年来,图卷积网络(GCN)被用来探索像素之间的空间关系,从而获得更好的高光谱图像(HSI)分类性能。然而,这些方法未能充分利用HSI数据中光谱带之间的关系。因此,我们提出了一种自适应交叉注意力驱动的空间-频谱图卷积网络(ACSS-GCN),它由一个空间GCN(Sa-GCN)子网络,一个频谱GCN(Se-GCN)子网络,和一个图形交叉注意力融合模块(GCAFM)。具体而言,Sa-GCN和Se-GCN提出了提取空间和光谱特征,通过建模空间像素之间的相关性和光谱波段之间,分别。然后,将注意力机制引入到图的信息聚合中,提出了一种基于注意力机制的GCAFM,设计了空间图关注块、谱图关注块和融合块,融合了Sa-GCN和Se-GCN的空间和谱特征,抑制了噪声干扰。此外,自适应图的思想被引入到探索一个最佳的图,通过反向传播在训练过程中。在两个HSI数据集上的实验表明,该方法取得了比其他分类方法更好的性能。
2022-04-12 cs.AI cs.CV
SPAN: Spatial Pyramid Attention Network forImage Manipulation Localization
University of Southern California(南加州大学);Indian Institute of Technology, Bombay(印度理工学院孟买分校);Facebook AI(脸书人工智能研究院)
我们提出了一种新的框架,空间金字塔注意力网络(SPAN)的检测和定位的多种类型的图像操作。所提出的架构有效地和有效地在多个尺度上的图像块之间的关系建模,通过构建一个金字塔的本地自我注意力块。该设计包括一种新颖的位置投影来编码贴片的空间位置。SPAN是在通用的合成数据集上训练的,但也可以针对特定的数据集进行微调;所提出的方法在标准数据集上的性能比以前最先进的方法有显著的提高。
2021-01-14 cs.CV
DCANet: Learning Connected Attentions for Convolutional Neural Networks
University of North Texas(北德克萨斯大学)
虽然自我注意力机制在许多视觉任务中显示出有希望的结果,但它一次只考虑当前特征。我们表明,这种方式不能充分利用注意力机制。在本文中,我们提出了深度连接注意力网络(DCANet),这是一种新颖的设计,可以在不修改内部结构的情况下提高CNN模型中的注意力模块。为了实现这一点,我们互连相邻的注意力块,使注意力块之间的信息流成为可能。利用DCANet,CNN模型中的所有注意力块被联合训练,这提高了注意力学习的能力。我们的DCANet是通用的。它不限于特定的注意力模块或基础网络架构。在ImageNet和MS COCO基准测试上的实验结果表明,DCANet在所有测试用例中都以最小的额外计算开销始终优于最先进的注意力模块。所有代码和模型都是公开的。
2020-07-09 cs.CV
Revisiting the Ordering of Channel and Spatial Attention: A Comprehensive Study on Sequential and Parallel Designs
本文通过系统比较通道和空间注意力组合,揭示了不同数据规模下注意力设计的最优策略,并提出了基于场景的注意力模块构建指南。
2026-01-23 cs.CV
CAT: Learning to Collaborate Channel and Spatial Attention from Multi-Information Fusion
Zongmu Technology(纵目科技);Technical University of Braunschweig(布伦瑞克工业大学);Central South University(中南大学)
通道和空间注意力机制已被证明可以提供深度卷积神经网络(CNN)的明显性能提升。大多数现有的方法集中在一个或运行他们并行(串行),忽略了这两个注意力之间的合作。为了更好地建立两种类型的注意力之间的特征交互,我们提出了一个即插即用的注意力模块,我们称之为“CAT”-激活空间和通道注意力之间的协作。具体来说,我们将性状表示为可训练系数(即,colla-factors)来自适应地组合不同注意模块的贡献,以更好地适应不同的图像层次和任务。此外,我们提出了全局熵池(GEP)除了全局平均池(GAP)和全局最大池(GMP)运营商,一个有效的组件,在抑制噪声信号通过测量的信息混乱的特征地图。我们在注意力模块中引入了一种三向池化操作,并应用自适应机制来融合它们的结果。在MS COCO,Pascal-VOC,Cifar-100和ImageNet上的大量实验表明,我们的CAT在目标检测,实例分割和图像分类方面优于现有的最先进的注意力机制。模型和代码将很快发布。
2022-12-13 cs.CV
E2-Capsule Neural Networks for Facial Expression Recognition Using AU-Aware Attention
胶囊神经网络是深度学习中的一种新的流行技术。然而,传统的胶囊神经网络没有充分提取特征之前,胶囊之间的动态路由。本文提出了一种双增强型胶囊神经网络(E2-Capsnet),它利用AU感知的注意力进行人脸表情识别。E2-Capsnet利用了胶囊之间的动态路由,并具有两个增强模块,这对FER是有益的。第一个增强模块是具有AU感知注意力的卷积神经网络,它可以帮助关注表情的活跃区域。第二个增强模块是具有多个卷积层的胶囊神经网络,增强了特征表示的能力。最后利用压缩函数对人脸表情进行分类。我们证明了E2-Capsnet在两个公共基准数据集RAF-DB和CAP 2 tioNet上的有效性。实验结果表明,我们的E2-Capsnet是优于国家的最先进的方法。我们的实施将在网上公开。
2019-12-05 cs.CV
RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks
College of Computer and Information Science, Chongqing Normal University(重庆师范大学计算机与信息科学学院);Chongqing Engineering Research Center of Educational Big Data Intelligent Perception and Application(教育大数据智能感知与应用重庆工程研究中心);College of Electronic and Information Engineering, Southwest University(西南大学电子与信息工程学院)
RFAConv通过接收场注意力机制改进卷积神经网络,提升性能同时保持低计算开销
2026-02-28 cs.CV
SCAR: Spatial-/Channel-wise Attention Regression Networks for Crowd Counting
Northwestern Polytechnical University(西北工业大学)
近年来,人群计数是人群分析中的一个热门话题。许多基于CNN的计数算法获得了良好的性能。然而,这些方法只关注人群场景的局部外观特征,而忽略了大范围像素级上下文和人群注意力信息。为了解决上述问题,本文将空间/空间方向注意力模型引入到传统的回归CNN中来估计密度图,称之为“SCAR”。它包括两个模块,即空间方向注意力模型(SAM)和空间方向注意力模型(CAM)。前者可以对整个图像的逐像素上下文进行编码,以更准确地预测像素级的密度图。后者试图在不同通道之间提取更多的区分特征,这有助于模型关注人群场景的核心-头部区域。直观地,CAM消除了背景区域的错误估计。最后,两种类型的注意力信息和传统的CNN的特征图集成的级联操作。此外,广泛的实验进行了四个流行的数据集,上海科技A/B部分,GCC和UCF_CC_50数据集。结果表明,该方法取得了较好的效果。
2019-08-10 cs.CV
Parameter-Free Spatial Attention Network for Person Re-Identification
Xidian University(西安电子科技大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
全局平均池化(GAP)允许本地化识别信息[40]。虽然GAP有助于卷积神经网络关注对象的最具鉴别力的特征,但如果该信息丢失,例如由于相机视点变化,则可能会受到影响。为了规避这个问题,我们认为,这是有利的,参加到全球配置的对象,通过建模的空间关系之间的高层次功能。我们提出了一种新的架构的人重新识别,基于一种新的无参数的空间注意力层引入空间关系的特征图激活回模型。我们的空间注意力层持续提高了模型的性能。四个基准测试的结果表明,我们的模型优于最先进的模型,在Market-1501上实现了94.7%的rank-1准确率,在DukeMTMC-ReID上实现了89.0%,在CUHK 03-labeled上实现了74.9%,在CUHK 03-detected上实现了69.7%。
2018-11-29 cs.CV
Spatial-Frequency Attention for Image Denoising
The Hong Kong Polytechnic University(香港理工大学)
最近发展起来的Transformer网络通过利用图像中的自注意(SA)在图像去噪方面取得了令人印象深刻的性能。然而,现有的方法大多使用一个相对较小的窗口来计算SA,由于它的二次复杂性,这限制了模型的建模能力,长期的图像信息。在本文中,我们提出了空间频率注意力网络(SFANet),以提高网络的能力,在利用长距离依赖。对于空间注意模块(SAM),我们采用扩张的SA来建模长距离依赖。在频率注意模块(FAM)中,我们通过设计基于窗口的频率信道注意(WFCA)块,使用快速傅里叶变换(FFT)来利用更多全局信息,以有效地对深层频率特征及其依赖性进行建模。为了使我们的模块适用于不同大小的图像,并保持训练和推理之间的模型一致性,我们采用了一组固定窗口大小的基于窗口的FFT。此外,在傅立叶频谱的实部和虚部上计算信道注意力,这进一步提高了恢复性能。所提出的WFCA块可以有效地建模图像的长距离依赖与可接受的复杂度。在多个去噪基准上的实验证明了SFANet网络的领先性能。
2023-02-27 cs.CV
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China(中国科学技术大学);Beijing Institute of Technology(北京理工大学);Microsoft Research Asia(微软亚洲研究院)
注意力机制已经成为深度神经网络中的一个流行组件,但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制,我们提出了一个实证研究,消融各种空间注意力元素内的广义注意力公式,包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行,产生了关于深度网络中空间注意力的重要发现,其中一些与传统理解背道而驰。例如,我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的,但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明,在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
Grad-CAM guided channel-spatial attention module for fine-grained visual classification
随着计算机视觉技术的迅速发展和应用的广泛,细粒度视觉分类(FGVC)成为一个重要的研究领域。目前的最先进的(SOTA)方法在FGVC通常采用注意力机制,首先捕获的语义部分,然后发现它们之间的细微差别不同的类。通道-空间注意力机制同时关注区分通道和区域,显著提高了分类性能。然而,现有的注意力模块指导不佳,因为在FGVC中基于部分的检测器依赖于网络的学习能力,而没有部分注释的监督。由于获得这样的部分注释是劳动密集型的,因此可以利用诸如梯度加权类激活映射(Grad-CAM)的一些视觉定位和解释方法来监督注意力机制。我们提出了一个梯度CAM引导的通道空间注意力模块的FGVC,它采用梯度CAM监督和约束的注意力权重,通过生成粗定位地图。为了证明所提出的方法的有效性,我们进行了全面的实验上的三个流行的FGVC数据集,包括CUB-$200$- $2011$,斯坦福汽车,和FGVC-Aircraft数据集。所提出的方法优于SOTA注意力模块在FGVC任务。此外,特征图的可视化也证明了该方法对SOTA方法的优越性。
2021-01-24 cs.CV
SPA-GAN: Spatial Attention GAN for Image-to-Image Translation
Wayne State University(韦恩州立大学)
图像到图像翻译是学习来自源域的图像和来自目标域的图像之间的映射。在本文中,我们直接将注意力机制引入到生成对抗网络(GAN)架构中,并提出了一种新的空间注意力GAN模型(SPA-GAN)用于图像到图像的翻译任务。SPA-GAN在其搜索引擎中计算注意力,并使用它来帮助生成器更多地关注源域和目标域之间最具区别性的区域,从而产生更逼真的输出图像。我们还发现,在SPA-GAN训练中引入额外的特征图损失有助于在翻译过程中保留特定于领域的特征。与现有的注意力引导GAN模型相比,SPA-GAN是一种轻量级模型,不需要额外的注意力网络或监督。在基准数据集上与最先进的方法进行定性和定量比较,证明了SPA-GAN的优越性能。
2020-12-30 cs.CV
Residual Spatial Attention Network for Retinal Vessel Segmentation
Eötvös Loránd University(罗兰大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Jiangxi Normal University(江西师范大学);Chinese Academy of Science(中国科学院);Qinghai University(青海大学)
视网膜血管的可靠分割可以被用作监测和诊断某些疾病(诸如糖尿病和高血压)的方式,因为它们影响视网膜血管结构。在这项工作中,我们提出了剩余空间注意力网络(RSAN)的视网膜血管分割。RSAN采用改进的残差块结构,集成了DropBlock,不仅可以用于构建深度网络以提取更复杂的血管特征,还可以有效缓解过拟合。此外,为了进一步提高网络的表示能力,在此基础上引入空间注意力(SA),提出了残差空间注意力块(RSAB)来构建RSAN。我们采用公共的DRIVE和CHASE DB1彩色眼底图像数据集来评估所提出的RSAN。实验表明,修改后的残余结构和空间注意力在这项工作中是有效的,并且我们提出的RSAN达到了最先进的性能。
2020-09-18 cs.CV eess.IV
Cloud Removal for Remote Sensing Imagery via Spatial Attention Generative Adversarial Network
光学遥感图像因其高分辨率和稳定的几何特性而在许多领域得到广泛应用。然而,遥感图像不可避免地受到气候,特别是云的影响。高分辨率遥感卫星图像的去云是分析前必不可少的预处理步骤,由于训练数据规模大,神经网络在很多图像处理任务中已经取得了成功,但将神经网络应用于遥感图像去云的研究还比较少。本文采用生成对抗网络来解决这一问题,并将空间注意力机制引入到遥感图像去云任务中,提出了一种空间注意力生成对抗网络(SpA GAN)模型,该模型模仿人类视觉机制,通过局部到全局的空间注意力来识别和聚焦云区域,从而增强这些区域的信息恢复,生成质量更好的无云图像。
2020-11-14 cs.CV eess.IV
Attention, please! A survey of Neural Attention Models in Deep Learning
Institute of Computing, University of Campinas(坎皮纳斯大学计算研究所)
在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息源的能力有限,注意力机制会选择、调节和关注与行为最相关的信息。几十年来,注意力的概念和功能已经在哲学、心理学、神经科学和计算机领域得到了研究。在过去的六年里,这种特性在深度神经网络中得到了广泛的探索。目前,深度学习的最新技术在几个应用领域中由神经注意力模型表示。本综述对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,确定并讨论了那些关注度显示出重大影响的架构。我们还开发并公布了一种自动化方法,以促进该领域审查的发展。通过批判性地分析650件作品,我们描述了注意力在卷积、递归网络和生成模型中的主要用途,确定了常见的使用和应用亚组。此外,我们描述了注意力在不同应用领域的影响,以及它们对神经网络可解释性的影响。最后,我们列出了可能的趋势和进一步研究的机会,希望这篇评论将提供一个简洁的概述该地区的主要注意力模型,并指导研究人员在开发未来的方法,将推动进一步的改进。
2021-03-31 cs.AI cs.CV cs.LG
Visual Navigation with Spatial Attention
Technion(以色列理工学院)
这项工作的重点是对象的目标视觉导航,旨在找到一个对象的位置从一个给定的类,在每一步中的代理提供了一个自我中心的RGB图像的场景。我们建议使用强化学习算法来学习代理的策略。我们的主要贡献是一个新的注意力概率模型的视觉导航任务。这种注意编码了关于观察对象的语义信息,以及关于它们的位置的空间信息。“什么”和“哪里”的这种组合允许代理有效地导航到所寻找的对象。注意力模型,以改善代理的政策,并实现国家的最先进的结果在常用的数据集。
2021-04-20 cs.CV cs.LG
Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving
Uber ATG(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
在本文中,我们提出了一个端到端的自动驾驶网络,该网络具有稀疏注意力模块,可以学习自动关注输入的重要区域。注意力模块专门针对运动规划,而先前的文献仅在感知任务中应用注意力。学习直接针对运动规划的注意力掩模通过执行更集中的计算而显著地提高了规划器的安全性。此外,将注意力可视化可以提高端到端自动驾驶的可解释性。
2021-03-26 cs.CV cs.LG cs.RO
Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers
University of Waterloo(滑铁卢大学);DarwinAI(达尔文AI公司)
随着设备上TinyML应用越来越多地采用深度学习,对针对边缘优化的高效神经网络骨干的需求不断增加。最近,注意力冷凝器网络的引入导致了低足迹、高效、自注意力神经网络,其在准确性和速度之间取得了很好的平衡。在这项研究中,我们介绍了一种更快的注意力冷凝器设计称为双冷凝注意力冷凝器,允许高度浓缩的功能嵌入。我们进一步采用了机器驱动的设计探索策略,根据最佳实践施加设计约束,以提高效率和鲁棒性,从而产生主干的宏微架构构造。生成的主干(我们将其命名为AttendNeXt)在嵌入式ARM处理器上实现了比其他几个最先进的高效主干更高的推理吞吐量(在更高的精度和速度下,比FB-Net C快10倍以上,在更小的尺寸下,比MobileOne-S1快10倍以上),同时具有较小的模型尺寸(在更高的准确性和速度下,比MobileNetv 3-L小1.37倍)和强大的准确性(在更高的速度下,比ImageNet上的MobileViT XS的top-1准确性高1.1%)。这些有希望的结果表明,探索不同的高效架构设计和自我注意力机制可以为TinyML应用程序带来有趣的新构建块。
2023-02-03 cs.CV eess.IV
Adaptive Dual Residual U-Net with Attention Gate and Multiscale Spatial Attention Mechanisms (ADRUwAMS)
本文提出了一种结合自适应双残差网络、注意力机制和多尺度空间注意力的新型模型,用于脑肿瘤的自动分割,提升了肿瘤区域的分割精度和Dice得分。
2026-04-10 cs.AI cs.CV
Neural encoding with visual attention
Cornell University(康奈尔大学);Weill Cornell Medicine(威尔康奈尔医学院);Brain and Mind Research Institute(脑与思维研究所);Nancy E. and Peter C. Meinig School of Biomedical Engineering(南希·E·和彼得·C·迈尼希生物医学工程学院)
视觉感知受到注意力集中的严重影响。由于有限的资源,这是众所周知的,神经表征偏向于出席的位置。使用并发眼动跟踪和功能性磁共振成像(fMRI)记录从一个大的队列的人类受试者看电影,我们首先证明,利用凝视信息,在注意力掩蔽的形式,可以显着提高大脑反应预测准确性的神经编码模型。接下来,我们提出了一种新的神经编码方法,包括一个可训练的软注意模块。使用我们的新方法,我们证明了仅通过fMRI响应数据的端到端学习来学习视觉注意力策略是可能的,而不依赖于任何眼动跟踪。有趣的是,我们发现,由独立数据模型估计的注意力位置与相应的眼睛注视模式吻合得很好,尽管没有明确的监督。总之,这些发现表明,注意模块可以在视觉刺激的神经编码模型中发挥作用。
2020-10-01 cs.CV cs.LG q-bio.NC
Memory Efficient Neural Processes via Constant Memory Attention Block
Borealis AI(博雷亚利斯人工智能公司);Mila – Université de Montréal(米拉-蒙特利尔大学)
针对神经过程注意力机制内存开销大的问题,提出常数内存注意力块(CMAB)及CMANPs模型,实现常数内存与计算更新,在基准上取得最先进结果且内存效率显著提升。
2024-05-27 cs.CV cs.LG
SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Jiangxi Normal University(江西师范大学)
视网膜血管的精确分割对于糖尿病、高血压等眼部相关疾病的早期诊断具有重要意义。在这项工作中,我们提出了一个名为空间注意力U-Net(SA-UNet)的轻量级网络,它不需要数千个带注释的训练样本,并且可以以数据增强的方式使用,以更有效地使用可用的带注释的样本。SA-UNet引入了一个空间注意力模块,该模块沿着空间维度推断注意力图,并将注意力图乘以输入特征图以进行自适应特征细化。此外,所提出的网络采用结构化的dropout卷积块而不是U-Net的原始卷积块,以防止网络过拟合。我们基于两个基准视网膜数据集评估SA-UNet:血管提取(DRIVE)数据集和儿童心脏和健康研究(CHASE_DB1)数据集。实验结果表明,SA-UNet在两个数据集上都达到了最先进的性能。Github 1上提供了实现和训练的网络。
2020-10-20 cs.CV eess.IV
3D SA-UNet: 3D Spatial Attention UNet with 3D Atrous Spatial Pyramid Pooling for White Matter Hyperintensities Segmentation
Independent Researcher (work conducted before current affiliation)(独立研究者)
本文提出3D SA-UNet模型,通过引入3D空间注意力模块和3D空洞空间金字塔池化,仅利用FLAIR扫描实现白质高信号的自动分割,并在公开数据集上取得了优于其他3D卷积神经网络的准确率。
2025-07-07 cs.CV eess.IV
BA-Net: Bridge Attention for Deep Convolutional Neural Networks
SUN YAT-SUN University(中山大学)
近年来,通道注意力机制因其在提高深度卷积神经网络(CNN)在许多视觉任务中的性能方面的巨大潜力而受到广泛研究。然而,在大多数现有的方法中,仅将相邻卷积层的输出馈送到注意层以用于计算信道权重。来自其他卷积层的信息已被忽略。通过这些观察,本文提出了一种简单的策略,命名为桥注意力网络(BA-Net),更好的性能与通道注意力机制。这种设计的核心思想是通过跳过连接来桥接先前卷积层的输出,以生成通道权重。基于我们的实验和理论分析,我们发现前几层的特征也对权重有很大的贡献。综合评价表明,该方法实现了国家的最先进的(SOTA)性能相比,现有的方法在准确性和速度。这表明桥注意力为神经网络结构的设计提供了一个新的视角,在提高性能方面具有很大的潜力。该代码可在https://github.com/zhaoy376/Bridge-Attention上获得。
2022-06-01 cs.AI cs.CV