Pointwise Attention-Based Atrous Convolutional Neural Networks
Sharif University of Technology（谢里夫理工大学）
随着深度卷积神经网络的快速发展，在几乎所有的机器人应用中，3D点云的可用性提高了3D语义分割方法的准确性。将这些不规则的、非结构化的和无序的3D点从多个视点渲染到2D图像会带来一些问题，例如由于3D到2D投影而导致的信息丢失、离散化伪影和高计算成本。为了有效地处理大量的点，并纳入更多的上下文的每一个点，逐点注意力为基础的atrous卷积神经网络架构的建议。它专注于所有特征图中突出的3D特征点，同时通过空间通道注意力模块考虑突出的上下文信息。所提出的模型进行了评估的两个最重要的三维点云数据集的三维语义分割任务。与最先进的模型相比，它在精度方面实现了合理的性能，参数数量少得多。
2019-12-27 cs.CV
Feature-based Attention in Convolutional Neural Networks
Center for Theoretical Neuroscience（理论神经科学中心）；Department of Neuroscience（神经科学系）；Columbia University（哥伦比亚大学）
卷积神经网络（CNN）已被证明对于图像处理任务（诸如对象识别和分类）是有效的。最近，CNN已经增强了注意力的概念，类似于生物学中的注意力。大部分关于注意力的研究都集中在有效的连续空间处理上。在本文中，我介绍了一个将基于特征的注意力（FBA）应用于CNN的简单过程，并比较了多种实现方案。FBA是一种自上而下的信号，全局应用于输入图像，有助于在杂乱或嘈杂的环境中检测所选对象。FBA的概念和这里测试的实现细节来自于已知的（和争论的）生物对象和基于特征的注意力。这里描述的FBA的实现使用简单、快速并且不需要额外的迭代训练的过程来提高具有挑战性的目标检测任务的性能。此外，这里进行的比较表明，提出的生物FBA模型（“特征相似性增益模型”）是有效的，在提高性能。
2015-12-09 cs.CV
Rega-Net:Retina Gabor Attention for Deep Convolutional Neural Networks
Beijing Institute of Technology（北京理工大学）；Yangtze Delta Region Academy, Beijing Institute of Technology（北京理工大学长三角研究院）
Rega-Net通过模拟视网膜非均匀结构并利用Gabor分布设计卷积核，扩大感受野以提升CNN性能，在ImageNet-1K和COCO2017上分别达到79.96%准确率和43.1% mAP。
2023-03-03 cs.CV
STNet: Selective Tuning of Convolutional Networks for Object Localization
York University（约克大学）
视觉注意力建模最近在开发由卷积神经网络提供的视觉层次中获得了动力。尽管最近成功的前馈处理从原始图像的概念的抽象，反馈处理的固有性质仍然存在计算上的争议。受内隐视觉注意的计算模型的启发，我们提出了选择性调整卷积网络（STNet）。它由自底向上和自顶向下的信息处理流组成，以选择性地调整卷积网络的视觉表示。我们通过实验评估了STNet在ImageNet基准数据集上弱监督定位任务的性能。我们证明了STNet不仅成功地超越了最先进的结果，而且还生成了注意力驱动的类假设图。
2017-08-21 cs.CV
Large Separable Kernel Attention: Rethinking the Large Kernel Attention Design in CNN
City University of Hong Kong（香港城市大学）；TCL AI Lab（TCL人工智能实验室）
提出大型可分离核注意力模块LSKA，通过将深度卷积层的2D卷积核分解为级联的1D卷积核，缓解了VAN中LKA模块计算和内存占用随核尺寸二次增长的问题，在保持性能的同时降低了复杂度并提升了鲁棒性。
2023-10-20 cs.CV
Eyenet: Attention based Convolutional Encoder-Decoder Network for Eye Region Segmentation
Couger Inc.（库格公司）
随着增强现实和虚拟现实领域向沉浸式方向的发展，对眼球跟踪的准确性和快速性提出了更高的要求。Facebook Research组织了一个名为OpenEDS语义分割的挑战赛，对关键眼睛区域进行逐像素分割：巩膜、虹膜、瞳孔和其他所有区域（背景）。有两个约束条件集的参与者，即MINUS和计算复杂性的模型。最近，研究人员使用卷积神经网络（CNN）分割眼睛区域取得了相当好的结果。然而，在这项任务中涉及的环境挑战，如低分辨率，模糊，不寻常的闪烁和照明，偏角，离轴，使用眼镜和虹膜区域的不同颜色阻碍了分割的准确性。为了解决眼睛分割中的挑战，本工作提出了一种鲁棒的和计算效率高的基于注意力的卷积编码器-解码器网络，用于分割所有的眼睛区域。我们的模型，命名为EyeNet，包括修改后的残余单元作为骨干，两种类型的注意力块和多尺度监督分割上述四个眼睛区域。我们提出的模型在测试数据上获得了0.974的总分（EDS评估指标），这表明与基线方法相比具有更好的结果。
2019-10-08 cs.CV
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
Tianjin University（天津大学）；Dalian University of Technology（大连理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
最近，通道注意力机制已被证明在提高深度卷积神经网络（CNN）的性能方面具有巨大的潜力。然而，大多数现有方法都致力于开发更复杂的注意力模块以获得更好的性能，这不可避免地增加了模型的复杂度。为了克服性能和复杂性权衡的矛盾，本文提出了一个有效的通道注意力（ECA）模块，它只涉及少数参数，同时带来明显的性能增益。通过剖析SENet中的通道注意力模块，我们经验性地表明，避免降维对于学习通道注意力非常重要，并且适当的跨通道交互可以在显著降低模型复杂度的同时保持性能。因此，我们提出了一个本地跨信道的互动策略，没有降维，这可以有效地实现通过$1D$卷积。此外，我们开发了一种方法来自适应地选择$1D$卷积的核大小，确定局部跨通道交互的覆盖范围。拟议的非洲经委会模块既有效率又有效，例如，我们的模块对ResNet 50的主干的参数和计算分别为80 vs. 24.37M和4.7e-4 GFLOPs vs. 3.86 GFLOPs，并且在Top-1精度方面性能提升超过2%。我们广泛评估我们的ECA模块的图像分类，目标检测和实例分割与ResNets和MobileNetV 2的骨干。实验结果表明，我们的模块是更有效的，同时表现良好，对它的同行。
2020-04-07 cs.CV
Channel prior convolutional attention for medical image segmentation
Hunan University of Science and Technology（湖南科技大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对医学图像特性及现有注意力机制自适应不足的问题，提出通道先验卷积注意力方法CPCA及分割网络CPCANet，在两个公开数据集上以更少计算资源实现更优分割性能。
2023-06-08 cs.CV eess.IV
Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention
Shiraz University（设拉子大学）
变化检测是遥感中的一个重要问题，特别是在灾害时期的城市管理中。现有的传统变化检测方法大多是基于像素或对象进行分类的。在处理甚高分辨率遥感图像时，基于对象的模型比基于像素的方法更可取。这些方法可以从正在进行的深度学习研究中受益。本文提出了一种基于全卷积Siamese级联网络（FC-Siam-Conc）的VHR遥感影像变化检测算法。该方法使用预处理和注意力门层来提高准确性。高斯注意力（GA）作为一种软视觉注意力机制用于预处理。GA帮助网络像生物视觉系统一样处理特征图。由于GA参数在网络训练过程中无法调整，因此引入了一个注意门层来扮演GA的角色，其参数可以在其他网络参数中进行调整。在Onera卫星变化检测（OSCD）和RIVER-CD数据集上获得的实验结果证实了所提出的架构优于最先进的算法。
2021-01-31 cs.CV cs.LG eess.IV
Convolutional Neural Network with Convolutional Block Attention Module for Finger Vein Recognition
Southwest Jiaotong University（西南交通大学）
卷积神经网络以其强大的图像特征表示能力成为手指静脉识别领域的研究热点。然而，大多数研究人员专注于通过增加CNN的深度和宽度来提高网络的性能，这通常需要很高的计算工作量。而且，我们可以注意到，不仅不同通道中像素的重要性不同，而且同一通道中不同位置的像素的重要性也不同。为了减少计算量并考虑到像素的不同重要性，提出了一种轻量级的带有卷积块注意模块（CBAM）的卷积神经网络用于手指静脉识别，通过注意力机制可以实现对视觉结构更准确的捕捉。首先，将图像序列输入到我们设计的轻量级卷积神经网络中，以改善视觉特征。然后，它在卷积块注意模块的帮助下学习以自适应的方式分配特征权重。在两个公开数据库上进行的实验表明，该方法在多模态手指识别中具有稳定、高精度和鲁棒性的特点。
2022-02-14 cs.CV
CBAM: Convolutional Block Attention Module
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Lunit Inc.（Lunit公司）；Adobe Research（奥多比研究院）
我们提出了卷积块注意模块（CBAM），一个简单而有效的前馈卷积神经网络的注意模块。给定一个中间特征图，我们的模块沿着两个独立的维度（通道和空间）依次推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。由于CBAM是一个轻量级的通用模块，因此它可以无缝集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。我们通过对ImageNet-1 K，MS~COCO检测和VOC~2007检测数据集的大量实验来验证我们的CBAM。我们的实验表明，与各种模型的分类和检测性能的一致改善，证明了CBAM的广泛适用性。代码和模型将公开提供。
2018-07-18 cs.CV
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer
Université Paris-Est（巴黎东大学）；École des Ponts ParisTech（巴黎高科路桥学院）
注意力在人类视觉体验中起着至关重要的作用。此外，最近已经证明，在将人工神经网络应用于来自诸如计算机视觉和NLP等领域的各种任务的背景下，注意力也可以发挥重要作用。在这项工作中，我们表明，通过正确定义卷积神经网络的注意力，我们实际上可以使用这种类型的信息，通过迫使学生CNN网络模仿强大的教师网络的注意力地图来显着提高其性能。为此，我们提出了几种转移注意力的新方法，在各种数据集和卷积神经网络架构上显示出一致的改进。我们实验的代码和模型可以在https://github.com/szagoruyko/attention-transfer上找到
2017-02-12 cs.CV
Convolutional Neural Network optimization via Channel Reassessment Attention module
East China Normal University（华东师范大学）
利用注意力机制调整通道间的相互关系可以提高卷积神经网络的性能。然而，目前的注意力机制并没有充分利用特征图的空间信息，这使得产生的通道注意力的结果有很大的差异。在本文中，我们提出了一种新的网络优化模块称为通道重新评估注意力（CRA）模块，它使用通道注意力与空间信息的特征地图，以提高网络的代表性的权力。该算法采用CRA模块根据不同通道的特征映射来评估通道关注度，然后通过通道关注度与特征映射的乘积来自适应地细化最终特征。CRA模块是一个计算轻量级模块，可以嵌入到任何结构的CNN中。在ImageNet、CIFAR和MS COCO数据集上的实验表明，CRA模块在各种网络上的嵌入有效地提高了不同评估标准下的性能。
2020-10-12 cs.CV
EAANet: Efficient Attention Augmented Convolutional Networks
University of Toronto（多伦多大学）
人类可以有效地在复杂场景中找到显著区域。自注意力机制被引入到计算机视觉（CV）中以实现这一点。注意力增强卷积网络（AANet）是卷积和自注意力的混合，它提高了典型ResNet的准确性。然而，自我注意的复杂度是O（n2）的计算和内存使用相对于输入令牌的数量。在这个项目中，我们提出了EAANet：高效的注意力增强卷积网络，它将高效的自我注意力机制融合在卷积和自我注意力混合架构中，以减少模型的内存占用。我们的最佳模型显示了比AA-Net和ResNet 18更好的性能。我们还探索了用自注意力机制增强卷积网络的不同方法，并展示了与ResNet相比，训练这些方法的难度。最后，我们表明，增强有效的自我注意力机制与ResNet规模更好地与输入大小比正常的自我注意力机制。因此，我们的EAANet更能够处理高分辨率图像。
2022-06-03 cs.CV
End-to-End Fingerprints Liveness Detection using Convolutional Networks with Gram module
Inha University（仁荷大学）
本文提出了一种端到端的CNN（卷积神经网络）模型，该模型使用大小约为1.2MB的gram模块来检测假指纹。该方法假设纹理是最适合于假指纹检测的特征，并实现了从CNN中提取纹理的gram模块。所提出的CNN结构使用火模块作为基本模型，并使用gram模块进行纹理提取。通过fire模块的张量将与gram模块连接，以创建具有相同空间大小的gram矩阵。从不同层次提取的3个gram矩阵与通道轴结合后，成为鉴别假指纹的依据。根据LivDet 2011、2013、2015年的数据，实验结果的平均检测误差为2.61%，证明可以设计出能够用于假指纹检测的具有较少参数的端到端CNN结构。
2018-03-21 cs.CV
CHAM: action recognition using convolutional hierarchical attention model
University of Liverpool（利物浦大学）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）
最近，最初在语言处理中提出的软注意力机制已被应用于计算机视觉任务，如图像描述。本文通过将卷积LSTM与分层系统架构相结合来识别视频中的动作类别，从而对软注意力模型进行改进。我们称这个模型为卷积层次注意力模型（Convolutional Hierarchical Attention Model，CHAM）。该模型在LSTM单元内应用卷积运算和注意力图生成过程来识别动作。该模型的层次结构能够显式地对多粒度的动作类别进行推理。所提出的架构在三个公开可用的数据集上取得了改进的结果：UCF体育数据集、奥林匹克体育数据集和HMDB51数据集。
2017-05-19 cs.CV
Two-stream Flow-guided Convolutional Attention Networks for Action Recognition
National University of Singapore（新加坡国立大学）
本文提出了一种用于视频中动作识别的双流流引导卷积注意力网络。其中心思想是，光流，当适当补偿相机运动，可以用来引导注意到人类前景。因此，我们开发了从时间网络（在流上训练）到空间网络（在RGB帧上训练）的交叉链接层。这些交叉链接层引导空间流更多地关注人类前景区域，并且较少受背景杂波的影响。在UCF 101、HMDB 51和Hollywood2数据集上，我们的方法获得了很好的性能。
2017-08-30 cs.CV
Convolutional Bypasses Are Better Vision Transformer Adapters
Peking University（北京大学）
预训练-微调范式在计算机视觉中被广泛采用。但是随着视觉Transformer（ViT）的大小呈指数级增长，考虑到更重的存储开销，完全微调变得令人望而却步。受语言Transformers上的参数高效迁移学习（PETL）的激励，最近的研究试图插入轻量级自适应模块（例如，适配器层或提示令牌）来预训练ViT，并且仅在预训练权重被冻结时微调这些模块。然而，这些模块最初被提出来微调语言模型，并没有考虑到专门用于视觉任务的先验知识。在本文中，我们建议在ViT中构建卷积神经网络（Convpass）作为自适应模块，只引入少量（小于0.5%的模型参数）的可训练参数来适应大的ViT。与其他PETL方法不同，Convpass受益于卷积层的硬编码归纳偏差，因此更适合视觉任务，特别是在低数据状态下。在VTAB-1 K基准测试和少样本学习数据集上的实验结果表明，Convpass的性能优于当前面向语言的自适应模块，说明了为适应视觉模型而定制面向视觉的自适应模块的必要性。
2022-08-09 cs.CV
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
University of Southern California（南加州大学）；Baidu Research（百度研究院）；UCLA（加州大学洛杉矶分校）
提出了一种新的基于注意力的深度学习架构，用于视觉问答任务（VQA）。给定图像和图像相关的自然语言问题，VQA生成问题的自然语言答案。生成正确答案需要模型的注意力集中在与问题对应的区域上，因为不同的问题询问不同图像区域的属性。我们引入了一个基于注意力的可配置卷积神经网络（ABC-CNN）来学习这种问题引导的注意力。ABC-CNN通过将图像特征映射与从问题的语义导出的可配置卷积核进行卷积来确定图像-问题对的注意力映射。我们在三个基准VQA数据集上评估了ABC-CNN架构：多伦多COCO-QA，DAQUAR和VQA数据集。ABC-CNN模型在这些数据集上实现了比最先进方法的显着改进。ABC-CNN产生的问题引导注意力也反映了与问题高度相关的区域。
2016-04-03 cs.CV
Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion
Imperial College London（帝国理工学院）
在本文中，我们提出了一种新的深度卷积神经网络来解决一般的多模态图像复原（MIR）和多模态图像融合（MIF）问题。与其他基于深度学习的方法不同，我们的网络架构是通过从新提出的多模态卷积稀疏编码（MCSC）模型中汲取灵感而设计的。所提出的网络的关键特征是，它可以自动地将不同模态之间共享的公共信息从属于每个单个模态的唯一信息中分离出来，因此用CU-Net表示，即，共同的和独特的信息分裂网络。具体来说，CU-Net由三个模块组成，即，唯一特征提取模块（UFEM）、公共特征保留模块（CFPM）和图像重建模块（SVM）。每个模块的架构都来自MCSC模型中的相应部分，该部分由几个学习的卷积稀疏编码（LCSC）块组成。大量的数值结果验证了我们的方法对各种MIR和MIF任务的有效性，包括RGB引导的深度图像超分辨率，闪光灯引导的非闪光图像去噪，多聚焦和多曝光图像融合。
2019-10-09 cs.CV
Visual Attention driven by Convolutional Features
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
对人类在场景中的位置的理解是视觉感知和计算机视觉中非常感兴趣的问题。当眼动追踪设备不是可行的选择时，可以使用人类注意力模型来预测注视。在本文中，我们给出了两个贡献。首先，我们展示了一个视觉注意力模型，该模型简单地基于为对象分类任务训练的深度卷积神经网络。定义了一种用于可视化显着性图的方法，该方法在显着性预测任务中进行评估。其次，我们将这些地图的信息与自下而上的眼动差分模型相结合，以模拟视觉注意扫描路径。显著性预测和与人类扫描路径的相似性分数的结果证明了该模型的有效性。
2018-07-12 cs.CV
Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Digits（京东数科）
共显著性检测的目的是从一组相关的图像中发现共同的和显著的前景。为此，我们提出了一种新的自适应图卷积网络与注意图聚类（GCAGC）。三个主要的贡献已经作出，并通过实验证明有很大的实际价值。首先，我们提出了一个图卷积网络的设计，以提取信息线索来表征帧内和帧间的对应关系。其次，我们开发了一个注意力图聚类算法，以区分共同的对象从所有突出的前景对象在一个无监督的方式。第三，我们提出了一个统一的框架与编码器-解码器结构，以联合训练和优化的图卷积网络，注意力图聚类，和共显着性检测解码器在端到端的方式。我们在三个共显性检测基准数据集（iCoseg，Cosal 2015和COCO-SEG）上评估了我们提出的GCAGC方法。我们的GCAGC方法获得了显着的改进，在大多数国家的最先进的。
2020-03-13 cs.CV
Unifying Convolution and Attention via Convolutional Nearest Neighbors
Bowdoin College（鲍登学院）
提出卷积最近邻（ConvNN）统一框架，将卷积和注意力视为k近邻聚合的特例，通过可配置的邻居选择策略桥接两者，在ImageNet-1K上分别提升ResNet-50和ViT-Base性能。
2026-07-02 cs.CV
3D Convolutional with Attention for Action Recognition
Chowis（超维斯公司）；Gwangju Institute of Science and Technology（光州科学技术院）；Monitorapp（Monitorapp公司）
人体动作识别是计算机视觉中具有挑战性的任务之一。当前的动作识别方法使用计算昂贵的模型来学习动作的时空依赖性。分别利用RGB通道和光流的模型、使用双流融合技术的模型以及由卷积神经网络（CNN）和长短期记忆（LSTM）网络组成的模型是这种复杂模型的几个示例。此外，微调这种复杂的模型在计算上也是昂贵的。本文提出了一种用于学习这种依赖关系的深度神经网络架构，该架构由3D卷积层、全连接（FC）层和注意力层组成，该架构更易于实现，并在UCF-101数据集上具有竞争力的性能。该方法首先通过3D-CNN学习动作的空间和时间特征，然后注意力机制帮助模型将注意力定位到识别的基本特征。
2022-06-05 cs.CV
Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）
图卷积网络将人体骨骼关节建模为顶点，并通过邻接矩阵连接它们，该邻接矩阵可以被视为局部注意力掩模。然而，在大多数现有的图卷积网络中，局部注意掩模是基于人体骨骼关节的自然连接来定义的，并且忽略了例如头、手和脚关节之间的动态关系。此外，注意力机制在自然语言处理和图像描述中也被证明是有效的，而在现有的方法中，注意机制的研究却很少。在这项工作中，我们提出了一个新的自适应空间注意力层，扩展局部注意力地图的基础上的相对距离和相对角度信息的全球。此外，我们设计了一个新的初始图邻接矩阵，连接头，手和脚，这表明在动作识别精度方面的明显改善。该模型在人类日常活动领域的两个大规模和具有挑战性的数据集上进行了评估：NTU-RGB+D和Kinetics骨架。结果表明，我们的模型在两个数据集上都具有很强的性能。
2022-07-12 cs.CV
Classification of X-Ray Protein Crystallization Using Deep Convolutional Neural Networks with a Finder Module
University of Tsukuba（筑波大学）；High Energy Accelerator Research Organization（高能加速器研究机构）
最近，深度卷积神经网络在图像识别方面表现出了良好的效果。在本文中，我们使用卷积神经网络与查找器模块，发现识别的重要区域，并提取该区域。我们建议将我们的方法应用于识别蛋白质晶体的X射线结构分析。在该分析中，有必要从大量图像中识别蛋白质结晶的状态。利用卷积神经网络实现蛋白质结晶识别的方法有多种。在每一种方法中，都需要大规模的数据集才能以高精度进行识别。在我们的数据集中，图像的数量不足以训练CNN。CNN的数据量在各个领域都是一个严重的问题。我们的方法实现了高精度的识别与少量的图像发现的结晶液滴存在的区域。我们将我们的结晶图像识别方法与使用Inception-V3的高精度方法进行了比较。我们证明了我们的方法是有效的结晶图像使用几个实验。我们的方法得到的AUC值比对比方法高约5%。
2018-12-25 cs.CV
SRM : A Style-based Recalibration Module for Convolutional Neural Networks
Lunit Inc.（卢尼特公司）
随着卷积神经网络（CNN）在风格转换方面的进展，风格在CNN中的作用从更广泛的角度引起了越来越多的关注。在本文中，我们的目标是充分利用样式的潜力来提高CNN在一般视觉任务中的性能。我们提出了一个基于样式的重新校准模块（SRM），一个简单而有效的架构单元，自适应地重新校准中间特征图，利用他们的风格。SRM首先通过风格池从每个通道的特征图中提取风格信息，然后通过通道独立的风格集成来估计每个通道的重校准权重。通过将各个样式的相对重要性合并到特征图中，SRM有效地增强了CNN的表示能力。所提出的模块直接馈送到现有的CNN架构中，开销可以忽略不计。我们对一般图像识别以及与样式相关的任务进行了全面的实验，这些实验验证了SRM相对于最近的方法（如挤压和激励（SE））的优势。为了解释SRM和SE之间的固有差异，我们提供了一个深入的比较，他们的代表性的属性。
2019-03-26 cs.CV
RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks
College of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院）；Chongqing Engineering Research Center of Educational Big Data Intelligent Perception and Application（教育大数据智能感知与应用重庆工程研究中心）；College of Electronic and Information Engineering, Southwest University（西南大学电子与信息工程学院）
RFAConv通过接收场注意力机制改进卷积神经网络，提升性能同时保持低计算开销
2026-02-28 cs.CV
Towards Better Guided Attention and Human Knowledge Insertion in Deep Convolutional Neural Networks
Uppsala University（乌普萨拉大学）；Vironova AB（维罗诺瓦公司）
本文提出Multi-Scale Attention Branch Networks (MSABN)，通过提升注意力图分辨率改善深度CNN性能，并引入利用注意力图结合边界框标注注入人类知识的数据增强策略，在图像识别任务上取得显著效果。
2022-10-20 cs.CV
Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge
Center for Artificial Intelligence in Public Health Research（公共卫生研究人工智能中心）；Robert Koch Institute（罗伯特·科赫研究所）
视觉感知是由对周围世界相关方面的关注驱动的。为了将这种观察转移到计算机的数字信息处理中，已经引入了注意力机制来突出显著的图像区域。在这里，我们介绍了一个无参数的注意力机制PfAAM，这是一个简单而有效的模块。它可以插入到各种卷积神经网络架构中，只需要很少的计算开销，而且不会影响模型大小。PfAAM在多个架构上进行了测试，用于分类和分段分割，从而提高了所有测试案例的模型性能。这证明了它作为计算机视觉任务的通用易用模块的广泛适用性。PfAAM的实现可以在https://github.com/nkoerb/pfaam上找到。
2022-10-14 cs.CV
DCANet: Learning Connected Attentions for Convolutional Neural Networks
University of North Texas（北德克萨斯大学）
虽然自我注意力机制在许多视觉任务中显示出有希望的结果，但它一次只考虑当前特征。我们表明，这种方式不能充分利用注意力机制。在本文中，我们提出了深度连接注意力网络（DCANet），这是一种新颖的设计，可以在不修改内部结构的情况下提高CNN模型中的注意力模块。为了实现这一点，我们互连相邻的注意力块，使注意力块之间的信息流成为可能。利用DCANet，CNN模型中的所有注意力块被联合训练，这提高了注意力学习的能力。我们的DCANet是通用的。它不限于特定的注意力模块或基础网络架构。在ImageNet和MS COCO基准测试上的实验结果表明，DCANet在所有测试用例中都以最小的额外计算开销始终优于最先进的注意力模块。所有代码和模型都是公开的。
2020-07-09 cs.CV
Attentioned Convolutional LSTM InpaintingNetwork for Anomaly Detection in Videos
Intel（英特尔）
我们提出了一种半监督模型，用于检测视频像素网络启发的视频中的异常[van den Oord et al.，2016年]。VPN是一种基于深度神经网络的概率生成模型，用于估计视频帧中原始像素的离散联合分布。我们的模型扩展了VPN的卷积-LSTM视频编码器部分，具有一种新的基于卷积的注意力机制。我们还将VPN的Pixel-CNN解码器部分修改为帧修复任务，其中要预测的帧的部分掩蔽版本作为输入。帧重构误差被用作异常指示符。我们在移动mnist数据集的修改版本上测试我们的模型[Srivastava et al.，2015年]。我们的模型被证明是有效的检测视频中的异常。这种方法可以作为需要视觉常识的应用程序的一个组件。
2018-11-26 cs.CV
ADCrowdNet: An Attention-injective Deformable Convolutional Network for Crowd Understanding
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；University of Maryland（马里兰大学）；Shanghai Jiao Tong University（上海交通大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；WINNER Technology
我们提出了一种称为ADCrowdNet的注意力注入可变形卷积网络，用于人群理解，可以解决高度拥挤的嘈杂场景的准确性下降问题。ADCrowdNet包含两个级联网络。一种称为注意力地图生成器（AMG）的注意力感知网络首先检测图像中的人群区域，并计算这些区域的拥挤程度。基于检测到的人群区域和拥塞先验，称为密度图估计（DME）的多尺度可变形网络然后生成高质量的密度图。通过注意力感知训练方案和多尺度可变形卷积方案，所提出的ADCrowdNet实现了更有效地捕获人群特征和更抵抗各种噪声的能力。我们已经在四个流行的人群计数数据集（ShanghaiTech，UCF_CC_50，WorldEXPO'10和UCSD）和一个额外的车辆计数数据集TRANCOS上评估了我们的方法，我们的方法在所有这些数据集上都击败了现有的最先进的方法。
2019-04-11 cs.CV
Delineation of Skin Strata in Reflectance Confocal Microscopy Images using Recurrent Convolutional Networks with Toeplitz Attention
Northeastern University（东北大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Caliber I.D. Inc.（Caliber I.D.公司）
反射共聚焦显微镜（RCM）是一种有效的，非侵入性的皮肤癌诊断预筛选工具，但它需要广泛的培训和经验，以准确评估。有几个定量工具可用于标准化图像采集和分析，和那些可用的是不可解释的。在这项研究中，我们使用一个递归神经网络，关注卷积网络的特征。我们应用它来描绘皮肤层的垂直取向堆栈的横向RCM图像切片在一个可解释的方式。我们引入了一种新的注意力机制，称为Toeplitz注意力，它限制注意力图具有Toeplitz结构。在504个RCM堆栈的专家标记数据集上测试我们的模型，我们实现了88.17%的图像分类准确率，这是目前最先进的。
2017-12-01 cs.CV
Residual Attention Graph Convolutional Network for Geometric 3D Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
几何3D场景分类是一个非常具有挑战性的任务。当前的方法仅使用RGB-D传感器提供的深度通道来提取几何信息。这些类型的方法由于在深度通道中丢失局部几何上下文而引入可能的误差。这项工作提出了一种新的剩余注意力图卷积网络，利用内在的几何上下文内的3D空间，而不使用任何类型的点特征，允许使用有组织或无组织的3D数据。在NYU Depth v1和SUN-RGBD数据集上进行了实验，研究了不同的配置，并验证了所提方法的有效性。实验结果表明，该方法优于当前国家的最先进的几何三维场景分类任务。
2019-09-30 cs.CV
Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules
Iowa State University（爱荷华州立大学）
从头开始训练是构建基于卷积神经网络（CNN）的模型的最常见方法。如果我们可以通过重用以前构建的CNN模型的部分来构建新的CNN模型，那会怎么样？如果我们可以通过用其他部分替换（可能有故障的）部分来改进CNN模型，会怎么样？在这两种情况下，我们是否可以识别负责模型中每个输出类（模块）的部分，并重用或仅替换所需的输出类来构建模型？之前的工作提出了将密集网络分解为模块（每个输出类一个），以实现各种场景中的可重用性和可替换性。然而，这项工作仅限于密集层，并且基于连续层中节点之间的一对一关系。由于CNN模型中的共享架构，先前的工作不能直接适应。在本文中，我们建议将用于图像分类问题的CNN模型分解为每个输出类的模块。这些模块可以进一步重复使用或替换以构建新模型。我们使用CIFAR-10、CIFAR-100和ImageNet小数据集以及三种ResNet模型对我们的方法进行了评估，发现启用分解的成本很小（前1和前5的准确率分别为1.77%和0.85%）。此外，通过重用或替换模块来构建模型的平均精度损失为2.3%和0.5%。此外，与从头开始训练模型相比，重复使用和替换这些模块可将二氧化碳排放量减少约37倍。
2021-12-20 cs.CV
AttentNet: Fully Convolutional 3D Attention for Lung Nodule Detection
Loughborough University（拉夫堡大学）；Swansea University（斯旺西大学）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）
针对3D医学影像中注意力机制计算开销大的问题，提出AttentNet框架，采用两个3D全卷积注意力模块，在LUNA-16数据集上验证其优于无注意力基线方法，用于肺结节检测。
2024-07-19 cs.CV
NAC-TCN: Temporal Convolutional Networks with Causal Dilated Neighborhood Attention for Emotion Understanding
University of Pennsylvania（宾夕法尼亚大学）
提出NAC-TCN模型，通过引入因果膨胀邻域注意力与卷积结合，在降低计算和内存开销的同时，于标准情感识别数据集上以更少参数达到或超越现有主流方法性能。
2024-01-06 cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Shandong University（山东大学）；Tencent AI Lab（腾讯AI实验室）；National University of Singapore（新加坡国立大学）
视觉注意已经成功地应用于结构预测任务，如视觉字幕和问答。现有的视觉注意力模型通常是空间的，即，注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而，我们认为，这种空间注意力并不一定符合注意力机制-一个动态特征提取器，随着时间的推移结合上下文固定，因为CNN特征自然是空间的，通道的和多层的。在本文中，我们介绍了一种新的卷积神经网络，称为SCA-CNN，它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中，SCA-CNN动态地调制多层特征图中的句子生成上下文，编码其中（即，在多个层上的关注的空间位置）和什么（即，注意的渠道）的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构：Flickr 8 K，Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Reading Scene Text with Attention Convolutional Sequence Modeling
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
在野外环境下阅读文本是计算机视觉领域中一项具有挑战性的任务。现有的方法主要采用基于关联时态分类（CTC）或基于递归神经网络（RNN）的注意力模型，计算量大，训练困难。在本文中，我们提出了一个端到端的注意力卷积网络的场景文本识别。首先，我们采用层叠卷积层代替RNN来有效地捕获输入序列的上下文依赖关系，具有较低的计算复杂性和更容易并行计算的特点。与递归网络的链式结构相比，卷积神经网络（CNN）提供了一种自然的方式来捕获元素之间的长期依赖关系，其速度是双向长短期记忆（BLSTM）的9倍。此外，为了增强前景文本的表示和抑制背景噪声，我们将剩余注意力模块合并到一个小的密集连接的网络中，以提高CNN特征的可区分性。我们验证了我们的方法在标准基准上的性能，包括街景文本，IIIT5K和ICDAR数据集。因此，国家的最先进的或高度竞争力的性能和效率表明所提出的方法的优越性。
2017-09-13 cs.CV
Introducing Feature Attention Module on Convolutional Neural Network for Diabetic Retinopathy Detection
Jadavpur University（jadavpur大学）
本文提出将特征注意力模块与预训练VGG19 CNN融合，通过注意力机制增强眼底图像显著特征表达，并在APTOS DR数据集上取得95.70%的检测准确率。
2023-08-06 cs.CV
Vertex Feature Encoding and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Network for Action Recognition
Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与信任跨学科中心（SnT））；University of Luxembourg（卢森堡大学）
本文扩展了时空图卷积网络（ST-GCN），引入了两个新的模块，即图顶点特征编码器（GVFE）和扩展的分层时间卷积网络（DH-TCN），用于基于动作的动作识别。一方面，GVFE模块通过将原始骨架数据编码到新的特征空间中来学习用于动作识别的适当顶点特征。另一方面，DH-TCN模块能够使用分层扩张卷积网络捕获短期和长期时间依赖性。在具有挑战性的NTU RGB-D-60和NTU RGB-D 120数据集上进行了实验。所获得的结果表明，我们的方法与最先进的方法竞争，同时使用较少的层数和参数;从而减少了所需的训练时间和内存。
2019-12-20 cs.CV
Attention-based Temporal Weighted Convolutional Neural Network for Action Recognition
Xi’an Jiaotong University（西安交通大学）；HERE Technologies（HERE科技）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
自从卷积神经网络（CNN）等强大的机器学习工具问世以来，人类动作识别的研究速度显著加快。然而，在最近的文献中，将时间信息并入CNN的有效和高效的方法仍在积极探索中。受自然语言处理研究领域中流行的递归注意模型的启发，本文提出了基于注意的时间加权CNN（ATW），它将视觉注意模型嵌入到时间加权的多流CNN中。这种注意力模型简单地实现为时间加权，但它有效地提高了视频表示的识别性能。此外，建议的ATW框架中的每个流都能够进行端到端的训练，网络参数和时间权重都通过具有反向传播的随机梯度下降（SGD）进行优化。我们的实验表明，所提出的注意力机制的性能增益与更多的歧视性片段，专注于更相关的视频片段。
2018-03-19 cs.CV
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation（索尼公司）
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN，以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Convolutional Hierarchical Attention Network for Query-Focused Video Summarization
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
针对传统视频摘要未考虑用户偏好的问题，提出由特征编码网络和查询相关性计算模块构成的CHAN模型，通过带注意力机制的卷积网络学习镜头特征并计算查询相关性，在基准数据集上取得了有竞争力的性能。
2020-02-15 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别是具有挑战性的，因为它的微妙的局部类间差异与大的类内变化，如姿势。解决这一问题的关键是对区分性部分进行局部化，以提取姿态不变特征。然而，获得地面实况零件注释可能是昂贵的。此外，很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络（FCANs），一个强化学习框架，以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比，我们的方法具有三个优点：1）弱监督强化学习过程不需要昂贵的部分注释; 2）全卷积架构加速了训练和测试; 3）贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集，包括CUB-200-2011，斯坦福狗，斯坦福汽车和食品-101。
2017-03-21 cs.CV
HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks
注意力机制是增强卷积神经网络的重要先验知识之一。大多数注意力机制都绑定到卷积层，并使用局部或全局上下文信息来重新校准输入。这是一种流行的注意力策略设计方法。全局上下文信息有助于网络考虑整体分布，而局部上下文信息则更一般。上下文信息使网络关注特定感受野的平均值或最大值。与大多数注意力机制不同，本文提出了一种新的基于启发式差异注意力模块的注意力机制HDAM。HDAM的输入重新校准是基于局部和全局上下文信息之间的差异，而不是平均值和最大值。同时，为了使不同层次的局部感受野具有更合适的大小，增加局部感受野设计的灵活性，我们采用遗传算法来启发式地产生局部感受野。首先，HDAM提取整体和局部感受野的平均值作为相应的上下文信息。然后计算全局和局部上下文信息之间的差异。最后，HDAM使用此差异来重新校准输入。此外，我们利用遗传算法的启发式能力来搜寻每一层的局部感受野大小。我们在CIFAR-10和CIFAR-100上的实验表明，HDAM可以使用比其他注意力机制更少的参数来实现更高的准确性。我们使用Python库Pytorch实现HDAM，代码和模型将公开提供。
2022-03-19 cs.CV
Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai Jiao Tong University（上海交通大学）
近年来的研究多采用图卷积网络对标签依赖关系进行建模，以提高多标签图像识别的准确率。然而，通过计算训练数据的标签共现可能性来构建图可能会降低模型的泛化能力，特别是当测试图像中偶尔存在共现对象时。我们的目标是消除这种偏见，提高学习功能的鲁棒性。为此，我们提出了一个注意力驱动的动态图卷积网络（ADD-GCN），动态生成一个特定的图为每个图像。ADD-GCN采用动态图卷积网络（D-GCN）来建模由语义注意模块（SAM）生成的内容感知类别表示之间的关系。在公共多标签基准上的大量实验证明了我们方法的有效性，在MS-COCO，VOC 2007和VOC 2012上分别实现了85.2%，96.0%和95.5%的mAP，并且以明显的优势优于当前最先进的方法。所有代码都可以在https://github.com/Yejin0111/ADD-GCN上找到。
2020-12-05 cs.CV
Convolutional Temporal Attention Model for Video-based Person Re-identification
University of Manitoba（曼尼托巴大学）
基于视频的人物重新识别的目标是匹配两个输入视频，使得如果两个视频包含同一个人，则两个视频的距离很小。一种常见的个人重新识别方法是首先提取视频中所有帧的图像特征，然后聚合所有特征以形成视频级特征。然后可以使用两个视频的视频级特征来计算两个视频的距离。在本文中，我们提出了一种时间注意力的方法，用于聚合帧级特征到视频级特征向量进行重新识别。我们的方法是出于这样一个事实，即不是所有的帧在一个视频是同样的信息。我们提出了一个完全卷积的时间注意力模型来生成注意力分数。全卷积网络（FCN）已广泛用于语义分割以生成2D输出图。在本文中，我们制定了基于视频的人的重新识别作为一个序列标记的问题，如语义分割。我们在它们之间建立了一个连接，并修改FCN来生成注意力分数，以表示每个帧的重要性。在三个不同的基准数据集（即iLIDS-VID，PRID-2011和SDU-VID）上的大量实验表明，我们提出的方法优于其他最先进的方法。
2019-04-10 cs.CV
Transitioning between Convolutional and Fully Connected Layers in Neural Networks
Sunnybrook Research Institute（森尼布鲁克研究所）；University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（森尼布鲁克健康科学中心）
在过去的十年中，数字病理学已经取得了很大的进步，但是由于底层组织床中高度复杂的图案和纹理，肿瘤定位仍然是一个具有挑战性的问题。使用卷积神经网络（CNN）来分析这样的复杂图像已经在数字病理学中被很好地采用。然而，近年来，随着初始模块的引入，CNN的架构发生了变化，这些模块在分类任务中表现出了很大的希望。在本文中，我们提出了一个修改后的“过渡”模块，它可以从不同大小的过滤器中学习全局平均池化层，以鼓励多个空间分辨率的特定类别过滤器。我们展示了AlexNet和ZFNet中的过渡模块的性能，用于在扫描的组织学切片的两个独立数据集中对乳腺肿瘤进行分类，其中过渡模块更优越。
2017-07-18 cs.CV
Switchable Self-attention Module
Sun Yat-sen University（中山大学）
注意力机制在视觉识别中取得了巨大的成功。许多工作致力于提高注意力机制的有效性，对注意力算子的结构进行了精细的设计。这些工作需要大量的实验来选择场景变化时的最佳设置，这消耗了大量的时间和计算资源。此外，一个神经网络往往包含多个网络层，大多数研究往往使用同一个注意力模块来增强不同的网络层，这阻碍了自我注意力机制性能的进一步提高。为了解决上述问题，我们提出了一个自我注意模块SEM。基于注意力模块和备选注意力算子的输入信息，SEM可以自动决定选择和整合注意力算子来计算注意力地图。SEM的有效性被广泛使用的基准数据集和流行的自我注意力网络上的大量实验所证明。
2022-09-13 cs.CV
Co-Saliency Detection with Co-Attention Fully Convolutional Network
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；AI Lab of China Merchants Bank（招商银行人工智能实验室）
共显著性检测的目的是从一组相关图像中检测出共同的显著对象。利用全卷积网络（FCN）框架进行了一些尝试，并取得了令人满意的检测结果。然而，由于堆叠卷积层和池化操作，边界细节往往会丢失。此外，现有的模型往往利用提取的特征没有歧视，导致冗余的表示，因为实际上并不是所有的功能是有助于最终的预测，有些甚至带来分心。在本文中，我们提出了一个共同注意力模块嵌入FCN框架，称为共同注意力FCN（CA-FCN）。具体来说，共同注意模块被插入到FCN的高级卷积层中，它可以在常见的显著对象上分配较大的注意力权重，在背景和不常见的干扰物上分配较小的注意力权重，以提高最终的检测性能。在三个流行的共显性基准数据集上的大量实验表明了所提出的CA-FCN的优越性，在大多数情况下，它优于最先进的技术。此外，我们的新的共同注意模块的有效性也与消融研究进行了验证。
2020-08-20 cs.CV
ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging
Megvii Technology（旷视科技）；Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了一个注意力引导的可变形卷积网络的手持多帧高动态范围（HDR）成像，即ADNet。这个问题包括两个棘手的挑战，如何处理饱和度和噪声，以及如何解决由物体运动或相机抖动引起的未对准。为了解决前者，我们采用了一个空间注意模块，自适应地选择最合适的区域的各种曝光的低动态范围（LDR）图像进行融合。对于后者，我们建议在特征级使用金字塔，级联和可变形（PCD）对齐模块对齐伽马校正图像。与以前的方法相比，所提出的ADNet显示出最先进的性能，在NTIRE 2021多帧HDR挑战赛中实现了39.4471的PSNR- $l$和37.6359的PSNR- $μ$。
2021-05-22 cs.CV
DANet: Density Adaptive Convolutional Network with Interactive Attention for 3D Point Clouds
Hunan University（湖南大学）；Xidian University（西安电子科技大学）；The University of Western Australia（西澳大学）
局部特征和上下文相关性对于3D点云分析至关重要。许多工作致力于设计更好的局部卷积核，利用上下文依赖性。然而，当前的点卷积对不同的点云密度缺乏鲁棒性。此外，上下文建模是由非本地或自我注意力模型，这是计算昂贵的占主导地位。为了解决这些问题，我们提出了密度自适应卷积，创造了DAConv。关键思想是从点密度和位置获得的几何连接中自适应地学习卷积权重。为了以更少的计算量提取精确的上下文依赖关系，我们提出了一个交互式注意模块（IAM），该模块将空间信息嵌入到沿着不同空间方向的通道注意中。DAConv和IAM集成在分层网络架构中，以实现点云分析的局部密度和上下文方向感知学习。实验表明，与现有方法相比，DAConv对点密度的鲁棒性更强，并且在具有挑战性的3D点云数据集上的广泛比较表明，我们的网络在ModelNet40上实现了93.6%的最先进分类结果，在S3DIS上实现了68.71% mIoU的竞争性语义分割结果，在ShapeNet上实现了86.7% mIoU的部分分割结果。
2023-03-08 cs.CV
