Continual Learning with Extended Kronecker-factored Approximate Curvature
KAIST(韩国科学技术院)
我们提出了一个二次惩罚的神经网络,包含批量归一化(BN)层的持续学习方法。损失函数的Hessian表示二次罚函数的曲率,Kronecker因子近似曲率(K-FAC)被广泛用于计算神经网络的Hessian。然而,如果示例之间存在依赖性,则近似是无效的,这通常是由深网络架构中的BN层引起的。我们扩展了K-FAC方法,以便考虑到样本间的关系,并且可以在实际假设下适当地近似深度神经网络的Hessian。我们还提出了一种权重合并和重新参数化的方法来正确处理BN的统计参数,这对BN的持续学习起着至关重要的作用,以及一种在没有源任务数据的情况下选择超参数的方法。我们的方法在具有BN层的排列MNIST任务中以及从ImageNet分类任务到ResNet-50的细粒度分类任务的顺序学习中表现出比基线更好的性能,而无需显式或隐式使用源任务数据进行超参数选择。
2020-04-16 cs.CV cs.LG stat.ML
Deep Kronecker Network
The University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
深度克罗内克网络(DKN)是一种针对医学影像数据设计的新框架,能够适应低样本量限制,提供模型解释,并实现与CNN相当的预测能力。
2025-12-24 cs.CV cs.LG stat.ML
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology(东京工业大学计算学院);NVIDIA(英伟达);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心);RIKEN Center for Computational Science(理化学研究所计算科学中心)
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题,或者对批量归一化进行一些特别的修改。我们提出了一种替代方法,使用二阶优化方法,表现出类似的泛化能力,一阶方法,但收敛速度更快,可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法,我们在ImageNet上训练ResNet-50。对于小于16,384的小批量,我们在35个epoch中收敛到了75%的Top-1验证准确率,即使小批量为131,072,也达到了75%,这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
End-to-End Deep Kronecker-Product Matching for Person Re-identification
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
人物再识别的目标是鲁棒地测量人物图像之间的相似性。人的姿态和视角的显著变化对准确的人重新识别提出了挑战。查询人图像之间的空间布局和对应关系是解决这个问题的重要信息,但被大多数最先进的方法所忽略。在本文中,我们提出了一种新的Kronecker产品匹配模块,用于在端到端可训练的深度神经网络中匹配不同人的特征图。设计了一种新的特征软变形方案,用于根据匹配结果对齐特征图,这对于实现更高的精度至关重要。基于沙漏网络和自剩余注意力的多尺度特征也被利用来进一步提高重识别性能。该方法在Market-1501、CUHK 03和DukeMTMC数据集上的性能优于现有方法,证明了该方法的有效性和泛化能力。
2018-07-30 cs.CV
Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs
Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Beijing Institute of Technology(北京理工大学)
递归神经网络(RNN)在面向序列数据的任务中具有强大的功能,例如自然语言处理和视频识别。然而,由于现代RNN,包括长短期记忆(LSTM)和门控递归单元(GRU)网络,具有复杂的拓扑结构和昂贵的空间/计算复杂度,压缩它们成为近年来的热门和有前途的话题。在大量的压缩方法中,张量分解,例如,张量训练(TT)、块项(BT)、张量环(TR)和分层塔克(HT),似乎是最令人惊奇的方法,因为可以获得非常高的压缩比。然而,这些张量分解格式中没有一种能够同时提供空间和计算效率。在本文中,我们考虑压缩RNN基于一种新的Kronecker CANDECOMP/PARAFAC(KCP)分解,这是来自Kronecker张量(KT)分解,通过提出两个快速算法之间的乘法输入和张量分解的权重。根据我们基于UCF 11、Youtube Celebrities Face和UCF 50数据集的实验,可以验证所提出的KCP-RNN具有与其他张量分解格式相当的准确性性能,甚至可以获得278、219倍的压缩比通过低排名KCP。更重要的是,KCP-RNN是有效的空间和计算复杂度相比,其他张量分解的类似的秩。此外,我们发现KCP具有最大的潜力,并行计算,以加速神经网络的计算。
2021-09-24 cs.CV
Sparse Kronecker Product Decomposition: A General Framework of Signal Region Detection in Image Regression
The University of Hong Kong(香港大学)
本文的目的是提出第一个频率论框架的信号区域检测高分辨率和高阶图像回归问题。图像数据和标量图像回归是近年来的研究热点。然而,大多数现有的研究集中在这些主题的结果预测,而图像区域检测的研究是相当有限的,即使后者往往是更重要的。在本文中,我们开发了一个通用的框架命名为稀疏Kronecker产品分解(SKPD)来解决这个问题。SKPD框架是通用的,因为它适用于两种矩阵(例如,2D灰度图像)和(高阶)张量(例如,2D彩色图像,脑MRI/fMRI数据)表示图像数据。此外,与许多贝叶斯方法不同,我们的框架是计算可扩展的高分辨率图像问题。具体来说,我们的框架包括:1)一项SKPD; 2)多项SKPD;和3)非线性SKPD。我们提出了非凸优化问题来估计一项和多项SKPD和开发路径跟踪算法的非凸优化。即使优化是非凸的,路径跟踪算法的计算解也保证收敛到具有特定选择的初始值的真值。此外,区域检测的一致性也可以通过一项和多项SKPD来保证。非线性SKPD高度连接到浅卷积神经网络(CNN),特别是具有一个卷积层和一个全连接层的CNN。SKPD的有效性通过英国生物银行数据库中的真实脑成像数据进行了验证。
2022-10-17 cs.CV cs.LG stat.ML
MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
University of Toronto(多伦多大学);Texas Advanced Computing Server(德克萨斯高级计算中心);Rutgers University(罗格斯大学)
本研究提出基于秩1更新的动量克罗内克因子二阶优化器MKOR及其混合版本,降低计算与通信复杂度、提升更新频率,在BERT-Large-Uncased训练中显著优于主流一、二阶优化器。
2024-01-30 cs.AI cs.CV cs.LG
On the second-order optimization for spiking neural networks
Centre for Secure Information Technologies(安全信息技术中心)
针对脉冲神经网络训练中尖锐损失景观与曲率信息利用不足的问题,提出二阶优化方法SpiKFAX,通过Kronecker因子近似Fisher信息矩阵,在多个架构与数据集上提升测试精度与训练稳定性。
2026-09-25 cs.CV cs.LG
Channel Recurrent Attention Networks for Video Pedestrian Retrieval
The Australian National University(澳大利亚国立大学);DATA61-CSIRO(澳大利亚联邦科学与工业研究组织数据61部);NEC Laboratories America(美国电气股份有限公司实验室);OPPO US Research Center(OPPO美国研究中心);Monash University(莫纳什大学)
全注意力,它产生的注意力值的每个元素的输入特征图,已被成功地证明是有益的视觉任务。在这项工作中,我们提出了一个完全注意力网络,称为{ \it通道循环注意力网络},视频行人检索的任务。主要注意力单元\textit{channel recurrent attention}通过经由递归神经网络联合利用空间和通道模式来识别帧级别的注意力图。该通道的循环注意力旨在通过循环接收和学习空间向量来建立一个全局感受野。然后,采用\textit{set aggregation}单元来生成紧凑的视频表示。实证实验结果证明了所提出的深度网络的优越性能,在标准视频人物检索基准中优于当前最先进的结果,并且彻底的消融研究显示了所提出的单元的有效性。
2020-10-07 cs.CV cs.LG
Global Self-Attention Networks for Image Recognition
Google Research(谷歌研究院);Google(谷歌)
最近,计算机视觉领域的一系列工作已经在使用自注意的各种图像和视频理解任务上显示出有希望的结果。然而,由于自我注意的二次计算和记忆复杂性,这些工作要么只将注意力应用于深度网络后期的低分辨率特征图,要么将每层中的注意力感受野限制在一个小的局部区域。为了克服这些限制,这项工作引入了一个新的全局自注意模块,称为GSA模块,它足够有效,可以作为深度网络的骨干组件。该模块由两个并行层组成:内容关注层,仅基于其内容关注像素;位置关注层,基于其空间位置关注像素。该模块的输出是两个层的输出之和。基于提出的GSA模块,我们引入了新的独立的基于全局注意力的深度网络,该网络使用GSA模块而不是卷积来模拟像素交互。由于所提出的GSA模块的全局范围,GSA网络具有在整个网络中对长距离像素交互进行建模的能力。我们的实验结果表明,GSA网络在CIFAR-100和ImageNet数据集上的性能明显优于相应的基于卷积的网络,同时使用更少的参数和计算。所提出的GSA网络在ImageNet数据集上的表现也优于各种现有的基于注意力的网络。
2020-10-14 cs.CV cs.LG
DMSANet: Dual Multi Scale Attention Network
Vellore Institute of Technology(韦洛尔理工大学)
最近注意力机制在计算机视觉界非常流行。人们已经做了大量的工作来提高网络的性能,尽管这几乎总是导致计算复杂性的增加。在本文中,我们提出了一个新的注意力模块,不仅实现了最佳的性能,但也有较少的参数相比,大多数现有的模型。我们的注意力模块可以很容易地与其他卷积神经网络集成,因为它是轻量级的。提出的网络命名为双多尺度注意力网络(DMSANet)是由两部分组成:第一部分是用来在不同的尺度上提取特征和聚合它们,第二部分使用空间和通道注意力模块并行自适应地集成本地功能与它们的全局依赖关系。我们对ImageNet数据集上的图像分类、MS COCO数据集上的目标检测和实例分割的网络性能进行了基准测试。
2021-08-11 cs.CV cs.LG
Saccade Attention Networks: Using Transfer Learning of Attention to Reduce Network Sizes
本文提出利用眼动注意力机制减少网络规模,通过迁移学习实现高效图像预处理,显著降低计算量并保持性能。
2026-04-13 cs.AI cs.CV cs.LG
Efficient Attention Network: Accelerate Attention by Searching Where to Plug
Tsinghua University(清华大学);Purdue University(普渡大学);Northwestern University(西北大学);Nanyang Technological University(南洋理工大学)
最近,许多即插即用的自注意模块被提出来通过利用深度卷积神经网络(CNN)的内部信息来增强模型泛化。以往的工作侧重于针对特定功能的注意模块的设计,例如,轻重量或任务导向的注意力。然而,他们忽略了在哪里插件注意力模块的重要性,因为他们理所当然地将模块单独与整个CNN主干的每个块连接起来,导致随着网络深度的增长,计算成本和参数数量增加。因此,我们提出了一个框架,称为有效的注意力网络(EAN),以提高现有的注意力模块的效率。在EAN中,我们利用共享机制(Huang et al. 2020)来共享主干中的注意力模块,并通过强化学习搜索在哪里连接共享的注意力模块。最后,我们得到的注意力网络之间的骨干和模块的稀疏连接,同时(1)保持准确性,(2)减少额外的参数增量和(3)加速推理。广泛使用的基准测试和流行的注意力网络上的大量实验表明EAN的有效性。此外,我们的经验表明,我们的EAN有能力转移到其他任务和捕获的信息功能。该代码可在https://github.com/gbup-group/EAN-efficient-attention-network上获得。
2021-07-11 cs.AI cs.CV cs.LG
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而,需要给予多大程度的关注还没有得到很好的审查。特别是,在这项工作中,我们提出了一种新的方法颗粒多模态注意力,我们的目标是特别解决的问题,在解决视觉对话任务时,需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后,我们提出了一个颗粒多模态注意力网络,共同出席的图像和文本颗粒,并显示出最佳的性能。通过这项工作,我们观察到,获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Deep Features Analysis with Attention Networks
Alibaba Group(阿里巴巴集团)
深度神经网络模型最近引起了广泛的关注,因为它在许多计算机视觉任务中一直产生令人印象深刻的结果,例如图像分类,目标检测等。本文提出了一种新的解释具有注意力机制的神经网络模型的方法。受热图可视化的启发,我们分析了分类精度与基于注意力的热图之间的关系。还包括一种改进的基于注意力的方法,并说明一个更好的分类器可以解释基于注意力的热图。
2019-01-20 cs.CV cs.LG stat.ML
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China(中国科学技术大学);Beijing Institute of Technology(北京理工大学);Microsoft Research Asia(微软亚洲研究院)
注意力机制已经成为深度神经网络中的一个流行组件,但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制,我们提出了一个实证研究,消融各种空间注意力元素内的广义注意力公式,包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行,产生了关于深度网络中空间注意力的重要发现,其中一些与传统理解背道而驰。例如,我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的,但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明,在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer
Université Paris-Est(巴黎东大学);École des Ponts ParisTech(巴黎高科路桥学院)
注意力在人类视觉体验中起着至关重要的作用。此外,最近已经证明,在将人工神经网络应用于来自诸如计算机视觉和NLP等领域的各种任务的背景下,注意力也可以发挥重要作用。在这项工作中,我们表明,通过正确定义卷积神经网络的注意力,我们实际上可以使用这种类型的信息,通过迫使学生CNN网络模仿强大的教师网络的注意力地图来显着提高其性能。为此,我们提出了几种转移注意力的新方法,在各种数据集和卷积神经网络架构上显示出一致的改进。我们实验的代码和模型可以在https://github.com/szagoruyko/attention-transfer上找到
2017-02-12 cs.CV
Res3ATN -- Deep 3D Residual Attention Network for Hand Gesture Recognition in Videos
ETH Zurich(苏黎世联邦理工学院)
视频中的手势识别是一项艰巨的任务。在本文中,我们使用一个3D的剩余注意力网络,这是训练端到端的手势识别。基于堆叠的多个注意力块,我们构建了一个3D网络,该网络在每个注意力块处生成不同的特征。我们的基于3D注意力的残差网络(Res 3ATN)可以构建并扩展到非常深的层。使用该网络,基于三个公开可用的数据集对其他3D网络进行了广泛的分析。将Res 3 ATN网络性能与C3 D、ResNet-10和ResNext-101网络进行比较。我们还研究和评估了我们的基线网络与不同数量的注意力块。比较表明,具有3个注意力块的3D剩余注意力网络在注意力学习方面是鲁棒的,并且能够以更好的准确性对手势进行分类,从而优于现有的网络。
2020-01-04 cs.CV cs.LG eess.IV
Attention in Attention Network for Image Super-Resolution
卷积神经网络在过去十年中在单图像超分辨率(SISR)方面取得了显着进展。在SISR的最新进展中,注意力机制是高性能SR模型的关键。然而,注意力机制在SISR中为什么以及如何起作用仍然不清楚。在这项工作中,我们试图量化和可视化的注意力机制在SISR和显示,并不是所有的注意力模块是同样有益的。然后,我们提出了注意力网络中的注意力(A $^2$ N)更有效和准确的SISR。具体地,A $^2$ N由非注意分支和耦合注意分支组成。提出了一个动态注意力模块来生成这两个分支的权重,以动态地抑制不必要的注意力调整,其中权重根据输入特征自适应地变化。这使得注意力模块能够专门针对有益的示例而没有其他惩罚,从而大大提高了注意力网络的容量,并且参数开销很少。实验结果表明,我们最终的模型A $^2$ N可以实现优越的权衡性能相比,国家的最先进的网络类似的大小。代码可在https://github.com/haoyuc/A2N上获得。
2021-11-07 cs.CV
Residual Attention Network for Image Classification
SenseTime Group Limited(商汤科技);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Beijing University of Posts and Telecommunications(北京邮电大学)
在这项工作中,我们提出了“剩余注意力网络”,一个使用注意力机制的卷积神经网络,它可以以端到端的训练方式与最先进的前馈网络架构相结合。我们的剩余注意力网络是通过堆叠产生注意力感知功能的注意力模块构建的。来自不同模块的注意力感知特征随着层的深入而自适应地变化。在每个注意力模块中,自下而上自上而下的前馈结构被用来将前馈和反馈注意力过程展开为单个前馈过程。重要的是,我们提出了注意力剩余学习来训练非常深的剩余注意力网络,它可以很容易地扩展到数百层。通过对CIFAR-10和CIFAR-100数据集的分析,验证了上述各模块的有效性。我们的剩余注意力网络在三个基准数据集上实现了最先进的对象识别性能,包括CIFAR-10(3.90%错误),CIFAR-100(20.45%错误)和ImageNet(4.8%单一模型和单一作物,前5名错误)。请注意,与ResNet-200相比,我们的方法实现了0.6%的top-1精度提高,46%的主干深度和69%的前向FLOPs。实验还表明,我们的网络对噪声标签具有鲁棒性。
2017-04-23 cs.CV
Convolutional Neural Network optimization via Channel Reassessment Attention module
East China Normal University(华东师范大学)
利用注意力机制调整通道间的相互关系可以提高卷积神经网络的性能。然而,目前的注意力机制并没有充分利用特征图的空间信息,这使得产生的通道注意力的结果有很大的差异。在本文中,我们提出了一种新的网络优化模块称为通道重新评估注意力(CRA)模块,它使用通道注意力与空间信息的特征地图,以提高网络的代表性的权力。该算法采用CRA模块根据不同通道的特征映射来评估通道关注度,然后通过通道关注度与特征映射的乘积来自适应地细化最终特征。CRA模块是一个计算轻量级模块,可以嵌入到任何结构的CNN中。在ImageNet、CIFAR和MS COCO数据集上的实验表明,CRA模块在各种网络上的嵌入有效地提高了不同评估标准下的性能。
2020-10-12 cs.CV
EAANet: Efficient Attention Augmented Convolutional Networks
University of Toronto(多伦多大学)
人类可以有效地在复杂场景中找到显著区域。自注意力机制被引入到计算机视觉(CV)中以实现这一点。注意力增强卷积网络(AANet)是卷积和自注意力的混合,它提高了典型ResNet的准确性。然而,自我注意的复杂度是O(n2)的计算和内存使用相对于输入令牌的数量。在这个项目中,我们提出了EAANet:高效的注意力增强卷积网络,它将高效的自我注意力机制融合在卷积和自我注意力混合架构中,以减少模型的内存占用。我们的最佳模型显示了比AA-Net和ResNet 18更好的性能。我们还探索了用自注意力机制增强卷积网络的不同方法,并展示了与ResNet相比,训练这些方法的难度。最后,我们表明,增强有效的自我注意力机制与ResNet规模更好地与输入大小比正常的自我注意力机制。因此,我们的EAANet更能够处理高分辨率图像。
2022-06-03 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York(约克大学)
我们提出了一种新的技术,将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示,与U-Net及其残差变体相比,具有很强的竞争力。
2019-02-08 cs.CV
Attention-GAN for Object Transfiguration in Wild Images
Shanghai Jiao Tong University(上海交通大学);University of Technology, Sydney(悉尼科技大学);University of Sydney(悉尼大学)
研究了野外图像中的目标变形问题。经典GANs中用于对象变形的生成网络通常承担双重责任:检测感兴趣的对象并将对象从源域转换到目标域。相比之下,我们将生成网络分解为两个单独的网络,每个网络仅专用于一个特定的子任务。注意力网络预测图像的空间注意力图,而转换网络专注于翻译对象。注意力网络产生的注意力地图被鼓励是稀疏的,以便可以将主要注意力放在感兴趣的对象上。无论在物体变形之前还是之后,注意地图都应该保持不变。此外,学习注意力网络可以接收更多的指令,给定可用的图像分割注释。实验结果表明,在物体变形中研究注意力的必要性,以及该算法可以学习准确的注意力,以提高生成的图像质量。
2018-03-19 cs.CV
DCANet: Learning Connected Attentions for Convolutional Neural Networks
University of North Texas(北德克萨斯大学)
虽然自我注意力机制在许多视觉任务中显示出有希望的结果,但它一次只考虑当前特征。我们表明,这种方式不能充分利用注意力机制。在本文中,我们提出了深度连接注意力网络(DCANet),这是一种新颖的设计,可以在不修改内部结构的情况下提高CNN模型中的注意力模块。为了实现这一点,我们互连相邻的注意力块,使注意力块之间的信息流成为可能。利用DCANet,CNN模型中的所有注意力块被联合训练,这提高了注意力学习的能力。我们的DCANet是通用的。它不限于特定的注意力模块或基础网络架构。在ImageNet和MS COCO基准测试上的实验结果表明,DCANet在所有测试用例中都以最小的额外计算开销始终优于最先进的注意力模块。所有代码和模型都是公开的。
2020-07-09 cs.CV
Introduce the Result Into Self-Attention
Jilin University(吉林大学)
传统的卷积网络自注意力机制倾向于只使用前一层的输出作为注意力网络的输入,如SENet、CBAM等。本文提出了一种新的注意力修改方法,尝试提前获取分类网络的输出,并将其作为注意力网络的一部分输入。我们使用GoogLeNet中提出的辅助分类器提前获得结果并将其传递到注意力网络中。我们将此机制添加到SE-ResNet中进行实验,并在cifar 100上实现了最多1.94%的分类准确率提高。
2021-09-21 cs.CV
Attention-Guided Network for Iris Presentation Attack Detection
Michigan State University(密歇根州立大学)
卷积神经网络(CNN)正越来越多地用于解决虹膜呈现攻击检测问题。在这项工作中,我们提出了注意力引导的虹膜呈现攻击检测(AG-PAD),以增强具有注意力机制的CNN。两种类型的注意力模块独立地附加在骨干网络的最后一个卷积层的顶部。具体地,通道注意模块用于对特征之间的通道间关系进行建模,而位置注意模块用于对特征之间的空间间关系进行建模。一个元素的总和是用来融合这两个注意力模块。此外,一个新的层次注意力机制的介绍。涉及JHU-APL专有数据集和基准LivDet-Iris-2017数据集的实验表明,所提出的方法取得了令人满意的结果。据我们所知,这是第一个利用虹膜呈现攻击检测中的注意力机制的工作。
2020-10-23 cs.CV
A Neural Network Model of Spatial and Feature-Based Attention
Department of Brain and Cognitive Sciences, University of Rochester(脑科学与认知科学系,罗切斯特大学)
本文提出一个受人类视觉注意力启发的双网络模型,通过上下文网络引导基础处理器适应复杂任务,发现其涌现的注意力模式与空间及基于特征的注意力相似,为用神经网络研究人类认知提供了新方向。
2025-06-05 cs.CE cs.CV
Gaze-Guided Class Activation Mapping: Leveraging Human Attention for Network Attention in Chest X-rays Classification
University of British Columbia(英属哥伦比亚大学)
视线跟踪技术的可用性和准确性的提高引发了心理学、神经科学以及最近的计算机视觉和人工智能领域与注意力相关的研究。人工神经网络中的注意力机制被认为可以改善学习任务。然而,以往的研究还没有将网络注意力和人类注意力结合起来。针对胸部X射线病理分类问题,提出了一种基于影像专家视觉注意力直接调节网络注意力形成的注视引导类激活映射(GG-CAM)方法。GG-CAM是一个轻量级的($3$额外的可训练参数用于调节学习过程)和通用扩展,可以很容易地应用于大多数分类卷积神经网络(CNN)。GG-CAM修饰的CNN在完全训练时不需要人类的注意力作为输入。比较实验表明,两个标准的CNN与GG-CAM扩展实现了显着更高的分类性能。ResNet 50的曲线下面积(AUC)指标中位数从$0.721$增加到$0.776$。对于EfficientNetv 2(s),中位AUC从$0.723$增加至$0.801$。GG-CAM还带来了更好的网络可解释性,有助于弱监督病理定位和分析。
2022-02-15 cs.CV eess.IV
GAttANet: Global attention agreement for convolutional neural networks
CerCo, CNRS(法国国家科学研究中心 认知与脑科学中心);Université de Toulouse(图卢兹大学)
Transformer注意力架构,类似于为自然语言处理开发的架构,最近已经证明在视觉中也是有效的,无论是与卷积层结合还是作为卷积层的替代品。通常,视觉注意力作为(一系列)前馈自注意力模块插入网络架构中,相互的关键字查询协议作为主要的选择和路由操作。无论这种策略多么有效,它都只能模糊地与生物大脑中注意力的实现方式相兼容:作为一个独立而统一的注意力选择区域网络,接收来自整个视觉区域层次的输入并对其施加调节影响。在这里,我们报告了一个简单的注意力系统的实验,该系统可以提高标准卷积网络的性能,并且附加参数相对较少。网络每层中的每个空间位置都会产生一个关键字-查询向量对;然后将所有查询汇集到一个全局注意力查询中。在下一次迭代中,每个键与全局注意力查询之间的匹配调节了网络的激活--强调或沉默(分别)与全局注意力系统一致或不一致的位置。我们展示了这种大脑启发的全球注意力一致性网络(GAttANet)对各种卷积骨干(从简单的5层玩具模型到标准的ResNet 50架构)和数据集(CIFAR 10,CIFAR 100,Imagenet-1 k)的有用性。每一次,我们的全球注意力系统都会在相应的基线上提高准确性。
2021-06-30 cs.CV q-bio.NC
SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks
Hacettepe University(哈奇凯普大学)
SERNet-Former通过高效残差网络与注意力增强门和融合网络提升语义分割效率,实现CamVid和Cityscapes数据集上的高精度表现
2024-07-02 cs.AI cs.CV
Towards Scalable Foundation Model for Multi-modal and Hyperspectral Geospatial Data
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对多模态和高光谱地理空间数据,提出低秩高效空间-光谱视觉变换器(LESS ViT),通过三项创新实现可扩展且高效的基础模型,并在跨卫星泛化任务上超越现有方法。
2025-03-26 cs.AI cs.CV
Focal Attention Networks: optimising attention for biomedical image segmentation
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
近年来,人们越来越关注将注意力纳入深度学习架构中进行生物医学图像分割。注意力机制的模块化设计使得能够灵活地集成到卷积神经网络架构中,例如U-Net。注意力是否适合使用,使用什么类型的注意力,以及在网络中的何处纳入注意力模块,都是目前被忽视的重要考虑因素。在本文中,我们研究了焦点参数在调节注意力中的作用,揭示了损失函数和网络中注意力之间的联系。通过引入焦距惩罚项,我们扩展了统一焦点损失框架,以包括基于边界的损失。此外,我们开发了一个简单的和可解释的,数据集和模型特定的启发式算法,将焦点参数集成到挤压和激励块和注意力门中,在三个经过充分验证的生物医学成像数据集上使用较少的注意力模块实现最佳性能,这表明明智地使用注意力模块可以获得更好的性能和效率。
2021-10-31 cs.AI cs.CV eess.IV