Switchable Self-attention Module
Sun Yat-sen University(中山大学)
注意力机制在视觉识别中取得了巨大的成功。许多工作致力于提高注意力机制的有效性,对注意力算子的结构进行了精细的设计。这些工作需要大量的实验来选择场景变化时的最佳设置,这消耗了大量的时间和计算资源。此外,一个神经网络往往包含多个网络层,大多数研究往往使用同一个注意力模块来增强不同的网络层,这阻碍了自我注意力机制性能的进一步提高。为了解决上述问题,我们提出了一个自我注意模块SEM。基于注意力模块和备选注意力算子的输入信息,SEM可以自动决定选择和整合注意力算子来计算注意力地图。SEM的有效性被广泛使用的基准数据集和流行的自我注意力网络上的大量实验所证明。
2022-09-13 cs.CV
EAANet: Efficient Attention Augmented Convolutional Networks
University of Toronto(多伦多大学)
人类可以有效地在复杂场景中找到显著区域。自注意力机制被引入到计算机视觉(CV)中以实现这一点。注意力增强卷积网络(AANet)是卷积和自注意力的混合,它提高了典型ResNet的准确性。然而,自我注意的复杂度是O(n2)的计算和内存使用相对于输入令牌的数量。在这个项目中,我们提出了EAANet:高效的注意力增强卷积网络,它将高效的自我注意力机制融合在卷积和自我注意力混合架构中,以减少模型的内存占用。我们的最佳模型显示了比AA-Net和ResNet 18更好的性能。我们还探索了用自注意力机制增强卷积网络的不同方法,并展示了与ResNet相比,训练这些方法的难度。最后,我们表明,增强有效的自我注意力机制与ResNet规模更好地与输入大小比正常的自我注意力机制。因此,我们的EAANet更能够处理高分辨率图像。
2022-06-03 cs.CV
ViT-LSLA: Vision Transformer with Light Self-Limited-Attention
Southwest University(西南大学)
Transformers在广泛的视觉任务中表现出具有竞争力的性能,但计算全局自我注意力的成本非常高。许多方法将注意力的范围限制在局部窗口内以降低计算复杂度。然而,他们的方法不能节省参数的数量;同时,自我关注和内部位置偏差(在softmax函数内部)导致每个查询都关注相似和接近的补丁。因此,本文提出了一种轻型自限制注意机制(LSLA),它由轻型自注意力机制(LSA)和自限制注意力机制(SLA)组成,前者节省了计算量和参数数目,后者提高了性能。首先,LSA用X(原点输入)替换自注意力的K(关键)和V(价值)。将其应用于具有编码器结构和自注意力机制的视觉Transformer中,可以简化计算。第二,二语习得有位置信息模块和有限注意模块。前者包含一个动态尺度和一个内部位置偏差,用于调整自我注意分数的分布,增强位置信息。后者在softmax函数之后使用外部位置偏差来限制一些大的注意力权重值。最后,提出了一种具有光自限制注意的层次化视觉Transformer(ViT-LSLA)。实验表明,ViT-LSLA在IP 102上达到了71.6%的top-1准确率(Swin-T的绝对提高2.4%);在Mini-ImageNet上达到了87.2%的top-1准确率(Swin-T的绝对提高3.7%)。此外,它大大降低了FLOPs(3.5GFLOPs vs. Swin-T的4.5GFLOPs)和参数(18.9…
2022-10-31 cs.CV
Scaling Local Self-Attention for Parameter Efficient Visual Backbones
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
与卷积的参数依赖性缩放和内容独立性交互相比,自注意具有改善计算机视觉系统的前景,这是由于感受野的参数独立缩放和内容依赖性交互。最近的研究表明,与ResNet-50等基线卷积模型相比,自注意力模型在准确性参数权衡方面有了令人鼓舞的改进。在这项工作中,我们的目标是开发自我注意力模型,不仅可以超越规范的基线模型,甚至可以超越高性能的卷积模型。我们提出了两个扩展自我注意力,结合更有效的自我注意力的实现,提高这些模型的速度,内存使用和准确性。我们利用这些改进来开发一个新的自注意力模型家族HaloNets,它在ImageNet分类基准的参数限制设置上达到了最先进的精度。在初步的迁移学习实验中,我们发现HaloNet模型优于更大的模型,并且具有更好的推理性能。在诸如目标检测和实例分割等更难的任务上,我们简单的局部自注意和卷积混合算法在非常强的基线上显示出了改进。这些结果标志着在证明自我注意力模型在传统上由卷积模型主导的设置上的有效性方面又迈出了一步。
2021-06-07 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
卷积可以说是现代神经网络最重要的特征变换,导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层,揭示了固定卷积核的局限性,并为动态特征变换时代打开了大门。然而,现有的动态变换,包括自注意,都局限于视频理解,其中空间和时间上的对应关系,即,运动信息对于有效表示是至关重要的。在这项工作中,我们引入了一个关系特征变换,称为关系自我注意力(RSA),利用丰富的时空关系的视频结构,动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明,RSA网络的性能大大优于卷积和自我注意力,在视频动作识别的标准运动为中心的基准上达到了最先进的水平,例如Something-Something-V1 & V2,Diving 48和FineGym。
2021-11-02 cs.CV
Lite Vision Transformer with Enhanced Self-Attention
Johns Hopkins University(约翰霍普金斯大学);Adobe Inc.(Adobe公司)
尽管视觉Transformer模型的令人印象深刻的表示能力,当前轻量级的视觉Transformer模型仍然遭受不一致和不正确的密集预测在局部区域。我们怀疑他们的自我注意力机制的力量在较浅和较薄的网络中是有限的。我们提出了Lite视觉Transformer(LVT),这是一种新型的轻量级Transformer网络,具有两个增强的自注意力机制,以提高移动部署的模型性能。对于低层特征,我们引入了卷积自注意(CSA)。与以前合并卷积和自注意力的方法不同,CSA将局部自注意力引入到大小为3x3的内核内的卷积中,以丰富LVT第一阶段的低级特征。对于高层次的功能,我们提出了递归Atrous自注意(RASA),它利用多尺度上下文计算时的相似性地图和递归机制,以增加边际额外参数成本的表示能力。在ImageNet识别、ADE 20 K语义分割和COCO全景分割上证明了LVT的优越性。该代码是公开的。
2021-12-20 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.(Rekor Systems 公司);University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
使用Transformers的目标检测(DETR)和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发,我们提出了一种具有减轻自注意力机制的Transformer架构,通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃,从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中,并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出,以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题:(1)阻止自注意网络退化到rank-1的最大程度;(2)进一步多样化参数更新的路径分布,以便更容易地进行注意学习。在COCO目标检测数据集上,Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外,所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型,而无需特定的定制。
2021-12-26 cs.CV
Emulating Self-attention with Convolution for Efficient Image Super-Resolution
Machine Intelligence Laboratory, University of Seoul(首尔大学人工智能实验室)
针对Transformer图像超分辨率计算开销大的问题,提出卷积注意力模块模拟自注意力,并结合flash attention扩大窗口,在保持表征能力的同时显著降低了延迟与内存。
2025-06-30 cs.CV
MHSA-Net: Multi-Head Self-Attention Network for Occluded Person Re-Identification
Beijing University of Technology(北京工业大学);Louisiana State University(路易斯安那州立大学);Dalian University of Technology(大连理工大学)
本文提出了一种新的人的再识别模型,命名为多头自注意力网络(MHSA-Net),修剪不重要的信息和捕获关键的局部信息从人的图像。MHSA-Net包含两个主要的新组件:多头自注意分支(MHSAB)和注意力竞争机制(ACM)。MHSAB自适应地捕捉关键的局部人物信息,然后产生有效的多样性嵌入的图像的人匹配。ACM还有助于过滤掉注意力噪音和非关键信息。通过大量的消融研究,我们验证了多头自注意分支(MHSAB)和注意力竞争机制(ACM)都有助于MHSA-Net的性能改善。我们的MHSA-Net在标准和遮挡人Re-ID任务中实现了具有竞争力的性能。
2022-04-16 cs.CV
HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于骨架的手势识别的先前方法大多将骨架序列排列成伪图片或时空图,并应用深度卷积神经网络(CNN)或图卷积网络(GCN)进行特征提取。虽然取得了优异的效果,这些方法有内在的局限性,在动态捕捉局部特征的交互手部件,和计算效率仍然是一个严重的问题。在这项工作中,自我注意力机制的引入,以减轻这个问题。考虑到手部关节的层次结构,提出了一种高效的分层自注意神经网络(HAN),该网络基于纯自注意,不需要任何CNN、RNN或GCN算子。具体而言,关节自注意模块用于获取手指的空间特征,手指自注意模块用于聚合整只手的特征。在时间特征方面,利用时间自我注意模块来捕获手指和整个手的时间动态。最后,这些特征融合的融合自注意力模块的手势分类。实验结果表明,该方法在三个手势识别数据集上取得了较好的识别效果,同时具有较低的计算复杂性。
2021-06-25 cs.CV
Drawing Attention to Detail: Pose Alignment through Self-Attention for Fine-Grained Object Classification
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
开放世界中的类内差异导致分类任务面临各种挑战。为了克服这些挑战,引入了细粒度分类,并提出了许多方法。一些依赖于定位和使用图像中可区分的局部部分,以实现对视点变化、类内差异和局部部分变形的不变性。我们的方法,这是P2P-Net的启发,提供了一个端到端的可训练的基于注意力的部件对齐模块,在那里我们取代了图形匹配组件中使用的自我注意力机制。注意力模块能够在导致全局损失之前,在相互注意的同时学习部件的最佳布置。
2023-02-09 cs.CV
Self-Attention Neural Bag-of-Features
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
在这项工作中,我们提出了多变量序列数据的注意力公式。我们建立在最近推出的2D注意力的基础上,通过基于自我注意力的潜在空间量化特征/时间维度的相关性,而不是直接学习它们,从而重新制定注意力学习方法。此外,我们提出了一种联合特征-时间注意力机制,该机制学习联合2D注意力掩模,突出显示相关信息,而无需独立处理特征和时间表示。所提出的方法可以用于各种架构,我们专门评估其应用与神经袋的特征特征提取模块。几个序列数据分析任务的实验表明,我们的方法相比,标准方法产生的性能提高。
2022-01-26 cs.CV
Self-Supervised Implicit Attention: Guided Attention by The Model Itself
Southwest Jiaotong University(西南交通大学)
我们提出了自监督内隐注意力(SSIA),这是一种新方法,它通过利用模型本身的属性自适应地引导深度神经网络模型获得注意力。SSIA是一种新颖的注意力机制,与现有的注意力机制不同,它在推理过程中不需要任何额外的参数、计算和内存访问开销。简而言之,通过将注意力权重视为更高级别的语义信息,我们重新考虑了现有注意力机制的实现,并进一步提出从更高的网络层生成监督信号,以指导更低的网络层进行参数更新。我们通过使用网络本身的分层特征构建一个自监督学习任务来实现这一点,该任务仅在训练阶段起作用。为了验证SSIA的有效性,我们在卷积神经网络模型中执行了一个特定的实现(称为SSIA块),并在几个图像分类数据集上进行了验证。实验结果表明,SSIA块可以显著提高模型性能,甚至优于许多需要额外参数和计算成本的流行注意力方法,如挤压和激励和卷积块注意力模块。我们的实现将在GitHub上提供。
2022-07-21 cs.CV
Self-Feedback DETR for Temporal Action Detection
Sungkyunkwan University(成均馆大学)
针对时序动作检测中DETR模型自注意力的时序坍塌问题,提出Self-DETR框架,利用解码器交叉注意力图引导恢复自注意力功能,实验验证其可通过保持各层注意力多样性解决该问题。
2023-08-21 cs.CV
Learning to Scale Temperature in Masked Self-Attention for Image Inpainting
Southern University of Science and Technology(南方科技大学)
深度生成对抗网络(GAN)和自注意力机制的最新进展使得修复图像中大缺失区域的挑战性任务得到了显着改进。这些方法在神经网络中集成了自注意力机制,以基于它们的相关性来利用周围的神经元素,并帮助网络捕获长程依赖性。温度是自我注意中使用的Softmax函数中的一个参数,它可以使注意力分数的分布偏向少数类似的补丁。现有的图像修补中的自注意力机制大多是基于卷积的,并且将温度设置为常数,在有限的特征空间中执行块匹配。在这项工作中,我们分析了以前的自我注意力机制的工件和训练问题,并重新设计了温度学习网络以及自我注意力机制,以解决这些问题。我们提出了一个图像修补框架,该框架具有多头温度掩蔽自注意力机制,该机制提供稳定和有效的温度学习,并使用多个远距离上下文信息来进行高质量的图像修补。除了提高图像质量的修复结果,我们推广所提出的模型,以用户引导的图像编辑,通过引入一个新的草图生成方法。在Paris StreetView、CelebA-HQ和Places 2等数据集上的大量实验清楚地表明,我们的方法不仅在感知图像质量和定量指标方面比以前的作品生成更自然的修复结果,而且还能够帮助用户生成与草图指导相关的更灵活的结果。
2023-02-13 cs.CV
Self-Attention Capsule Networks for Object Classification
Stanford University(斯坦福大学);The Weizmann Institute of Science(魏茨曼科学研究所)
我们提出了一种新的架构,对象分类,称为自我注意胶囊网络(SACN)。SACN是第一个将自我注意力机制作为胶囊网络(CapsNet)内的一个整体层的模型。虽然自注意力机制提供了一个长期的依赖关系,导致选择更占主导地位的图像区域集中,CapsNet分析相关的功能和它们的空间相关性,这些区域内。在卷积层中提取特征。然后,Self-Attention层根据特征分析学习抑制不相关区域,并突出显示对特定任务有用的显著特征。然后,注意力地图被馈送到CapsNet主层,然后是分类层。提出的SACN模型旨在解决基线CapsNet的两个主要限制-复杂数据分析和显著的计算负载。在这项工作中,我们使用了一个浅层CapsNet架构,并通过使用Self-Attention模块来补偿缺乏更深层网络的情况,以显着改善结果。在六个不同的数据集上对所提出的Self-Attention CapsNet架构进行了广泛的评估,主要是三个不同的医疗集,以及自然的MNIST,SVHN和CIFAR 10。该模型能够比基线CapsNet更好地对具有不同和复杂背景的图像及其补丁进行分类。因此,提出的Self-Attention CapsNet显著提高了不同数据集内和跨数据集的分类性能,不仅在分类准确性方面,而且在鲁棒性方面都优于基线CapsNet,ResNet-18和DenseNet-40。
2019-11-19 cs.CV
Armour: Generalizable Compact Self-Attention for Vision Transformers
Arm Inc.(安谋公司)
基于注意力的Transformer网络在自然语言处理和视觉等领域的应用越来越广泛。然而,尽管最近的改进,例如次二次注意力近似和各种训练增强,但迄今为止使用常规注意力的紧凑视觉Transformer在\textit{accuracy,} \textit{model size}、\textit{and} \textit{throughput}方面与其convnet对应物相比仍然不足。本文介绍了一个紧凑的自我注意力机制,这是基本的和高度概括。该方法减少了冗余,提高了效率的顶部现有的注意力优化。我们显示了它的下拉式的适用性,经常注意力机制和一些最近的变种在视觉Transformer。因此,我们生产了更小更快的模型,具有相同或更好的精度。
2021-08-03 cs.CV
Exploring Self-Attention for Visual Intersection Classification
University of Fukui(福井大学)
在机器人视觉中,自我注意最近已经成为一种捕捉非局部上下文的技术。在本研究中,我们将自我注意力机制引入到交叉路口辨识系统中,作为一种捕捉非局部背景的方法。交叉路口分类系统包括两个不同的模块:(a)第一人称视觉(FPV)模块,其在通过交叉路口时使用短的自我中心视图序列,以及(b)第三人称视觉(TPV)模块,其在进入交叉路口之前立即使用单个视图。自注意力机制在TPV模块中是有效的,因为局部模式的大部分(例如,道路边缘、建筑物和天空)彼此相似,并且因此非局部上下文的使用(例如,围绕交叉点的两个对角之间的角度)将是有效的。本研究有三大贡献。首先,我们提出了一种基于自注意的交叉口分类方法,使用TPVs。其次,我们提出了一个实用的系统,其中一个自我注意力为基础的TPV模块与FPV模块相结合,以提高整体识别性能。最后,使用公开的KITTI数据集的实验表明,上述基于自我注意的系统优于传统的识别基于局部模式和基于卷积运算的识别。
2022-03-26 cs.CV
Refiner: Refining Self-attention for Vision Transformers
National University of Singapore(新加坡国立大学)
与CNN相比,视觉Transformer(ViTs)在图像分类任务中表现出具有竞争力的准确性。然而,它们通常需要更多的数据来进行模型预训练。因此,最近的大部分工作都致力于设计更复杂的架构或训练方法,以解决ViT的数据效率问题。然而,他们中很少有人探索改善自我注意力机制,这是ViTs与CNN区别开来的关键因素。与现有的工作不同,我们引入了一个概念上简单的计划,称为细化,直接细化ViTs的自我注意力地图。具体而言,提炼器探索注意扩展,项目的多头注意力地图到一个更高的维度空间,以促进其多样性。此外,细化应用卷积来增强注意力地图的局部模式,我们证明这相当于分布式局部注意力特征与可学习的内核局部聚合,然后与自注意力全局聚合。大量的实验表明,细化效果令人惊讶地好。值得注意的是,它使ViTs能够在ImageNet上实现86%的top-1分类准确率,仅需81 M参数。
2021-06-07 cs.CV
Interlaced Sparse Self-Attention for Semantic Segmentation
Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
在本文中,我们提出了一个所谓的交错稀疏自注意的方法,以提高效率的\emph{self-attention}机制语义分割。其主要思想是将稠密亲和矩阵分解为两个稀疏亲和矩阵的乘积。存在两个连续的注意力模块,每个注意力模块估计稀疏亲和矩阵。第一关注模块用于估计具有长空间间隔距离的位置的子集内的亲和力,并且第二关注模块用于估计具有短空间间隔距离的位置的子集内的亲和力。这两个注意力模块被设计成使得每个位置能够接收来自所有其他位置的信息。与原始的自我注意模块相比,我们的方法大大降低了计算和内存的复杂性,特别是在处理高分辨率特征图时。我们经验验证了我们的方法的有效性六个具有挑战性的语义分割基准。
2019-07-30 cs.CV
Inhibited Self-Attention: Sharpening Focus in Vision Transformers
University of Groningen(格罗宁根大学);University of Twente(特温特大学);Stellenbosch University(斯泰伦博斯大学);University of Malta(马耳他大学)
研究针对视觉Transformer自注意力机制易分散的问题,提出抑制性自注意力(ISA),通过整合抑制信号增强特征选择性,利用负注意力分数抑制无关特征,经多数据集实验验证其能增强对象选择性、减少捷径依赖并提升泛化能力。
2026-07-15 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Action Forecasting with Feature-wise Self-Attention
IHPC, A*STAR(新加坡科技研究局高性能计算研究所)
我们提出了一个新的架构,从视频中预测人类的行动。时间递归编码器捕获输入视频的时间信息,而自注意模型用于关注输入空间的相关特征维度。为了处理观测到的视频数据中的时间变化,采用特征掩蔽技术。我们使用辅助分类器对观察到的动作进行准确分类,这有助于理解到目前为止发生了什么。然后,解码器根据递归编码器的输出和自注意模型生成未来的动作。在实验中,我们验证了我们的架构的每个组件,我们看到,自我注意力的影响,以确定相关的特征尺寸,时间掩蔽,并观察到辅助分类。我们评估我们的方法在两个标准的行动预测基准,并获得国家的最先进的结果。
2021-07-19 cs.CV
Interactive Multi-Head Self-Attention with Linear Complexity
Ajou University(亚洲大学);Google(谷歌);University of California at Merced(加州大学默塞德分校)
本文提出一种通过分解注意力操作实现线性复杂度的跨头交互式多头自注意力方法,有效增强信息流动,并在实验中优于现有高效注意力方法和最先进骨干模型。
2024-02-27 cs.CV
Self-Erasing Network for Integral Object Attention
Nankai University(南开大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
最近,针对弱监督对象注意的对抗性擦除由于其能够定位完整对象区域而得到了深入研究。然而,这种策略提出了一个关键问题,即随着训练迭代的继续,注意力区域将逐渐扩展到非对象区域,这会显着降低所生成的注意力图的质量。为了解决这个问题,以及提高质量的对象注意,我们引入了一个简单而有效的自擦除网络(SeeNet),以防止注意力扩散到意想不到的背景区域。特别是,SeeNet利用两种自我擦除策略来鼓励网络使用可靠的对象和背景线索来学习注意力。以这种方式,可以有效地突出显示整体对象区域,而不包括更多的背景区域。为了测试生成的注意力地图的质量,我们采用挖掘的对象区域作为启发式线索学习语义分割模型。Pascal VOC上的实验很好地证明了我们的SeeNet优于其他国家的最先进的方法。
2018-10-23 cs.CV
Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition
Sony Corporation(索尼公司)
提出融合自适应拓扑、时空自注意力与膨胀多尺度卷积的 MSST-GCN,以增强骨骼动作的长程时空依赖建模并在多个数据集上达到最先进性能。
2024-04-03 cs.CV
Self-supervised Implicit Glyph Attention for Text Recognition
Shanghai Jiao Tong University(上海交通大学)
针对场景文本识别中隐式注意力对齐漂移及监督注意力需额外标注的问题,提出自监督隐式字形注意力(SIGA),通过联合文本分割与注意力对齐提升注意力正确性,在公开及无上下文基准上显著优于现有方法。
2023-05-15 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University(浙江大学)
弱监督语义分割(WSSS)只使用图像级标签可以大大降低标注成本,因此吸引了相当大的研究兴趣。然而,其性能仍然不如完全监督的同行。为了缓解性能差距,我们提出了一个显着性引导的自我注意力网络(SGAN)来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息,但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作,我们将类不可知的显着性先验集成到自我注意力机制中,并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索,从而提高分割性能。此外,通过简单地用部分标记的地面实况替换额外的监督,SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明,我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Your "Attention" Deserves Attention: A Self-Diversified Multi-Channel Attention for Facial Action Analysis
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);Rice University(莱斯大学)
视觉注意已经被广泛研究用于在面部表情识别(FER)和动作单元(AU)检测中学习细粒度特征。以前的一系列广泛的研究已经探索了如何使用注意力模块来定位详细的面部部位(例如,面部动作单元)、学习区别特征以及学习类间相关性。然而,很少有相关的工作注意到注意模块本身的鲁棒性。通过实验,我们发现,当学习关注同一感兴趣区域(ROI)时,使用不同特征图初始化的神经注意力图会产生不同的表示。换句话说,与一般的特征学习类似,注意力地图的表示质量也会极大地影响模型的性能,这意味着无约束注意力学习具有很大的随机性。这种不确定性让传统的注意力学习陷入了次优状态。在本文中,我们提出了一个紧凑的模型,以提高神经注意力地图的代表性和聚焦能力,并学习精细注意力地图的“注意力间”相关性,我们称之为“自我多样化多通道注意力网络(SMA-Net)”。所提出的方法进行了评估两个基准数据库(BP 4D和DISFA)AU检测和四个数据库(CK+,MMI,BU-3DFE,和BP 4D+)的面部表情识别。与最先进的方法相比,它实现了卓越的性能。
2022-03-23 cs.CV
Axially Expanded Windows for Local-Global Interaction in Vision Transformers
Southwest Jiaotong University(西南交通大学)
最近,Transformers在各种视觉任务中表现出了很好的性能。Transformer设计中的一个挑战性问题是全局自注意的计算非常昂贵,特别是对于高分辨率视觉任务。局部自注意在局部区域内进行注意力计算以提高效率,导致单个注意力层的感受野不够大,造成上下文建模不足。当观察场景时,人类通常关注局部区域,同时以粗粒度关注非注意区域。基于这一观察,我们开发了轴向扩展窗口自注意力机制,该机制在局部窗口内执行细粒度的自注意,在水平和垂直轴上执行粗粒度的自注意,从而可以有效地捕获短距离和长距离的视觉依赖。
2022-11-13 cs.CV
Shunted Self-Attention via Multi-Scale Token Aggregation
National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学);ByteDance Inc.(字节跳动公司)
最近的视觉Transformer ~(ViT)模型在各种计算机视觉任务中表现出令人鼓舞的结果,这要归功于它们通过自注意对图像块或标记的长距离依赖性进行建模的能力。然而,这些模型通常指定每个层内每个标记特征的相似感受野。这样的约束不可避免地限制了每个自我注意层捕获多尺度特征的能力,从而导致处理具有不同尺度的多个对象的图像的性能下降。为了解决这个问题,我们提出了一种新的和通用的策略,称为分流的自我注意力~(SSA),允许ViTs模型的注意力在混合规模每注意层。SSA的核心思想是将异质感受野大小注入到标记中:在计算自我注意矩阵之前,它选择性地合并标记以表示较大的对象特征,同时保留某些标记以保留细粒度特征。这种新的合并方案使自我注意力能够学习不同大小的对象之间的关系,同时减少了令牌数量和计算成本。在各种任务中的广泛实验证明了SSA的优越性。具体而言,基于SSA的Transformer达到了84.0\%的Top-1精度,并且在ImageNet上仅以一半的模型大小和计算成本优于最先进的Focal Transformer,并且在类似的参数和计算成本下,在COCO上超过Focal Transformer 1.3 mAP,在ADE 20 K上超过2.9 mIOU。代码已在https://github.com/OliverRensu/Shunted-Transformer上发布。
2022-04-13 cs.CV
Action Recognition in Untrimmed Videos with Composite Self-Attention Two-Stream Framework
Institute of Cognitive Intelligence, DeepBlue Academy of Sciences(深蓝科学院认知智能研究所);DeepBlue Technology (Shanghai) Co., Ltd.(深蓝科技(上海)有限公司)
随着深度学习算法的快速发展,视频中的动作识别取得了许多重要的研究成果。零镜头动作识别(Zero-Shot Action Recognition,ZSAR)是动作识别中的一个重要问题,它在没有任何正面例子的情况下对新类别进行分类。动作识别中的另一个困难是未修剪的数据可能严重影响模型性能。我们提出了一个具有预训练模型的复合双流框架。我们提出的框架包括一个分类器分支和一个复合特征分支。两个分支均采用图网络模型,有效地提高了框架的特征提取和推理能力。在复合特征分支中,构建了三通道自注意模型,对视频中的每一帧进行加权,并对关键帧给予更多的关注。每个自注意力模型通道输出一组注意力权重以关注视频的特定方面,并且一组注意力权重对应于一维向量。三通道自注意力模型能够从多个角度对关键帧进行评价,输出的注意力权重向量集形成注意力矩阵,有效增强了对动作关联性强的关键帧的注意力。该模型可以实现zero-shot条件下的动作识别,对未经裁剪的视频数据具有良好的识别性能。相关数据集上的实验结果证实了该模型的有效性。
2019-09-02 cs.CV
PSLT: A Light-weight Vision Transformer with Ladder Self-Attention and Progressive Shift
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Huawei(华为技术有限公司)
提出轻量级视觉Transformer主干网络PSLT,通过多分支阶梯自注意力块与渐进式偏移机制降低计算成本并扩大感受野,在多项视觉任务上以极低参数量达到与大型模型相当的性能。
2023-04-07 cs.CV
VQA with Cascade of Self- and Co-Attention Blocks
复杂注意模块的使用提高了视觉问答(VQA)任务的性能。这项工作的目的是通过视觉和文本模态的密集互动来学习改进的多模态表示。该模型具有一个包含图像和文本的自我注意和共同注意的注意块。自我注意模块提供对象(对于图像)和单词(对于问题)的上下文信息,这些信息对于推断答案至关重要。另一方面,共同注意有助于图像和文本的互动。此外,细粒度的信息是通过使用级联的自我和共同注意力块(CSCA)从两个模态。该建议以广泛使用的VQA 2.0和TDIUC数据集为基准。涉及消融分析的实验证明了模型的关键组成部分和级联的注意力模块的有效性。
2023-02-28 cs.AI cs.CV
Group Equivariant Stand-Alone Self-Attention For Vision
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们提供了一个一般的自我注意力配方施加组等变性任意对称群。这是通过定义位置编码来实现的,该位置编码对于所考虑的组的动作是不变的。由于群体直接作用于位置编码,群体等变自注意网络(GSA-Nets)本质上是可操纵的。我们在视觉基准上的实验证明了GSA网络在非等变自注意网络上的一致改进。
2021-03-18 cs.CV stat.ML
Local Multi-Head Channel Self-Attention for Facial Expression Recognition
University of Turin(都灵大学)
自2017年引入Transformer架构以来,已经有许多尝试将自我注意力范式引入计算机视觉领域。在本文中,我们提出了一种新的自我注意模块,可以很容易地集成在几乎每一个卷积神经网络,是专门为计算机视觉,LHC:本地(多)头通道(自我注意)。LHC基于两个主要思想:首先,我们认为在计算机视觉中,利用自我注意力范式的最佳方法是通道应用,而不是更深入的空间注意力,并且卷积不会被NLP中的递归网络那样的注意力模块所取代;其次,局部方法有可能比全局注意力更好地克服卷积的局限性。通过LHC-Net,我们成功地在著名的FER 2013数据集中实现了一个新的最先进的技术水平,与之前的SOTA相比,在计算成本方面,它的复杂性和对“主机”架构的影响显著降低。
2021-11-18 cs.AI cs.CV
Hyperspectral and LiDAR data classification based on linear self-attention
Ocean University of China(中国海洋大学)
针对高光谱图像和激光雷达数据的联合分类问题,提出了一种有效的线性自注意融合模型。该方法由特征提取模块、注意模块和融合模块组成。注意力模块是一个即插即用的线性自我注意力模块,可以广泛用于任何模型。该模型在Houston数据集上的总体精度达到95.40%.实验结果表明,该方法优于其他国家的最先进的模型。
2021-04-06 cs.CV eess.IV
The Origin of Self-Attention: Pairwise Affinity Matrices in Feature Selection and the Emergence of Self-Attention
本文追溯自注意力的概念起源,指出其与 Inf-FS 同属基于成对亲和矩阵的计算范式,并阐明二者在亲和矩阵定义与传播方式上的联系和区别。
2025-07-26 cs.CV cs.LG
Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving
Uber ATG(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
在本文中,我们提出了一个端到端的自动驾驶网络,该网络具有稀疏注意力模块,可以学习自动关注输入的重要区域。注意力模块专门针对运动规划,而先前的文献仅在感知任务中应用注意力。学习直接针对运动规划的注意力掩模通过执行更集中的计算而显著地提高了规划器的安全性。此外,将注意力可视化可以提高端到端自动驾驶的可解释性。
2021-03-26 cs.CV cs.LG cs.RO
MEDUSA: Multi-scale Encoder-Decoder Self-Attention Deep Neural Network Architecture for Medical Image Analysis
University of Waterloo(滑铁卢大学);Waterloo AI Institute(滑铁卢人工智能研究所);Niagara Health(尼亚加拉医疗中心);McMaster University(麦克马斯特大学);Northern Ontario School of Medicine(北安大略医学院);Thunder Bay Regional Health Sciences Centre(雷湾区域健康科学中心)
鉴于某些疾病的微妙特征和疾病之间外观的显著重叠,医学图像分析继续面临有趣的挑战。在这项工作中,我们探索了自我注意力的概念,以解决疾病中和疾病之间的这种微妙之处。为此,我们引入MEDUSA,一个多尺度的编码器-解码器的自我注意机制,专为医学图像分析。虽然现有文献中的自我注意深度卷积神经网络架构围绕着多个孤立的轻量级注意机制的概念,这些机制具有有限的个体能力,被合并在网络架构的不同点处,但MEDUSA通过拥有单个,具有显著更高容量的统一自注意机制,其中多个注意头馈送到网络架构中的不同尺度。据作者所知,这是第一个“单一身体,多尺度头部”实现自我注意,并使明确的全球范围内的选择性注意在不同层次的代表性抽象,同时仍然使不同的本地注意力的情况下,在个别层次的抽象。通过MEDUSA,我们在多个具有挑战性的医学图像分析基准上获得了最先进的性能,包括COVIDx,RSNA RICORD和RSNA Pneumonia Challenge。我们的MEDUSA模型是公开的。
2021-10-12 cs.CV eess.IV
U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
CEDRIC - Conservatoire National des Arts et Metiers(国立工艺学院CEDRIC实验室);Visible Patient SAS(Visible Patient SAS公司)
对于复杂和低对比度的解剖结构,医学图像分割仍然特别具有挑战性。在本文中,我们介绍了U-变压器网络,它结合了一个U形的架构,图像分割与自我和交叉注意力的Transformers。U-Transformer克服了U-Nets无法对长距离上下文交互和空间依赖性进行建模的问题,这对于在具有挑战性的上下文中进行准确分割至关重要。为此,注意力机制被纳入两个主要层面:自我注意力模块利用编码器特征之间的全局交互,而跳过连接中的交叉注意力通过过滤掉非语义特征,允许在U-Net解码器中进行精细的空间恢复。在两个腹部CT图像数据集上的实验表明,与U-Net和Local Attention U-Nets相比,U-Transformer带来了很大的性能增益。我们还强调了使用自我注意力和交叉注意力的重要性,以及U-Transformer带来的良好的可解释性功能。
2021-03-12 cs.CV eess.IV
E(2) Equivariant Self-Attention for Radio Astronomy
University of Manchester(曼彻斯特大学)
在这项工作中,我们引入组等变自注意模型来解决天文学中可解释的射电星系分类问题。我们评估各种顺序的循环和二面角的等方差,并表明,包括等方差作为一个先验既减少了所需的时代,以适应数据和结果在提高性能。我们强调了当使用自我注意作为一个可解释的模型时等变的好处,并说明了等变模型如何在统计上参加与人类天文学家相同的分类功能。
2021-11-30 astro-ph.IM cs.CV
DF-TransFusion: Multimodal Deepfake Detection via Lip-Audio Cross-Attention and Facial Self-Attention
Purdue University(普渡大学)
提出DF-TransFusion多模态音视频深度伪造检测框架,利用唇音交叉注意力、微调VGG-16及transformer面部自注意力提取特征,在F-1和每视频AUC指标上优于现有技术。
2023-09-12 cs.CV cs.MM
YOLOSA: Object detection based on 2D local feature superimposed self-attention
Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出YOLOSA,针对实时目标检测模型特征拼接阶段,设计二维局部特征叠加自注意力模块,并优化解耦头与AB-OTA,在多种规模模型上超越YOLOv5,平均精度提升0.8%-3.1%。
2022-08-08 cs.AI cs.CV
Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
卷积利用局部性来提高效率,代价是丢失长范围上下文。自注意力已经被用来增强具有非局部相互作用的CNN。最近的工作证明,通过将注意力限制在局部区域,可以堆叠自我注意层以获得完全注意力网络。在本文中,我们试图通过将2D自注意分解为两个1D自注意来消除这个约束。这降低了计算复杂度,并允许在更大或甚至全局区域内执行注意力。在同伴中,我们还提出了一个位置敏感的自我注意设计。将两者结合起来就产生了我们的位置敏感轴向注意层,这是一种新的构建块,可以堆叠形成用于图像分类和密集预测的轴向注意模型。我们证明了我们的模型在四个大规模数据集上的有效性。特别是,我们的模型优于ImageNet上所有现有的独立自我注意力模型。我们的Axial-DeepLab在COCO测试开发上比自下而上的最先进技术提高了2.8% PQ。我们的小变体实现了先前的最先进技术,其参数效率为3.8倍,计算效率为27倍。Axial-DeepLab还在Mapillary Vistas和Cityscapes上实现了最先进的结果。
2020-08-06 cs.CV cs.LG
Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers
University of Waterloo(滑铁卢大学);DarwinAI(达尔文AI公司)
随着设备上TinyML应用越来越多地采用深度学习,对针对边缘优化的高效神经网络骨干的需求不断增加。最近,注意力冷凝器网络的引入导致了低足迹、高效、自注意力神经网络,其在准确性和速度之间取得了很好的平衡。在这项研究中,我们介绍了一种更快的注意力冷凝器设计称为双冷凝注意力冷凝器,允许高度浓缩的功能嵌入。我们进一步采用了机器驱动的设计探索策略,根据最佳实践施加设计约束,以提高效率和鲁棒性,从而产生主干的宏微架构构造。生成的主干(我们将其命名为AttendNeXt)在嵌入式ARM处理器上实现了比其他几个最先进的高效主干更高的推理吞吐量(在更高的精度和速度下,比FB-Net C快10倍以上,在更小的尺寸下,比MobileOne-S1快10倍以上),同时具有较小的模型尺寸(在更高的准确性和速度下,比MobileNetv 3-L小1.37倍)和强大的准确性(在更高的速度下,比ImageNet上的MobileViT XS的top-1准确性高1.1%)。这些有希望的结果表明,探索不同的高效架构设计和自我注意力机制可以为TinyML应用程序带来有趣的新构建块。
2023-02-03 cs.CV eess.IV
AttentionLite: Towards Efficient Self-Attention Models for Vision
Intel Labs(英特尔实验室)
我们提出了一种新的框架,用于产生一类参数和计算效率高的模型,称为AttentionLite适合资源受限的应用程序。先前的工作主要集中在通过知识蒸馏或修剪来优化模型。除了融合这两种机制之外,我们的联合优化框架还利用了自我注意力的最新进展来替代卷积。我们可以同时从计算繁重的教师中提取知识,同时在单次训练中修剪学生模型,从而大大减少训练和微调时间。我们在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上评估了我们提出的方法的优点。我们的AttentionLite模型不仅在准确性上显著优于未优化的模型,而且我们发现,在某些情况下,它们的表现几乎与计算量大的教师一样好,而只消耗了一小部分参数和FLOP。具体地说,AttentionLite模型可以实现高达30倍的参数效率和2倍的计算效率,与他们的老师相比没有显着的准确性下降。
2020-12-21 cs.CV cs.LG
Studying the Effects of Self-Attention for Medical Image Analysis
Palo Alto High School(帕洛阿尔托高中);Lunit Inc.(Lunit 公司);KAIST(韩国科学技术院);Adobe Research(Adobe 研究院);Stanford University(斯坦福大学)
当受过训练的医生解释医学图像时,他们了解视觉特征的临床重要性。通过应用认知注意力,他们将更多的注意力集中在临床相关区域,而忽略不必要的特征。使用计算机视觉来自动分类医学图像被广泛研究。然而,标准卷积神经网络(CNN)不一定采用类似于经训练的医学专家的潜意识特征相关性评估技术,并且更一般地评估特征。自注意机制使CNN能够更多地关注语义重要区域或具有长期依赖性的聚合相关上下文。通过使用注意力,医学图像分析系统可以通过聚焦于更重要的临床特征区域而潜在地变得更鲁棒。在本文中,我们提供了一个全面的比较各种国家的最先进的自我注意力机制在多个医学图像分析任务。通过定量和定性评估以及以临床用户为中心的调查研究,我们的目标是更深入地了解自我注意力在医学计算机视觉任务中的影响。
2021-09-02 cs.CV eess.IV
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions
Instituto Superior Técnico(里斯本高等理工学院);INESC-ID(INESC-ID 研究所)
注意力机制已经引起了研究界的极大兴趣,因为它们承诺显着改善神经网络架构的性能。然而,在任何具体的问题中,我们仍然缺乏一种原则性的方法来选择特定的机制和超参数,以确保改进。最近,自注意力被提出并广泛应用于变压器式架构中,在某些应用中取得了重大突破。在这项工作中,我们集中在两种形式的注意力机制:注意模块和自我注意。注意力模块用于重新加权每个层输入张量的特征。不同的模块有不同的方式在全连接或卷积层中执行这种重新加权。研究的注意力模型是完全模块化的,在这项工作中,它们将与流行的ResNet架构一起使用。自注意(Self-Attention)最初是在自然语言处理领域中提出的,它使得将输入序列中的所有项目联系起来成为可能。自注意力在计算机视觉中越来越受欢迎,有时它与卷积层结合在一起,尽管最近的一些架构完全取消了卷积。在这项工作中,我们研究和执行一个特定的计算机视觉任务,在广泛使用的皮肤癌MNIST数据集中的样本分类的一些不同的注意力机制的客观比较。结果表明,注意力模块有时确实提高了卷积神经网络架构的性能,但这种改进尽管明显且具有统计学意义,但在不同的设置中并不一致。另一方面,用自注意力机制获得的结果显示出一致且显著的改进,即使在具有减少的参数数量的架构中也能获得最佳结果。
2021-12-23 cs.AI cs.CV cs.LG
Global Self-Attention Networks for Image Recognition
Google Research(谷歌研究院);Google(谷歌)
最近,计算机视觉领域的一系列工作已经在使用自注意的各种图像和视频理解任务上显示出有希望的结果。然而,由于自我注意的二次计算和记忆复杂性,这些工作要么只将注意力应用于深度网络后期的低分辨率特征图,要么将每层中的注意力感受野限制在一个小的局部区域。为了克服这些限制,这项工作引入了一个新的全局自注意模块,称为GSA模块,它足够有效,可以作为深度网络的骨干组件。该模块由两个并行层组成:内容关注层,仅基于其内容关注像素;位置关注层,基于其空间位置关注像素。该模块的输出是两个层的输出之和。基于提出的GSA模块,我们引入了新的独立的基于全局注意力的深度网络,该网络使用GSA模块而不是卷积来模拟像素交互。由于所提出的GSA模块的全局范围,GSA网络具有在整个网络中对长距离像素交互进行建模的能力。我们的实验结果表明,GSA网络在CIFAR-100和ImageNet数据集上的性能明显优于相应的基于卷积的网络,同时使用更少的参数和计算。所提出的GSA网络在ImageNet数据集上的表现也优于各种现有的基于注意力的网络。
2020-10-14 cs.CV cs.LG
Image Captioning using Multiple Transformers for Self-Attention Mechanism
实时图像描述,以及足够的精度,是这个研究领域的主要挑战。目前的工作,多个Transformers的自我注意力机制(MTSM),利用多个变压器来解决这些问题。所提出的算法,MTSM,获取区域的建议,使用Transformer检测器(DETR)。MTSM通过另一个Transformer来传递这些区域建议及其视觉和几何特征,并学习对象的局部和全局互连,从而实现自注意力机制。所提出的算法,MTSM,定性和定量的结果显示在MSCOCO数据集。
2021-02-14 cs.AI cs.CL cs.CV
Linear Complexity Randomized Self-attention Mechanism
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
最近,随机特征注意力(RFAs)被提出来近似softmax注意力的线性时间和空间复杂度通过线性化的指数核。在本文中,我们首先提出了一个新的角度来理解这种近似的偏见,通过重新铸造RFAs作为自归一化的重要性采样器。这种观点进一步揭示了整个softmax注意力的\emph{unbiased}估计量,称为随机注意力(RA)。RA通过查询特定的分布构造正随机特征,并极大地提高了近似保真度,尽管表现出二次复杂性。通过结合RA的表达能力和RFA的效率,我们开发了一种新的线性复杂性自注意力机制,称为线性随机注意(LARA)。在各个领域的广泛实验表明,RA和LARA显着提高了RFA的性能,由一个相当大的利润。
2022-06-15 cs.CL cs.CV cs.LG
Primal-Attention: Self-attention through Asymmetric Kernel SVD in Primal Representation
KU Leuven(鲁汶大学)
本文针对非对称自注意力难以用对称核方法准确分析的问题,提出基于非对称 KSVD 原始表示的 Primal-Attention,并证明其可通过正则化损失实现低秩优化,取得更优效率与性能。
2023-12-05 cs.AI cs.CV cs.LG
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba(阿里巴巴达摩院)
基于变换器的方法最近在基于2D图像的视觉任务上取得了很大的进步。然而,对于基于3D视频的任务,如动作识别,直接应用时空Transformers的视频数据将带来沉重的计算和内存负担,由于补丁的数量大大增加和自注意计算的二次复杂度。如何高效地对视频数据的3D自注意力建模一直是Transformers面临的巨大挑战。在本文中,我们提出了一个时间补丁移位(TPS)的方法,有效的3D自我注意力建模Transformers基于视频的动作识别。TPS在时间维度上移动具有特定镶嵌模式的部分斑块,从而将香草空间自注意操作转换为时空操作,并且几乎没有额外的成本。因此,我们可以使用与2D自我注意力几乎相同的计算和内存成本来计算3D自我注意力。TPS是一个即插即用的模块,可以插入到现有的2D Transformer模型,以增强时空特征学习。所提出的方法在Something-something V1 & V2、Diving-48和Kinetics 400上实现了具有竞争力的性能,同时在计算和内存成本上更有效。TPS的源代码可以在https://github.com/MartinXM/TPS上找到。
2022-07-27 cs.AI cs.CV cs.LG