GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University(澳大利亚国立大学);SenseTime(商汤科技)
弱监督语义分割(WSSS)是具有挑战性的,特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距,通常生成类激活图(CAM)以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响,即只有最具辨别力的区域被激活。另一方面,基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效,从而潜在地减轻“部分激活”问题。在本文中,我们提出了第一个基于Transformer的WSSS方法,并介绍了梯度加权元素的Transformer注意力地图(GETAM)。GETAM显示所有特征图元素的精细缩放激活,显示对象跨Transformer层的不同部分。此外,我们提出了一个激活感知标签完成模块,以生成高质量的伪标签。最后,我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明,我们的结果明显优于最先进的端到端方法,并且优于大多数多阶段方法。
2022-05-10 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University(西安交通大学);ShanghaiTech University(上海科技大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Megvii Inc. (Face++)(旷视科技(Face++))
Transformers是语言建模的事实标准,最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer,利用自然图像的内在空间冗余,节省计算成本。具体来说,我们提出了一个动态粒度编码器的视觉Transformer,它可以自适应地分配一个合适的查询数量到每个空间区域。因此,它实现了一个细粒度的表示在区分区域,同时保持高效率。此外,动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西,我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%,同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research(百度研究院)
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络(CNN)相比,视觉Transformer具有更大的感受野,能够表征长程依赖性。然而,视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率,出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口,自我注意力在每个窗口内进行。为了找回全局接收场,基于窗口的视觉Transformer投入了大量精力,通过开发几种复杂的操作来实现跨窗口通信。在这项工作中,我们检查Swin Transformer的关键设计元素的必要性,移动窗口分区。我们发现,一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言,由于存在去卷积,Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此,我们通过丢弃复杂的移位窗口分区,将Swin Transformer退化为普通的基于窗口(Win)的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单,更易于实现。与此同时,我们的Win Transformer在多个计算机视觉任务(包括图像识别、语义分割和目标检测)上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Vision Transformers for Dense Prediction
Intel Labs(英特尔实验室)
我们引入了密集视觉Transformer,这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示,并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示,并且在每个阶段都具有全局接收域。与全卷积网络相比,这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明,这种架构在密集预测任务上产生了实质性的改进,特别是当大量的训练数据可用时。对于单眼深度估计,与最先进的全卷积网络相比,我们观察到相对性能提高了28%。当应用于语义分割时,密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明,该架构可以在较小的数据集上进行微调,如NYUv2,KITTI和Pascal Context,它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
Rethinking Spatial Dimensions of Vision Transformers
NAVER AI Lab(NAVER AI实验室);Sogang University(西江大学)
视觉Transformer(ViT)将Transformers的应用范围从语言处理扩展到计算机视觉任务,作为现有卷积神经网络(CNN)的替代架构。由于基于transformer的体系结构是计算机视觉建模的创新,因此对有效体系结构的设计约定的研究较少。从CNN的成功设计原则,我们调查的作用,空间维度转换和其有效性的transformer为基础的架构。我们特别注意CNN的降维原理;随着深度的增加,传统的CNN会增加通道维度并降低空间维度。我们的经验表明,这样的空间降维是有益的Transformer架构,以及,并提出了一种新的基于池的视觉Transformer(PiT)的原始ViT模型。我们表明,PiT实现了改进的模型能力和泛化性能对ViT。在整个广泛的实验中,我们进一步表明PiT优于基线的几个任务,如图像分类,目标检测,和鲁棒性评估。源代码和ImageNet模型可在https://github.com/naver-ai/pit上获得
2021-08-18 cs.CV
Less is More: Pay Less Attention in Vision Transformers
Monash University(蒙纳士大学)
Transformers已成为深度学习中的主导架构之一,特别是作为计算机视觉中卷积神经网络(CNN)的强大替代方案。然而,Transformer训练和推理在以前的作品中可能是昂贵的,由于在一个长序列的表示,特别是对于高分辨率密集预测任务的自我注意的二次复杂性。为此,我们提出了一种新的较少注意力的视觉Transformer(LIT),建立在Transformers中的早期自我注意力层仍然专注于局部模式的事实上,并在最近的分层视觉Transformer中带来了一些好处。具体来说,我们提出了一个层次化的Transformer,我们使用纯多层感知器(MLP)在早期阶段编码丰富的本地模式,同时应用自我注意模块来捕获更深层次的依赖关系。此外,我们进一步提出了一个学习的可变形令牌合并模块,以自适应融合信息补丁在一个非均匀的方式。LIT在图像识别任务中取得了很好的性能,包括图像分类,目标检测和实例分割,作为许多视觉任务的强大骨干。代码可在:https://github.com/zhuang-group/LIT
2021-12-23 cs.CV
Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer
Tencent(腾讯)
最近,基于窗口的Transformers,它在非重叠的局部窗口内计算自我注意力,在图像分类,语义分割和目标检测方面表现出很好的效果。然而,对于提高表示能力的关键因素--跨窗口连接的研究较少。在这项工作中,我们重新审视空间洗牌作为一种有效的方式来建立窗口之间的连接。因此,我们提出了一个新的视觉Transformer,命名为Shuffle Transformer,它是高效的,易于通过修改两行代码实现。此外,引入深度卷积来补充空间混洗以增强相邻窗口连接。所提出的架构实现了良好的性能,在广泛的视觉任务,包括图像级分类,目标检测,和语义分割。代码将被发布用于复制。
2021-06-07 cs.CV
MoCoViT: Mobile Convolutional Vision Transformer
最近,Transformer网络在各种视觉任务上取得了令人印象深刻的成果。然而,它们中的大多数在计算上是昂贵的,并且不适合于真实世界的移动应用。在这项工作中,我们提出了移动卷积视觉Transformer(MoCoViT),它通过将Transformer引入移动卷积网络来利用这两种架构的优势,从而提高了性能和效率。与最近关于视觉Transformer的工作不同,MoCoViT中的移动Transformer模块是为移动设备精心设计的,非常轻便,通过两个主要修改完成:移动自注意(MoSA)模块和移动前馈网络(MoFFN)。MoSA通过分支共享方案简化了注意力地图的计算,而MoFFN在Transformer中充当MLP的移动版本,进一步大幅减少了计算量。综合实验验证了我们提出的MoCoViT系列在各种视觉任务上的表现优于最先进的便携式CNN和Transformer神经架构。在ImageNet分类上,它在1.47亿FLOPs时达到了74.5%的top-1准确率,比MobileNetV 3提高了1.2%,计算量更少。在COCO目标检测任务上,MoCoViT在RetinaNet框架中的性能优于GhostNet 2.1 AP。
2022-05-26 cs.CV
Semantic-Aware Local-Global Vision Transformer
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Xiaomi Corporation(小米公司)
视觉Transformer已经取得了令人瞩目的进展,其中Swin Transformer展示了Transformer在视觉任务方面的巨大潜力。它克服了高计算复杂性的关键挑战,通过在移位窗口内执行局部自注意。在这项工作中,我们提出了语义感知局部全局视觉Transformer(SALG),进一步研究两个潜在的改进Swin Transformer。首先,与Swin Transformer不同,它执行均匀分区以产生相同大小的常规窗口用于局部自我注意,我们的SALG以无监督的方式执行语义分割以探索图像中的潜在语义先验。因此,每个分割区域可以对应于图像中语义上有意义的部分,潜在地导致每个分割区域内的更有效的特征。其次,而不是像Swin Transformer那样仅在局部窗口内执行局部自注意,所提出的SALG执行1)用于学习每个区域内的细粒度特征的局部区域内自注意和2)用于建模所有区域之间的全局依赖关系的全局区域间特征传播。因此,我们的模型能够在学习每个令牌的特征时获得全局视图,这是Transformer的本质优势。由于显式建模的语义先验和建议的局部-全局建模机制,我们的SALG是特别有利的小规模模型时,建模能力是不够的其他模型隐式学习语义。在各种视觉任务的广泛实验表明,我们的模型的优点比其他视觉Transformer,特别是在小规模的建模场景。
2022-11-27 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University(哈德斯菲尔德大学)
本文综述了用于计算机视觉的Transformer架构,探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越,并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Dynamic Group Transformer: A General Vision Transformer Backbone with Dynamic Group Attention
Sun Yat-sen University(中山大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
最近,Transformers在各种视觉任务中表现出了很好的性能。为了减少由每个查询涉及所有键/值所引起的二次计算复杂度,各种方法已经将注意力的范围限制在局部区域内,其中每个查询仅涉及手工制作的窗口内的键/值。然而,这些手工制作的窗口分区机制是数据不可知的,并且忽略了它们的输入内容,因此很可能一个查询可能涉及不相关的键/值。为了解决这个问题,我们提出了一个动态组注意力(DG-Attention),它动态地将所有查询分为多个组,并为每个组选择最相关的键/值。我们的DG-Attention可以灵活地建模更相关的依赖关系,而无需任何空间约束,这在手工制作的基于窗口的注意力中使用。在DG-Attention的基础上,我们开发了一个通用的视觉Transformer主干,称为动态组Transformer(DGT)。大量的实验表明,我们的模型可以在多个常见的视觉任务,包括图像分类,语义分割,目标检测和实例分割的国家的最先进的方法。
2022-05-27 cs.CV
Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
最近,Transformers在各种视觉任务中表现出了很好的性能。为了降低全局自注意引起的二次计算复杂度,各种方法将注意范围限制在局部区域内以提高其效率。因此,它们在单个注意力层中的感受野不够大,导致上下文建模不足。为了解决这个问题,我们提出了一个苍白形的自我注意(PS-注意),它在苍白形区域内执行自我注意。与全局自注意相比,PS-Attention可以显著降低计算量和内存开销。同时,在与已有的局部自注意力机制相似的计算复杂度下,能够捕获更丰富的上下文信息。基于PS-Attention,我们开发了一个具有分层架构的通用视觉Transformer主干,命名为Pale Transformer,对于224 ImageNet-1 K分类,模型大小分别为22 M,48 M和85 M,分别达到83.4%,84.3%和84.9%的Top-1准确率,优于之前的视觉Transformer主干。对于下游任务,我们的Pale Transformer主干在ADE 20 K语义分割和COCO目标检测和实例分割方面的性能比最新的CSWin Transformer好得多。该代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine(加州大学欧文分校)
许多研究人员已经证明,在许多计算机视觉任务中,Transformers的性能与卷积神经网络一样好。同时,其注意力模块的计算量大,阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer,但是它们中的大多数仅考虑图像分类任务。受这些结果的启发,我们提出了SiDT,修剪视觉Transformer骨干更复杂的视觉任务,如目标检测的方法,基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明,修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外,我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
Local-to-Global Self-Attention in Vision Transformers
Inception Institute of Artificial Intelligence (IIAI)(起源人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
Transformers在计算机视觉任务中表现出巨大的潜力。为了避免高分辨率视觉数据中自注意的密集计算,最近的一些Transformer模型采用分层设计,其中自注意仅在局部窗口内计算。这种设计显著提高了效率,但缺乏全局特征推理的早期阶段。在这项工作中,我们设计了一个多路径结构的Transformer,它使本地到全球的推理在多个粒度在每个阶段。所提出的框架是计算效率和高度有效的。随着计算开销的边际增加,我们的模型在图像分类和语义分割方面都取得了显着的改善。代码可在https://github.com/ljpadam/LG-Transformer上获得
2021-07-10 cs.CV
Vision Transformer with Quadrangle Attention
The University of Sydney(悉尼大学)
基于窗口的注意力由于其优越的性能、较低的计算复杂性和较少的内存占用,已经成为视觉Transformer中的流行选择。然而,手工制作的窗口的设计是数据不可知的,限制了Transformers适应不同大小、形状和方向的对象的灵活性。为了解决这个问题,我们提出了一种新的四边形注意力(QA)的方法,扩展了基于窗口的注意一般四边形制定。我们的方法采用了一个端到端可学习的四边形回归模块,该模块预测一个转换矩阵,将默认窗口转换为目标四边形,用于令牌采样和注意力计算,使网络能够对具有不同形状和方向的各种目标进行建模,并捕获丰富的上下文信息。我们将QA集成到普通和分层的视觉Transformer中,以创建一个名为QFormer的新架构,该架构提供了较小的代码修改和可忽略的额外计算成本。在公共基准上进行的大量实验表明,QFormer在各种视觉任务上都优于现有的代表性视觉Transformer,包括分类、目标检测、语义分割和姿态估计。该代码将在\href{https://github.com/ViTAE-Transformer/QFormer}{QFormer}上公开发布。
2023-03-27 cs.CV
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction
Cognitive Computing Lab, Baidu Research(百度研究院认知计算实验室);The Australian National University(澳大利亚国立大学)
视觉Transformer网络在许多计算机视觉任务中显示出优越性。在本文中,我们进一步提出了一种新的生成视觉Transformer的潜变量以下的信息能量为基础的显着目标检测的先验。视觉Transformer网络和基于能量的先验模型通过基于马尔可夫链蒙特卡洛的最大似然估计进行联合训练,其中从潜在变量的难处理的后验和先验分布的采样由Langevin动力学执行。此外,利用生成式视觉Transformer,我们可以很容易地从图像中获得逐像素的不确定性图,这表明了从图像中预测显著性的模型置信度。与现有的生成模型不同,该模型将潜在变量的先验分布定义为简单的各向同性高斯分布,我们的模型使用基于能量的信息先验,可以更有表现力地捕获数据的潜在空间。我们提出的框架,RGB和RGB-D显着的目标检测任务。大量的实验结果表明,我们的框架不仅可以实现准确的显着性预测,而且有意义的不确定性地图,是符合人类的感知。
2021-12-27 cs.CV
Searching the Search Space of Vision Transformer
Stony Brook University(石溪大学);Sun Yat-sen University(中山大学);Institute of Automation, CAS(中国科学院自动化研究所);Microsoft Research Asia(微软亚洲研究院)
视觉Transformer在识别和检测等实质性视觉任务中显示出强大的视觉表示能力,因此吸引了人工设计更有效架构的快速增长的努力。在本文中,我们建议使用神经架构搜索来自动化这个过程,不仅搜索的架构,但也搜索空间。其中心思想是逐步发展不同的搜索维度,由使用权重共享超网计算的E-T误差指导。此外,根据空间搜索过程进行了广泛的分析,给出了一般视觉变换器的设计准则,有助于加深对视觉Transformer的理解。值得注意的是,在ImageNet上进行评估时,从搜索空间中搜索到的名为S3(Searching the搜索空间的缩写)的模型的性能优于最近提出的模型,如Swin,DeiT和ViT。S3在目标检测、语义分割和视觉问答等方面的有效性也得到了验证,证明了S3对下游视觉和视觉语言任务的通用性。代码和模型将在https://github.com/microsoft/Cream上提供。
2021-11-29 cs.CV
Multimodal Token Fusion for Vision Transformers
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
已经出现了许多Transformers的适应性来解决单模态视觉任务,其中自我注意模块被堆叠以处理图像等输入源。直觉上,将多模态数据馈送到视觉Transformer可以提高性能,但是模态内注意力权重也可能被稀释,这可能因此破坏最终性能。在本文中,我们提出了一种多模态令牌融合方法(TokenFusion),专为基于变换器的视觉任务。为了有效地融合多种模态,TokenFusion动态检测无信息的令牌,并将这些令牌替换为投影和聚合的模态间特征。残差位置对准也被采用,以使融合后的模态间对准的明确利用。TokenFusion的设计允许Transformer学习多模态特征之间的相关性,而单模态Transformer架构在很大程度上保持不变。在各种同质和异构模态上进行了大量实验,并证明TokenFusion在三个典型的视觉任务中超越了最先进的方法:多模态图像到图像转换,RGB深度语义分割和点云和图像的3D目标检测。我们的代码可在https://github.com/yikaiw/TokenFusion上获得。
2022-07-15 cs.CV
Lite Vision Transformer with Enhanced Self-Attention
Johns Hopkins University(约翰霍普金斯大学);Adobe Inc.(Adobe公司)
尽管视觉Transformer模型的令人印象深刻的表示能力,当前轻量级的视觉Transformer模型仍然遭受不一致和不正确的密集预测在局部区域。我们怀疑他们的自我注意力机制的力量在较浅和较薄的网络中是有限的。我们提出了Lite视觉Transformer(LVT),这是一种新型的轻量级Transformer网络,具有两个增强的自注意力机制,以提高移动部署的模型性能。对于低层特征,我们引入了卷积自注意(CSA)。与以前合并卷积和自注意力的方法不同,CSA将局部自注意力引入到大小为3x3的内核内的卷积中,以丰富LVT第一阶段的低级特征。对于高层次的功能,我们提出了递归Atrous自注意(RASA),它利用多尺度上下文计算时的相似性地图和递归机制,以增加边际额外参数成本的表示能力。在ImageNet识别、ADE 20 K语义分割和COCO全景分割上证明了LVT的优越性。该代码是公开的。
2021-12-20 cs.CV
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab(韩国首尔计算机机器学习实验室)
提出一种离散旋转反射群等变的视觉Transformer,通过卷积注意力机制保持特征图的旋转、翻转和位置对称性,在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University(南开大学);Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局资讯通信研究院);Alibaba DAMO Academy(阿里巴巴达摩院)
最近,视觉Transformer通过推动各种视觉任务的最新技术,取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本(二次复杂度)。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer,其中通过单个池化操作提取的池化特征似乎不太强大。为此,我们注意到,金字塔池已被证明是有效的各种视觉任务,由于其强大的能力,在上下文抽象。然而,金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距,我们建议在视觉Transformer中将金字塔池化适应多头自注意力(MHSA),同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA,我们构建了一个通用的视觉Transformer主干,称为金字塔池Transformer(P2T)。大量的实验表明,当应用P2T作为骨干网络时,与以前的CNN和基于transformer的网络相比,它在各种视觉任务(如图像分类,语义分割,目标检测和实例分割)中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
Eventful Transformers: Leveraging Temporal Redundancy in Vision Transformers
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对视觉Transformer用于视频识别时计算成本高的问题,提出Eventful Transformers,仅重处理随时间显著变化的token,可从现有模型转换且无需重训练,在两个基准数据集上实现2-4倍计算节省,准确率下降极小。
2023-08-25 cs.CV
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
密集的计算机视觉任务,如目标检测和分割需要有效的多尺度特征表示,用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络(CNN)一直是此类任务的主导架构,但最近推出的视觉Transformer(ViTs)旨在取代它们作为骨干。与CNN类似,ViT构建了一个简单的多级结构(即,从细到粗)用于具有单尺度片的多尺度表示。在这项工作中,与现有的Transformers不同的角度,我们探索多尺度补丁嵌入和多路径结构,构建多路径视觉Transformer(MPViT)。MPViT嵌入相同大小的特征~(即,序列长度)同时具有不同尺度的补丁。然后,不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中,并且聚合所得到的特征,从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示,我们的MPViT从微小的~(5 M)扩展到基本的~(73 M),在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明,MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的视觉Transformer,称为Swin Transformer,它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异,例如视觉实体的规模变化很大,图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异,我们提出了一个分层的Transformer,其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性,并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容,包括图像分类(ImageNet-1 K上的87.3 top-1精度)和密集预测任务,如目标检测(COCO test-dev上的58.7 box AP和51.1 mask AP)和语义分割(ADE 20 K val上的53.5 mIoU)。它的性能超过了之前的最先进水平,在COCO上为+2.7框AP和+2.6掩模AP,在ADE 20 K上为+3.2 mIoU,证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University(詹姆斯库克大学);La Trobe University(乐卓博大学);Beijing University of Technology(北京工业大学)
最近,视觉Transformer模型已成为一系列视觉任务的突出模型。然而,这些模型通常是不透明的,具有较弱的特征可解释性。此外,目前还没有为本质上可解释的Transformer构建的方法,该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距,我们提出了一种新的视觉Transformer,称为eXplainable Vision Transformer(eX-ViT),一个本质上可解释的Transformer模型,能够共同发现强大的可解释的功能,并执行预测。具体来说,eX-ViT由可解释多头注意力(E-MHA)模块、属性引导解释器(AttE)模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重,这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时,AttE提出了编码的区别性属性特征的目标对象,通过不同的属性发现,这构成了模型的预测的忠实证据。此外,我们的eX-ViT开发了一个自我监督的属性引导损失,旨在通过属性区分机制和属性多样性机制学习增强的表示,以定位多样化和有区别的属性,并生成更强大的解释。因此,我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches
University of California, Riverside(加州大学河滨分校);Ecole Nationale d’Ingénieurs de Sousse(苏塞国家工程师学院);Queen’s University Belfast(贝尔法斯特女王大学)
针对可变形视觉Transformer的稀疏注意力结构,首次提出操纵其注意力的对抗攻击及协作攻击,仅修改不到1%的补丁区域即可使单视角和多视角目标检测性能完全失效。
2023-12-25 cs.CR cs.CV
CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention
Zhejiang University(浙江大学);Tencent(腾讯);Columbia University(哥伦比亚大学)
Transformers在处理计算机视觉任务方面取得了很大进展。然而,现有的视觉Transformer还不具备建立不同尺度的特征之间的交互的能力,这是视觉输入的感知重要。原因有两个方面:(1)每层的输入嵌入是等尺度的,因此不能提取跨尺度特征;(2)为了降低计算成本,一些视觉Transformer在自注意模块内合并相邻的嵌入,从而牺牲嵌入的小尺度(细粒度)特征,并且还禁用跨尺度交互。为此,我们提出了跨尺度嵌入层(CEL)和长短距离注意(LSDA)。一方面,CEL将每个嵌入与不同尺度的多个补丁混合,为自我注意模块本身提供跨尺度特征。另一方面,LSDA将自注意模块分为短距离和长距离两部分,这不仅减少了计算负担,而且在嵌入中同时保留了小尺度和大尺度特征。通过以上两种设计,实现了跨尺度注意。此外,我们提出了一种动态的视觉Transformer的位置偏差,使流行的相对位置偏差适用于可变大小的图像。在跨尺度注意力模块的基础上,我们构建了一个通用的视觉架构,称为CrossFormer,它可以容纳可变大小的输入。大量的实验表明,CrossFormer在图像分类、目标检测、实例分割和语义分割任务上优于其他视觉Transformer。代码已发布:https://github.com/cheerss/CrossFormer。
2021-10-08 cs.CV cs.LG
LAVT: Language-Aware Vision Transformer for Referring Image Segmentation
University of Oxford(牛津大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
指称图像分割是一项基本的视觉语言任务,其目的是从图像中分割出由自然语言表达所指称的对象。这项任务背后的关键挑战之一是利用指涉表达来突出显示图像中的相关位置。解决这个问题的范例是利用强大的视觉语言(“跨模态”)解码器来融合从视觉编码器和语言编码器独立提取的特征。最近的方法已经取得了显着的进步,在这种范式利用Transformers作为跨模态解码器,并行的Transformer的压倒性的成功,在许多其他视觉语言的任务。在这项工作中采用不同的方法,我们表明,通过早期融合的语言和视觉功能的中间层的视觉Transformer编码器网络,可以实现更好的跨模态对齐。通过在视觉特征编码阶段进行跨模态特征融合,我们可以利用Transformer编码器的久经考验的相关建模能力来挖掘有用的多模态上下文。这样,准确的分割结果很容易收获一个轻量级的掩模预测。没有花里胡哨的东西,我们的方法大大超过了RefCOCO、RefCOCO+和G-Ref上以前最先进的方法。
2022-04-05 cs.CL cs.CV
Vision Transformers in Medical Imaging: A Review
Covenant University(盟约大学);Virginia Tech(弗吉尼亚理工大学)
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型,在自然语言处理(NLP)领域中已经获得了流行,并且最近影响了计算机视觉(CV)空间。计算机视觉和医学成像之间的相似之处,审查了研究人员之间的问题,如果Transformers对计算机视觉的影响可以转化为医学成像?本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型,并将其与多种卷积神经网络(CNN)进行了比较,详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法,重点关注图像模态,在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois(伊利诺伊大学)
本文是一篇文献综述,梳理了Transformer从自然语言处理到计算机视觉的应用演进,重点分析了其在多目标跟踪(MOT)领域的研究进展,指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
Unsupervised Training of Vision Transformers with Synthetic Negatives
Imperial College London(伦敦帝国学院)
该研究针对自监督学习中视觉Transformer场景下硬负样本潜力被忽视的问题,将合成硬负样本融入其表征学习,有效提升了DeiT-S与Swin-T架构所学表征的判别能力及模型性能。
2025-09-02 cs.AI cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London(伦敦玛丽女王大学)
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中,我们从两个方面出发:(a)我们采用视觉Transformer作为一种架构,用于训练非常强大的人脸识别基线,简称为fViT,它已经超过了大多数最先进的人脸识别方法。(b)其次,我们利用Transformer的固有属性来处理从不规则网格中提取的信息(视觉令牌),以设计一个用于人脸识别的管道,这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分,它只是包括一个轻量级网络来预测面部地标的坐标,然后是视觉Transformer对从预测的地标中提取的补丁进行操作,并且它是端到端训练的,没有地标监督。通过学习提取有区别的斑块,我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性,在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
A Survey on Visual Transformer
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);The University of Sydney(悉尼大学)
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法,并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc(拉德堡德大学医学中心)
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题,提出采用层次视觉变换器(H-ViTs)进行前列腺癌分级,实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications(北京邮电大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);SenseTime(商汤科技);The University of Sydney(悉尼大学)
近年来,自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而,占主导地位的方法,对比学习,主要依赖于一个实例判别借口任务,学习图像的全局理解。本文通过重构预训练(RePre)将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架,增加了一个分支,用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器,融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督,这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的(SOTA)自我监督同行。
2022-01-19 cs.AI cs.CV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注,并有着广泛的应用。Transformers开始接管深度学习的所有领域,视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中,我们利用了一个视觉Transformer为基础的定制设计的模型,张量到图像,图像到图像的翻译。在自我注意的帮助下,我们的模型能够推广并应用于不同的问题,而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community(Cohere AI社区);ML Collective;IIT Delhi(印度理工学院德里分校);UC Berkeley(加州大学伯克利分校)
本文综述了面向移动端部署的小型视觉Transformer架构,分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟,为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
Vision Transformers for Computer Go
Université Paris Dauphine - PSL(巴黎多芬大学-PSL大学);CNRS(法国国家科学研究中心);The University of New South Wales(新南威尔士大学)
本文研究视觉Transformer在计算机围棋中的应用,通过对比残差网络在准确率、胜率、资源开销等多维度的表现,证明了Transformer在围棋任务中的重要作用。
2023-09-22 cs.AI cs.CV
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab(腾讯人工智能实验室);Peking Union Medical College Hospital(北京协和医院)
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力,最近的工作提出将视觉Transformer与CNN相结合。然而,大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer(即,缺乏归纳偏差、计算量大且很少考虑3D数据)。因此,设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中,我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中,一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积,一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式,和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外,提出了一种自适应缩放增强的局部视觉Transformer,以增强沿空间和通道的自适应特征,并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明,该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
$E(2)$-Equivariant Vision Transformer
Zhejiang University(浙江大学);JD Explore Academy, JD.com, Inc.(京东集团京东探索研究院);University of Edinburgh(爱丁堡大学)
本文针对ViT位置编码难以学习等变性的问题,提出群等变视觉Transformer(GE-ViT),通过新型位置编码算子满足等变理论要求,并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya(布劳爪哇大学)
针对视觉Transformer计算负担重的问题,提出先稀疏正则化再剪枝的优化方法,在多个图像分类数据集上实现了准确率提升,兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China(苏州先进研究所,中国科学技术大学)
本文提出了一种方法,通过将视觉变换器中的线性层替换为卷积运算符,使其能够充分利用BPUs的加速能力,从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science(计算机工程与科学学院)
ECViT是一种结合CNN和Transformer优势的混合架构,通过引入局部注意力和金字塔结构实现高效多尺度特征提取,在图像分类任务上以低计算和存储需求超越现有模型,平衡了性能与效率。
2025-04-21 cs.AI cs.CV
Case-Enhanced Vision Transformer: Improving Explanations of Image Similarity with a ViT-based Similarity Metric
Indiana University(印第安纳大学);Berry College(贝里学院)
本文提出Case-Enhanced Vision Transformer(CEViT)相似性度量方法,通过将其集成到k-NN分类中,在保持与最先进模型相当准确率的同时,提升了图像相似性评估的可解释性,并能基于先验案例说明类间差异。
2024-07-24 cs.AI cs.CV
Gastrointestinal Disorder Detection with a Transformer Based Approach
Brac University(布拉克大学);University of Rochester(罗切斯特大学);Shaheed Tajuddin Ahmad Medical College(沙希德·塔朱丁·艾哈迈德医学院)
使用内窥镜图像进行准确的疾病分类是胃肠病学中的一个重要问题。本文描述了一种技术,用于辅助医疗诊断程序和识别胃肠道疾病的基础上的分类的特征,从内窥镜图片使用视觉Transformer和迁移学习模型。视觉Transformer在困难的图像分类任务上显示出非常有前途的结果。本文提出了一种基于视觉Transformer的方法,从无线胶囊内窥镜(WCE)采集的结肠图像中检测胃肠疾病,准确率达到95.63%.我们将这种基于Transformer的方法与预训练的卷积神经网络(CNN)模型DenseNet 201进行了比较,并证明了视觉Transformer在各种定量性能评估指标上都超过了DenseNet 201。
2022-10-06 cs.AI cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院);Khalifa University of Science and Technology(哈利法科学技术大学);Air University(空军大学)
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构,重点探讨了其注意力机制、位置嵌入等关键特征,强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn(波恩大学)
本文测试卷积视觉Transformer(CvT)在直方图化遥感数据上的产量预测,虽性能不及XGBoost和CNN,但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Certified Patch Robustness via Smoothed Vision Transformers
MIT(麻省理工学院)
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是,目前,这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer,使更好的认证补丁的鲁棒性,也是更有效的计算,并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵,最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制,这在内置感应偏置的情况下更有效。然而,这些努力要么忽略了多层次的功能或缺乏动态繁荣,导致次优性能。在本文中,我们提出了一个动态的多级注意力机制(DMA),它捕获不同的模式的输入图像的多个内核大小,并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构,同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明,DMFormer实现了最先进的性能,优于类似大小的视觉Transformer(ViT)和卷积神经网络(CNN)。
2022-11-29 cs.AI cs.CV cs.LG
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego(加州大学圣地亚哥分校)
图像Transformers的最新进展已经显示出令人印象深刻的结果,并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练,然后在ImageNet-1 k上进行微调。在微调之后,研究人员通常会考虑迁移学习在较小数据集(如CIFAR-10/100)上的性能,但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer(ViT)、Data Efficient Image Transformer(DeiT)、Class Attention in Image Transformer(CaiT)和Swin Transformers。此外,Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里:https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
Multiscale Vision Transformers
Facebook AI Research(Facebook AI研究院);UC Berkeley(加州大学伯克利分校)
我们提出了多尺度视觉Transformer(MViT)的视频和图像识别,通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始,这些级分级地扩展信道容量,同时降低空间分辨率。这创建了一个多尺度金字塔的功能,早期的层在高空间分辨率下操作,以模拟简单的低层次视觉信息,更深的层在空间上粗糙,但复杂的高维特征。我们评估了这种基本的架构先验,用于对各种视频识别任务的视觉信号的密集性质进行建模,在这些任务中,它优于依赖于大规模外部预训练的并发视觉Transformer,并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度,并将我们的模型应用于图像分类,它优于以前的工作视觉Transformer。代码可在:https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学);University of California at Merced(加州大学默塞德分校);Yonsei University(延世大学);Google(谷歌)
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品,因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的,其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中,3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上,但由于与2D视觉相比,3D视觉在数据表示和处理方面的差异,需要特别注意。在这项工作中,我们提出了一个系统和全面的审查100多个Transformers的方法,用于不同的3D视觉任务,包括分类,分割,检测,完成,姿态估计等。我们讨论了3D视觉中的Transformer设计,它允许它处理具有各种3D表示的数据。对于每个应用程序,我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力,我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外,我们的目标是经常更新最新的相关论文及其相应的实现:https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Spectral Vision Transformer for Efficient Tokenization with Limited Data
本文提出基于谱的视觉Transformer,用于有限数据下的高效分词,尤其关注医学影像,通过频谱投影降低复杂度,提升性能。
2026-11-20 cs.AI cs.CV eess.SP