Vision Transformers with Patch Diversification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书）
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而，直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能，例如，结合卷积层。相比之下，我们研究了一种正交方法来稳定视觉Transformer训练，而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说，对于深度视觉Transformer，自注意力块倾向于将不同的补丁映射到类似的潜在表示中，从而产生信息丢失和性能下降。为了缓解这个问题，在这项工作中，我们在视觉Transformer训练中引入了新的损失函数，以明确鼓励补丁表示的多样性，以实现更具鉴别力的特征提取。我们的经验表明，我们提出的技术稳定的训练，并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明，多样化的功能显着有利于下游任务的迁移学习。对于语义分割，我们增强了Cityscapes和ADE 20 k上的最新（SOTA）结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Reversible Vision Transformers
UC Berkeley（加州大学伯克利分校）；Meta AI
我们提出了可逆的视觉Transformer，视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离，可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型，即视觉变压器和多尺度视觉Transformer，可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类，目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下，实现了高达15.5倍的内存占用减少，证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后，我们发现，重新计算激活的额外计算负担对于更深的模型来说是克服不了的，其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine（加州大学欧文分校）
许多研究人员已经证明，在许多计算机视觉任务中，Transformers的性能与卷积神经网络一样好。同时，其注意力模块的计算量大，阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer，但是它们中的大多数仅考虑图像分类任务。受这些结果的启发，我们提出了SiDT，修剪视觉Transformer骨干更复杂的视觉任务，如目标检测的方法，基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明，修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外，我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异，我们提出了一个分层的Transformer，其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性，并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容，包括图像分类（ImageNet-1 K上的87.3 top-1精度）和密集预测任务，如目标检测（COCO test-dev上的58.7 box AP和51.1 mask AP）和语义分割（ADE 20 K val上的53.5 mIoU）。它的性能超过了之前的最先进水平，在COCO上为+2.7框AP和+2.6掩模AP，在ADE 20 K上为+3.2 mIoU，证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
Focal Loss Dense Detector for Vehicle Surveillance
Virginia State University（弗吉尼亚州立大学）
深度学习在不同的计算机视觉应用中被广泛认为是一种有前途的方法。具体地说，一级目标检测器和两级目标检测器被认为是最重要的两组基于卷积神经网络的目标检测方法。单级目标检测器通常在速度上优于两级目标检测器，但是与两级目标检测器相比，它通常在检测精度上落后。在这项研究中，基于焦点损失的RetinaNet，它作为一个阶段的对象检测器，被用来能够很好地匹配常规的一个阶段的检测器的速度，也击败了两个阶段的检测器的准确性，用于车辆检测。在DETRAC车辆数据集上显示了最先进的性能结果。
2018-03-03 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University（西安交通大学）；ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
Transformers是语言建模的事实标准，最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer，利用自然图像的内在空间冗余，节省计算成本。具体来说，我们提出了一个动态粒度编码器的视觉Transformer，它可以自适应地分配一个合适的查询数量到每个空间区域。因此，它实现了一个细粒度的表示在区分区域，同时保持高效率。此外，动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西，我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%，同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research（百度研究院）
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络（CNN）相比，视觉Transformer具有更大的感受野，能够表征长程依赖性。然而，视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率，出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口，自我注意力在每个窗口内进行。为了找回全局接收场，基于窗口的视觉Transformer投入了大量精力，通过开发几种复杂的操作来实现跨窗口通信。在这项工作中，我们检查Swin Transformer的关键设计元素的必要性，移动窗口分区。我们发现，一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言，由于存在去卷积，Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此，我们通过丢弃复杂的移位窗口分区，将Swin Transformer退化为普通的基于窗口（Win）的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单，更易于实现。与此同时，我们的Win Transformer在多个计算机视觉任务（包括图像识别、语义分割和目标检测）上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Vision Transformers for Dense Prediction
Intel Labs（英特尔实验室）
我们引入了密集视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示，并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示，并且在每个阶段都具有全局接收域。与全卷积网络相比，这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明，这种架构在密集预测任务上产生了实质性的改进，特别是当大量的训练数据可用时。对于单眼深度估计，与最先进的全卷积网络相比，我们观察到相对性能提高了28%。当应用于语义分割时，密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明，该架构可以在较小的数据集上进行微调，如NYUv2，KITTI和Pascal Context，它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
Rethinking Spatial Dimensions of Vision Transformers
NAVER AI Lab（NAVER AI实验室）；Sogang University（西江大学）
视觉Transformer（ViT）将Transformers的应用范围从语言处理扩展到计算机视觉任务，作为现有卷积神经网络（CNN）的替代架构。由于基于transformer的体系结构是计算机视觉建模的创新，因此对有效体系结构的设计约定的研究较少。从CNN的成功设计原则，我们调查的作用，空间维度转换和其有效性的transformer为基础的架构。我们特别注意CNN的降维原理;随着深度的增加，传统的CNN会增加通道维度并降低空间维度。我们的经验表明，这样的空间降维是有益的Transformer架构，以及，并提出了一种新的基于池的视觉Transformer（PiT）的原始ViT模型。我们表明，PiT实现了改进的模型能力和泛化性能对ViT。在整个广泛的实验中，我们进一步表明PiT优于基线的几个任务，如图像分类，目标检测，和鲁棒性评估。源代码和ImageNet模型可在https://github.com/naver-ai/pit上获得
2021-08-18 cs.CV
Less is More: Pay Less Attention in Vision Transformers
Monash University（蒙纳士大学）
Transformers已成为深度学习中的主导架构之一，特别是作为计算机视觉中卷积神经网络（CNN）的强大替代方案。然而，Transformer训练和推理在以前的作品中可能是昂贵的，由于在一个长序列的表示，特别是对于高分辨率密集预测任务的自我注意的二次复杂性。为此，我们提出了一种新的较少注意力的视觉Transformer（LIT），建立在Transformers中的早期自我注意力层仍然专注于局部模式的事实上，并在最近的分层视觉Transformer中带来了一些好处。具体来说，我们提出了一个层次化的Transformer，我们使用纯多层感知器（MLP）在早期阶段编码丰富的本地模式，同时应用自我注意模块来捕获更深层次的依赖关系。此外，我们进一步提出了一个学习的可变形令牌合并模块，以自适应融合信息补丁在一个非均匀的方式。LIT在图像识别任务中取得了很好的性能，包括图像分类，目标检测和实例分割，作为许多视觉任务的强大骨干。代码可在：https://github.com/zhuang-group/LIT
2021-12-23 cs.CV
Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer
Tencent（腾讯）
最近，基于窗口的Transformers，它在非重叠的局部窗口内计算自我注意力，在图像分类，语义分割和目标检测方面表现出很好的效果。然而，对于提高表示能力的关键因素--跨窗口连接的研究较少。在这项工作中，我们重新审视空间洗牌作为一种有效的方式来建立窗口之间的连接。因此，我们提出了一个新的视觉Transformer，命名为Shuffle Transformer，它是高效的，易于通过修改两行代码实现。此外，引入深度卷积来补充空间混洗以增强相邻窗口连接。所提出的架构实现了良好的性能，在广泛的视觉任务，包括图像级分类，目标检测，和语义分割。代码将被发布用于复制。
2021-06-07 cs.CV
MoCoViT: Mobile Convolutional Vision Transformer
最近，Transformer网络在各种视觉任务上取得了令人印象深刻的成果。然而，它们中的大多数在计算上是昂贵的，并且不适合于真实世界的移动应用。在这项工作中，我们提出了移动卷积视觉Transformer（MoCoViT），它通过将Transformer引入移动卷积网络来利用这两种架构的优势，从而提高了性能和效率。与最近关于视觉Transformer的工作不同，MoCoViT中的移动Transformer模块是为移动设备精心设计的，非常轻便，通过两个主要修改完成：移动自注意（MoSA）模块和移动前馈网络（MoFFN）。MoSA通过分支共享方案简化了注意力地图的计算，而MoFFN在Transformer中充当MLP的移动版本，进一步大幅减少了计算量。综合实验验证了我们提出的MoCoViT系列在各种视觉任务上的表现优于最先进的便携式CNN和Transformer神经架构。在ImageNet分类上，它在1.47亿FLOPs时达到了74.5%的top-1准确率，比MobileNetV 3提高了1.2%，计算量更少。在COCO目标检测任务上，MoCoViT在RetinaNet框架中的性能优于GhostNet 2.1 AP。
2022-05-26 cs.CV
Semantic-Aware Local-Global Vision Transformer
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Xiaomi Corporation（小米公司）
视觉Transformer已经取得了令人瞩目的进展，其中Swin Transformer展示了Transformer在视觉任务方面的巨大潜力。它克服了高计算复杂性的关键挑战，通过在移位窗口内执行局部自注意。在这项工作中，我们提出了语义感知局部全局视觉Transformer（SALG），进一步研究两个潜在的改进Swin Transformer。首先，与Swin Transformer不同，它执行均匀分区以产生相同大小的常规窗口用于局部自我注意，我们的SALG以无监督的方式执行语义分割以探索图像中的潜在语义先验。因此，每个分割区域可以对应于图像中语义上有意义的部分，潜在地导致每个分割区域内的更有效的特征。其次，而不是像Swin Transformer那样仅在局部窗口内执行局部自注意，所提出的SALG执行1）用于学习每个区域内的细粒度特征的局部区域内自注意和2）用于建模所有区域之间的全局依赖关系的全局区域间特征传播。因此，我们的模型能够在学习每个令牌的特征时获得全局视图，这是Transformer的本质优势。由于显式建模的语义先验和建议的局部-全局建模机制，我们的SALG是特别有利的小规模模型时，建模能力是不够的其他模型隐式学习语义。在各种视觉任务的广泛实验表明，我们的模型的优点比其他视觉Transformer，特别是在小规模的建模场景。
2022-11-27 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University（哈德斯菲尔德大学）
本文综述了用于计算机视觉的Transformer架构，探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越，并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Dynamic Group Transformer: A General Vision Transformer Backbone with Dynamic Group Attention
Sun Yat-sen University（中山大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
最近，Transformers在各种视觉任务中表现出了很好的性能。为了减少由每个查询涉及所有键/值所引起的二次计算复杂度，各种方法已经将注意力的范围限制在局部区域内，其中每个查询仅涉及手工制作的窗口内的键/值。然而，这些手工制作的窗口分区机制是数据不可知的，并且忽略了它们的输入内容，因此很可能一个查询可能涉及不相关的键/值。为了解决这个问题，我们提出了一个动态组注意力（DG-Attention），它动态地将所有查询分为多个组，并为每个组选择最相关的键/值。我们的DG-Attention可以灵活地建模更相关的依赖关系，而无需任何空间约束，这在手工制作的基于窗口的注意力中使用。在DG-Attention的基础上，我们开发了一个通用的视觉Transformer主干，称为动态组Transformer（DGT）。大量的实验表明，我们的模型可以在多个常见的视觉任务，包括图像分类，语义分割，目标检测和实例分割的国家的最先进的方法。
2022-05-27 cs.CV
Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
Institute of Deep Learning, Baidu Research（百度研究院深度学习研究所）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
最近，Transformers在各种视觉任务中表现出了很好的性能。为了降低全局自注意引起的二次计算复杂度，各种方法将注意范围限制在局部区域内以提高其效率。因此，它们在单个注意力层中的感受野不够大，导致上下文建模不足。为了解决这个问题，我们提出了一个苍白形的自我注意（PS-注意），它在苍白形区域内执行自我注意。与全局自注意相比，PS-Attention可以显著降低计算量和内存开销。同时，在与已有的局部自注意力机制相似的计算复杂度下，能够捕获更丰富的上下文信息。基于PS-Attention，我们开发了一个具有分层架构的通用视觉Transformer主干，命名为Pale Transformer，对于224 ImageNet-1 K分类，模型大小分别为22 M，48 M和85 M，分别达到83.4%，84.3%和84.9%的Top-1准确率，优于之前的视觉Transformer主干。对于下游任务，我们的Pale Transformer主干在ADE 20 K语义分割和COCO目标检测和实例分割方面的性能比最新的CSWin Transformer好得多。该代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Local-to-Global Self-Attention in Vision Transformers
Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
Transformers在计算机视觉任务中表现出巨大的潜力。为了避免高分辨率视觉数据中自注意的密集计算，最近的一些Transformer模型采用分层设计，其中自注意仅在局部窗口内计算。这种设计显著提高了效率，但缺乏全局特征推理的早期阶段。在这项工作中，我们设计了一个多路径结构的Transformer，它使本地到全球的推理在多个粒度在每个阶段。所提出的框架是计算效率和高度有效的。随着计算开销的边际增加，我们的模型在图像分类和语义分割方面都取得了显着的改善。代码可在https://github.com/ljpadam/LG-Transformer上获得
2021-07-10 cs.CV
Vision Transformer with Quadrangle Attention
The University of Sydney（悉尼大学）
基于窗口的注意力由于其优越的性能、较低的计算复杂性和较少的内存占用，已经成为视觉Transformer中的流行选择。然而，手工制作的窗口的设计是数据不可知的，限制了Transformers适应不同大小、形状和方向的对象的灵活性。为了解决这个问题，我们提出了一种新的四边形注意力（QA）的方法，扩展了基于窗口的注意一般四边形制定。我们的方法采用了一个端到端可学习的四边形回归模块，该模块预测一个转换矩阵，将默认窗口转换为目标四边形，用于令牌采样和注意力计算，使网络能够对具有不同形状和方向的各种目标进行建模，并捕获丰富的上下文信息。我们将QA集成到普通和分层的视觉Transformer中，以创建一个名为QFormer的新架构，该架构提供了较小的代码修改和可忽略的额外计算成本。在公共基准上进行的大量实验表明，QFormer在各种视觉任务上都优于现有的代表性视觉Transformer，包括分类、目标检测、语义分割和姿态估计。该代码将在\href{https://github.com/ViTAE-Transformer/QFormer}{QFormer}上公开发布。
2023-03-27 cs.CV
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；The Australian National University（澳大利亚国立大学）
视觉Transformer网络在许多计算机视觉任务中显示出优越性。在本文中，我们进一步提出了一种新的生成视觉Transformer的潜变量以下的信息能量为基础的显着目标检测的先验。视觉Transformer网络和基于能量的先验模型通过基于马尔可夫链蒙特卡洛的最大似然估计进行联合训练，其中从潜在变量的难处理的后验和先验分布的采样由Langevin动力学执行。此外，利用生成式视觉Transformer，我们可以很容易地从图像中获得逐像素的不确定性图，这表明了从图像中预测显著性的模型置信度。与现有的生成模型不同，该模型将潜在变量的先验分布定义为简单的各向同性高斯分布，我们的模型使用基于能量的信息先验，可以更有表现力地捕获数据的潜在空间。我们提出的框架，RGB和RGB-D显着的目标检测任务。大量的实验结果表明，我们的框架不仅可以实现准确的显着性预测，而且有意义的不确定性地图，是符合人类的感知。
2021-12-27 cs.CV
Searching the Search Space of Vision Transformer
Stony Brook University（石溪大学）；Sun Yat-sen University（中山大学）；Institute of Automation, CAS（中国科学院自动化研究所）；Microsoft Research Asia（微软亚洲研究院）
视觉Transformer在识别和检测等实质性视觉任务中显示出强大的视觉表示能力，因此吸引了人工设计更有效架构的快速增长的努力。在本文中，我们建议使用神经架构搜索来自动化这个过程，不仅搜索的架构，但也搜索空间。其中心思想是逐步发展不同的搜索维度，由使用权重共享超网计算的E-T误差指导。此外，根据空间搜索过程进行了广泛的分析，给出了一般视觉变换器的设计准则，有助于加深对视觉Transformer的理解。值得注意的是，在ImageNet上进行评估时，从搜索空间中搜索到的名为S3（Searching the搜索空间的缩写）的模型的性能优于最近提出的模型，如Swin，DeiT和ViT。S3在目标检测、语义分割和视觉问答等方面的有效性也得到了验证，证明了S3对下游视觉和视觉语言任务的通用性。代码和模型将在https://github.com/microsoft/Cream上提供。
2021-11-29 cs.CV
Multimodal Token Fusion for Vision Transformers
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））
已经出现了许多Transformers的适应性来解决单模态视觉任务，其中自我注意模块被堆叠以处理图像等输入源。直觉上，将多模态数据馈送到视觉Transformer可以提高性能，但是模态内注意力权重也可能被稀释，这可能因此破坏最终性能。在本文中，我们提出了一种多模态令牌融合方法（TokenFusion），专为基于变换器的视觉任务。为了有效地融合多种模态，TokenFusion动态检测无信息的令牌，并将这些令牌替换为投影和聚合的模态间特征。残差位置对准也被采用，以使融合后的模态间对准的明确利用。TokenFusion的设计允许Transformer学习多模态特征之间的相关性，而单模态Transformer架构在很大程度上保持不变。在各种同质和异构模态上进行了大量实验，并证明TokenFusion在三个典型的视觉任务中超越了最先进的方法：多模态图像到图像转换，RGB深度语义分割和点云和图像的3D目标检测。我们的代码可在https://github.com/yikaiw/TokenFusion上获得。
2022-07-15 cs.CV
Lite Vision Transformer with Enhanced Self-Attention
Johns Hopkins University（约翰霍普金斯大学）；Adobe Inc.（Adobe公司）
尽管视觉Transformer模型的令人印象深刻的表示能力，当前轻量级的视觉Transformer模型仍然遭受不一致和不正确的密集预测在局部区域。我们怀疑他们的自我注意力机制的力量在较浅和较薄的网络中是有限的。我们提出了Lite视觉Transformer（LVT），这是一种新型的轻量级Transformer网络，具有两个增强的自注意力机制，以提高移动部署的模型性能。对于低层特征，我们引入了卷积自注意（CSA）。与以前合并卷积和自注意力的方法不同，CSA将局部自注意力引入到大小为3x3的内核内的卷积中，以丰富LVT第一阶段的低级特征。对于高层次的功能，我们提出了递归Atrous自注意（RASA），它利用多尺度上下文计算时的相似性地图和递归机制，以增加边际额外参数成本的表示能力。在ImageNet识别、ADE 20 K语义分割和COCO全景分割上证明了LVT的优越性。该代码是公开的。
2021-12-20 cs.CV
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University（南开大学）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
最近，视觉Transformer通过推动各种视觉任务的最新技术，取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本（二次复杂度）。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不太强大。为此，我们注意到，金字塔池已被证明是有效的各种视觉任务，由于其强大的能力，在上下文抽象。然而，金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距，我们建议在视觉Transformer中将金字塔池化适应多头自注意力（MHSA），同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA，我们构建了一个通用的视觉Transformer主干，称为金字塔池Transformer（P2T）。大量的实验表明，当应用P2T作为骨干网络时，与以前的CNN和基于transformer的网络相比，它在各种视觉任务（如图像分类，语义分割，目标检测和实例分割）中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
Eventful Transformers: Leveraging Temporal Redundancy in Vision Transformers
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对视觉Transformer用于视频识别时计算成本高的问题，提出Eventful Transformers，仅重处理随时间显著变化的token，可从现有模型转换且无需重训练，在两个基准数据集上实现2-4倍计算节省，准确率下降极小。
2023-08-25 cs.CV
FocalFormer3D : Focusing on Hard Instance for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
本文提出困难实例探测流程HIP及其三维检测实例FocalFormer3D，通过多阶段查询生成和框级transformer解码器聚焦挖掘困难目标，在nuScenes和Waymo上取得领先的检测与跟踪性能。
2023-08-08 cs.CV
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
密集的计算机视觉任务，如目标检测和分割需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNN）一直是此类任务的主导架构，但最近推出的视觉Transformer（ViTs）旨在取代它们作为骨干。与CNN类似，ViT构建了一个简单的多级结构（即，从细到粗）用于具有单尺度片的多尺度表示。在这项工作中，与现有的Transformers不同的角度，我们探索多尺度补丁嵌入和多路径结构，构建多路径视觉Transformer（MPViT）。MPViT嵌入相同大小的特征~（即，序列长度）同时具有不同尺度的补丁。然后，不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中，并且聚合所得到的特征，从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示，我们的MPViT从微小的~（5 M）扩展到基本的~（73 M），在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明，MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition
Zhengzhou University（郑州大学）；DAMO Academy, Alibaba Group (U.S.) Inc（阿里巴巴集团（美国）达摩院）；University of Wollongong（伍伦贡大学）
尽管Transformer在各种视觉任务中取得了很大的进步，但它仍然是基于视觉的动作识别的探索不足，只有少数尝试。此外，这些方法直接在空间和时间维度上计算所有关节的成对全局自注意，低估了判别性局部关节和短程时间动态的影响。在这项工作中，我们提出了一种新的焦点和全球时空Transformer网络（FG-STFormer），它配备了两个关键组件：（1）FG-SFormer：焦点关节和全球部分耦合空间Transformer。它迫使网络专注于分别为学习到的有区别的空间关节和人体部位建模相关性。选择性的局灶节点消除了无信息节点在积累相关性过程中的负面影响。同时，焦点关节和身体部位之间的相互作用被纳入通过相互交叉注意来增强空间依赖性。(2)FG-TFormer：焦点和全局时间Transformer。扩展时间卷积被集成到全局自注意力机制中，以显式地捕获关节或身体部位的局部时间运动模式，这对使时间Transformer工作至关重要。在NTU-60，NTU-120和NW-UCLA三个基准上的大量实验结果表明，我们的FG-STFormer超越了所有现有的基于变压器的方法，并与最先进的基于GCN的方法相媲美。
2022-10-06 cs.CV
FocDepthFormer: Transformer with latent LSTM for Depth Estimation from Focal Stack
KU Leuven（鲁汶大学）；the University of Melbourne（墨尔本大学）；Technical University of Munich（慕尼黑工业大学）；the University of New South Wales（新南威尔士大学）
本文提出 FocDepthFormer，用 Transformer、LSTM 与多尺度 CNN 编码器处理任意长度焦栈，并支持单目数据预训练，在多项基准指标上超过现有方法。
2024-12-04 cs.AI cs.CV eess.IV
RadioTransformer: A Cascaded Global-Focal Transformer for Visual Attention-guided Disease Classification
Stony Brook University（石溪大学）
在这项工作中，我们提出了RadioTransformer，一种新的视觉注意力驱动的Transformer框架，利用放射科医生的凝视模式和模型的视觉认知行为的疾病诊断胸片。诸如放射科医师的领域专家依赖于视觉信息来进行医学图像判读。另一方面，深度神经网络在类似的任务中表现出了巨大的潜力，即使在视觉解释具有挑战性的情况下。视线跟踪已被用于捕获领域专家的观看行为，从而深入了解视觉搜索的复杂性。然而，深度学习框架，即使是那些依赖于注意力机制的框架，也不会利用这些丰富的领域信息。RadioTransformer通过学习放射科医生的视觉搜索模式填补了这一关键空白，该模式在级联的全局焦点Transformer框架中被编码为“人类视觉注意区域”。整体的“全球”的图像特征和更详细的“本地”的功能被捕获的建议的全球和焦点模块，分别。我们通过实验验证了我们的学生-教师方法对8个涉及不同疾病分类任务的数据集的有效性，其中在推理阶段无法获得眼睛凝视数据。代码：https://github.com/bmi-imaginelab/radiotransformer.
2022-07-21 cs.CV
Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；University of Central Florida（中佛罗里达大学）；Linköping University（林雪平大学）
本文提出 Video-FocalNet，通过时空焦点调制架构结合卷积与逐元素乘法高效建模局部和全局上下文，在多个视频识别基准上以更低计算成本超越现有 Transformer 方法。
2023-10-27 cs.AI cs.CV
DaBiT: Depth and Blur informed Transformer for Video Focal Deblurring
School of Computer Science, University of Bristol（计算机科学学院，布里斯托尔大学）
本文提出DaBiT框架，利用映射引导Transformer和流重新聚焦模块解决视频焦点去模糊问题，并创建DAVIS-Blur基准数据集，平均PSNR提升超过1.9dB。
2025-02-20 cs.CV
FViT: A Focal Vision Transformer with Gabor Filter
College of Artificial Intelligence（人工智能学院）；School of Artificial Intelligence（人工智能学院）；The Key Laboratory of Intelligent Robotics of Tianjin（天津市智能机器人重点实验室）
FViT提出一种结合可学习Gabor滤波器的聚焦视觉Transformer，通过仿生BFV模块和双路径前馈网络提升密集预测性能，在计算效率和可扩展性上优于同类方法。
2025-01-21 cs.CV
Parameter-efficient Prompt Tuning of Vision Foundation Model With Adaptive Focal Loss for Interpretable MCI Screening
APAC Research Group, Faculty of Electrical Engineering, K. N. Toosi University of Technology（亚太研究小组，电气工程学院，伊朗德黑兰的KN Toosi科技大学）
研究针对轻度认知障碍筛查中数据与诊断问题，提出用冻结DINOv2 - Small模型经特定提示令牌参数高效调优的框架，结合自适应焦点损失处理边界模糊性，在交叉验证中表现良好，优于ResViT基线。
2026-07-17 cs.AI cs.CV cs.LG
FOCAL-VLA: Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models
University of Bremen（不来梅大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Robotics Institute Germany (RIG)（德国机器人研究所）
FOCAL-VLA通过子任务引导的几何蒸馏和隐式世界建模，增强VLA模型的空间与时间理解，在仿真和真实操作任务中超越基线。
2026-09-21 cs.AI cs.CV cs.RO
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Online Continual Learning with Contrastive Vision Transformer
The University of Sydney（悉尼大学）
在线连续学习（Online Continuous Learning，CL）研究从无任务边界的在线数据流中学习顺序任务的问题，旨在适应新数据的同时减轻对过去任务的灾难性遗忘。本文提出了一个框架对比视觉Transformer（CVT），它设计了一个基于Transformer架构的焦点对比学习策略，以实现在线CL的更好的稳定性和可塑性权衡。具体而言，我们设计了一个新的外部注意力机制在线CL隐式捕获以前的任务的信息。此外，CVT包含每个类的可学习焦点，可以积累以前课程的知识，以减少遗忘。基于可学习的焦点，我们设计了一个焦点对比损失，以重新平衡新类和旧类之间的对比学习，并巩固以前学习的表征。此外，CVT包含一个双分类器结构，用于解耦学习当前类和平衡所有观察到的类。大量的实验结果表明，我们的方法实现了最先进的性能，甚至更少的参数在线CL基准，并有效地消除了灾难性遗忘。
2022-07-24 cs.AI cs.CV cs.LG
FoPru: Focal Pruning for Efficient Large Vision-Language Models
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
本文提出无需训练的焦点剪枝方法FoPru，通过基于注意力的视觉令牌重要性评估及排名与行两种剪枝策略，在保持高精度的同时大幅减少冗余令牌，提升大视觉语言模型推理效率。
2024-11-21 cs.AI cs.CV
HALC: Object Hallucination Reduction via Adaptive Focal-Contrast Decoding
University of Chicago（芝加哥大学）；Massachusetts Institute of Technology（麻省理工学院）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
HALC提出一种无需训练的即插即用解码算法，通过局部自动聚焦定位和全局束搜索减少大型视觉语言模型中的对象幻觉，并在四个基准上超越现有方法。
2024-06-10 cs.AI cs.CV cs.LG
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注，并有着广泛的应用。Transformers开始接管深度学习的所有领域，视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中，我们利用了一个视觉Transformer为基础的定制设计的模型，张量到图像，图像到图像的翻译。在自我注意的帮助下，我们的模型能够推广并应用于不同的问题，而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT（麻省理工学院）
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是，目前，这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer，使更好的认证补丁的鲁棒性，也是更有效的计算，并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
TAFM-Net: A Novel Approach to Skin Lesion Segmentation Using Transformer Attention and Focal Modulation
School of Computer Science and Engineering, UNSW（新南威尔士大学计算机科学与工程学院）；Abasyn University Islamabad Campus（阿巴辛大学伊斯兰堡校区）；School of Computer Science（计算机学院）；Department of Computing, Abasyn University Islamabad Campus（阿巴辛大学伊斯兰堡校区计算机系）
TAFM-Net结合Transformer注意力和焦点调制，利用EfficientNetV2B1编码器和密集连接解码器，通过动态损失函数提升皮肤病变分割性能，在ISIC2016、2017、2018数据集上分别达到93.64%、86.88%和92.88%的Jaccard系数。
2024-11-26 cs.CV eess.IV
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵，最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制，这在内置感应偏置的情况下更有效。然而，这些努力要么忽略了多层次的功能或缺乏动态繁荣，导致次优性能。在本文中，我们提出了一个动态的多级注意力机制（DMA），它捕获不同的模式的输入图像的多个内核大小，并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构，同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明，DMFormer实现了最先进的性能，优于类似大小的视觉Transformer（ViT）和卷积神经网络（CNN）。
2022-11-29 cs.AI cs.CV cs.LG
fCOP: Focal Length Estimation from Category-level Object Priors
ShanghaiTech University（上海科技大学）；Rembrand（伦布兰德（Rembrand）公司）
本文提出fCOP方法，利用类别级物体先验结合单目深度估计与规范表示学习，从三组对应关系闭式求解焦距，在模拟与真实数据上优于现有方法。
2024-09-29 cs.CV
REG: Refined Generalized Focal Loss for Road Asset Detection on Thai Highways Using Vision-Based Detection and Segmentation Models
Chulalongkorn University（朱拉隆功大学）；MARS (Motor AI Recognition Solution)（MARS（汽车AI识别解决方案））
本研究提出集成REG损失的新型道路资产检测分割框架，通过多任务优化、空间上下文调整及概率细化提升小样本道路元素检测效果，在泰国高速公路场景下mAP50达80.34，优于传统方法，助力道路安全与基建管理。
2024-09-17 cs.AI cs.CV
Multiscale Vision Transformers
Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了多尺度视觉Transformer（MViT）的视频和图像识别，通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始，这些级分级地扩展信道容量，同时降低空间分辨率。这创建了一个多尺度金字塔的功能，早期的层在高空间分辨率下操作，以模拟简单的低层次视觉信息，更深的层在空间上粗糙，但复杂的高维特征。我们评估了这种基本的架构先验，用于对各种视频识别任务的视觉信号的密集性质进行建模，在这些任务中，它优于依赖于大规模外部预训练的并发视觉Transformer，并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度，并将我们的模型应用于图像分类，它优于以前的工作视觉Transformer。代码可在：https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
GFT: Gradient Focal Transformer
Hong Kong University of Science and Technology（香港科技大学）；University of Westminster（威斯敏斯特大学）；University of Engineering & Technology Lahore（拉合尔工程技术大学）；Shanghai Jiao Tong University（上海交通大学）
针对细粒度图像分类中CNN模型缺乏全局上下文、ViT模型难聚焦判别区域及现有ViT扩展存在效率等问题，提出GFT框架，集成GALA机制和PPS策略，实现SOTA精度与更高效率，为细粒度识别提供新基准。
2025-04-14 cs.CV
FATE: Focal-modulated Attention Encoder for Multivariate Time-series Forecasting
GAASH Research Lab（GAASH研究实验室）；Department of Information Technology（信息科技系）；National Institute of Technology Srinagar（斯里 Nagar国立理工学院）
本文提出FATE，一种新的Transformer架构，用于可靠的多变量时间序列预测。FATE引入了张量化的焦点调节机制，以显式捕捉时间序列中的时空相关性，并通过两个调节分数提高可解释性，通过在七个不同现实世界数据集上基准测试，证明其在长视界多变量气象数据集上的优越性能。
2026-06-04 cs.CV cs.LG
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
本文提出V3Fusion方法，通过融合多种视觉语言模型，利用焦点误差多样性与CKA-focal度量来提升视觉推理性能，实验显示在多个基准上优于现有模型。
2026-03-13 cs.CV cs.LG
Scaling Vision Transformers
Google Research（谷歌研究院）
基于注意力的神经网络，如视觉Transformer（ViT），最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素，因此，了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则，但还不知道视觉Transformer如何缩放。为了解决这个问题，我们缩放ViT模型和数据，向上和向下，并表征出错率，数据和计算之间的关系。在此过程中，我们改进了ViT的架构和训练，减少了内存消耗，提高了最终模型的准确性。因此，我们成功地训练了一个具有20亿个参数的ViT模型，该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好，例如，在ImageNet上达到84.86%的top-1准确率，每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
