Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Efficiency 360: Efficient Vision Transformers
Microsoft（微软）
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中，我们从内存（参数的数量）、计算成本（浮点运算的数量）和模型性能（包括准确性、模型的鲁棒性和公平无偏特性）方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架，其中包括视觉Transformer的各个方面，使其更有效的工业应用。通过考虑这些应用，我们将其分为多个维度，如隐私，鲁棒性，透明性，公平性，包容性，持续学习，概率模型，近似，计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能，参数的数量，以及在多个数据集上的浮点运算（FLOP）的数量。
2023-02-23 cs.AI cs.CL cs.CV
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Vision Transformers with Patch Diversification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书）
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而，直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能，例如，结合卷积层。相比之下，我们研究了一种正交方法来稳定视觉Transformer训练，而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说，对于深度视觉Transformer，自注意力块倾向于将不同的补丁映射到类似的潜在表示中，从而产生信息丢失和性能下降。为了缓解这个问题，在这项工作中，我们在视觉Transformer训练中引入了新的损失函数，以明确鼓励补丁表示的多样性，以实现更具鉴别力的特征提取。我们的经验表明，我们提出的技术稳定的训练，并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明，多样化的功能显着有利于下游任务的迁移学习。对于语义分割，我们增强了Cityscapes和ADE 20 k上的最新（SOTA）结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam（阿姆斯特丹大学）
本文提出VISION DIFFMASK，一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法，并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
Vision Transformers in Medical Imaging: A Review
Covenant University（盟约大学）；Virginia Tech（弗吉尼亚理工大学）
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型，在自然语言处理（NLP）领域中已经获得了流行，并且最近影响了计算机视觉（CV）空间。计算机视觉和医学成像之间的相似之处，审查了研究人员之间的问题，如果Transformers对计算机视觉的影响可以转化为医学成像？本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型，并将其与多种卷积神经网络（CNN）进行了比较，详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法，重点关注图像模态，在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
Apple（苹果公司）
轻量级卷积神经网络（CNN）是移动视觉任务的事实。他们的空间归纳偏差使他们能够在不同的视觉任务中用更少的参数学习表征。然而，这些网络在空间上是局部的。为了学习全局表示，已经采用了基于自我注意力的视觉变换器（ViTs）。与CNN不同，ViT是重量级的。在本文中，我们提出了以下问题：是否有可能结合CNN和ViT的优势，为移动视觉任务构建一个轻量级和低延迟的网络？为此，我们推出MobileViT，一种用于移动设备的轻型通用视觉Transformer。MobileViT提供了一个不同的视角，用于使用Transformers进行全球信息处理，即，Transformers作为convolutions。我们的研究结果表明，MobileViT在不同的任务和数据集上显著优于CNN和基于ViT的网络。在ImageNet-1 k数据集上，MobileViT在大约600万个参数的情况下达到了78.4%的top-1准确率，比MobileNetv 3（基于CNN）和DeIT（基于ViT）在类似数量的参数下分别高出3.2%和6.2%。在MS-COCO目标检测任务中，MobileViT比MobileNetv 3在相同数量的参数下精确5.7%。我们的源代码是开源的，可在https://github.com/apple/ml-cvnets上获得
2022-03-04 cs.AI cs.CV cs.LG
Compact Vision Transformer by Reduction of Kernel Complexity
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
本文提出KCR-Transformer，通过在MLP层进行可微通道选择并以理论泛化界为指导降低计算复杂度，在减少FLOPs和参数的同时保持或提升视觉Transformer的性能。
2025-07-17 cs.CV cs.LG
Reversible Vision Transformers
UC Berkeley（加州大学伯克利分校）；Meta AI
我们提出了可逆的视觉Transformer，视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离，可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型，即视觉变压器和多尺度视觉Transformer，可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类，目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下，实现了高达15.5倍的内存占用减少，证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后，我们发现，重新计算激活的额外计算负担对于更深的模型来说是克服不了的，其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine（加州大学欧文分校）
许多研究人员已经证明，在许多计算机视觉任务中，Transformers的性能与卷积神经网络一样好。同时，其注意力模块的计算量大，阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer，但是它们中的大多数仅考虑图像分类任务。受这些结果的启发，我们提出了SiDT，修剪视觉Transformer骨干更复杂的视觉任务，如目标检测的方法，基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明，修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外，我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois（伊利诺伊大学）
本文是一篇文献综述，梳理了Transformer从自然语言处理到计算机视觉的应用演进，重点分析了其在多目标跟踪（MOT）领域的研究进展，指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University（阿尔托大学）
随着最近成功的Transformers的视觉域的适应，特别是当训练在一个自我监督的方式，它已被证明，视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务，在图像中的对象分割。在本文中，我们建立在掩蔽自动编码的自我监督任务的基础上，并探索其有效性，以明确学习以对象为中心的表示与Transformers。为此，我们设计了一个以对象为中心的自编码器，只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明，该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs（英特尔实验室）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
基于transformer的模型的突破性进展不仅彻底改变了NLP领域，也改变了视觉和多模态系统。然而，尽管可视化和可解释性工具已经可用于NLP模型，但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功，了解它们的内部工作变得越来越重要，因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索，我们提出了VL-InterpreT，它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具，它（1）跟踪视觉和语言组件所有层中注意力头部的各种统计数据，（2）通过易于阅读的热图可视化跨模态和模态内注意力，（3）绘制视觉和语言标记的隐藏表示，因为它们通过Transformer层。在本文中，我们通过分析KD-VLP，一个端到端的预训练的视觉语言多模态转换器为基础的模型，在视觉常识推理（VCR）和WebQA，两个视觉问答基准的任务中，展示了VL-InterpreT的功能。此外，我们还提出了一些有趣的发现多模态Transformer的行为，通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
Replacing softmax with ReLU in Vision Transformers
Google DeepMind（谷歌DeepMind）
本研究发现在视觉Transformer中，用ReLU替代softmax注意力并除以序列长度可缓解精度下降，在ImageNet-21k上训练小到大规模模型，其性能可接近或匹配softmax注意力。
2023-10-17 cs.CV cs.LG
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University（亚利桑那州立大学）
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题，基于ImageNet数据集通过白盒、黑盒攻击实验，分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异，我们提出了一个分层的Transformer，其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性，并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容，包括图像分类（ImageNet-1 K上的87.3 top-1精度）和密集预测任务，如目标检测（COCO test-dev上的58.7 box AP和51.1 mask AP）和语义分割（ADE 20 K val上的53.5 mIoU）。它的性能超过了之前的最先进水平，在COCO上为+2.7框AP和+2.6掩模AP，在ADE 20 K上为+3.2 mIoU，证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer（如ViT和DeiT）采用全局自注意，当补丁数量很大时，这在计算上是昂贵的。为了提高效率，最近的视觉Transformer采用局部自注意力机制，其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率，但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制，在本文中，我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇，并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系，但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer（BOAT），它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成，在几个基准数据集上进行的大量实验表明，我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
On the Robustness of Vision Transformers to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）
基于注意力的网络的最新进展表明，视觉Transformer可以在许多图像分类任务上实现最先进或接近最先进的结果。这使得Transformers处于独特的位置，成为传统卷积神经网络（CNN）的一个有前途的替代品。虽然CNN已经被仔细研究了对抗攻击，但视觉Transformer却不能这么说。在本文中，我们研究了视觉Transformer对抗性的例子的鲁棒性。我们对Transformer安全性的分析分为三个部分。首先，我们在标准白盒和黑盒攻击下测试Transformer。其次，我们研究了CNN和Transformers之间对抗性示例的可移植性。我们表明，对抗性的例子不容易在CNN和Transformers之间转移。基于这一发现，我们分析了CNN和Transformers的简单集成防御的安全性。通过创建一个新的攻击，自注意混合梯度攻击，我们表明，这样的合奏是不安全的白盒对手。然而，在黑盒对手，我们表明，合奏可以实现前所未有的鲁棒性，而不牺牲干净的准确性。我们对这项工作的分析是使用六种类型的白盒攻击和两种类型的黑盒攻击。我们的研究包括多个视觉Transformer，Big Transfer Models和CNN架构，这些架构在CIFAR-10，CIFAR-100和ImageNet上进行了训练。
2021-06-05 cs.CV cs.LG
Can Vision Transformers Perform Convolution?
Peking University（北京大学）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
最近的几项研究表明，基于注意力的网络，如视觉Transformer（ViT），在不使用卷积层的情况下，可以在几个计算机视觉任务上胜过卷积神经网络（CNN）。这自然会导致以下问题：ViT的自我注意层可以表达任何卷积运算吗？在这项工作中，我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的，其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应，实验结果表明，我们的证明中的构造可以帮助将卷积偏差注入到Transformers中，并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
Unsupervised Training of Vision Transformers with Synthetic Negatives
Imperial College London（伦敦帝国学院）
该研究针对自监督学习中视觉Transformer场景下硬负样本潜力被忽视的问题，将合成硬负样本融入其表征学习，有效提升了DeiT-S与Swin-T架构所学表征的判别能力及模型性能。
2025-09-02 cs.AI cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London（伦敦玛丽女王大学）
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中，我们从两个方面出发：（a）我们采用视觉Transformer作为一种架构，用于训练非常强大的人脸识别基线，简称为fViT，它已经超过了大多数最先进的人脸识别方法。(b)其次，我们利用Transformer的固有属性来处理从不规则网格中提取的信息（视觉令牌），以设计一个用于人脸识别的管道，这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分，它只是包括一个轻量级网络来预测面部地标的坐标，然后是视觉Transformer对从预测的地标中提取的补丁进行操作，并且它是端到端训练的，没有地标监督。通过学习提取有区别的斑块，我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性，在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh（匹兹堡大学）
最近，为了解决卷积神经网络中的一些普遍弱点，已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性，因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出，数据增强仍然是必不可少的模型是强大的腐败，我们建议探索的影响，该架构对腐败的鲁棒性。我们发现，视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现，参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
A Survey on Visual Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法，并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc（拉德堡德大学医学中心）
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题，提出采用层次视觉变换器（H-ViTs）进行前列腺癌分级，实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime（商汤科技）；The University of Sydney（悉尼大学）
近年来，自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而，占主导地位的方法，对比学习，主要依赖于一个实例判别借口任务，学习图像的全局理解。本文通过重构预训练（RePre）将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架，增加了一个分支，用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器，融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督，这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的（SOTA）自我监督同行。
2022-01-19 cs.AI cs.CV
Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
Chungnam National University（忠南大学）
提出软混合递归（SoftMoR）方法，通过可学习的token级混合权重灵活组合递归步骤的输出，使递归视觉Transformer（SR-ViT）在增加递归深度时性能持续提升，参数开销极小。
2026-11-02 cs.CV cs.LG
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Khalifa University of Science and Technology（哈利法科学技术大学）；Air University（空军大学）
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构，重点探讨了其注意力机制、位置嵌入等关键特征，强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
Attacking Compressed Vision Transformers
New York University（纽约大学）
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中，但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此，模型压缩技术现在被广泛用于在边缘设备上部署模型，因为它们降低了资源需求并使模型推理非常快速和高效。但是，从安全角度来看，它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉，它们会严重影响模型的准确性和可靠性。在这项工作中，我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性，并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
X-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise（Kakao企业）
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品，他们需要大量的计算资源的规模是令牌的数量，$N$的平方。这是传统的自注意（SA）算法的一个主要缺点。在这里，我们提出了具有线性复杂度的新型SA机制的X-ViT、ViT。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法，没有复杂的线性近似。通过修改只有几行代码，从原来的SA，所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2022-05-27 cs.CV cs.LG
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
On Convolutional Vision Transformers for Yield Prediction
University of Bonn（波恩大学）
本文测试卷积视觉Transformer（CvT）在直方图化遥感数据上的产量预测，虽性能不及XGBoost和CNN，但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review
College of Science and Engineering, Hamad Bin Khalifa University（科学与工程学院，哈马德·本·哈利法大学）
本综述总结了2020-2022年间34项研究，指出视觉Transformer在肺癌诊断与预后中日益流行，但缺乏临床转化策略，计算复杂性和临床相关性是未来关键考量。
2023-09-06 cs.AI cs.CV cs.LG
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community（Cohere AI社区）；ML Collective；IIT Delhi（印度理工学院德里分校）；UC Berkeley（加州大学伯克利分校）
本文综述了面向移动端部署的小型视觉Transformer架构，分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟，为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Vision Transformers for Computer Go
Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CNRS（法国国家科学研究中心）；The University of New South Wales（新南威尔士大学）
本文研究视觉Transformer在计算机围棋中的应用，通过对比残差网络在准确率、胜率、资源开销等多维度的表现，证明了Transformer在围棋任务中的重要作用。
2023-09-22 cs.AI cs.CV
Augmented Shortcuts for Vision Transformers
Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Sydney（悉尼大学）；Central Software Institution, Huawei Technologies（华为技术有限公司中央软件院）
近年来，Transformer模型在计算机视觉领域取得了很大的进展。视觉Transformer的快速发展主要得益于其从输入图像中提取信息特征的高表示能力。但主流的Transformer机型都是采用深度架构设计的，随着深度的增加，特征多样性会不断降低，即，功能崩溃。本文从理论上分析了这些Transformer模型中的特征塌陷现象，并研究了捷径与特征多样性之间的关系。然后，我们提出了一个增强的捷径计划，插入额外的路径与学习参数并行的原始捷径。为了节省计算成本，我们进一步探索了一种使用块循环投影来实现增强捷径的有效方法。在基准数据集上进行的大量实验证明了该方法的有效性，在不明显增加其参数和FLOP的情况下，使最先进的视觉Transformers的精度提高了1%。
2021-06-30 cs.CV cs.LG
GeoViT: A Versatile Vision Transformer Architecture for Geospatial Image Analysis
Fermion AI（费米人工智能）
提出紧凑的视觉Transformer模型GeoViT，处理卫星图像执行多模态分割、分类和回归任务，在估算CO2和NO2排放相关指标上超越现有模型且显著减小模型规模，助力全球气候监测与排放监管。
2023-11-24 cs.CV cs.LG
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab（腾讯人工智能实验室）；Peking Union Medical College Hospital（北京协和医院）
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力，最近的工作提出将视觉Transformer与CNN相结合。然而，大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer（即，缺乏归纳偏差、计算量大且很少考虑3D数据）。因此，设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中，我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中，一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积，一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式，和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外，提出了一种自适应缩放增强的局部视觉Transformer，以增强沿空间和通道的自适应特征，并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明，该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型，验证其在输入依赖场景下的高评估准确率，并发现原始SwinV2在非完全输入依赖场景中表现更优，拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
$E(2)$-Equivariant Vision Transformer
Zhejiang University（浙江大学）；JD Explore Academy, JD.com, Inc.（京东集团京东探索研究院）；University of Edinburgh（爱丁堡大学）
本文针对ViT位置编码难以学习等变性的问题，提出群等变视觉Transformer（GE-ViT），通过新型位置编码算子满足等变理论要求，并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG（罗氏制药）；Genentech, Inc.（基因泰克公司）
最近，Vision Transformers被证明在足够的数据量上进行预训练时，能够超越卷积神经网络。与卷积神经网络相比，Vision Transformers具有较弱的感应偏差，因此允许更灵活的特征检测。由于其有前途的特征检测，这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像，并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性，我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明，对于肿瘤检测的四种组织类型中的三种，Vision Transformer的表现略好于ResNet 18，而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的，这表明两个模型捕获了相似的成像特征。总之，Vision Transformer模型的性能与ResNet 18相当，但需要更多的努力来进行训练。为了超越卷积神经网络的性能，Vision Transformers可能需要更具有挑战性的任务，才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University（都柏林城市大学）
本研究使用视觉Transformer进行域泛化，发现BEIT架构最佳，并在PACS、Home-Office和DomainNet基准上显著提升准确率，缩小分布内外差距。
2023-07-16 cs.CV cs.LG
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
最近计算机视觉领域的升级支撑了一堆算法，这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践，并正在改变成像数据的感知和解释。在这些算法中，Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中，我们研究了Vision Transformers和医学图像的交叉点，并概述了不同研究人员正在使用的各种基于ViT的框架，以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用，例如基于图像的疾病分类，解剖结构分割，配准，基于区域的病变检测，字幕，报告生成，使用多种医学成像模式进行重建，极大地帮助医疗诊断和治疗过程。与此同时，我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外，为了获得更多的洞察力和更深入的理解，Transformers的自我注意机制也进行了简要的解释。最后，我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China（苏州先进研究所，中国科学技术大学）
本文提出了一种方法，通过将视觉变换器中的线性层替换为卷积运算符，使其能够充分利用BPUs的加速能力，从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science（计算机工程与科学学院）
ECViT是一种结合CNN和Transformer优势的混合架构，通过引入局部注意力和金字塔结构实现高效多尺度特征提取，在图像分类任务上以低计算和存储需求超越现有模型，平衡了性能与效率。
2025-04-21 cs.AI cs.CV
Learning to Estimate Shapley Values with Vision Transformers
University of Washington（华盛顿大学）
Transformers已经成为计算机视觉中的默认架构，但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度，但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案，但其计算成本使其对于大型高维模型不切实际。在这项工作中，我们的目标是使Shapley值实用的视觉Transformer（ViTs）。要做到这一点，我们首先利用注意力掩蔽方法来评估部分信息的ViTs，然后我们开发了一个程序，通过一个单独的，学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法（例如，注意推出，GradCAM，LRP），我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
