TinyFusion: Diffusion Transformers Learned Shallow
National University of Singapore（新加坡国立大学）
本文提出 TinyFusion 可学习深度剪枝框架，通过可微采样与模拟微调的协同优化参数，高效获得浅层扩散 Transformer，并在多种架构上以低成本实现优异生成性能。
2024-12-02 cs.AI cs.CV cs.LG
Vision Transformers with Patch Diversification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书）
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而，直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能，例如，结合卷积层。相比之下，我们研究了一种正交方法来稳定视觉Transformer训练，而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说，对于深度视觉Transformer，自注意力块倾向于将不同的补丁映射到类似的潜在表示中，从而产生信息丢失和性能下降。为了缓解这个问题，在这项工作中，我们在视觉Transformer训练中引入了新的损失函数，以明确鼓励补丁表示的多样性，以实现更具鉴别力的特征提取。我们的经验表明，我们提出的技术稳定的训练，并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明，多样化的功能显着有利于下游任务的迁移学习。对于语义分割，我们增强了Cityscapes和ADE 20 k上的最新（SOTA）结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
TeamFormer: Shallow Parallel Transformers with Progressive Approximation
Dept. of Computing, Hong Kong Polytechnic University, Hong Kong（计算机系，香港理工大学，香港）
TeamFormer通过浅层并行结构与渐进近似方法，在保持性能的同时实现模型压缩和加速。
2026-02-24 cs.LG
Compact Vision Transformer by Reduction of Kernel Complexity
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
本文提出KCR-Transformer，通过在MLP层进行可微通道选择并以理论泛化界为指导降低计算复杂度，在减少FLOPs和参数的同时保持或提升视觉Transformer的性能。
2025-07-17 cs.CV cs.LG
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了浅侵略解码（SAD），以提高即时语法错误纠正（GEC）的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率：1）它并行地积极解码尽可能多的令牌，而不是总是在每个步骤中仅解码一个令牌，以提高计算并行性; 2）它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构，以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明，积极解码可以产生与贪心解码相同的预测，但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果：CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5，在线推理速度比Transformer-big模型快近10倍，而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine（加州大学欧文分校）
许多研究人员已经证明，在许多计算机视觉任务中，Transformers的性能与卷积神经网络一样好。同时，其注意力模块的计算量大，阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer，但是它们中的大多数仅考虑图像分类任务。受这些结果的启发，我们提出了SiDT，修剪视觉Transformer骨干更复杂的视觉任务，如目标检测的方法，基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明，修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外，我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University（阿尔托大学）
随着最近成功的Transformers的视觉域的适应，特别是当训练在一个自我监督的方式，它已被证明，视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务，在图像中的对象分割。在本文中，我们建立在掩蔽自动编码的自我监督任务的基础上，并探索其有效性，以明确学习以对象为中心的表示与Transformers。为此，我们设计了一个以对象为中心的自编码器，只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明，该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注，并有着广泛的应用。Transformers开始接管深度学习的所有领域，视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中，我们利用了一个视觉Transformer为基础的定制设计的模型，张量到图像，图像到图像的翻译。在自我注意的帮助下，我们的模型能够推广并应用于不同的问题，而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Replacing softmax with ReLU in Vision Transformers
Google DeepMind（谷歌DeepMind）
本研究发现在视觉Transformer中，用ReLU替代softmax注意力并除以序列长度可缓解精度下降，在ImageNet-21k上训练小到大规模模型，其性能可接近或匹配softmax注意力。
2023-10-17 cs.CV cs.LG
Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
Michigan State University（密歇根州立大学）；University of California Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
本文针对现有ICL理论仅适用于结构化数据的局限，通过浅层Transformer与线性回归任务的理论分析，揭示了双层注意力与位置编码在非结构化数据ICL中的关键作用。
2024-06-18 cs.CL cs.LG stat.ML
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University（亚利桑那州立大学）
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题，基于ImageNet数据集通过白盒、黑盒攻击实验，分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异，我们提出了一个分层的Transformer，其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性，并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容，包括图像分类（ImageNet-1 K上的87.3 top-1精度）和密集预测任务，如目标检测（COCO test-dev上的58.7 box AP和51.1 mask AP）和语义分割（ADE 20 K val上的53.5 mIoU）。它的性能超过了之前的最先进水平，在COCO上为+2.7框AP和+2.6掩模AP，在ADE 20 K上为+3.2 mIoU，证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer（如ViT和DeiT）采用全局自注意，当补丁数量很大时，这在计算上是昂贵的。为了提高效率，最近的视觉Transformer采用局部自注意力机制，其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率，但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制，在本文中，我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇，并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系，但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer（BOAT），它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成，在几个基准数据集上进行的大量实验表明，我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
On the Robustness of Vision Transformers to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）
基于注意力的网络的最新进展表明，视觉Transformer可以在许多图像分类任务上实现最先进或接近最先进的结果。这使得Transformers处于独特的位置，成为传统卷积神经网络（CNN）的一个有前途的替代品。虽然CNN已经被仔细研究了对抗攻击，但视觉Transformer却不能这么说。在本文中，我们研究了视觉Transformer对抗性的例子的鲁棒性。我们对Transformer安全性的分析分为三个部分。首先，我们在标准白盒和黑盒攻击下测试Transformer。其次，我们研究了CNN和Transformers之间对抗性示例的可移植性。我们表明，对抗性的例子不容易在CNN和Transformers之间转移。基于这一发现，我们分析了CNN和Transformers的简单集成防御的安全性。通过创建一个新的攻击，自注意混合梯度攻击，我们表明，这样的合奏是不安全的白盒对手。然而，在黑盒对手，我们表明，合奏可以实现前所未有的鲁棒性，而不牺牲干净的准确性。我们对这项工作的分析是使用六种类型的白盒攻击和两种类型的黑盒攻击。我们的研究包括多个视觉Transformer，Big Transfer Models和CNN架构，这些架构在CIFAR-10，CIFAR-100和ImageNet上进行了训练。
2021-06-05 cs.CV cs.LG
Can Vision Transformers Perform Convolution?
Peking University（北京大学）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
最近的几项研究表明，基于注意力的网络，如视觉Transformer（ViT），在不使用卷积层的情况下，可以在几个计算机视觉任务上胜过卷积神经网络（CNN）。这自然会导致以下问题：ViT的自我注意层可以表达任何卷积运算吗？在这项工作中，我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的，其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应，实验结果表明，我们的证明中的构造可以帮助将卷积偏差注入到Transformers中，并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh（匹兹堡大学）
最近，为了解决卷积神经网络中的一些普遍弱点，已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性，因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出，数据增强仍然是必不可少的模型是强大的腐败，我们建议探索的影响，该架构对腐败的鲁棒性。我们发现，视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现，参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
Chungnam National University（忠南大学）
提出软混合递归（SoftMoR）方法，通过可学习的token级混合权重灵活组合递归步骤的输出，使递归视觉Transformer（SR-ViT）在增加递归深度时性能持续提升，参数开销极小。
2026-11-02 cs.CV cs.LG
Attacking Compressed Vision Transformers
New York University（纽约大学）
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中，但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此，模型压缩技术现在被广泛用于在边缘设备上部署模型，因为它们降低了资源需求并使模型推理非常快速和高效。但是，从安全角度来看，它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉，它们会严重影响模型的准确性和可靠性。在这项工作中，我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性，并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
X-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise（Kakao企业）
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品，他们需要大量的计算资源的规模是令牌的数量，$N$的平方。这是传统的自注意（SA）算法的一个主要缺点。在这里，我们提出了具有线性复杂度的新型SA机制的X-ViT、ViT。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法，没有复杂的线性近似。通过修改只有几行代码，从原来的SA，所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2022-05-27 cs.CV cs.LG
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Augmented Shortcuts for Vision Transformers
Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Sydney（悉尼大学）；Central Software Institution, Huawei Technologies（华为技术有限公司中央软件院）
近年来，Transformer模型在计算机视觉领域取得了很大的进展。视觉Transformer的快速发展主要得益于其从输入图像中提取信息特征的高表示能力。但主流的Transformer机型都是采用深度架构设计的，随着深度的增加，特征多样性会不断降低，即，功能崩溃。本文从理论上分析了这些Transformer模型中的特征塌陷现象，并研究了捷径与特征多样性之间的关系。然后，我们提出了一个增强的捷径计划，插入额外的路径与学习参数并行的原始捷径。为了节省计算成本，我们进一步探索了一种使用块循环投影来实现增强捷径的有效方法。在基准数据集上进行的大量实验证明了该方法的有效性，在不明显增加其参数和FLOP的情况下，使最先进的视觉Transformers的精度提高了1%。
2021-06-30 cs.CV cs.LG
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation（微软公司）
本文提出了一种新的视觉Transformer（ViT）架构多尺度视觉Longformer，显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构，它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制，它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体，并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明，新的ViT显着优于几个强大的基线，包括现有的ViT模型及其ResNet同行，以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid}，在一系列的视觉任务，包括图像分类，目标检测，和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对循环Transformer解码昂贵问题，提出深度异步自推测（DAS），利用值成熟性异步读取前缀，实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
GeoViT: A Versatile Vision Transformer Architecture for Geospatial Image Analysis
Fermion AI（费米人工智能）
提出紧凑的视觉Transformer模型GeoViT，处理卫星图像执行多模态分割、分类和回归任务，在估算CO2和NO2排放相关指标上超越现有模型且显著减小模型规模，助力全球气候监测与排放监管。
2023-11-24 cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT（麻省理工学院）
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是，目前，这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer，使更好的认证补丁的鲁棒性，也是更有效的计算，并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型，验证其在输入依赖场景下的高评估准确率，并发现原始SwinV2在非完全输入依赖场景中表现更优，拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University（都柏林城市大学）
本研究使用视觉Transformer进行域泛化，发现BEIT架构最佳，并在PACS、Home-Office和DomainNet基准上显著提升准确率，缩小分布内外差距。
2023-07-16 cs.CV cs.LG
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵，最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制，这在内置感应偏置的情况下更有效。然而，这些努力要么忽略了多层次的功能或缺乏动态繁荣，导致次优性能。在本文中，我们提出了一个动态的多级注意力机制（DMA），它捕获不同的模式的输入图像的多个内核大小，并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构，同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明，DMFormer实现了最先进的性能，优于类似大小的视觉Transformer（ViT）和卷积神经网络（CNN）。
2022-11-29 cs.AI cs.CV cs.LG
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG（罗氏制药）；Genentech, Inc.（基因泰克公司）
最近，Vision Transformers被证明在足够的数据量上进行预训练时，能够超越卷积神经网络。与卷积神经网络相比，Vision Transformers具有较弱的感应偏差，因此允许更灵活的特征检测。由于其有前途的特征检测，这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像，并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性，我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明，对于肿瘤检测的四种组织类型中的三种，Vision Transformer的表现略好于ResNet 18，而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的，这表明两个模型捕获了相似的成像特征。总之，Vision Transformer模型的性能与ResNet 18相当，但需要更多的努力来进行训练。为了超越卷积神经网络的性能，Vision Transformers可能需要更具有挑战性的任务，才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
Learning to Estimate Shapley Values with Vision Transformers
University of Washington（华盛顿大学）
Transformers已经成为计算机视觉中的默认架构，但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度，但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案，但其计算成本使其对于大型高维模型不切实际。在这项工作中，我们的目标是使Shapley值实用的视觉Transformer（ViTs）。要做到这一点，我们首先利用注意力掩蔽方法来评估部分信息的ViTs，然后我们开发了一个程序，通过一个单独的，学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法（例如，注意推出，GradCAM，LRP），我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
Efficiency 360: Efficient Vision Transformers
Microsoft（微软）
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中，我们从内存（参数的数量）、计算成本（浮点运算的数量）和模型性能（包括准确性、模型的鲁棒性和公平无偏特性）方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架，其中包括视觉Transformer的各个方面，使其更有效的工业应用。通过考虑这些应用，我们将其分为多个维度，如隐私，鲁棒性，透明性，公平性，包容性，持续学习，概率模型，近似，计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能，参数的数量，以及在多个数据集上的浮点运算（FLOP）的数量。
2023-02-23 cs.AI cs.CL cs.CV
T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders
Electrical and Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系）；Applied Mathematics, University of Washington（华盛顿大学应用数学系）；Computer Science & Engineering, University of Washington（华盛顿大学计算机科学与工程系）
T-SHRED通过结合Transformer和符号回归，提升模型正则化和可解释性，适用于不同尺度的混沌系统预测。
2025-12-11 cs.LG
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
最近计算机视觉领域的升级支撑了一堆算法，这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践，并正在改变成像数据的感知和解释。在这些算法中，Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中，我们研究了Vision Transformers和医学图像的交叉点，并概述了不同研究人员正在使用的各种基于ViT的框架，以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用，例如基于图像的疾病分类，解剖结构分割，配准，基于区域的病变检测，字幕，报告生成，使用多种医学成像模式进行重建，极大地帮助医疗诊断和治疗过程。与此同时，我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外，为了获得更多的洞察力和更深入的理解，Transformers的自我注意机制也进行了简要的解释。最后，我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题，提出可配置硬件加速器ViTA，采用头级流水线和层间MLP优化避免重复片外内存访问，在多数模型上实现近90%硬件利用率，功耗0.88W，适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Multiscale Vision Transformers
Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了多尺度视觉Transformer（MViT）的视频和图像识别，通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始，这些级分级地扩展信道容量，同时降低空间分辨率。这创建了一个多尺度金字塔的功能，早期的层在高空间分辨率下操作，以模拟简单的低层次视觉信息，更深的层在空间上粗糙，但复杂的高维特征。我们评估了这种基本的架构先验，用于对各种视频识别任务的视觉信号的密集性质进行建模，在这些任务中，它优于依赖于大规模外部预训练的并发视觉Transformer，并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度，并将我们的模型应用于图像分类，它优于以前的工作视觉Transformer。代码可在：https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
Why "classic" Transformers are shallow and how to make them go deep
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
该研究揭示经典Transformer深度受限源于token相似性攀升问题，提出精准移除过度相似性的新策略，实验验证其在小规模post-norm Transformer中有效。
2024-02-02 cs.AI cs.LG cs.NE
Boosting vision transformers for image retrieval
Dealicious Inc.（Dealicious公司）；Institute of Advanced Research on Artificial Intelligence (IARAI)（人工智能高等研究院）；Athena RC（雅典娜研究中心）
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而，在实例级图像检索中，与卷积网络相比，Transformers尚未表现出良好的性能。我们提出了一些改进，使Transformers首次超越了最先进的技术。(1)我们表明，一个混合架构是更有效的平原Transformers，由一个很大的利润。(2)我们引入了两个分支，收集全球（分类令牌）和本地（补丁令牌）的信息，我们形成了一个全球性的图像表示。(3)在每个分支中，我们从Transformer编码器中收集多层特征，对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性，这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型，并且第一次对每个训练集分别进行公平的比较。在所有情况下，我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research（微软研究院）；Microsoft Cloud + AI（微软云计算与人工智能部门）
最近，视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销，它也带来了挑战，特别是对于高分辨率视觉任务（例如，目标检测）。在本文中，我们提出了焦点自关注，一个新的机制，结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制，每个令牌出席最近的周围令牌在细粒度，但令牌远离在粗粒度，因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注，我们提出了一个新的变体的视觉Transformer模型，称为焦点Transformer，它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是，我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M，在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干，我们获得了一致的和实质性的改进，超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP，在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
Row-wise Accelerator for Vision Transformer
National Yang Ming Chiao Tung University（阳明交通大学）；Institute of Electronics, National Yang Ming Chiao Tung University（阳明交通大学电子研究所）
随着自然语言处理的成功，用于视觉应用的Transformer由于其优异的性能近年来引起了人们的极大关注。然而，现有的用于视觉的深度学习硬件加速器由于显著的模型架构差异而不能有效地执行该结构。因此，本文提出了一种基于行式调度的视觉Transformer硬件加速器，将视觉Transformer中的主要操作分解为单个点积原语，以实现统一高效的执行。此外，通过共享列中的权重，我们可以重用数据并减少内存的使用。采用台积电40nm CMOS工艺实现，在600MHz时钟频率下，仅需262K门数和149KB SRAM缓冲器即可实现403.2 GOPS吞吐量。
2022-05-09 cs.AR cs.CV cs.LG
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Scaling Vision Transformers
Google Research（谷歌研究院）
基于注意力的神经网络，如视觉Transformer（ViT），最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素，因此，了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则，但还不知道视觉Transformer如何缩放。为了解决这个问题，我们缩放ViT模型和数据，向上和向下，并表征出错率，数据和计算之间的关系。在此过程中，我们改进了ViT的架构和训练，减少了内存消耗，提高了最终模型的准确性。因此，我们成功地训练了一个具有20亿个参数的ViT模型，该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好，例如，在ImageNet上达到84.86%的top-1准确率，每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs（英特尔实验室）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
基于transformer的模型的突破性进展不仅彻底改变了NLP领域，也改变了视觉和多模态系统。然而，尽管可视化和可解释性工具已经可用于NLP模型，但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功，了解它们的内部工作变得越来越重要，因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索，我们提出了VL-InterpreT，它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具，它（1）跟踪视觉和语言组件所有层中注意力头部的各种统计数据，（2）通过易于阅读的热图可视化跨模态和模态内注意力，（3）绘制视觉和语言标记的隐藏表示，因为它们通过Transformer层。在本文中，我们通过分析KD-VLP，一个端到端的预训练的视觉语言多模态转换器为基础的模型，在视觉常识推理（VCR）和WebQA，两个视觉问答基准的任务中，展示了VL-InterpreT的功能。此外，我们还提出了一些有趣的发现多模态Transformer的行为，通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Mobius Learning: Cyclic Depth Folding in Transformers
Zhejiang University（浙江大学）
研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。
2026-07-21 cs.CL cs.DC cs.LG
Vision Transformer for Transient Noise Classification
Institute of Astronomy, Nicolaus Copernicus University in Toruń（天文学研究所，尼古拉·哥白尼大学（托伦））
本研究利用视觉Transformer（ViT-B/32）对LIGO数据中的瞬态噪声进行分类，在包含24个类别的组合数据集上达到92.26%的分类效率，展示了其提升引力波探测准确性的潜力。
2025-10-06 astro-ph.IM cs.CV cs.LG
Fine-tuning Vision Transformers for the Prediction of State Variables in Ising Models
Hindsight Technology Solutions；Yale University（耶鲁大学）；Covera Health；University of California（加利福尼亚大学）
Transformers是最先进的深度学习模型，由堆叠的注意力和逐点、完全连接的层组成，旨在处理顺序数据。Transformers不仅在自然语言处理（NLP）中无处不在，而且最近还激发了新一轮的计算机视觉（CV）应用研究。在这项工作中，一个视觉Transformer（ViT）被应用到预测的状态变量的二维伊辛模型模拟。我们的实验表明，ViT优于最先进的卷积神经网络（CNN）时，使用少量的微观图像从伊辛模型对应于各种边界条件和温度。这项工作开辟了将ViT应用于其他模拟的可能性，并提出了关于注意力地图如何了解管理不同现象的潜在物理学的有趣研究方向。
2021-11-30 cond-mat.stat-mech cs.CV cs.LG
A Computationally Efficient Multidimensional Vision Transformer
Université du Littoral Cote d’Opale（卢瓦尔海岸大学）；LISIC（LISIC研究所）
本文提出了一种基于张量余弦积的高效视觉变换器架构，通过多线性结构和正交性实现计算高效的注意力机制和特征表示，实验表明在保持性能的同时显著减少了参数量。
2026-02-23 cs.LG cs.NA math.NA
