Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc（拉德堡德大学医学中心）
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题，提出采用层次视觉变换器（H-ViTs）进行前列腺癌分级，实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime（商汤科技）；The University of Sydney（悉尼大学）
近年来，自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而，占主导地位的方法，对比学习，主要依赖于一个实例判别借口任务，学习图像的全局理解。本文通过重构预训练（RePre）将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架，增加了一个分支，用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器，融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督，这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的（SOTA）自我监督同行。
2022-01-19 cs.AI cs.CV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注，并有着广泛的应用。Transformers开始接管深度学习的所有领域，视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中，我们利用了一个视觉Transformer为基础的定制设计的模型，张量到图像，图像到图像的翻译。在自我注意的帮助下，我们的模型能够推广并应用于不同的问题，而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community（Cohere AI社区）；ML Collective；IIT Delhi（印度理工学院德里分校）；UC Berkeley（加州大学伯克利分校）
本文综述了面向移动端部署的小型视觉Transformer架构，分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟，为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
Vision Transformers for Computer Go
Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CNRS（法国国家科学研究中心）；The University of New South Wales（新南威尔士大学）
本文研究视觉Transformer在计算机围棋中的应用，通过对比残差网络在准确率、胜率、资源开销等多维度的表现，证明了Transformer在围棋任务中的重要作用。
2023-09-22 cs.AI cs.CV
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab（腾讯人工智能实验室）；Peking Union Medical College Hospital（北京协和医院）
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力，最近的工作提出将视觉Transformer与CNN相结合。然而，大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer（即，缺乏归纳偏差、计算量大且很少考虑3D数据）。因此，设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中，我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中，一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积，一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式，和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外，提出了一种自适应缩放增强的局部视觉Transformer，以增强沿空间和通道的自适应特征，并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明，该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
$E(2)$-Equivariant Vision Transformer
Zhejiang University（浙江大学）；JD Explore Academy, JD.com, Inc.（京东集团京东探索研究院）；University of Edinburgh（爱丁堡大学）
本文针对ViT位置编码难以学习等变性的问题，提出群等变视觉Transformer（GE-ViT），通过新型位置编码算子满足等变理论要求，并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China（苏州先进研究所，中国科学技术大学）
本文提出了一种方法，通过将视觉变换器中的线性层替换为卷积运算符，使其能够充分利用BPUs的加速能力，从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science（计算机工程与科学学院）
ECViT是一种结合CNN和Transformer优势的混合架构，通过引入局部注意力和金字塔结构实现高效多尺度特征提取，在图像分类任务上以低计算和存储需求超越现有模型，平衡了性能与效率。
2025-04-21 cs.AI cs.CV
Art Authentication with Vision Transformers
Art Recognition AG（艺术识别股份公司）；Tilburg University（蒂尔堡大学）
本文比较Swin Transformer与EfficientNet在梵高画作真伪鉴定中的表现，发现视觉Transformer在纯仿制品对比集上准确率超过85%，证明其在检测艺术仿制品方面具有强大潜力。
2023-07-10 cs.AI cs.CV
Case-Enhanced Vision Transformer: Improving Explanations of Image Similarity with a ViT-based Similarity Metric
Indiana University（印第安纳大学）；Berry College（贝里学院）
本文提出Case-Enhanced Vision Transformer（CEViT）相似性度量方法，通过将其集成到k-NN分类中，在保持与最先进模型相当准确率的同时，提升了图像相似性评估的可解释性，并能基于先验案例说明类间差异。
2024-07-24 cs.AI cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Khalifa University of Science and Technology（哈利法科学技术大学）；Air University（空军大学）
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构，重点探讨了其注意力机制、位置嵌入等关键特征，强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn（波恩大学）
本文测试卷积视觉Transformer（CvT）在直方图化遥感数据上的产量预测，虽性能不及XGBoost和CNN，但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation（微软公司）
本文提出了一种新的视觉Transformer（ViT）架构多尺度视觉Longformer，显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构，它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制，它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体，并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明，新的ViT显着优于几个强大的基线，包括现有的ViT模型及其ResNet同行，以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid}，在一系列的视觉任务，包括图像分类，目标检测，和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT（麻省理工学院）
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是，目前，这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer，使更好的认证补丁的鲁棒性，也是更有效的计算，并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵，最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制，这在内置感应偏置的情况下更有效。然而，这些努力要么忽略了多层次的功能或缺乏动态繁荣，导致次优性能。在本文中，我们提出了一个动态的多级注意力机制（DMA），它捕获不同的模式的输入图像的多个内核大小，并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构，同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明，DMFormer实现了最先进的性能，优于类似大小的视觉Transformer（ViT）和卷积神经网络（CNN）。
2022-11-29 cs.AI cs.CV cs.LG
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego（加州大学圣地亚哥分校）
图像Transformers的最新进展已经显示出令人印象深刻的结果，并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练，然后在ImageNet-1 k上进行微调。在微调之后，研究人员通常会考虑迁移学习在较小数据集（如CIFAR-10/100）上的性能，但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer（ViT）、Data Efficient Image Transformer（DeiT）、Class Attention in Image Transformer（CaiT）和Swin Transformers。此外，Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里：https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
Multiscale Vision Transformers
Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了多尺度视觉Transformer（MViT）的视频和图像识别，通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始，这些级分级地扩展信道容量，同时降低空间分辨率。这创建了一个多尺度金字塔的功能，早期的层在高空间分辨率下操作，以模拟简单的低层次视觉信息，更深的层在空间上粗糙，但复杂的高维特征。我们评估了这种基本的架构先验，用于对各种视频识别任务的视觉信号的密集性质进行建模，在这些任务中，它优于依赖于大规模外部预训练的并发视觉Transformer，并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度，并将我们的模型应用于图像分类，它优于以前的工作视觉Transformer。代码可在：https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Tianjin University（天津大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）；University of California at Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google（谷歌）
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品，因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的，其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中，3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上，但由于与2D视觉相比，3D视觉在数据表示和处理方面的差异，需要特别注意。在这项工作中，我们提出了一个系统和全面的审查100多个Transformers的方法，用于不同的3D视觉任务，包括分类，分割，检测，完成，姿态估计等。我们讨论了3D视觉中的Transformer设计，它允许它处理具有各种3D表示的数据。对于每个应用程序，我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力，我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外，我们的目标是经常更新最新的相关论文及其相应的实现：https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Spectral Vision Transformer for Efficient Tokenization with Limited Data
本文提出基于谱的视觉Transformer，用于有限数据下的高效分词，尤其关注医学影像，通过频谱投影降低复杂度，提升性能。
2026-05-12 cs.AI cs.CV eess.SP
Efficiency 360: Efficient Vision Transformers
Microsoft（微软）
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中，我们从内存（参数的数量）、计算成本（浮点运算的数量）和模型性能（包括准确性、模型的鲁棒性和公平无偏特性）方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架，其中包括视觉Transformer的各个方面，使其更有效的工业应用。通过考虑这些应用，我们将其分为多个维度，如隐私，鲁棒性，透明性，公平性，包容性，持续学习，概率模型，近似，计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能，参数的数量，以及在多个数据集上的浮点运算（FLOP）的数量。
2023-02-23 cs.AI cs.CL cs.CV
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research（微软研究院）；Microsoft Cloud + AI（微软云计算与人工智能部门）
最近，视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销，它也带来了挑战，特别是对于高分辨率视觉任务（例如，目标检测）。在本文中，我们提出了焦点自关注，一个新的机制，结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制，每个令牌出席最近的周围令牌在细粒度，但令牌远离在粗粒度，因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注，我们提出了一个新的变体的视觉Transformer模型，称为焦点Transformer，它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是，我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M，在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干，我们获得了一致的和实质性的改进，超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP，在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）
近年来，掩码图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络（编码器）中丢弃被掩蔽的图像块（或令牌），这要求编码器是普通的视觉Transformer（例如，ViT），尽管是分层的视觉Transformer（例如，Swin Transformer）在制定视觉输入方面具有潜在的更好的性质。在本文中，我们提出了一种新的设计分层视觉Transformer命名为HiViT（简称分层ViT），享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”，得到结构简单的分层视觉Transformer，其中掩模单元可以像普通视觉Transformer一样被序列化。为此，我们从Swin Transformer开始，并且（i）将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小，（ii）在主阶段之前关闭单元间自关注，以及（iii）消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是，在ImageNet-1 K上运行MAE时，HiViT-B报告比ViT-B准确率提高了+0.6%，比Swin-B提高了1.9 $\times$速度，并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Vision Transformer Pruning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而，它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里，我们提出了一个视觉Transformer修剪方法，该方法识别维度在Transformer的每一层中的影响，然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性，重要的维度会自动出现。可以丢弃大量重要性分数小的维度，以实现高修剪率，而不会显着损害准确性。用于视觉Transformer修剪的流水线如下：1）使用稀疏正则化进行训练; 2）修剪线性投影的维度; 3）微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析，以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University（查尔斯特大学）；University of Western Austrlia（西澳大学）
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中，人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上，同时突出了流行的趋势，适应Transformers的动作识别。由于它们的特殊应用，我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类，基于其架构，模态和预期目标的行动Transformers。在动作Transformers的上下文中，我们探讨了时空数据编码，降维，帧补丁和时空立方体的建设，以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化，以处理较长的序列，通常通过减少在一个单一的注意力操作的令牌的数量。此外，我们还研究了不同的网络学习策略，如自监督和零样本学习，以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后，它提供了一个讨论的挑战，前景，和未来的途径，这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
Blending Anti-Aliasing into Vision Transformer
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Amazon Inc.（亚马逊公司）
基于自注意力机制和无卷积设计的Transformer结构在计算机视觉中表现出了优异的性能和蓬勃的应用。然而，不连续的逐块标记化过程隐式地将锯齿状伪影引入注意力图中，从而引起视觉Transformer的混叠的传统问题。当使用离散模式产生高频或连续信息时，会产生混叠效应，导致失真难以分辨。最近的研究发现，现代卷积网络仍然存在这种现象。在这项工作中，我们分析了视觉Transformer中的锯齿问题，并探索将反锯齿属性。具体来说，我们提出了一个即插即用的混叠减少模块（ARM），以减轻上述问题。我们调查的有效性和推广所提出的方法在多个任务和各种视觉Transformer家庭。这种轻量化的设计始终如一地获得了几个著名结构的明显提升。此外，我们的模块还提高了数据的效率和鲁棒性的视觉Transformer。
2021-10-28 cs.CV
Adaptive Token Sampling For Efficient Vision Transformers
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；University of Bonn（波恩大学）；Microsoft（微软）；University of California, Davis（加州大学戴维斯分校）；Meta Reality Labs（Meta现实实验室）
虽然最先进的视觉Transformer模型在图像分类中取得了有希望的结果，但它们在计算上是昂贵的，并且需要许多GFLOP。虽然视觉Transformer的GFLOP可以通过减少网络中的令牌数量来减少，但没有对所有输入图像都最佳的设置。因此，在这项工作中，我们引入了一个可微的无参数自适应令牌采样器（ATS）模块，它可以插入到任何现有的视觉Transformer架构。ATS通过对重要标记进行评分和自适应采样来增强视觉Transformer的能力。结果，令牌的数量不再是恒定的，而是针对每个输入图像而变化。通过将ATS集成为当前Transformer块中的附加层，我们可以将它们转换为具有自适应令牌数量的更高效的视觉Transformer。由于ATS是一个无参数模块，因此可以将其作为即插即用模块添加到现成的预训练视觉Transformer中，从而在不进行任何额外训练的情况下降低GFLOP。此外，由于其可区分的设计，还可以训练装备有ATS的视觉Transformer。我们通过将其添加到多个SOTA视觉Transformer来评估我们的模块在图像和视频分类任务中的效率。我们提出的模块通过将其计算成本（GFLOPs）降低2倍来改进SOTA，同时保留其在ImageNet，Kinetics-400和Kinetics-600数据集上的准确性。
2022-07-26 cs.CV
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构，它不仅彻底改变了自然语言处理（NLP）领域，而且在计算机视觉（CV）领域也做了一些开创性的工作。与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制，其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University（西安交通大学）；ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
Transformers是语言建模的事实标准，最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer，利用自然图像的内在空间冗余，节省计算成本。具体来说，我们提出了一个动态粒度编码器的视觉Transformer，它可以自适应地分配一个合适的查询数量到每个空间区域。因此，它实现了一个细粒度的表示在区分区域，同时保持高效率。此外，动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西，我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%，同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
UFO-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品，他们需要大量的计算资源的规模是二次$N$。这是传统的自注意（SA）算法的一个主要缺点。在这里，我们提出了单位力操作的视觉Transformer（UFO-ViT），一种新的SA机制，具有线性复杂性。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法，没有复杂的线性近似。通过修改只有几行代码，从原来的SA，所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2021-11-04 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学）
受人类视觉系统启发，RetinaViT将不同空间频率的补丁引入视觉变换器，在无额外偏置下自发实现从低频到高频的注意力转移，并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
Scaling Vision Transformers
Google Research（谷歌研究院）
基于注意力的神经网络，如视觉Transformer（ViT），最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素，因此，了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则，但还不知道视觉Transformer如何缩放。为了解决这个问题，我们缩放ViT模型和数据，向上和向下，并表征出错率，数据和计算之间的关系。在此过程中，我们改进了ViT的架构和训练，减少了内存消耗，提高了最终模型的准确性。因此，我们成功地训练了一个具有20亿个参数的ViT模型，该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好，例如，在ImageNet上达到84.86%的top-1准确率，每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows
Xinjiang University（新疆大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有视觉Transformer注意力方法难以兼顾局部-全局信息交互、粗细粒度信息平衡的问题，提出可同时建模局部窗口与轴向视图上下文的AxWin注意力，并构建AxWin Transformer骨干网络，在多项视觉任务上取得SOTA性能。
2023-05-02 cs.CV
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks
Xiamen University（厦门大学）；Microsoft（微软）；Tencent Technology (Shanghai) Co., Ltd（腾讯科技（上海）有限公司）
尽管Transformer具有令人兴奋的性能，但其过多的参数和计算成本受到批评。然而，由于层设计的内部复杂性，压缩Transformer仍然是一个悬而未决的问题，即，多头注意力（MHA）和前馈网络（FFN）。为了解决这个问题，我们引入了一个通用的，但轻量级的Transformer的视觉和语言任务，称为LW-Transformer的组明智的转换。LW-Transformer应用分组变换来减少Transformer的参数和计算，同时还保留其两个主要属性，即，在MHA的不同子空间上的有效注意建模，以及FFN的扩展-缩放特征变换。我们将LW-Transformer应用于一组基于Transformer的网络，并在三个视觉和语言任务和六个基准数据集上对其进行定量测量。实验结果表明，LW-Transformer在节省大量参数和计算量的同时，与原有的Transformer网络相比，在视觉和语言任务上取得了非常有竞争力的性能。为了检验算法的泛化能力，我们还将优化策略应用于最近提出的一个图像Transformer算法Swin-Transformer，并用于图像分类，其有效性也得到了验证
2022-04-16 cs.CV
Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research（百度研究院）
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络（CNN）相比，视觉Transformer具有更大的感受野，能够表征长程依赖性。然而，视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率，出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口，自我注意力在每个窗口内进行。为了找回全局接收场，基于窗口的视觉Transformer投入了大量精力，通过开发几种复杂的操作来实现跨窗口通信。在这项工作中，我们检查Swin Transformer的关键设计元素的必要性，移动窗口分区。我们发现，一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言，由于存在去卷积，Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此，我们通过丢弃复杂的移位窗口分区，将Swin Transformer退化为普通的基于窗口（Win）的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单，更易于实现。与此同时，我们的Win Transformer在多个计算机视觉任务（包括图像识别、语义分割和目标检测）上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Armour: Generalizable Compact Self-Attention for Vision Transformers
Arm Inc.（安谋公司）
基于注意力的Transformer网络在自然语言处理和视觉等领域的应用越来越广泛。然而，尽管最近的改进，例如次二次注意力近似和各种训练增强，但迄今为止使用常规注意力的紧凑视觉Transformer在\textit{accuracy,} \textit{model size}、\textit{and} \textit{throughput}方面与其convnet对应物相比仍然不足。本文介绍了一个紧凑的自我注意力机制，这是基本的和高度概括。该方法减少了冗余，提高了效率的顶部现有的注意力优化。我们显示了它的下拉式的适用性，经常注意力机制和一些最近的变种在视觉Transformer。因此，我们生产了更小更快的模型，具有相同或更好的精度。
2021-08-03 cs.CV
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Vision Transformers with Patch Diversification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书）
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而，直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能，例如，结合卷积层。相比之下，我们研究了一种正交方法来稳定视觉Transformer训练，而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说，对于深度视觉Transformer，自注意力块倾向于将不同的补丁映射到类似的潜在表示中，从而产生信息丢失和性能下降。为了缓解这个问题，在这项工作中，我们在视觉Transformer训练中引入了新的损失函数，以明确鼓励补丁表示的多样性，以实现更具鉴别力的特征提取。我们的经验表明，我们提出的技术稳定的训练，并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明，多样化的功能显着有利于下游任务的迁移学习。对于语义分割，我们增强了Cityscapes和ADE 20 k上的最新（SOTA）结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
How to Train Vision Transformer on Small-scale Datasets?
视觉Transformer（ViT）是一种与卷积神经网络完全不同的架构，具有多种优势，包括设计简单、鲁棒性和许多视觉任务的最新性能。然而，与卷积神经网络相比，视觉Transformer缺乏固有的感应偏差。因此，这些模型的成功训练主要归功于在大规模数据集上进行的预训练，例如具有1.2M图像的ImageNet或具有300 M图像的JFT。这阻碍了视觉Transformer对小规模数据集的直接适配。在这项工作中，我们证明了自我监督的归纳偏差可以直接从小规模数据集中学习，并作为一种有效的权重初始化方案进行微调。这允许训练这些模型，而无需大规模的预训练、对模型架构或损失函数的改变。我们提出了全面的实验，成功地训练单片和非单片视觉Transformer上五个小的数据集，包括CIFAR 10/100，CINIC 10，SVHN，Tiny-ImageNet和两个细粒度的数据集：飞机和汽车。我们的方法不断提高性能的视觉Transformer，同时保留其属性，如注意到显着的地区和更高的鲁棒性。我们的代码和预训练模型可在https://github.com/hananshafi/vits-for-small-scale-datasets上获得。
2022-10-13 cs.CV
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Vision Transformers for Dense Prediction
Intel Labs（英特尔实验室）
我们引入了密集视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示，并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示，并且在每个阶段都具有全局接收域。与全卷积网络相比，这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明，这种架构在密集预测任务上产生了实质性的改进，特别是当大量的训练数据可用时。对于单眼深度估计，与最先进的全卷积网络相比，我们观察到相对性能提高了28%。当应用于语义分割时，密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明，该架构可以在较小的数据集上进行微调，如NYUv2，KITTI和Pascal Context，它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
CvT: Introducing Convolutions to Vision Transformers
McGill University（麦吉尔大学）；Microsoft Cloud + AI（微软云与人工智能）
本文提出了一种新的架构，称为卷积视觉Transformer（CvT），提高了视觉Transformer（ViT）的性能和效率，通过引入卷积到ViT产生最好的两种设计。这是通过两个主要修改来实现的：包含新卷积令牌嵌入的Transformers层次结构，以及利用卷积投影的卷积Transformer块。这些变化将卷积神经网络（CNN）的理想属性引入ViT架构（\ie移位、缩放和失真不变性），同时保持了Transformers的优点（\ie动态注意力、全局上下文和更好的泛化）。我们通过进行广泛的实验来验证CvT，表明这种方法在ImageNet-1 k上实现了比其他视觉Transformer和ResNets更先进的性能，参数更少，FLOP更低。此外，当在较大的数据集（\eg ImageNet-22 k）上进行预训练并针对下游任务进行微调时，性能增益得以保持。在ImageNet-22 k上进行预训练后，我们的CvT-W24在ImageNet-1 k val集上获得了87.7\%的前1准确率。最后，我们的研究结果表明，位置编码，在现有的视觉Transformer的一个重要组成部分，可以安全地删除在我们的模型，简化设计更高分辨率的视觉任务。代码将在\url{https://github.com/leoxiaobin/CvT}发布。
2021-03-29 cs.CV
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University（约克大学）
最近，相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用，但它们的作用在很大程度上是未知的。在这里，我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题，我们重新审视了这些模型中的注意力公式，发现尽管名称如此，但在计算上，这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外，尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制，但视觉Transformer的纯前馈结构表明，这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果，我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明，自我注意模块组的数字在刺激的基础上相似的视觉特征，如颜色。此外，在一个单例检测实验的显着性检测的一个实例，我们研究了这些模型是否表现出类似的效果，前馈视觉显着性机制中利用人类的视觉注意。我们发现，一般来说，基于transformer的注意模块分配更多的显着性，无论是干扰或地面。总之，我们的研究表明，视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Interpret Vision Transformers as ConvNets with Dynamic Convolutions
Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文将视觉Transformer统一解释为具有动态卷积的ConvNet，并通过替换softmax和设计深度视觉Transformer验证了该统一框架对网络设计的指导作用。
2023-09-19 cs.CV
Study of Vision Transformers for Covid-19 Detection from Chest X-rays
本研究针对新冠快速准确检测需求，探索多种前沿视觉Transformer模型结合迁移学习从胸部X光片检测新冠的效果，取得98.75%-99.5%的准确率，性能优于传统方法和CNNs，为临床筛查诊断提供新工具。
2023-07-17 cs.CV eess.IV
Rethinking Spatial Dimensions of Vision Transformers
NAVER AI Lab（NAVER AI实验室）；Sogang University（西江大学）
视觉Transformer（ViT）将Transformers的应用范围从语言处理扩展到计算机视觉任务，作为现有卷积神经网络（CNN）的替代架构。由于基于transformer的体系结构是计算机视觉建模的创新，因此对有效体系结构的设计约定的研究较少。从CNN的成功设计原则，我们调查的作用，空间维度转换和其有效性的transformer为基础的架构。我们特别注意CNN的降维原理;随着深度的增加，传统的CNN会增加通道维度并降低空间维度。我们的经验表明，这样的空间降维是有益的Transformer架构，以及，并提出了一种新的基于池的视觉Transformer（PiT）的原始ViT模型。我们表明，PiT实现了改进的模型能力和泛化性能对ViT。在整个广泛的实验中，我们进一步表明PiT优于基线的几个任务，如图像分类，目标检测，和鲁棒性评估。源代码和ImageNet模型可在https://github.com/naver-ai/pit上获得
2021-08-18 cs.CV
Explicitly Increasing Input Information Density for Vision Transformers on Small Datasets
University of Kansas（堪萨斯大学）；Beijing Jiaotong University（北京交通大学）；OPPO US Research Center, InnoPeak Technology Inc（英诺皮克科技有限公司OPPO美国研究中心）；Toronto Metropolitan University（多伦多都会大学）
自从视觉Transformer（ViT）在视觉任务上成功实现以来，视觉Transformer最近引起了人们的广泛关注。有了视觉Transformer，特别是多头自我注意模块，网络可以内在地捕获长期依赖性。然而，这些注意力模块通常需要在大型数据集上进行训练，与ResNets等广泛占主导地位的骨干相比，视觉Transformer在从头开始训练时在小数据集上表现出较差的性能。请注意，Transformer模型最初是为自然语言处理提出的，它携带的信息比自然图像更密集。为了提高视觉Transformer在小数据集上的性能，本文提出在频域中显式地增加输入信息密度。具体来说，我们介绍了通过使用离散余弦变换（DCT）在频域中计算通道方向热图来选择通道，在保持大部分信息的同时减少输入的大小，从而增加信息密度。其结果是，保持25%的通道，而更好的性能相比，以前的工作。在CIFAR-10/100、SVHN、Flowers-102和Tiny ImageNet等5个小规模数据集上进行了大量实验，验证了该方法的有效性。使用Swin和Focal Transformers，准确率提高到17.05%。代码可在https://github.com/xiangyu8/DenseVT上获得。
2022-10-25 cs.CV
