Frugal Federated Learning for Violence Detection: A Comparison of LoRA-Tuned VLMs and Personalized CNNs
esieaLab（esiea实验室）；ESIEA（ESIEA学院）；ETIS Laboratory（ETIS实验室）；CNRS（法国国家科学研究中心）；UMR8051（UMR8051研究中心）；University of CY Cergy（CY塞克大学）
本文在非 IID 联邦暴力检测中比较 LoRA 微调 VLM 与个性化 CNN3D，评估准确率、校准、能耗和碳排放，提出轻量 CNN 与选择性 VLM 结合的混合部署框架。
2025-10-20 cs.AI cs.CV cs.LG
Unlocking Vision-Language Models for Video Anomaly Detection via Fine-Grained Prompting
Australian National University（澳大利亚国立大学）；Maincode；GE Research（通用电气研究）
针对现有视频异常检测提示过于抽象的问题，提出结构化提示框架ASK-Hint，通过动作中心知识和细粒度引导问题提升冻结VLM推理准确性与可解释性，在多个基准上取得SOTA且泛化性强。
2025-10-02 cs.AI cs.CV
Not only Look, but also Listen: Learning Multimodal Violence Detection under Weak Supervision
Xidian University（西安电子科技大学）
暴力检测在计算机视觉中已经研究了很多年。然而，以前的工作要么是肤浅的，例如，短片段的分类，以及单一场景，或供应不足，例如，单模态和基于手工制作的多模态特征。为了解决这个问题，在这项工作中，我们首先发布了一个名为XD-Violence的大规模多场景数据集，总时长为217小时，包含4754个带有音频信号和弱标签的未修剪视频。然后提出了一个包含三个并行分支的神经网络来捕获视频片段之间的不同关系并整合特征，其中整体分支使用相似性先验捕获长距离依赖关系，局部分支使用邻近性先验捕获局部位置关系，分数分支动态捕获预测分数的接近程度。此外，我们的方法还包括一个逼近器，以满足在线检测的需要。我们的方法在我们发布的数据集和其他现有基准上优于其他最先进的方法。此外，大量的实验结果也显示了多模态（视听）输入和建模关系的积极影响。代码和数据集将在https://roc-ng.github.io/XD-Violence/上发布。
2020-07-13 cs.CV
Vision Transformers in Medical Imaging: A Review
Covenant University（盟约大学）；Virginia Tech（弗吉尼亚理工大学）
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型，在自然语言处理（NLP）领域中已经获得了流行，并且最近影响了计算机视觉（CV）空间。计算机视觉和医学成像之间的相似之处，审查了研究人员之间的问题，如果Transformers对计算机视觉的影响可以转化为医学成像？本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型，并将其与多种卷积神经网络（CNN）进行了比较，详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法，重点关注图像模态，在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Reversible Vision Transformers
UC Berkeley（加州大学伯克利分校）；Meta AI
我们提出了可逆的视觉Transformer，视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离，可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型，即视觉变压器和多尺度视觉Transformer，可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类，目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下，实现了高达15.5倍的内存占用减少，证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后，我们发现，重新计算激活的额外计算负担对于更深的模型来说是克服不了的，其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois（伊利诺伊大学）
本文是一篇文献综述，梳理了Transformer从自然语言处理到计算机视觉的应用演进，重点分析了其在多目标跟踪（MOT）领域的研究进展，指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
Unsupervised Training of Vision Transformers with Synthetic Negatives
Imperial College London（伦敦帝国学院）
该研究针对自监督学习中视觉Transformer场景下硬负样本潜力被忽视的问题，将合成硬负样本融入其表征学习，有效提升了DeiT-S与Swin-T架构所学表征的判别能力及模型性能。
2025-09-02 cs.AI cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London（伦敦玛丽女王大学）
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中，我们从两个方面出发：（a）我们采用视觉Transformer作为一种架构，用于训练非常强大的人脸识别基线，简称为fViT，它已经超过了大多数最先进的人脸识别方法。(b)其次，我们利用Transformer的固有属性来处理从不规则网格中提取的信息（视觉令牌），以设计一个用于人脸识别的管道，这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分，它只是包括一个轻量级网络来预测面部地标的坐标，然后是视觉Transformer对从预测的地标中提取的补丁进行操作，并且它是端到端训练的，没有地标监督。通过学习提取有区别的斑块，我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性，在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
A Survey on Visual Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法，并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc（拉德堡德大学医学中心）
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题，提出采用层次视觉变换器（H-ViTs）进行前列腺癌分级，实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime（商汤科技）；The University of Sydney（悉尼大学）
近年来，自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而，占主导地位的方法，对比学习，主要依赖于一个实例判别借口任务，学习图像的全局理解。本文通过重构预训练（RePre）将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架，增加了一个分支，用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器，融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督，这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的（SOTA）自我监督同行。
2022-01-19 cs.AI cs.CV
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community（Cohere AI社区）；ML Collective；IIT Delhi（印度理工学院德里分校）；UC Berkeley（加州大学伯克利分校）
本文综述了面向移动端部署的小型视觉Transformer架构，分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟，为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
Vision Transformers for Computer Go
Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CNRS（法国国家科学研究中心）；The University of New South Wales（新南威尔士大学）
本文研究视觉Transformer在计算机围棋中的应用，通过对比残差网络在准确率、胜率、资源开销等多维度的表现，证明了Transformer在围棋任务中的重要作用。
2023-09-22 cs.AI cs.CV
A deep-learning approach to early identification of suggested sexual harassment from videos
Deepkapha AI；Vellore Institute of Technology（韦洛尔理工学院）
本文分析印度电影图像中骚扰、虐待与暴力的视觉特征，指出现有露骨内容检测器的不足，并构建以 PASCAL VOC 1.1 格式发布的标注数据集以支持深度学习早期识别。
2023-06-01 cs.CV cs.LG
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab（腾讯人工智能实验室）；Peking Union Medical College Hospital（北京协和医院）
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力，最近的工作提出将视觉Transformer与CNN相结合。然而，大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer（即，缺乏归纳偏差、计算量大且很少考虑3D数据）。因此，设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中，我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中，一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积，一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式，和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外，提出了一种自适应缩放增强的局部视觉Transformer，以增强沿空间和通道的自适应特征，并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明，该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
$E(2)$-Equivariant Vision Transformer
Zhejiang University（浙江大学）；JD Explore Academy, JD.com, Inc.（京东集团京东探索研究院）；University of Edinburgh（爱丁堡大学）
本文针对ViT位置编码难以学习等变性的问题，提出群等变视觉Transformer（GE-ViT），通过新型位置编码算子满足等变理论要求，并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China（苏州先进研究所，中国科学技术大学）
本文提出了一种方法，通过将视觉变换器中的线性层替换为卷积运算符，使其能够充分利用BPUs的加速能力，从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science（计算机工程与科学学院）
ECViT是一种结合CNN和Transformer优势的混合架构，通过引入局部注意力和金字塔结构实现高效多尺度特征提取，在图像分类任务上以低计算和存储需求超越现有模型，平衡了性能与效率。
2025-04-21 cs.AI cs.CV
Art Authentication with Vision Transformers
Art Recognition AG（艺术识别股份公司）；Tilburg University（蒂尔堡大学）
本文比较Swin Transformer与EfficientNet在梵高画作真伪鉴定中的表现，发现视觉Transformer在纯仿制品对比集上准确率超过85%，证明其在检测艺术仿制品方面具有强大潜力。
2023-07-10 cs.AI cs.CV
Case-Enhanced Vision Transformer: Improving Explanations of Image Similarity with a ViT-based Similarity Metric
Indiana University（印第安纳大学）；Berry College（贝里学院）
本文提出Case-Enhanced Vision Transformer（CEViT）相似性度量方法，通过将其集成到k-NN分类中，在保持与最先进模型相当准确率的同时，提升了图像相似性评估的可解释性，并能基于先验案例说明类间差异。
2024-07-24 cs.AI cs.CV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注，并有着广泛的应用。Transformers开始接管深度学习的所有领域，视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中，我们利用了一个视觉Transformer为基础的定制设计的模型，张量到图像，图像到图像的翻译。在自我注意的帮助下，我们的模型能够推广并应用于不同的问题，而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation（微软公司）
本文提出了一种新的视觉Transformer（ViT）架构多尺度视觉Longformer，显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构，它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制，它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体，并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明，新的ViT显着优于几个强大的基线，包括现有的ViT模型及其ResNet同行，以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid}，在一系列的视觉任务，包括图像分类，目标检测，和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT（麻省理工学院）
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是，目前，这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer，使更好的认证补丁的鲁棒性，也是更有效的计算，并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵，最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制，这在内置感应偏置的情况下更有效。然而，这些努力要么忽略了多层次的功能或缺乏动态繁荣，导致次优性能。在本文中，我们提出了一个动态的多级注意力机制（DMA），它捕获不同的模式的输入图像的多个内核大小，并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构，同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明，DMFormer实现了最先进的性能，优于类似大小的视觉Transformer（ViT）和卷积神经网络（CNN）。
2022-11-29 cs.AI cs.CV cs.LG
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Khalifa University of Science and Technology（哈利法科学技术大学）；Air University（空军大学）
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构，重点探讨了其注意力机制、位置嵌入等关键特征，强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn（波恩大学）
本文测试卷积视觉Transformer（CvT）在直方图化遥感数据上的产量预测，虽性能不及XGBoost和CNN，但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Multiscale Vision Transformers
Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了多尺度视觉Transformer（MViT）的视频和图像识别，通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始，这些级分级地扩展信道容量，同时降低空间分辨率。这创建了一个多尺度金字塔的功能，早期的层在高空间分辨率下操作，以模拟简单的低层次视觉信息，更深的层在空间上粗糙，但复杂的高维特征。我们评估了这种基本的架构先验，用于对各种视频识别任务的视觉信号的密集性质进行建模，在这些任务中，它优于依赖于大规模外部预训练的并发视觉Transformer，并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度，并将我们的模型应用于图像分类，它优于以前的工作视觉Transformer。代码可在：https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
Spectral Vision Transformer for Efficient Tokenization with Limited Data
本文提出基于谱的视觉Transformer，用于有限数据下的高效分词，尤其关注医学影像，通过频谱投影降低复杂度，提升性能。
2026-05-12 cs.AI cs.CV eess.SP
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research（微软研究院）；Microsoft Cloud + AI（微软云计算与人工智能部门）
最近，视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销，它也带来了挑战，特别是对于高分辨率视觉任务（例如，目标检测）。在本文中，我们提出了焦点自关注，一个新的机制，结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制，每个令牌出席最近的周围令牌在细粒度，但令牌远离在粗粒度，因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注，我们提出了一个新的变体的视觉Transformer模型，称为焦点Transformer，它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是，我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M，在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干，我们获得了一致的和实质性的改进，超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP，在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University（查尔斯特大学）；University of Western Austrlia（西澳大学）
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中，人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上，同时突出了流行的趋势，适应Transformers的动作识别。由于它们的特殊应用，我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类，基于其架构，模态和预期目标的行动Transformers。在动作Transformers的上下文中，我们探讨了时空数据编码，降维，帧补丁和时空立方体的建设，以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化，以处理较长的序列，通常通过减少在一个单一的注意力操作的令牌的数量。此外，我们还研究了不同的网络学习策略，如自监督和零样本学习，以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后，它提供了一个讨论的挑战，前景，和未来的途径，这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego（加州大学圣地亚哥分校）
图像Transformers的最新进展已经显示出令人印象深刻的结果，并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练，然后在ImageNet-1 k上进行微调。在微调之后，研究人员通常会考虑迁移学习在较小数据集（如CIFAR-10/100）上的性能，但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer（ViT）、Data Efficient Image Transformer（DeiT）、Class Attention in Image Transformer（CaiT）和Swin Transformers。此外，Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里：https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Tianjin University（天津大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）；University of California at Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google（谷歌）
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品，因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的，其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中，3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上，但由于与2D视觉相比，3D视觉在数据表示和处理方面的差异，需要特别注意。在这项工作中，我们提出了一个系统和全面的审查100多个Transformers的方法，用于不同的3D视觉任务，包括分类，分割，检测，完成，姿态估计等。我们讨论了3D视觉中的Transformer设计，它允许它处理具有各种3D表示的数据。对于每个应用程序，我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力，我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外，我们的目标是经常更新最新的相关论文及其相应的实现：https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Scaling Vision Transformers
Google Research（谷歌研究院）
基于注意力的神经网络，如视觉Transformer（ViT），最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素，因此，了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则，但还不知道视觉Transformer如何缩放。为了解决这个问题，我们缩放ViT模型和数据，向上和向下，并表征出错率，数据和计算之间的关系。在此过程中，我们改进了ViT的架构和训练，减少了内存消耗，提高了最终模型的准确性。因此，我们成功地训练了一个具有20亿个参数的ViT模型，该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好，例如，在ImageNet上达到84.86%的top-1准确率，每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
Efficiency 360: Efficient Vision Transformers
Microsoft（微软）
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中，我们从内存（参数的数量）、计算成本（浮点运算的数量）和模型性能（包括准确性、模型的鲁棒性和公平无偏特性）方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架，其中包括视觉Transformer的各个方面，使其更有效的工业应用。通过考虑这些应用，我们将其分为多个维度，如隐私，鲁棒性，透明性，公平性，包容性，持续学习，概率模型，近似，计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能，参数的数量，以及在多个数据集上的浮点运算（FLOP）的数量。
2023-02-23 cs.AI cs.CL cs.CV
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）
近年来，掩码图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络（编码器）中丢弃被掩蔽的图像块（或令牌），这要求编码器是普通的视觉Transformer（例如，ViT），尽管是分层的视觉Transformer（例如，Swin Transformer）在制定视觉输入方面具有潜在的更好的性质。在本文中，我们提出了一种新的设计分层视觉Transformer命名为HiViT（简称分层ViT），享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”，得到结构简单的分层视觉Transformer，其中掩模单元可以像普通视觉Transformer一样被序列化。为此，我们从Swin Transformer开始，并且（i）将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小，（ii）在主阶段之前关闭单元间自关注，以及（iii）消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是，在ImageNet-1 K上运行MAE时，HiViT-B报告比ViT-B准确率提高了+0.6%，比Swin-B提高了1.9 $\times$速度，并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Vision Transformer Pruning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而，它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里，我们提出了一个视觉Transformer修剪方法，该方法识别维度在Transformer的每一层中的影响，然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性，重要的维度会自动出现。可以丢弃大量重要性分数小的维度，以实现高修剪率，而不会显着损害准确性。用于视觉Transformer修剪的流水线如下：1）使用稀疏正则化进行训练; 2）修剪线性投影的维度; 3）微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析，以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
Application of Graph Based Vision Transformers Architectures for Accurate Temperature Prediction in Fiber Specklegram Sensors
University of Sydney（悉尼大学）；Division of Applied AI, Abhira（Abhira 应用人工智能部门）
针对光纤散斑图传感器温度预测受散斑数据非线性制约精度不足的问题，本研究验证了多种Transformer及图视觉Transformer模型的预测效果，结合可解释AI技术提升模型透明度，为光纤温度传感提供了高性能基准方案。
2025-11-15 cs.AI cs.CV eess.IV
DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation
针对视觉Transformer在资源受限设备上部署的高复杂度问题，本文提出DeVIT方法，通过量化引入的值局部性，利用差分计算实现无乘法器的矩阵乘法，以实现低功耗加速。
2026-08-04 cs.AI cs.AR cs.CV
Blending Anti-Aliasing into Vision Transformer
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Amazon Inc.（亚马逊公司）
基于自注意力机制和无卷积设计的Transformer结构在计算机视觉中表现出了优异的性能和蓬勃的应用。然而，不连续的逐块标记化过程隐式地将锯齿状伪影引入注意力图中，从而引起视觉Transformer的混叠的传统问题。当使用离散模式产生高频或连续信息时，会产生混叠效应，导致失真难以分辨。最近的研究发现，现代卷积网络仍然存在这种现象。在这项工作中，我们分析了视觉Transformer中的锯齿问题，并探索将反锯齿属性。具体来说，我们提出了一个即插即用的混叠减少模块（ARM），以减轻上述问题。我们调查的有效性和推广所提出的方法在多个任务和各种视觉Transformer家庭。这种轻量化的设计始终如一地获得了几个著名结构的明显提升。此外，我们的模块还提高了数据的效率和鲁棒性的视觉Transformer。
2021-10-28 cs.CV
Adaptive Token Sampling For Efficient Vision Transformers
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；University of Bonn（波恩大学）；Microsoft（微软）；University of California, Davis（加州大学戴维斯分校）；Meta Reality Labs（Meta现实实验室）
虽然最先进的视觉Transformer模型在图像分类中取得了有希望的结果，但它们在计算上是昂贵的，并且需要许多GFLOP。虽然视觉Transformer的GFLOP可以通过减少网络中的令牌数量来减少，但没有对所有输入图像都最佳的设置。因此，在这项工作中，我们引入了一个可微的无参数自适应令牌采样器（ATS）模块，它可以插入到任何现有的视觉Transformer架构。ATS通过对重要标记进行评分和自适应采样来增强视觉Transformer的能力。结果，令牌的数量不再是恒定的，而是针对每个输入图像而变化。通过将ATS集成为当前Transformer块中的附加层，我们可以将它们转换为具有自适应令牌数量的更高效的视觉Transformer。由于ATS是一个无参数模块，因此可以将其作为即插即用模块添加到现成的预训练视觉Transformer中，从而在不进行任何额外训练的情况下降低GFLOP。此外，由于其可区分的设计，还可以训练装备有ATS的视觉Transformer。我们通过将其添加到多个SOTA视觉Transformer来评估我们的模块在图像和视频分类任务中的效率。我们提出的模块通过将其计算成本（GFLOPs）降低2倍来改进SOTA，同时保留其在ImageNet，Kinetics-400和Kinetics-600数据集上的准确性。
2022-07-26 cs.CV
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构，它不仅彻底改变了自然语言处理（NLP）领域，而且在计算机视觉（CV）领域也做了一些开创性的工作。与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制，其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University（西安交通大学）；ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
Transformers是语言建模的事实标准，最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer，利用自然图像的内在空间冗余，节省计算成本。具体来说，我们提出了一个动态粒度编码器的视觉Transformer，它可以自适应地分配一个合适的查询数量到每个空间区域。因此，它实现了一个细粒度的表示在区分区域，同时保持高效率。此外，动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西，我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%，同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
UFO-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品，他们需要大量的计算资源的规模是二次$N$。这是传统的自注意（SA）算法的一个主要缺点。在这里，我们提出了单位力操作的视觉Transformer（UFO-ViT），一种新的SA机制，具有线性复杂性。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法，没有复杂的线性近似。通过修改只有几行代码，从原来的SA，所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2021-11-04 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学）
受人类视觉系统启发，RetinaViT将不同空间频率的补丁引入视觉变换器，在无额外偏置下自发实现从低频到高频的注意力转移，并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows
Xinjiang University（新疆大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有视觉Transformer注意力方法难以兼顾局部-全局信息交互、粗细粒度信息平衡的问题，提出可同时建模局部窗口与轴向视图上下文的AxWin注意力，并构建AxWin Transformer骨干网络，在多项视觉任务上取得SOTA性能。
2023-05-02 cs.CV
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks
Xiamen University（厦门大学）；Microsoft（微软）；Tencent Technology (Shanghai) Co., Ltd（腾讯科技（上海）有限公司）
尽管Transformer具有令人兴奋的性能，但其过多的参数和计算成本受到批评。然而，由于层设计的内部复杂性，压缩Transformer仍然是一个悬而未决的问题，即，多头注意力（MHA）和前馈网络（FFN）。为了解决这个问题，我们引入了一个通用的，但轻量级的Transformer的视觉和语言任务，称为LW-Transformer的组明智的转换。LW-Transformer应用分组变换来减少Transformer的参数和计算，同时还保留其两个主要属性，即，在MHA的不同子空间上的有效注意建模，以及FFN的扩展-缩放特征变换。我们将LW-Transformer应用于一组基于Transformer的网络，并在三个视觉和语言任务和六个基准数据集上对其进行定量测量。实验结果表明，LW-Transformer在节省大量参数和计算量的同时，与原有的Transformer网络相比，在视觉和语言任务上取得了非常有竞争力的性能。为了检验算法的泛化能力，我们还将优化策略应用于最近提出的一个图像Transformer算法Swin-Transformer，并用于图像分类，其有效性也得到了验证
2022-04-16 cs.CV
