Hyb-KAN ViT: Hybrid Kolmogorov-Arnold Networks Augmented Vision Transformer
本文提出Hyb-KAN ViT框架，通过Eff-KAN和Wav-KAN模块将样条函数与小波变换集成到视觉Transformer中，在多个视觉任务上实现最先进性能并平衡参数效率与多尺度表示。
2025-05-07 cs.CV
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）；Beijing University of Technology（北京工业大学）
最近，视觉Transformer模型已成为一系列视觉任务的突出模型。然而，这些模型通常是不透明的，具有较弱的特征可解释性。此外，目前还没有为本质上可解释的Transformer构建的方法，该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距，我们提出了一种新的视觉Transformer，称为eXplainable Vision Transformer（eX-ViT），一个本质上可解释的Transformer模型，能够共同发现强大的可解释的功能，并执行预测。具体来说，eX-ViT由可解释多头注意力（E-MHA）模块、属性引导解释器（AttE）模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重，这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时，AttE提出了编码的区别性属性特征的目标对象，通过不同的属性发现，这构成了模型的预测的忠实证据。此外，我们的eX-ViT开发了一个自我监督的属性引导损失，旨在通过属性区分机制和属性多样性机制学习增强的表示，以定位多样化和有区别的属性，并生成更强大的解释。因此，我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Aerial Image Object Detection With Vision Transformer Detector (ViTDet)
The MITRE Corporation（麻省理工学院公司）
在过去的几年里，航空图像目标检测由于其在环境研究、城市规划和智能监测等大规模地学研究中的重要价值而受到越来越多的关注。然而，由于鸟瞰视角，复杂的背景，大型和各种图像尺寸，不同外观的对象，以及缺乏良好的注释数据集，这项任务是非常具有挑战性的。计算机视觉的最新进展显示出应对挑战的希望。具体地，提出了视觉Transformer检测器（ViTDet），以提取用于目标检测的多尺度特征。实验结果表明，ViTDet简单的设计在自然场景图像上取得了良好的性能，可以很容易地嵌入到任何检测器架构中。迄今为止，ViTDet的潜在好处，具有挑战性的空中图像目标检测尚未探讨。因此，在我们的研究中，进行了25个实验，以评估ViTDet在三个知名数据集上进行航空图像目标检测的有效性：空中客车飞机，RarePlanes和航空图像目标检测数据集（DOTA）。我们的研究结果表明，ViTDet在水平限界框（HBB）目标检测方面始终优于卷积神经网络（平均精度高达17%），并且在定向限界框（OBB）目标检测方面具有竞争力。我们的研究结果也为未来的研究奠定了基础。
2023-02-02 cs.CV
ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
虽然在设计中没有考虑特定的领域知识，但普通视觉Transformer在视觉识别任务中表现出了优异的性能。然而，很少有人努力揭示这种简单的结构的潜在的姿态估计任务。在本文中，我们展示了令人惊讶的好能力的平原视觉Transformer的姿态估计从各个方面，即简单的模型结构，模型大小的可扩展性，灵活的训练范式，和模型之间的知识的可转移性，通过一个简单的基线模型称为ViTPose。具体而言，ViTPose采用普通和非分层的视觉Transformer作为骨干，以提取给定人物实例的特征，并使用轻量级解码器进行姿势估计。它可以从100 M扩展到1B参数，利用可扩展的模型容量和高并行性的Transformers的优势，设置一个新的帕累托前沿之间的吞吐量和性能。此外，ViTPose在注意力类型、输入分辨率、预训练和微调策略以及处理多个姿势任务方面非常灵活。我们还经验证明，大型ViTPose模型的知识可以通过简单的知识令牌轻松转移到小型模型。实验结果表明，我们的基本ViTPose模型在具有挑战性的MS COCO关键点检测基准测试中优于代表性方法，而最大的模型则创造了新的最先进水平。代码和模型可在https://github.com/ViTAE-Transformer/ViTPose上获得。
2022-10-13 cs.CV
Emerging Properties in Self-Supervised Vision Transformers
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
在本文中，我们质疑自监督学习是否为视觉Transformer（ViT）提供了与卷积网络（convnets）相比突出的新属性。除了自监督方法适应这种架构特别好的事实，我们做了以下观察：第一，自监督ViT功能包含明确的信息的语义分割的图像，这并不清楚地出现与监督ViT，也与convnets。其次，这些特征也是优秀的k-NN分类器，在ImageNet上达到了78.3%的top-1，具有较小的ViT。我们的研究还强调了动量编码器，多作物训练以及使用ViTs小补丁的重要性。我们将我们的发现应用到一个简单的自我监督方法中，称为DINO，我们将其解释为一种没有标签的自我蒸馏形式。我们通过在ImageNet上使用ViT-Base进行线性评估时达到80.1%的top-1，展示了DINO和ViTs之间的协同作用。
2021-05-24 cs.CV
Masked Image Residual Learning for Scaling Deeper Vision Transformers
Baidu Inc.（百度公司）；Huazhong University of Science and Technology（华中科技大学）；University of York（约克大学）
针对深度ViT训练中的退化问题，提出掩码图像残差学习（MIRL）框架，通过恢复掩码图像残差实现深层优化，使更深ViT性能提升，并在ImageNet等任务上取得优异结果。
2023-11-15 cs.CV
V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
在本文中，我们研究了车辆到一切（V2X）通信的应用，以提高自动驾驶汽车的感知性能。我们提出了一个强大的协同感知框架与V2X通信使用一种新的视觉Transformer。具体来说，我们构建了一个整体注意力模型，即V2X-ViT，以有效地融合道路上的智能体之间的信息（即，车辆和基础设施）。V2X-ViT由异构多智能体自注意和多尺度窗口自注意的交替层组成，它捕获智能体间的交互和每个智能体的空间关系。这些关键模块在统一的Transformer架构中设计，可处理常见的V2X挑战，包括异步信息共享、姿势错误和V2X组件的异构性。为了验证我们的方法，我们使用CARLA和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-ViT为3D目标检测提供了最先进的性能，即使在恶劣的噪声环境下也能实现稳健的性能。该代码可在https://github.com/DerrickXuNu/v2x-vit上获得。
2022-08-08 cs.CV
Understanding Gaussian Attention Bias of Vision Transformers Using Effective Receptive Fields
POSTECH（浦项科技大学）
本文通过有效感受野分析揭示ViT位置嵌入需特定模式才能理解补丁顺序，提出显式高斯注意力偏差引导训练，提升图像分类、检测与分割性能。
2023-05-08 cs.CV
TRT-ViT: TensorRT-oriented Vision Transformer
ByteDance Inc（字节跳动公司）
我们从实际应用的角度重新审视现有的优秀Transformers。它们中的大多数甚至不如基本的ResNets系列高效，并且偏离了现实的部署场景。这可能是由于目前衡量计算效率的标准，如FLOP或参数是片面的，次优的，硬件不敏感的。因此，本文直接将特定硬件上的TensorRT延迟视为效率指标，从而提供更全面的反馈，包括计算能力，内存成本和带宽。基于一系列受控实验，这项工作得出了面向TensorRT和部署友好的网络设计的四个实用指南，例如，在阶段级的早期CNN和晚期Transformer，在块级的早期Transformer和晚期CNN。因此，提出了一系列面向TensortRT的Transformers，缩写为TRT-ViT。大量的实验表明，TRT-ViT在各种视觉任务的延迟/准确性权衡方面显著优于现有的ConvNets和视觉Transformer，例如，图像分类、目标检测和语义分割。例如，在82.7%的ImageNet-1 k top-1准确率下，TRT-ViT比CSWin快2.7 $\times$，比Twins快2.0 $\times$。在MS-COCO目标检测任务上，TRT-ViT实现了与Twins相当的性能，而推理速度提高了2.8 $\times$。
2022-07-12 cs.CV
ViT-ReciproCAM: Gradient and Attention-Free Visual Explanations for Vision Transformer
Intel Corp.（英特尔公司）
针对 ViT 预测解释依赖注意力或梯度的问题，本文提出 ViT-ReciproCAM，通过 token masking 与目标层输出生成显著图，ADCC 指标较 Relevance 提升 4.58%–5.80%。
2023-10-04 cs.CV cs.LG
ViTs are Everywhere: A Comprehensive Study Showcasing Vision Transformers in Different Domain
Beijing Institute of Technology（北京理工大学）
本文综述Vision Transformer在计算机视觉中的应用，按图像分类、分割、视频、去噪、NAS等任务梳理模型优劣、最新进展与未来方向。
2023-10-13 cs.AI cs.CV
IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers
Chungnam National University（Chungnam 国立大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院）
针对现有视觉Transformer量化方法难以兼顾无重训练、全整数推理与精度的问题，提出IPTQ-ViT训练后量化框架，通过定制非线性近似函数与层适配选择策略，实现了优于同类PTQ方法、媲美QAT方法的性能。
2025-11-19 cs.AI cs.CV
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation（微软公司）
本文提出了一种新的视觉Transformer（ViT）架构多尺度视觉Longformer，显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构，它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制，它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体，并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明，新的ViT显着优于几个强大的基线，包括现有的ViT模型及其ResNet同行，以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid}，在一系列的视觉任务，包括图像分类，目标检测，和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Semantic Segmentation using Vision Transformers: A survey
University of Peradeniya（佩拉德尼亚大学）；University of Melbourne（墨尔本大学）
本综述针对视觉Transformer（ViTs）因补丁划分导致无法直接用于密集预测任务的问题，梳理了可用于语义分割的ViT架构演进，对比其在基准数据集上的性能，为探索更高效的ViT语义分割方法提供参考。
2023-05-05 cs.AI cs.CV cs.LG
MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
Apple（苹果公司）
轻量级卷积神经网络（CNN）是移动视觉任务的事实。他们的空间归纳偏差使他们能够在不同的视觉任务中用更少的参数学习表征。然而，这些网络在空间上是局部的。为了学习全局表示，已经采用了基于自我注意力的视觉变换器（ViTs）。与CNN不同，ViT是重量级的。在本文中，我们提出了以下问题：是否有可能结合CNN和ViT的优势，为移动视觉任务构建一个轻量级和低延迟的网络？为此，我们推出MobileViT，一种用于移动设备的轻型通用视觉Transformer。MobileViT提供了一个不同的视角，用于使用Transformers进行全球信息处理，即，Transformers作为convolutions。我们的研究结果表明，MobileViT在不同的任务和数据集上显著优于CNN和基于ViT的网络。在ImageNet-1 k数据集上，MobileViT在大约600万个参数的情况下达到了78.4%的top-1准确率，比MobileNetv 3（基于CNN）和DeIT（基于ViT）在类似数量的参数下分别高出3.2%和6.2%。在MS-COCO目标检测任务中，MobileViT比MobileNetv 3在相同数量的参数下精确5.7%。我们的源代码是开源的，可在https://github.com/apple/ml-cvnets上获得
2022-03-04 cs.AI cs.CV cs.LG
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers
Google Research（谷歌研究院）
视觉Transformer（ViT）在图像分类、目标检测和语义图像分割等广泛的视觉应用中表现出极强的竞争力。与卷积神经网络相比，Vision Transformer较弱的感应偏差通常会导致在较小的训练数据集上训练时对模型正则化或数据增强（简称“AugReg”）的依赖增加。为了更好地理解训练数据量、AugReg、模型大小和计算预算之间的相互作用，我们进行了系统的实证研究。作为本研究的一个结果，我们发现，增加计算和AugReg的组合可以产生与在一个数量级的训练数据上训练的模型具有相同性能的模型：我们在公共ImageNet-21 k数据集上训练了各种大小的ViT模型，这些模型与在更大但不是公开的JFT-300 M数据集上训练的模型相匹配或优于它们。
2022-06-23 cs.AI cs.CV cs.LG
VAT: Vision Action Transformer by Unlocking Full Representation of ViT
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
VAT通过解锁ViT的完整表示，提出了一种新的视觉动作变换器架构，实现了在模拟操作任务中98.15%的成功率，优于现有方法。
2026-01-30 cs.CV cs.RO
TC-AE: Unlocking Token Capacity for Deep Compression Autoencoders
Inclusion AI, Ant Group（蚂蚁集团）；HKUST（香港科技大学）；ZJU（浙江大学）；ECNU（华东师范大学）；HKUST (GZ)（香港科技大学（广州））
TC-AE通过调整ViT中的patch size实现token数量扩展，解决高压缩比下的潜在表示崩溃问题，提升生成性能。
2026-04-08 cs.CV
Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling
Department of Computer Science and Artificial Intelligence, DaSCI Institute, University of Granada, Granada, Spain（计算机科学与人工智能系，DaSCI研究所，格拉纳达大学，格拉纳达，西班牙）；Department of Mathematics ``Tullio Levi-Civita'', University of Padova, Padova, Italy（托里利-西维塔数学系，帕多瓦大学，帕多瓦，意大利）
本文提出利用预训练视觉模型的分类头作为语义原型，通过权重重用实现视觉-语言对齐，提升跨模态检索、零样本和少样本分类任务的性能。
2026-05-21 cs.CV
MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出MuRF策略，通过多分辨率融合提升视觉基础模型的推理性能，适用于多种任务和模型家族。
2026-04-02 cs.CV
BiggerGait: Unlocking Gait Recognition with Layer-wise Representations from Large Vision Models
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院）；Michigan State University（密歇根州立大学）
针对现有基于大视觉模型的步态识别过度依赖步态先验、忽视模型多层表征价值的问题，提出整合LVM中间层互补表征的简单通用基线BiggerGait，在多个数据集的域内和跨域任务中均表现更优，为步态表征学习提供实用基线。
2025-06-17 cs.CV
Dino-NestedUNet: Unlocking Foundation Vision Encoders for Pathology Tumor Bulk Segmentation via Dense Decoding
Department of Pathology, College of Medicine, The Ohio State University Wexner Medical Center, Columbus, OH, USA（病理学系，医学学院，俄亥俄州立大学韦克斯纳医学中心，哥伦布，OH，USA）；Department of Biomedical Engineering, The Ohio State University, Columbus, OH, USA（生物医学工程系，俄亥俄州立大学，哥伦布，OH，USA）
本文提出Dino-NestedUNet框架，通过预训练DINOv3编码器与密集密集解码器结合，改进病理肿瘤肿块分割的边界精度，实验证明其在跨域迁移中的有效性。
2026-04-27 cs.CV
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法，将特定领域视觉数据集转换为统一问答格式，训练多模态大语言模型，在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
Unlocking the Capabilities of Large Vision-Language Models for Generalizable and Explainable Deepfake Detection
Jinan University（暨南大学）；Nanyang Technology University（南洋理工大学）
针对 LVLM 知识与取证模式错位问题，提出由 KFD、FPL 和 LLM 组成的 deepfake 检测框架，实现可解释分类、定位与多轮对话，并在多个基准上取得更强泛化性。
2025-06-07 cs.CV
Unlocking UML Class Diagram Understanding in Vision Language Models
Hof University of Applied Sciences（霍夫应用科学大学）
本文提出一个基于UML类图的视觉问答基准，构建了16000个图像-问题-答案三元组，并展示LoRA微调方法在视觉语言模型中的优越表现。
2026-05-12 cs.AI cs.CV
Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection
Université Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli（巴黎萨克雷大学、国家科学研究中心、巴黎萨克雷高等师范学院、Borelli中心）；École Polytechnique, AMIAD（巴黎高等理工学院、AMIAD）；Institut Universitaire de France（法国高等科学研究院）
本文提出Head Ensemble Classifiers (HEC)通过提示条件和头部选择提升LVLMs在少样本和零样本分类中的性能，实现与CLIP基方法的性能平衡。
2026-03-25 cs.CV
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构，它不仅彻底改变了自然语言处理（NLP）领域，而且在计算机视觉（CV）领域也做了一些开创性的工作。与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制，其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA（电子与计算机工程系，罗文大学，Glassboro, NJ, USA）；Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，Hoboken, NJ, USA）
SSMAE通过动态伪标签和验证驱动门控机制，在有限数据下提升视觉变换器性能，实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
CF-ViT: A General Coarse-to-Fine Method for Vision Transformer
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）
视觉Transformer（ViT）在计算机视觉任务中取得了许多突破。然而，在输入图像的空间维度中出现相当大的冗余，导致大量的计算成本。因此，本文提出了一种由粗到细的视觉Transformer（CF-ViT），在保证性能的同时减轻计算负担。我们提出的CF-ViT是基于现代ViT模型中的两个重要观察：（1）粗粒度的补丁分裂可以定位输入图像的信息区域。(2)大多数图像可以很好地识别的ViT模型在一个小长度的令牌序列。因此，我们的CF-ViT以两阶段的方式实现网络推理。在粗推理阶段，输入图像被分割成一个小长度的补丁序列的计算经济的分类。如果没有很好地识别，则识别信息块并进一步以细粒度重新划分。大量的实验证明了我们的CF-ViT的功效。例如，在不影响性能的情况下，CF-ViT的FLOP比LV-ViT降低了53%，同时还实现了2.01倍的吞吐量。
2022-11-21 cs.CV
Rethinking Fine-Tuning: Unlocking Hidden Capabilities in Vision-Language Models
College of Engineering, Northeastern University（东北大学工程学院）；Khoury College of Computer Science, Northeastern University（东北大学计算机科学学院）
本文提出基于MFT的结构重参数化方法，通过重新组织VLMs内部子网络实现高效微调，超越LoRA和全微调，无需改变骨干网络。
2026-10-07 cs.CV cs.LG
Improved Robustness of Vision Transformer via PreLayerNorm in Patch Embedding
Pohang University of Science and Technology（浦项科技大学）
视觉Transformer（ViTs）最近在各种视觉任务中表现出最先进的性能，取代了卷积神经网络（CNN）。同时，由于ViT具有与CNN不同的架构，因此其行为可能不同。为了研究ViT的可靠性，本文研究了ViT的行为和鲁棒性。我们通过假设实际视觉任务中可能出现的各种图像损坏来比较CNN和ViT的鲁棒性。我们证实，对于大多数图像变换，ViT显示出与CNN相当或更高的鲁棒性。然而，对于对比度增强，在ViT中始终观察到严重的性能下降。通过详细的分析，我们发现了一个潜在的问题：当色标发生变化时，ViT补丁嵌入中的位置嵌入可能会不正常工作。在这里，我们要求使用PreLayerNorm，一个修改后的补丁嵌入结构，以确保规模不变的行为的ViT。具有PreLayerNorm的ViT在包括对比度变化环境在内的各种损坏中表现出更好的鲁棒性。
2021-11-16 cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型，通过Vision Transformer与目标检测器双路径架构融合全局与局部特征，结合目标感知提示策略，在COCO数据集上超越基线模型，并提出基于CLIP的无参考评估方法，提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
Unlocking Pretrained Vision Transformers for Time Series Classification
Helmholtz Munich（海德堡-慕尼黑研究所）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MDSI（慕尼黑数据科学研究所）；Paris Noah’s Ark Lab（巴黎诺亚实验室）
提出TiViT框架，利用冻结的预训练视觉Transformer表征，无需微调即在时间序列分类上达到最先进性能，并发现与TSFM的互补性，通过特征拼接和持续预训练进一步提升性能。
2026-09-22 cs.AI cs.CV cs.LG
PaW-ViT: A Patch-based Warping Vision Transformer for Robust Ear Verification
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，诺丁汉大学）
PaW-ViT通过基于解剖学知识的补丁变形技术，提升耳部验证的鲁棒性，有效应对形状、大小和姿态变化。
2026-01-27 cs.CV
ViT-5: Vision Transformers for The Mid-2020s
Johns Hopkins University（约翰霍普金斯大学）
ViT-5通过改进组件和架构，提升了视觉变换器的性能和泛化能力，成为2020年代中期更优的视觉骨干网络。
2026-02-08 cs.CV
Vision Tiny Recursion Model (ViTRM): Parameter-Efficient Image Classification via Recursive State Refinement
Research Group（研究组）；AIMS RIC；SaH Analytics International
本文提出ViTRM，通过递归状态细化替代传统深度架构，实现参数高效图像分类，在CIFAR-10和CIFAR-100上表现优异。
2026-04-01 cs.CV
ViT-P: Rethinking Data-efficient Vision Transformers from Locality
Chongqing University of Technology（重庆理工大学）；University of California（加利福尼亚大学）
Transformers的最新进展为计算机视觉任务带来了新的信任。然而，在小数据集上，Transformers很难训练，并且性能低于卷积神经网络。我们通过引入多焦点注意偏差，使视觉Transformer与卷积神经网络一样具有数据效率。受训练良好的ViT的注意距离的启发，我们将ViT的自我注意限制为具有多尺度局部感受野。感受野的大小在训练过程中是自适应的，从而可以学习最佳配置。我们提供的经验证据表明，适当的限制感受野可以减少训练数据量的视觉Transformer。在Cifar 100上，我们的ViT-P Base模型实现了从头开始训练的最先进的准确率（83.16%）。我们还在ImageNet上进行了分析，以证明我们的方法在大型数据集上不会失去准确性。
2022-03-04 cs.CV
Unlocking Vision-Language Models for Video Anomaly Detection via Fine-Grained Prompting
Australian National University（澳大利亚国立大学）；Maincode；GE Research（通用电气研究）
针对现有视频异常检测提示过于抽象的问题，提出结构化提示框架ASK-Hint，通过动作中心知识和细粒度引导问题提升冻结VLM推理准确性与可解释性，在多个基准上取得SOTA且泛化性强。
2025-10-02 cs.AI cs.CV
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning
The University of British Columbia（不列颠哥伦比亚大学）
本文提出SGPT算法，通过共享提示与组特定提示结合及提示选择模块，在联邦学习中桥接广义与个性化学习，无需本地微调即可适应异质客户端数据分布，并在理论与实验上验证其优越性。
2024-02-25 cs.CV cs.LG
ViT-AdaLA: Adapting Vision Transformers with Linear Attention
Adobe Research（Adobe研究院）；Michigan State University, East Lansing, MI, USA.（密歇根州立大学，东兰辛，MI，美国）
本文提出ViT-AdaLA框架，通过注意力对齐、特征对齐和监督微调三阶段，有效将视觉基础模型的先验知识迁移至线性注意力ViT，提升长序列处理能力。
2026-10-27 cs.CV
UFO-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品，他们需要大量的计算资源的规模是二次$N$。这是传统的自注意（SA）算法的一个主要缺点。在这里，我们提出了单位力操作的视觉Transformer（UFO-ViT），一种新的SA机制，具有线性复杂性。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法，没有复杂的线性近似。通过修改只有几行代码，从原来的SA，所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2021-11-04 cs.CV
Q-ViT: Fully Differentiable Quantization for Vision Transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Megvii Technology（旷视科技）
本文提出了一种用于视觉Transformer（ViT）的完全可微量化方法Q-ViT，其中量化尺度和比特宽度都是可学习的参数。具体来说，基于我们的观察，头在ViT显示不同的量化鲁棒性，我们利用头的位宽挤压的大小Q-ViT，同时保持性能。此外，我们提出了一种新的技术称为可切换的尺度，以解决在量化尺度和位宽的联合训练的收敛问题。通过这种方式，Q-ViT将ViT量化的限制推到3位，而不会严重降低性能。此外，我们还分析了ViT的各个结构组件的量化鲁棒性，并表明多头自注意（MSA）和高斯误差线性单元（GELU）是ViT量化的关键方面。该研究为进一步研究ViT量子化提供了参考。在DeiT和Swin Transformer等不同ViT模型上的实验表明了该方法的有效性。特别是，我们的方法优于国家的最先进的均匀量化方法的1.5% DeiT-Tiny。
2022-09-06 cs.CV
ViTMatte: Boosting Image Matting with Pretrained Plain Vision Transformers
Huazhong University of Science & Technology（华中科技大学）
本文提出ViTMatte，首次将预训练普通视觉Transformer应用于图像抠图，通过混合注意力与卷积颈部及轻量细节捕获模块，在Composition-1k和Distinctions-646上以较大优势取得最先进性能。
2023-05-31 cs.CV
Jigsaw-ViT: Learning Jigsaw Puzzles in Vision Transformer
KU Leuven（鲁汶大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Trento（特伦托大学）
视觉Transformer（ViT）在各种计算机视觉任务中的成功促进了这种无卷积网络的日益普及。ViT对图像块起作用的事实使其可能与拼图游戏解决问题相关，拼图游戏解决问题是一种经典的自我监督任务，旨在将混洗的序列图像块重新排序回其自然形式。尽管它很简单，但解决拼图游戏已被证明有助于使用卷积神经网络（CNN）的各种任务，例如自监督特征表示学习，领域泛化和细粒度分类。在本文中，我们探索解决拼图作为一个自我监督的辅助损失的图像分类，Jigsaw-ViT。我们展示了两个修改，可以使Jigsaw-ViT优于标准ViT：丢弃位置嵌入和屏蔽补丁随机。然而，简单的，我们发现，Jigsaw-ViT是能够提高泛化和鲁棒性的标准ViT，这通常是一个权衡。实验表明，在ImageNet上的大规模图像分类中，添加拼图分支比ViT提供了更好的泛化能力。此外，辅助任务还提高了对Animal-10 N、Food-101 N和Clothing 1 M上的噪声标签以及对抗性示例的鲁棒性。我们的实现可以在https://yingyichen-cyy.github.io/Jigsaw-ViT/上获得。
2023-01-05 cs.CV
ViT-DD: Multi-Task Vision Transformer for Semi-Supervised Driver Distraction Detection
College of Engineering, Purdue University（普渡大学工程学院）
提出多任务视觉Transformer ViT-DD，融合分心检测与情绪识别信号，并开发自学习算法利用无标签数据，在SFDDD和AUCDD数据集上分别超越现有方法6.5%和0.9%。
2024-02-06 cs.CV
Unlocking Noise-Resistant Vision: Key Architectural Secrets for Robust Models
Department of Engineering, The University of Tokyo（东京大学工学部）
本研究通过大规模实验和理论分析，揭示了提升视觉模型对高斯噪声鲁棒性的四个关键架构设计模式，并提供了可操作的即插即用设计指南。
2025-09-25 cs.CV cs.LG
Improving Vision Transformers for Incremental Learning
Microsoft（微软）
本文提出了一种将视觉Transformer（ViT）应用于课堂增量学习的方法。虽然这个配方只是结合了现有的技术，但开发这种组合并不容易。首先，在增量学习中用ViT代替卷积神经网络（CNN）会导致严重的性能下降。其次，我们确定了天真地使用ViT的三个问题：（a）当类的数量很小时，ViT的收敛速度非常慢，（b）在ViT中观察到的新类比基于CNN的架构更偏向于新类，以及（c）ViT的传统学习率太低，无法学习到好的分类器层。最后，我们的解决方案，名为ITIL（ViT for Incremental Learning），在CIFAR和ImageNet数据集上实现了所有三类增量学习设置的最新技术水平。我们相信这将在增量学习社区中推进Transformer的知识。代码将公开发布。
2022-04-15 cs.CV
Positional Label for Self-Supervised Vision Transformer
Southwest Jiaotong University（西南交通大学）
位置编码对于视觉Transformer（ViT）捕获输入图像的空间结构是重要的。一般有效性已在ViT中得到证明。在我们的工作中，我们建议训练ViT识别输入图像的补丁的位置标签，这个看似简单的任务实际上产生了一个有意义的自我监督任务。基于ViT位置编码的工作，我们提出了两个位置标签专用于二维图像，包括绝对位置和相对位置。我们的位置标签可以很容易地插入到各种当前的ViT变体中。它可以通过两种方式工作：（a）作为vanilla ViT的辅助训练目标（例如，ViT-B和Swin-B）以获得更好的性能。(b)结合自我监督的ViT（例如，MAE）为语义特征学习提供更强大的自监督信号。实验表明，使用所提出的自监督方法，ViT-B和Swin-B在ImageNet上的增益分别提高了1.20%（top-1 Acc）和0.74%（top-1 Acc），在Mini-ImageNet上分别提高了6.15%和1.14%。
2023-02-16 cs.CV
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
Yitu Tech（依图科技）；National University of Singapore（新加坡国立大学）；YITU Technology Institute of Data Science（依图科技数据科学研究所）
Transformers是语言建模的热门工具，最近已被探索用于解决视觉任务，例如，用于图像分类的视觉Transformer（ViT）。ViT模型将每个图像分割成具有固定长度的标记序列，然后应用多个Transformer层来建模它们的全局关系以进行分类。然而，当在ImageNet等中型数据集上从头开始训练时，ViT的性能不如CNN。我们发现这是因为：1）输入图像的简单标记化未能对重要的局部结构（例如相邻像素之间的边缘和线）进行建模，导致低训练样本效率; 2）ViT的冗余注意力主干设计导致对于固定计算预算和有限训练样本的有限特征丰富度。为了克服这些限制，我们提出了一种新的令牌到令牌视觉Transformer（T2 T-ViT），它包括1）逐层令牌到令牌（T2 T）变换，通过递归地将相邻令牌聚合成一个令牌来逐步将图像结构化为令牌（令牌到令牌），使得可以对由周围令牌表示的局部结构进行建模并且可以减少令牌长度;（2）基于CNN的结构设计，通过实验研究，提出了一种具有深窄结构的高效视觉Transformer骨干。值得注意的是，T2 T-ViT将vanilla ViT的参数计数和MAC减少了一半，同时在ImageNet上从头开始训练时实现了超过3.0%的改进。它的性能也优于ResNets，并通过直接在ImageNet上进行训练来实现与MobileNets相当的性能。例如，具有与ResNet 50…
2021-11-30 cs.CV
Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
大型预训练的视觉Transformer（ViTs）在各种视觉任务上表现出卓越的性能，但是当部署在资源受限的设备上时，遭受昂贵的计算和存储器成本问题。在众多强大的压缩方法中，量化通过低比特参数和逐位操作极大地减少了计算量和内存消耗。然而，低位ViT仍然在很大程度上未被探索，并且与实值对应物相比，通常遭受显着的性能下降。在这项工作中，通过大量的实证分析，我们首先确定严重的性能下降的瓶颈来自低比特量化的自注意映射的信息失真。然后，我们开发了一个信息整流模块（EQUIPMENT）和分布引导蒸馏（DGD）计划的完全量化的视觉Transformer（Q-ViT），以有效地消除这种失真，导致一个完全量化的ViT。我们评估我们的方法流行的DeiT和Swin骨干。大量的实验结果表明，我们的方法实现了更好的性能比现有技术。例如，我们的Q-ViT理论上可以将ViT-S加速6.14倍，并实现约80.9%的Top-1准确度，甚至超过ImageNet数据集上的全精度对应物1.0%。我们的代码和型号附在https://github.com/YanjingLi0202/Q-ViT上
2022-10-13 cs.CV
Discrete Representations Strengthen Vision Transformer Robustness
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）
视觉Transformer（ViT）正在成为图像识别的最先进架构。虽然最近的研究表明ViTs比卷积对应物更强大，但我们的实验发现，在ImageNet上训练的ViTs过度依赖于局部纹理，并且未能充分利用形状信息。因此，ViT很难推广到分布外的真实世界数据。为了解决这一缺陷，我们提出了一个简单而有效的架构修改ViT的输入层，通过添加离散令牌产生的矢量量化编码器。与标准的连续像素令牌不同，离散令牌在小扰动下具有不变性，单个令牌所包含的信息较少，这使得ViT能够学习全局不变的信息。实验结果表明，在四种架构变体上添加离散表示可以在七个ImageNet鲁棒性基准测试中将ViT鲁棒性增强12%，同时保持ImageNet的性能。
2022-04-02 cs.CV
FQ-ViT: Post-Training Quantization for Fully Quantized Vision Transformer
MEGVII Technology（旷视科技）
网络量化显著降低了模型推理的复杂性，并已广泛应用于现实世界的部署。然而，大多数现有的量化方法主要是在卷积神经网络（CNN）上开发的，并且当应用于完全量化的视觉Transformer时遭受严重的退化。在这项工作中，我们证明了这些困难中的许多出现，因为严重的通道间变化LayerNorm输入，目前，功率的两个因素（PTF），一个系统的方法，以减少性能下降和推理的复杂性，完全量化的视觉Transformer。此外，观察到注意力地图中的极端非均匀分布，我们提出Log-Int-Softmax（LIS）来维持这一点，并通过使用4位量化和BitShift运算符来简化推理。在各种基于变换器的架构和基准测试上的综合实验表明，我们的全量化视觉Transformer（VIP-ViT）优于以前的作品，即使在注意力地图上使用较低的位宽。例如，我们在ImageNet上使用ViT-L达到了84.89%的top-1准确率，在COCO上使用Cascade Mask R-CNN（Swin-S）达到了50.8 mAP。据我们所知，我们是第一个在完全量化的视觉Transformer上实现无损精度下降（~1%）的公司。该代码可在https://github.com/megvii-research/FQ-ViT上获得。
2023-02-17 cs.CV
ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）
近年来，基于视觉Transformer（ViT）的细粒度视觉分类方法被提出，这些方法明显优于现有的基于CNN的方法，证明了ViT在细粒度视觉分类中的有效性。然而，直接将ViT应用于细粒度视觉分类时存在一些局限性。首先，ViT需要将图像分割成小块并计算每对图像的注意力，二是标准ViT只利用最后一层的类标记进行分类，不足以提取全面的细粒度信息。为了解决这些问题，我们提出了一种新的ViT为FGVC任务，ViT-FOD为短的基于细粒度对象检索。具体来说，除了ViT骨干，它进一步引入了三个新的组件，即注意补丁组合（APC），关键区域过滤器（CRF）和互补令牌集成（CTI）。其中，APC将两幅图像中的信息块分割成一幅新的图像，从而减少了冗余计算。CRF强调与区分区域相对应的标记，以生成新的类别标记用于细微特征学习。为了提取全面的信息，CTI集成了不同ViT层中的类令牌捕获的补充信息。我们在广泛使用的数据集上进行了全面的实验，结果表明ViT-FOD能够实现最先进的性能。
2022-03-24 cs.CV
SVD-ViT: Does SVD Make Vision Transformers Attend More to the Foreground?
Meijo University（静冈大学）
SVD-ViT通过引入奇异值分解来增强视觉变换器对前景特征的学习，从而提升分类性能并减少背景噪声的影响。
2026-02-08 cs.CV
