SwInception -- Local Attention Meets Convolutions
Chalmers University of technology（查尔姆斯理工大学）；Zenseact（Zenseact公司）
提出SwInception架构，通过在Swin Transformer的前馈层引入Inception块增强归纳偏置，并改进解码器以更少参数捕捉细节，在多个医学数据集上提升分割性能。
2026-05-28 cs.CV
A Comprehensive Study of Vision Transformers on Dense Prediction Tasks
Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）
卷积神经网络（CNN），由卷积层组成的架构，已经成为视觉任务的标准选择。最近的研究表明，视觉Transformer（VT），基于自我注意模块的架构，在具有挑战性的任务，如目标检测和语义分割，实现相当的性能。然而，VT的图像处理机制与传统CNN的不同。这提出了几个问题，他们的普遍性，鲁棒性，可靠性和纹理偏见时，用于提取复杂任务的功能。为了解决这些问题，我们研究和比较VT和CNN架构作为目标检测和语义分割中的特征提取器。我们广泛的经验结果表明，在这两个任务中，由VT生成的特征对分布偏移、自然损坏和对抗攻击更鲁棒，而CNN在目标检测中在更高的图像分辨率下表现更好。此外，我们的研究结果表明，在密集的预测任务中的VT产生更可靠和更少的纹理偏见的预测。
2022-01-21 cs.CV
General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation
Queensland University of Technology（昆士兰科技大学）
本文研究通用多模态网络PerceiverIO在遥感语义分割中的不足，提出结合3D卷积与交叉注意力的UNet风格空间体积学习组件，以解决尺度变化和类别不平衡问题，在保持竞争力的同时减少专用架构设计工作。
2023-07-07 cs.CV
Contextual Attention Network: Transformer Meets U-Net
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
目前，卷积神经网络（CNN）（例如，U-Net）已经成为事实上的标准，并取得了巨大的成功，在医学图像分割。然而，作为缺点，基于CNN的方法是一把双刃剑，因为由于卷积运算的固有特性导致的有限的接受域，它们无法建立长距离依赖关系和全局上下文连接。因此，最近的文章已经利用Transformer变体进行医学图像分割任务，由于其通过注意力机制捕获远程相关性的固有能力，这些任务开辟了很大的机会。虽然设计可行，但大多数队列研究在捕获局部信息方面表现不佳，从而导致边界区域不清晰。在本文中，我们提出了一个上下文注意力网络来解决上述限制。该方法利用Transformer模块的强度对长距离上下文依赖进行建模。同时，它利用CNN编码器捕获本地语义信息。此外，一个对象级的表示包括模拟区域的相互作用地图。然后将提取的分层特征馈送到上下文注意力模块，以使用局部信息自适应地重新校准表示空间。然后，他们强调信息区域，同时考虑到由Transformer模块导出的长距离上下文依赖性。我们在几个大规模的公共医学图像分割数据集上验证了我们的方法，并达到了最先进的性能。我们在https://github.com/rezazad68/TMUnet中提供了实现代码。
2022-03-31 cs.CV cs.LG eess.IV
When Training-Free NAS Meets Vision Transformer: A Neural Tangent Kernel Perspective
Shanghai University of Electric Power（上海电力大学）；College of Mathematics and Physics（数学与物理学院）；Midea Group（美的集团）
针对 NTK 指标在免训练 ViT 架构搜索中失效的问题，提出融合输入 Fourier features 的 ViNTK，以补足高频特征学习评估，并在分类与分割任务中显著降低搜索成本。
2024-03-15 cs.AI cs.CV cs.LG
Uncertainty Meets Diversity: A Comprehensive Active Learning Framework for Indoor 3D Object Detection
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
针对室内3D目标检测标注负担重、现有主动学习未覆盖室内场景的问题，提出结合不确定性与多样性准则、含CAP库的主动学习框架，仅用10%标注预算达全监督性能85%以上。
2025-03-20 cs.CV
TransGUNet: Transformer Meets Graph-based Skip Connection for Medical Image Segmentation
Inha University（仁荷大学）
本文提出 TransGUNet，通过 ACS-GNN 图跳跃连接和 EFS 空间注意力增强多模态医学图像分割，在 6 个已见与 8 个未见数据集上取得更优性能和效率。
2025-02-14 cs.AI cs.CV
State Space Model Meets Transformer: A New Paradigm for 3D Object Detection
University of Science and Technology of China（中国科学技术大学）；Dongguan University of Technology（东莞理工学院）
针对基于DETR的3D室内目标检测中解码器后续层贡献有限的问题，提出将查询建模为系统状态、场景点为输入的交互式SSM检测范式DEST，以线性复杂度同时更新两类特征，在多个数据集上取得性能提升与新SOTA。
2025-03-19 cs.AI cs.CV
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
ViTs are Everywhere: A Comprehensive Study Showcasing Vision Transformers in Different Domain
Beijing Institute of Technology（北京理工大学）
本文综述Vision Transformer在计算机视觉中的应用，按图像分类、分割、视频、去噪、NAS等任务梳理模型优劣、最新进展与未来方向。
2023-10-13 cs.AI cs.CV
Vision Transformers on the Edge: A Comprehensive Survey of Model Compression and Acceleration Strategies
Oakland University（奥克兰大学）
本综述针对视觉Transformer（ViTs）高计算复杂度导致边缘部署困难的问题，系统梳理了ViT的模型压缩技术、边缘推理软件工具及硬件加速策略，分析其准确率、效率与硬件适配性的权衡，指明边缘部署的挑战与研究方向。
2026-10-27 cs.AR cs.CV
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在视频对象跟踪中，连续帧之间存在丰富的时间上下文，这在很大程度上被现有的跟踪器所忽视。在这项工作中，我们的桥梁的各个视频帧，并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同，我们将其编码器和解码器分成两个并行分支，并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板，这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧，这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的，并以端到端的方式进行训练。与建议的Transformer，一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合，我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
CMT: Convolutional Neural Networks Meet Vision Transformers
University of Sydney（悉尼大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由于视觉Transformer能够捕获图像中的长距离依赖关系，因此已成功应用于图像识别任务。然而，Transformers和现有的卷积神经网络（CNN）之间在性能和计算成本方面仍然存在差距。在本文中，我们的目标是解决这个问题，并开发一个网络，它不仅可以超越经典的Transformers，而且还可以超越高性能的卷积模型。我们提出了一种新的基于Transformer的混合网络，利用Transformers来捕获远程依赖关系，并利用CNN来建模局部特征。此外，我们将其缩放以获得一系列模型，称为CMT，获得比以前的卷积和基于Transformer的模型更好的准确性和效率。特别是，我们的CMT-S在ImageNet上达到了83.5%的top-1准确率，而FLOP分别比现有的DeiT和EfficientNet小14倍和2倍。提出的CMT-S还可以很好地推广CIFAR 10（99.2%），CIFAR 100（91.7%），Flowers（98.7%）和其他具有挑战性的视觉数据集，如COCO（44.3%mAP），计算成本大大降低。
2022-06-14 cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）
近年来，掩码图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络（编码器）中丢弃被掩蔽的图像块（或令牌），这要求编码器是普通的视觉Transformer（例如，ViT），尽管是分层的视觉Transformer（例如，Swin Transformer）在制定视觉输入方面具有潜在的更好的性质。在本文中，我们提出了一种新的设计分层视觉Transformer命名为HiViT（简称分层ViT），享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”，得到结构简单的分层视觉Transformer，其中掩模单元可以像普通视觉Transformer一样被序列化。为此，我们从Swin Transformer开始，并且（i）将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小，（ii）在主阶段之前关闭单元间自关注，以及（iii）消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是，在ImageNet-1 K上运行MAE时，HiViT-B报告比ViT-B准确率提高了+0.6%，比Swin-B提高了1.9 $\times$速度，并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
CF-DETR: Coarse-to-Fine Transformer for Real-Time Object Detection
University of Seoul（首尔大学）；KAIST（韩国科学技术院）；Sungkyunkwan University（全南大学）
提出CF-DETR系统，通过粗到细Transformer架构与NPFP**调度框架，动态调整推理粒度，在满足实时截止期限的同时显著提升自动驾驶目标检测准确性。
2025-05-29 cs.CV cs.SY eess.SY
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University（安徽大学）
Few-Shot分类是一种利用有限样本识别未知类别的分类方法，受到了越来越多的关注。通常，它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习（1）支持集和查询集中图像的一致表示和（2）支持集和查询集之间图像的有效度量学习。在本文中，我们表明，这两个挑战可以很好地同时通过一个统一的查询支持Transformer（QSFormer）模型建模。具体来说，所提出的QSFormer包括全局查询支持样本Transformer（sampleFormer）分支和局部补丁Transformer（patchFormer）学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询（图像）表示和度量学习进行建模，实现了Few-Shot分类任务。此外，作为对全局学习分支的补充，我们采用了局部块Transformer，通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外，提出了一种新的跨尺度交互式特征提取器（CIFE），用于提取和融合多尺度CNN特征，作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中，并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
Harmformer: Harmonic Networks Meet Transformers for Continuous Roto-Translation Equivariance
Institute of Information Theory and Automation（信息理论与自动化研究所）；Czech Academy of Sciences（捷克科学院）
提出Harmformer，一种结合谐波网络与Transformer的模型，实现平移和连续旋转等变性，优于先前等变Transformer，并展示对任意旋转的固有稳定性。
2024-11-06 cs.CV
When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism
MSRA（微软亚洲研究院）
注意力机制是视觉Transformer（ViTs）成功的关键，因为它提供了一种灵活而强大的空间关系建模方法。然而，注意力机制真的是ViT不可或缺的一部分吗？它是否可以被其他替代品所取代？为了揭开注意力机制的作用，我们将其简化为一个极其简单的情况：零FLOP和零参数。具体地说，我们重新讨论移位操作。它不包含任何参数或算术计算。唯一的操作是在相邻特征之间交换一小部分通道。基于这个简单的操作，我们构建了一个新的骨干网络，即ShiftViT，其中ViT中的注意力层被移位操作所取代。令人惊讶的是，ShiftViT在几个主流任务中工作得很好，例如，分类、检测和分割。性能与强大的基准Swin Transformer相当，甚至更好。这些结果表明，注意力机制可能不是ViT成功的关键因素。它甚至可以被零参数操作所取代。在今后的工作中，我们应该更多地关注ViT的其余部分。代码可在github.com/microsoft/SPACH上获得。
2022-01-26 cs.CV
Magic ELF: Image Deraining Meets Association Learning and Transformer
Wuhan University（武汉大学）；University of Central Florida（中佛罗里达大学）；Shenzhen University（深圳大学）；National Tsing Hua University（台湾清华大学）
卷积神经网络（CNN）和Transformer在多媒体应用中取得了巨大的成功。然而，很少有人努力有效地和高效地协调这两种架构，以满足图像去水印。本文的目的是统一这两种架构，利用他们的学习优点的图像去重。特别是，CNN的局部连通性和平移等方差以及Transformer中自注意力（SA）的全局聚合能力被充分利用，用于特定的局部上下文和全局结构表示。基于降雨分布揭示退化位置和程度的观察，我们引入退化之前，以帮助背景恢复，并相应地提出了关联细化去噪方案。提出了一种新的多输入注意力模块（MAM），将雨扰动去除和背景恢复相结合。此外，我们为我们的模型配备了有效的深度可分离卷积来学习特定的特征表示并权衡计算复杂性。大量的实验表明，该方法（ELF）比MPRNet方法的平均性能提高了0.25dB，但计算量和参数仅占MPRNet方法的11.7%和42.1%。源代码可在https://github.com/kuijiang94/Magic-ELF上获得。
2022-07-21 cs.CV
Diffusion Transformer meets Multi-level Wavelet Spectrum for Single Image Super-Resolution
Samsung R&D Institute China Xi’an (SRCX)（三星中国研发中心西安（SRCX））；Samsung Electronics Co., LTD., South Korea（三星电子有限公司，韩国）
针对现有基于DWT的超分辨率方法忽略多尺度频率子带相互关系导致伪影的问题，提出DTWSR模型，结合扩散模型与Transformer，通过多级小波变换和金字塔分词捕获空间与频率特征，并设计双解码器处理高低频子带，在感知质量与保真度上均取得高性能。
2025-11-04 cs.CV
F2former: When Fractional Fourier Meets Deep Wiener Deconvolution and Selective Frequency Transformer for Image Deblurring
Space Applications Centre (SAC)（空间应用中心（SAC））；Indian Institute of Space Science and Technology (IIST)（印度空间科学技术学院（IIST））
本文提出F2former，利用分数阶傅里叶变换结合深度维纳反卷积与选择性频率Transformer，通过分数频率感知自注意力和频分复用前馈网络实现运动与散焦图像去模糊，性能优于现有SOTA方法。
2024-09-03 cs.CV
When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture
Peking University（北京大学）；The University of Tokyo（东京大学）
视觉Transformer（ViTs）最近在宽视觉任务中实现了具有竞争力的性能。不幸的是，在流行的威胁模型上，自然训练的ViT并不比卷积神经网络（CNN）提供更多的对抗鲁棒性。对抗性训练仍然是必要的，以抵御这种对抗攻击。在本文中，我们通过对基准数据集上的各种训练技术进行广泛评估，首次全面研究了ViTs的对抗性训练方法。我们发现预训练和SGD优化器对于ViTs的对抗训练是必要的。进一步考虑ViT作为一种新型的模型架构，我们从其独特的架构组件的角度研究其对抗鲁棒性。我们发现，当在对抗性训练期间随机掩蔽来自某些注意力块的梯度或掩蔽某些补丁上的扰动时，ViTs的对抗性鲁棒性可以显着提高，这可能会开辟一条探索新设计的模型（如ViTs）内部架构信息的工作路线。我们的代码可在https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers上获得。
2022-10-14 cs.CV cs.LG
Local Masking Meets Progressive Freezing: Crafting Efficient Vision Transformers for Self-Supervised Learning
Graduate School of Informatics（信息学研究生院）；METU（中东技术大学）
提出融合局部掩码图像建模与渐进式层冻结的 ViT 自监督方法，通过多尺度重建降低约 12.5% 训练时间且准确率损失极小。
2023-12-02 cs.CV
Token Compression Meets Compact Vision Transformers: A Survey and Comparative Evaluation for Edge AI
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
本文首次提出token压缩方法的系统分类，并在标准与紧凑型ViT架构上进行对比评估，发现这些方法在紧凑型设计中往往表现不佳，为Edge AI和AI agent应用的token优化提供了实用见解。
2025-07-13 cs.CV
Multiscale Vision Transformers meet Bipartite Matching for efficient single-stage Action Localization
Queen Mary University London（伦敦玛丽女王大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）
本文提出BMViT，将二分匹配损失直接应用于视觉变换器输出令牌，实现单阶段动作定位，无需额外解码器头，在AVA2.2上超越两阶段MViTv2-S，获得+3 mAP提升。
2024-05-23 cs.CV
Diffusion Transformer Meets Random Masks: An Advanced PET Reconstruction Framework
Nanchang University（南昌大学）；Ji Luan Academy, Nanchang University（南昌大学箕栾学院）
本文提出DREAM框架，首次将随机掩码机制同时引入正弦图域和潜在空间，结合高维堆叠、掩码驱动潜在空间与分层掩码策略，在提升PET重建质量与效率的同时保留关键临床细节。
2025-03-11 cs.CV
CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification
针对 CNN 局部建模局限和样本不平衡问题，本文提出融合 CNN 与 Transformer 的 CMTNet，通过光谱-空间提取、双分支和多输出约束提升高光谱作物分类性能。
2025-01-10 cs.CV cs.GR
Transformers Meet Hyperspectral Imaging: A Comprehensive Study of Models, Challenges and Open Problems
Department of Electrical, Computer and Software Engineering University of Auckland（电气、计算机与软件工程系 阿德莱德大学）
本文综述 300 多篇截至 2025 年的论文，系统梳理基于 Transformer 的高光谱图像分类流程、设计选择与核心挑战，并提出数据集、轻量化、鲁棒性和可解释性方面的研究议程。
2025-06-10 cs.AI cs.CV
Comprehensive Survey of Model Compression and Speed up for Vision Transformers
Coupang；Oracle（甲骨文公司）；Bazaarvoice Inc.（Bazaarvoice 公司）；Carnegie Mellon University（卡内基梅隆大学）
该综述针对ViT计算与内存需求高、部署难的问题，评估了量化、低秩近似等四种压缩技术及其组合的优化效果，验证了其可平衡精度与效率，助力ViT在边缘设备的应用。
2024-04-16 cs.CV
Explainability of Vision Transformers: A Comprehensive Review and New Perspectives
School of Computer Science（计算机科学学院）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所）；Okinawa Institute of Science and Technology (OIST)（冲绳科学技术大学院大学）
本文综述了视觉Transformer的可解释性方法，提出按动机、结构和应用场景分类的分类法，并评述了评估标准、工具及未来研究方向，旨在理解模型决策并建立信任。
2023-11-12 cs.CV
Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）；VAST（北京智源人工智能研究院）
针对现有单视图3D重建方法优化渲染慢的问题，提出结合点解码器与triplane解码器的Transformer架构，用混合Triplane-Gaussian表示实现前馈式快速高质量重建，在合成与真实数据上均优于现有SOTA方法。
2023-12-16 cs.CV
Feature Combination Meets Attention: Baidu Soccer Embeddings and Transformer based Temporal Detection
Baidu Research（百度研究院）
随着互联网技术和新兴工具的快速发展，在线生成的体育相关视频正在以前所未有的速度增长。为了自动化体育视频编辑/高光生成过程，一个关键的任务是精确地识别和定位长的未修剪的视频中的事件。在这份技术报告中，我们提出了一个两阶段的范例来检测足球广播视频中发生的事件以及事件发生的时间。具体来说，我们对足球数据的多个动作识别模型进行了微调，以提取高层次的语义特征，并设计了一个基于Transformer的时间检测模块来定位目标事件。这种方法在两个任务中都实现了最先进的性能，即，行动发现和重播接地，在足球网v2挑战赛，根据CVPR 2021 ActivityNet研讨会。我们的足球嵌入功能在https://github.com/baidu-research/vidpress-sports上发布。通过与更广泛的社区共享这些功能，我们希望加速对足球视频理解的研究。
2021-06-28 cs.AI cs.CV cs.LG
Deep Transformers Thirst for Comprehensive-Frequency Data
Academy of Military Science of the People’s Liberation Army（中国人民解放军军事科学院）
目前的研究表明，电感偏置（IB）可以提高视觉Transformer（ViT）的性能。然而，它们同时引入金字塔结构以抵消引入IB所引起的增量FLOP和参数。这种结构破坏了计算机视觉和自然语言处理（NLP）的统一性，使模型复杂化。我们研究了一个名为LSRA的NLP模型，它引入了一个无结构的IB。我们分析了它优于ViT的原因，发现引入IB增加了每一层中高频数据的份额，从而“关注”更多的信息。因此，头部注意到更多样化的信息，表现出更好的性能。为了进一步探索Transformers的潜力，我们提出了EIT，它有效地将IB引入到ViT中，并在无噪声结构下采用了一种新的递减卷积结构。EIT在ImageNet-1 K上实现了与最先进的（SOTA）方法竞争的性能，并在具有无噪声结构的相同尺度模型上实现了SOTA性能。
2022-11-17 cs.CV
Spikformer: When Spiking Neural Network Meets Transformer
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Sea AI Lab（Sea人工智能实验室）；Shenzhen EEGSmart Technology Co., Ltd.（深圳脑陆科技有限公司）
我们考虑两个生物学上合理的结构，脉冲神经网络（SNN）和自我注意力机制。前者为深度学习提供了一个节能和事件驱动的范例，而后者具有捕获特征依赖关系的能力，使Transformer能够实现良好的性能。这是直观的承诺，探索他们之间的婚姻。在本文中，我们考虑利用自我注意能力和SNN的生物学特性，并提出了一种新的尖峰自我注意（SSA）以及一个强大的框架，命名为尖峰Transformer（Spikformer）。Spikformer中的SSA机制通过使用spike-form Query、Key和Value而不使用softmax来对稀疏视觉特征进行建模。由于其计算稀疏，避免了乘法，SSA是高效的，具有低的计算能耗。结果表明，Spikformer与SSA可以优于国家的最先进的SNNs样框架在图像分类的神经形态和静态数据集。Spikformer（66.3M参数）与SEW-ResNet-152（60.2M，69.26%）大小相当，可以在ImageNet上使用4个时间步长实现74.81%的top1准确率，这是直接训练SNN模型的最新技术。
2022-11-22 cs.CV cs.LG cs.NE
A Comprehensive Survey of Transformers for Computer Vision
Sejong University（世宗大学）
作为一种特殊的Transformer，视觉变换器（Vision Transformers，ViTs）被广泛应用于图像识别等计算机视觉领域。卷积神经网络（CNN）有几个潜在的问题可以用ViT来解决。对于压缩、超分辨率、分割和去噪等图像编码任务，使用ViT的不同变体。本调查的目的是介绍ViTs在CV中的首次应用。据我们所知，这项调查是第一次针对简历的ViTs调查。在第一步中，我们对ViT适用的不同CV应用进行分类。CV应用包括图像分类、目标检测、图像分割、图像压缩、图像超分辨率、图像去噪和异常检测。我们的下一步是审查每个类别的最新技术水平，并列出可用的模型。接下来，我们对每种模式进行了详细的分析和比较，并列出了其优缺点。之后，我们提出了我们对每个类别的见解和经验教训。此外，我们还讨论了几个开放的研究挑战和未来的研究方向。
2022-11-11 cs.CV
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University（亚利桑那州立大学）
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题，基于ImageNet数据集通过白盒、黑盒攻击实验，分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Tracker Meets Night: A Transformer Enhancer for UAV Tracking
Tongji University（同济大学）；JD.COM Inc.（京东集团）
以往的目标跟踪技术大多是在光照条件较好的白天场景中实现的。现有的无人机夜间跟踪技术难以发挥其优势，严重阻碍了视觉跟踪在无人机领域的应用。为了实现无人机夜间可靠跟踪，提出了一种基于空间通道变换器的微光增强器（SCT），该增强器采用任务激励的方式进行训练，并在跟踪方法之前插入。为了实现针对高层次任务的语义级弱光增强，提出了一种新的空间通道注意力模块，在保持局部上下文的同时对全局信息进行建模。在增强过程中，SCT通过一个鲁棒的非线性曲线投影同时对夜间图像进行去噪和照明。此外，为了提供全面的评估，我们构建了一个具有挑战性的夜间跟踪基准，即DarkTrack2021，其中包含110个具有挑战性的序列，总共超过100 K帧。对公共UAVDark 135基准测试和新构建的DarkTrack 2021基准测试的评估表明，与其他顶级低光增强器相比，任务启发式设计使SCT在夜间无人机跟踪方面具有显着的性能提升。在典型无人机平台上的实际测试进一步验证了该方法的实用性。DarkTrack2021基准测试和所提出的方法的代码可在https://github.com/vision4robotics/SCT上公开获得。
2023-03-20 cs.CV cs.RO
A Comprehensive Evaluation of Transformer-Based Question Answering Models and RAG-Enhanced Design
Machine Learning, ICML（机器学习，ICML）
本文综合评估了多跳问答中的检索策略，提出结合稠密嵌入、词法重叠与重排序的混合检索方法，并采用EfficientRAG进行查询优化，在HotpotQA上实现精确匹配相对提升50%、F1提升47%，验证了混合RAG作为零样本方案的实用价值。
2025-09-26 cs.CV
Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review
University of Regensburg（雷根斯堡大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学研究所）；RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；Shahid Beheshti University（沙希德·贝赫什提大学）
本综述系统梳理了视觉Transformer在医学图像分类、分割等多类任务中的应用，分析各方法的优劣并构建分类体系，列出基准结果，总结挑战与未来方向，同时提供相关论文实现的开源汇总。
2023-11-05 cs.CV
When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个基于转换器的架构，即TF-把握，机器人把握检测。开发的TF-Grasp框架有两个精心设计，使其非常适合视觉抓取任务。第一个关键设计是采用局部窗口注意来捕捉可抓取对象的局部上下文信息和细节特征。然后，我们应用交叉窗口注意力来建模遥远的像素之间的长期依赖关系。对象知识，环境配置和不同的视觉实体之间的关系被聚合，用于后续的抓取检测。第二个关键的设计是，我们建立了一个分层的编码器-解码器架构与跳跃连接，提供浅功能从编码器到解码器，使多尺度特征融合。由于强大的注意力机制，TF-Grasp可以同时获得局部信息（即，物体的轮廓），并对长期联系进行建模，例如杂乱中不同视觉概念之间的关系。广泛的计算实验表明，与最先进的抓取卷积模型相比，TF-Grasp实现了更好的结果，并在Cornell和Jardin抓取数据集上分别达到了97.99%和94.6%的更高准确度。使用7 DoF Franka Panda机器人的真实实验也证明了它在各种场景中抓住看不见的物体的能力。代码和预训练模型将在https://github.com/WangShaoSUN/grasp-transformer上提供
2022-09-13 cs.AI cs.CV cs.RO
Image Classification of Stroke Blood Clot Origin using Deep Convolutional Neural Networks and Visual Transformers
本文提出利用四种深度神经网络架构和简单集成方法，对急性缺血性卒中的心源性与大动脉粥样硬化性两种病因亚型进行血凝块图像分类。
2023-05-25 cs.CV
Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；MIT Media Lab（麻省理工学院媒体实验室）；University of Oulu（奥卢大学）
本文寻求一种用于可视化Transformer（ViT）体系结构的分布式学习解决方案。与卷积神经网络（CNN）架构相比，ViT通常具有更大的模型大小，并且计算成本高，使得联邦学习（FL）不适合。分裂学习（SL）可以通过分裂模型并在分裂层传达隐藏的表示（也称为破碎数据）来绕过这个问题。尽管如此，ViT的粉碎数据与输入数据一样大并且一样相似，否定了SL的通信效率，同时违反了数据隐私。为了解决这些问题，我们提出了一种新的形式的CutSmashed数据通过随机打孔和压缩原始粉碎数据。利用这一点，我们开发了一个新的SL框架的ViT，创造CutMixSL，通信CutSmashed数据。CutMixSL不仅降低了通信成本和隐私泄露，还内在地涉及到CutMix的数据增强，提高了准确性和可扩展性。模拟证实，CutMixSL优于基线，如并行SL和SplitFed，集成FL与SL。
2022-07-01 cs.CR cs.CV cs.DC
Transformer-based Spatial Grounding: A Comprehensive Survey
School of Intelligent Manufacturing, South China University of Technology（华南理工大学智能制造学院）；Department of Software Engineering, University of Engineering & Technology（工程大学软件工程系）
本文系统综述了2018至2025年基于Transformer的空间定位方法，梳理主流架构、数据集、评估指标及工业应用趋势，为构建稳健实用的模型提供指导。
2025-07-17 cs.AI cs.CV
U-Netmer: U-Net meets Transformer for medical image segmentation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
提出U-Netmer，一种全局-局部方式结合U-Net与Transformer的医学图像分割方法，通过保留局部像素交互和适应多尺度训练解决token展平与尺度敏感性问题，在7个数据集上达到SOTA。
2023-04-03 cs.CV eess.IV
Place Recognition Meet Multiple Modalitie: A Comprehensive Review, Current Challenges and Future Directions
Fuzhou University（福州大学）；Shanghai Jiaotong University（上海交通大学）；Tongji University（同济大学）
本文系统综述了地点识别中CNN、Transformer和跨模态三类方法的发展、数据集与评估指标，并指出域自适应、实时性和终身学习等未来方向。
2025-06-05 cs.CV
Comprehensive Information Bottleneck for Unveiling Universal Attribution to Interpret Vision Transformers
Dept. of Artificial Intelligence, Korea University, Seoul, Korea（人工智能系，韩国大学）
本文提出综合信息瓶颈CoIBA，通过在多个目标层间共享参数化阻尼比来估计综合信息并补充被过度压缩的决策线索，从而提升视觉Transformer特征归因的忠实性。
2025-07-06 cs.CV
Explainable AI-Driven Detection of Human Monkeypox Using Deep Learning and Vision Transformers: A Comprehensive Analysis
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文研究利用深度学习和视觉Transformer从皮肤病变图像检测猴痘，发现从头训练受数据集限制，采用迁移学习后MobileNet-v2以93.15%准确率表现最佳，并用可解释AI验证模型性能。
2025-04-03 cs.CV
Recurrence Meets Transformers for Universal Multimodal Retrieval
Department of Education and Humanities, University of Modena and Reggio Emilia（教育与人文学院, Modena and Reggio Emilia大学）
本文提出结合循环机制与Transformer的统一多模态检索模型ReT-2，其支持多模态查询，在M2KR等基准上达最优性能，推理更快、内存占用更低，还可提升下游任务表现。
2026-08-28 cs.AI cs.CL cs.CV
GaussianBeV: 3D Gaussian Representation meets Perception Models for BeV Segmentation
CEA List（法国原子能和替代能源委员会 List 研究所）
针对现有BeV视图变换对3D空间子采样导致精细结构建模不足的问题，提出GaussianBeV，利用在线3D高斯表示与高斯泼溅渲染生成BeV特征图，并在nuScenes语义分割上达到最先进性能。
2024-12-04 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑工业大学）
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块，相关的粗深度预测，聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外，我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块，我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比，这产生了几何上有意义的注意力，并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Large Language Models Meet Computer Vision: A Brief Survey
Tahakom（塔哈科姆）
本文综述了大型语言模型与计算机视觉的交叉研究，分析了Transformer及视觉Transformer的演进，比较了主流付费与开源LLM的性能，梳理了用于视觉任务的方法和训练数据集，并指出了未来研究方向。
2023-11-28 cs.AI cs.CV
Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）
生成对抗网络（GANs）在合成给定数据集中的图像方面非常成功。由GANs人工生成的图像非常逼真。GANs已经在几个计算机视觉应用中显示出潜在的可用性，包括图像生成、图像到图像转换、视频合成等。传统上，生成器网络是GANs的骨干，生成器网络生成样本，而神经网络用于促进生成器网络的训练。卷积神经网络（Convolutional Neural Network，CNN）。然而，生成器网络通常是用于图像生成的Up-CNN或用于图像到图像转换的编码器-解码器网络。基于卷积的网络利用层中的局部关系，这需要深度网络来提取抽象特征。因此，CNN必须利用特征空间中的全局关系。然而，最近开发的Transformer网络能够在每一层利用全局关系。Transformer网络在解决计算机视觉中的几个问题时表现出了巨大的性能改进。受Transformer网络和GANs成功的启发，最近的工作试图利用GAN框架中的Transformers进行图像/视频合成。本文对基于Transformer网络的GANs在计算机视觉应用中的发展和进步进行了全面的综述。在基准数据集上对几个应用程序的性能进行了比较和分析。所进行的调查将非常有助于深度学习和计算机视觉社区了解与基于transformer的GANs相关的研究趋势和差距，并通过利用不同应用的全局和局部关系来开发高级GAN架构。
2023-02-17 cs.CV eess.IV
Transformers and Language Models in Form Understanding: A Comprehensive Review of Scanned Document Analysis
University of Innsbruck（因斯布鲁克大学）
本文是扫描文档表单理解领域的综合综述，梳理Transformer与语言模型的技术进展、相关数据集基准，对比模型能力，为从业者选择适配方案提供指导。
2024-03-06 cs.CL cs.CV
Vis-TOP: Visual Transformer Overlay Processor
Wuhan University of Science and Technology（武汉科技大学）；Wuhan University（武汉大学）
近年来，Transformer在自然语言处理（NLP）方面取得了不错的成绩，也开始向计算机视觉（CV）领域拓展。出现了Vision Transformer、Swin Transformer等优秀机型。同时，将Transformer模型的平台扩展到嵌入式设备，以满足一些资源敏感的应用场景。然而，由于Transformer模型参数多、计算流程复杂、结构变量多，在其硬件设计中存在许多需要解决的问题。这既是机遇，也是挑战。我们提出了Vis-TOP（Visual Transformer Overlay Processor），一个适用于各种视觉Transformer模型的覆盖处理器。它不同于CPU、GPU、NPE等粗粒度覆盖处理器，也不同于针对特定型号的细粒度定制设计。Vis-TOP总结了所有可视化Transformer模型的特点，实现了三层两级的转换结构，允许模型在不改变硬件架构的情况下自由切换或更改。同时采用三层两级转换结构设计了相应的指令束和硬件体系结构。在使用8位固定点（fix_8）量化Swin Transformer微小模型之后，我们在ZCU 102上实现了覆盖处理器。与GPU相比，TOP吞吐量高出1.5倍。与现有的Transformer加速器相比，我们的每个DSP的吞吐量是其他加速器的2.2倍到11.7倍。总之，本文提出的方法在资源消耗和推理速度方面都满足实时人工智能的要求。Vis…
2021-10-21 cs.AR cs.CV
