ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
由于Transformers在使用自我注意力机制建模长距离依赖性方面的强大能力，因此在各种计算机视觉任务中显示出巨大的潜力。然而，视觉Transformer处理的图像作为一维序列的视觉令牌，缺乏一个内在的归纳偏见（IB）在建模局部视觉结构和处理尺度变化。或者，它们需要大规模的训练数据和更长的训练时间表来隐式地学习IB。在本文中，我们提出了一种新的视觉Transformer先进的探索内在IB从卷积，即ViTAE。从技术上讲，ViTAE有几个空间金字塔缩减模块，通过使用具有不同膨胀率的多个卷积来下采样并将输入图像嵌入到具有丰富多尺度上下文的令牌中。通过这种方式，它获得了内在的尺度不变性IB，并且能够学习各种尺度下对象的鲁棒特征表示。此外，在每个Transformer层中，ViTAE都有一个与多头自注意模块并行的卷积块，其特征被融合并馈入前馈网络。因此，它具有内在的局部性IB，并且能够协作地学习局部特征和全局依赖性。在ImageNet以及下游任务上的实验证明了ViTAE相对于基线Transformer和并发工作的优越性。源代码和预训练模型将在GitHub上提供。
2021-12-24 cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine（加州大学欧文分校）
许多研究人员已经证明，在许多计算机视觉任务中，Transformers的性能与卷积神经网络一样好。同时，其注意力模块的计算量大，阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer，但是它们中的大多数仅考虑图像分类任务。受这些结果的启发，我们提出了SiDT，修剪视觉Transformer骨干更复杂的视觉任务，如目标检测的方法，基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明，修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外，我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers
KlingAI Research（KlingAI研究院）；Beijing Institute of Technology（北京理工大学）；NVIDIA（英伟达）；Tsinghua University（清华大学）
提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。
2026-06-23 cs.AI cs.CV
ResDiT: Evoking the Intrinsic Resolution Scalability in Diffusion Transformers
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
ResDiT通过改进位置嵌入和局部增强机制，实现了无需训练的高分辨率图像生成，有效解决空间布局崩溃和纹理保真度下降问题。
2025-12-01 cs.CV
Protego: Detecting Adversarial Examples for Vision Transformers via Intrinsic Capabilities
Zhejiang University（浙江大学）
针对视觉Transformer易受对抗样本攻击的问题，提出利用Transformer内在注意力特性的检测框架Protego，在六种对抗攻击下AUC均超0.95，可助力元宇宙安全研究。
2025-01-13 cs.CV cs.LG
ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
视觉Transformer由于其使用自我注意力机制来建模长距离依赖的强大能力而在各种计算机视觉任务中显示出巨大的潜力。然而，他们把一个图像作为一个1D序列的视觉令牌，缺乏内在的感应偏差（IB）在建模局部视觉结构和处理规模的变化，这是相反的学习隐式从大规模的训练数据与较长的训练时间表。在本文中，我们提出了一个视觉Transformer先进的探索内在IB从卷积，即，ViTAE从技术上讲，ViTAE有几个空间金字塔缩减模块，可以使用具有不同膨胀率的多个卷积来下采样并将输入图像嵌入到具有丰富多尺度上下文的令牌中。通过这种方式，它获得了内在的尺度不变性IB，并且可以学习各种尺度下对象的鲁棒特征表示。此外，在每个Transformer层中，ViTAE都有一个与多头自注意模块并行的卷积块，其特征被融合并馈入前馈网络。因此，它具有内在的局部性IB，并且能够协作地学习局部特征和全局依赖性。所提出的两种细胞以各向同性和多级方式堆叠，以形成两族ViTAE模型，即，普通的ViTAE和ViTAEv 2 ImageNet数据集上的实验以及MS COCO，ADE 20 K和AP 10 K数据集上的下游任务验证了我们的模型优于基线Transformer模型和并发工作。此外，我们将ViTAE模型扩展到644 M参数，并获得了最先进的分类性能，即，在ImageNet验证集上的Top-1分类准确率为88.5%，在Ima…
2022-11-27 cs.CV
SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness
Zhejiang University（浙江大学）；HiThink Research（HiThink研究院）
本文提出SpatialFusion框架，通过引入混合变压器增强MLLM的三维几何建模能力，并利用深度适配器将显式几何约束注入扩散模型，提升空间感知任务性能。
2026-04-29 cs.CV
Spatial Transformer K-Means
Rice University（莱斯大学）；Flatiron Institute（弗莱提荣研究所）；Rutgers University（罗格斯大学）
K-means定义了最常用的基于质心的聚类算法之一，其性能与数据的嵌入有关。复杂的数据嵌入已经被设计成推动$K$ -手段性能的成本降低的理论保证和结果的可解释性。相反，我们建议保留固有的数据空间，并增加K均值与非刚性变换不变的相似性度量。这使得（i）减少与数据相关联的固有干扰，降低聚类任务的复杂性并提高性能并产生最先进的结果，（ii）在数据的输入空间中进行聚类，从而产生完全可解释的聚类算法，以及（iii）收敛保证的益处。
2022-02-16 cs.CV cs.LG
TunerDiT: Training-free Progressive Steering of Diffusion Transformer for Multi-Event Video Generation
Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；Technical University of Munich（慕尼黑技术大学）；MCML；University of Hamburg（汉堡大学）；Huawei European Research Institute（华为欧洲研究院）
针对长视频多事件生成难题，提出无需额外训练的TunerDiT方法，通过事件分区掩码和跨事件提示融合实现渐进式引导，在8项指标上达到最优。
2026-05-29 cs.AI cs.CV
Multispectral Image Intrinsic Decomposition via Low Rank Constraint
Nanjing University（南京大学）；New York University（纽约大学）
多光谱图像包含了物体表面特征的许多线索，因此可以广泛地应用于许多计算机视觉任务，例如，分类和分割。然而，由于自然场景的复杂光照和几何结构，同一表面的光谱曲线可能会有很大的不同。本文提出了一种低秩多光谱图像本征分解模型（LRIID），用于分解单幅多光谱图像的阴影和反射率。我们扩展的Retinex模型，提出了RGB图像的内在分解，多光谱域。在此基础上，提出了一个低秩约束，以减少问题的不适定性，使算法可解。给出了12幅图像的数据集，并给出了阴影和反射率的真实值，以便进行客观评价。实验证明了该方法的有效性。
2018-02-24 cs.CV
Exploration of Lightweight Single Image Denoising with Transformers and Truly Fair Training
Sogang Univ.（西江大学）
针对基于Transformers的轻量级去噪研究缺失及训练公平性问题，本文提出七个轻量级去噪基线模型，揭示随机裁剪部位对性能的影响并实现真正公平训练，通过经验分析总结了构建该模型的关键考量。
2023-04-04 cs.AI cs.CV
Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation
Sichuan Normal University（四川师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
由于Transformers具有灵活的自注意机制，在医学图像分析中取得了显著的成功。然而，由于在建模视觉结构信息时缺乏内在的归纳偏差，它们通常需要大规模的预训练时间表，从而限制了昂贵的小规模医学数据的临床应用。为此，我们提出了一个参数有效的Transformer，探索内在的电感偏置通过位置信息的医学图像分割。具体来说，我们经验性地研究不同的位置编码策略如何影响感兴趣区域（ROI）的预测质量，并观察到ROI对位置编码策略敏感。基于此，我们提出了一种新的混合轴向注意（HAA），一种位置自我注意的形式，可以配备空间像素信息和相对位置信息作为归纳偏差。此外，我们引入了一种门控机制来减轻训练时间表的负担，从而在小规模数据集上进行有效的特征选择。在BraTS和Covid 19数据集上的实验证明了该方法的优越性。进行具有可解释性的内部工作流程可视化，以更好地验证我们的成功。
2022-11-17 cs.CV eess.IV
SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
Xinjiang University（新疆大学）；Shandong University of Technology（山东理工大学）
尽管卷积神经网络（CNN）在图像复原方面取得了很好的进展，但卷积的内在等价性和局部性仍然制约着图像质量的进一步提高。最近的视觉Transformer和自我注意力在各种计算机视觉任务上取得了可喜的成果。然而，直接利用Transformer进行图像复原是一项具有挑战性的任务。在本文中，我们介绍了一种有效的混合架构的沙子图像复原任务，它利用本地功能从CNN和远程依赖捕获的Transformer，以进一步改善结果。针对Transformer和CNN之间的特征不一致问题，提出了一种有效的沙尘图像复原混合结构。该框架通过调制基于CNN和基于Transformer的分支的特征来补充每个表示，而不是简单地添加或连接特征。实验表明，与以往的沙粒图像复原方法相比，SandFormer在合成和真实沙尘场景中的复原性能都有了显著的提高。
2023-03-08 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University（西安交通大学）；ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
Transformers是语言建模的事实标准，最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer，利用自然图像的内在空间冗余，节省计算成本。具体来说，我们提出了一个动态粒度编码器的视觉Transformer，它可以自适应地分配一个合适的查询数量到每个空间区域。因此，它实现了一个细粒度的表示在区分区域，同时保持高效率。此外，动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西，我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%，同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
Spatial-Spectral Transformer for Hyperspectral Image Denoising
Beijing Institute of Technology（北京理工大学）
高光谱图像去噪是高光谱图像后续应用的关键预处理过程。不幸的是，虽然见证了深度学习在HSI去噪领域的发展，但现有的基于卷积的方法面临着计算效率和对HSI的非局部特征建模能力之间的权衡。在本文中，我们提出了一个空间光谱Transformer（SST），以减轻这个问题。为了充分挖掘空间维和谱维的内在相似性特征，我们采用Transformer结构进行非局部空间自关注和全局谱自关注。基于窗口的空间自注意关注的是相邻区域以外的空间相似性。而光谱自注意利用了高度相关的波段之间的长程相关性。实验结果表明，我们提出的方法优于国家的最先进的HSI去噪方法在定量质量和视觉效果。
2022-11-25 cs.CV eess.IV
Transformers Meet Hyperspectral Imaging: A Comprehensive Study of Models, Challenges and Open Problems
Department of Electrical, Computer and Software Engineering University of Auckland（电气、计算机与软件工程系 阿德莱德大学）
本文综述 300 多篇截至 2025 年的论文，系统梳理基于 Transformer 的高光谱图像分类流程、设计选择与核心挑战，并提出数据集、轻量化、鲁棒性和可解释性方面的研究议程。
2025-06-10 cs.AI cs.CV
ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）
加速磁共振图像（MRI）重建过程是一个具有挑战性的不适定逆问题，由于过度的欠采样操作在k空间。在本文中，我们提出了一个经常性的Transformer模型，即ReconFormer，用于MRI重建，可以迭代地从高度欠采样的k空间数据重建高生育率的磁共振图像。特别是，所提出的架构是建立在递归金字塔Transformer层（RPTL），它联合利用内在的多尺度信息在每个架构单元，以及通过经常性状态的深特征相关性的依赖关系。此外，建议的ReconFormer是轻量级的，因为它采用了其参数效率的递归结构。我们在具有不同磁共振序列的多个数据集上验证了ReconFormer的有效性，并表明它比最先进的方法具有更好的参数效率。实现代码将在https://github.com/guopengf/ReconFormer上提供。
2022-01-28 cs.CV eess.IV
HyFormer-Net: A Synergistic CNN-Transformer with Interpretable Multi-Scale Fusion for Breast Lesion Segmentation and Classification in Ultrasound Images
Department of Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程系，阿沙努尔大学科学与技术学院）
提出混合架构HyFormer-Net，通过多尺度融合与双管道可解释性同时进行乳腺超声病灶分割与分类，在BUSI数据集上表现优异，并首次验证了其跨数据集渐进式微调的泛化能力。
2025-11-02 cs.CV
ReasonX: MLLM-Guided Intrinsic Image Decomposition
Imperial College London（伦敦帝国学院）；Adobe Research（Adobe研究院）
ReasonX通过多模态大语言模型提供相对比较监督，提升内在图像分解的泛化能力与精度。
2025-12-03 cs.CV
ModeT: Learning Deformable Image Registration via Motion Decomposition Transformer
School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University（深圳大学医学院生物医学工程学院）
提出运动分解Transformer（ModeT），通过将多头邻域注意力转化为多坐标关系建模多种运动模式，并结合竞争性加权模块生成形变场，在脑部MRI数据集上优于现有配准网络。
2023-06-09 cs.CV
Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image Super-resolution
University of Electronic Science and Technology of China（电子科技大学）
高光谱图像因其丰富的光谱信息而变得越来越重要。但由于现有成像机制的限制，其空间分辨率较低。目前，针对高光谱图像的超分辨率问题，已经提出了许多卷积神经网络。然而，基于卷积神经网络（CNN）的方法只考虑局部信息，而不是在卷积运算中的有限核大小的感受野的全局信息。本文设计了一种基于Transformer的网络，将低分辨率高光谱图像和高分辨率多光谱图像进行融合，得到高分辨率的高光谱图像。由于Transformer的表示能力，我们的方法是能够探索的内在关系的功能全球。此外，考虑到LR-HSI拥有主要的光谱结构，网络侧重于空间细节估计，从而减轻了重建整个数据的负担。它减少了所提出的网络的映射空间，从而提高了最终的性能。各种实验和质量指标表明，我们的方法相比，其他国家的最先进的方法的优越性。
2021-09-05 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University（北京航空航天大学）
利用基于深度卷积的现代计算机辅助诊断技术，多模态皮肤病变诊断（MSLD）取得了显著的成功。然而，由于严重性不一致的空间分辨率（例如，皮肤镜图像和临床图像）和异质数据（例如，皮肤镜图像和患者的元数据）。受限于固有的局部注意力，大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征，因此跨不同模态的融合通常在管道的末端完成，甚至在最后一层，导致信息聚合不足。为了解决这个问题，我们引入了一个纯粹的基于transformer的方法，我们称之为“贯穿融合Transformer（TFormer）”，用于在MSLD中进行充分的信息集成。与现有的卷积方法不同，所提出的网络利用Transformer作为特征提取的骨干，带来了更具代表性的浅层特征。然后，我们仔细设计了一个堆栈的双分支分层多模态Transformer（HMT）块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息，设计了一个多模态Transformer后融合（MTP）模块，以整合图像和非图像数据的特征。首先融合图像模态的信息，然后融合异构模态的信息，这样的策略使我们能够更好地区分和克服这两个主要挑战，同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Towards Robust Vision Transformer
Alibaba Group（阿里巴巴集团）；Swinburne University of Technology（斯威本科技大学）；EPFL（洛桑联邦理工学院）
视觉Transformer（ViT）及其改进变体的最新进展表明，基于自注意力的网络在大多数视觉任务中优于传统的卷积神经网络（CNN）。然而，现有的ViTs集中在标准精度和计算成本，缺乏调查的内在影响模型的鲁棒性和推广。在这项工作中，我们进行了系统的评估组件的ViTs在其对对抗性的例子，常见的腐败和分布偏移的鲁棒性的影响。我们发现一些组件可能对鲁棒性有害。鲁棒视觉Transformer（Robust Vision Transformer，RVT）是一种新的视觉Transformer，它以鲁棒性为基础，结合鲁棒性组件作为视觉变换器的构建模块，具有较强的鲁棒性和较好的性能。我们进一步提出了两种新的即插即用技术，称为位置感知注意力缩放和补丁式增强，以增强我们的RVT，我们称为RVT*。在ImageNet和六个鲁棒性基准测试上的实验结果表明，与以前的ViT和最先进的CNN相比，RVT具有先进的鲁棒性和泛化能力。此外，RVT-S* 还在包括ImageNet-C和ImageNet-Sketch在内的多个鲁棒性排行榜上获得了Top-1排名。该代码将在\url{https://github.com/alibaba/easyrobust}上提供。
2022-05-23 cs.CV
DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen Medical Biometrics Perception and Analysis Engineering Laboratory（深圳市医学生物特征感知与分析工程实验室）；Bio-Computing Research Center（生物计算研究中心）；Shenzhen Key Laboratory of Visual Object Detection and Recognition（深圳市视觉目标检测与识别重点实验室）
得益于深度学习的发展，医学图像自动分割取得了很大的进展。然而，现有的方法大多基于卷积神经网络（CNN），由于卷积运算中感受野的限制，无法建立长程依赖关系和全局上下文连接。受Transformer在远程上下文信息建模方面的成功启发，一些研究者在设计基于Transformer的U-Net的鲁棒变体方面付出了相当大的努力。此外，在视觉Transformer中使用的块划分通常忽略了每个块内部的像素级内在结构特征。为了缓解这些问题，我们提出了一种新的深度医学图像分割框架，称为Dual Swin Transformer U-Net（DS-TransUNet），这可能是第一次尝试同时将分层Swin Transformer的优点结合到标准U形架构的编码器和解码器中，以增强不同医学图像的语义分割质量。与许多先前的基于transformer的解决方案不同，所提出的DS-TransUNet首先采用基于Swin Transformer的双尺度编码器子网络来提取不同语义尺度的粗粒度和细粒度特征表示。作为DS-TransUNet的核心组件，提出了一个设计良好的Transformer交互式融合（TIF）模块，通过自注意力机制有效地建立不同尺度特征之间的全局依赖关系。此外，我们还将Swin Transformer模块引入到解码器中，以在上采样过程中进一步探索长距离上下文信息。在四个典型的医学图像分割任务的广泛实验…
2021-06-12 cs.CV
Patch Is Not All You Need
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Tomorrow Advancing Life
针对视觉Transformer手动分patch破坏图像结构语义连续性的问题，提出Patternformer自适应将图像转为模式序列，用普通ResNet和Transformer在多个数据集取得优异性能。
2023-08-21 cs.CV
