Adversarial Patch Attacks on Vision-Based Cargo Occupancy Estimation via Differentiable 3D Simulation
Department of Informatics University of Hamburg（信息学院海德堡大学）
本文首次研究了在物理真实、完全模拟的3D场景中针对货物占用估计的对抗性补丁攻击，通过3D优化补丁在拒绝服务场景中达到84.94%的攻击成功率。
2025-11-24 cs.AI cs.CV
PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University（亚利桑那州立大学）；Georgia State University（佐治亚州立大学）
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而，标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中，我们提出了一种自监督技术PatchRot，专为视觉Transformer。PatchRot旋转图像和图像补丁，并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征，这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Patch Rebirth: Fast and Transferable Model Inversion of Vision Transformers
Inha University（inha大学）
针对ViT模型反演计算昂贵且SMI过早丢弃补丁损害知识迁移的问题，本文提出PRI，通过增量分离重要补丁并让其余补丁持续演化，实现最高10倍加速并保持DMI性能。
2026-10-01 cs.AI cs.CV
Improved Ear Verification with Vision Transformers and Overlapping Patches
University of Notre Dame（圣母大学）
本研究使用重叠分块策略评估多种ViT模型在多数据集上的耳部识别性能，发现重叠分块显著提升准确率（最高达10%），且ViT-T模型表现最优，验证了该方法的高效性。
2025-03-30 cs.AI cs.CV
Visualizing and Understanding Patch Interactions in Vision Transformer
Guangxi Normal University（广西师范大学）；Huaqiao University（华侨大学）；JD Explore Academy（京东探索研究院）
视觉Transformer（ViT）由于其独特的自我注意力机制，通过跨补丁信息交互来学习视觉表征，已成为各种计算机视觉任务的主要工具。尽管取得了很好的成功，但文献很少探索视觉Transformer的可解释性，并且没有清楚的图片关于跨全面补丁的相关性的注意力机制将如何影响性能以及进一步的潜力是什么。在这项工作中，我们提出了一种新的可解释的可视化方法来分析和解释的关键注意力之间的相互作用的视觉Transformer补丁。具体来说，我们首先引入一个量化指标来衡量补丁的相互作用的影响，并验证这种量化的注意力窗口设计和不加区别的补丁删除。然后，我们利用ViT中每个贴片的有效响应场，设计了一个无窗口的Transformer结构。在ImageNet上进行的大量实验表明，这种精心设计的定量方法能够促进ViT模型的学习，最多可以将前1名的准确率提高4.28%。此外，下游细粒度识别任务的结果进一步验证了我们的建议的推广。
2022-03-11 cs.CV
Patch is Enough: Naturalistic Adversarial Patch against Vision-Language Pre-training Models
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；National University of Singapore（新加坡国立大学）；Guangdong Testing Institute of Product Quality Supervision（广东省产品质量监督检验研究院）
针对视觉语言预训练模型，提出仅用图像补丁进行自然对抗攻击的方法，利用扩散模型先验和交叉注意力优化补丁放置，实现100%攻击成功率。
2024-10-07 cs.AI cs.CV
Accelerating Vision Transformer Training via a Patch Sampling Schedule
Franklin and Marshall College（富兰克林与马歇尔学院）
我们引入了补丁采样时间表（PSS）的概念，该时间表在训练期间改变每个批次使用的视觉Transformer（ViT）补丁的数量。由于对于大多数视觉目标来说，所有的补丁不是同等重要的（例如，分类），我们认为不太重要的补丁可以在更少的训练迭代中使用，从而缩短训练时间，对性能的影响最小。此外，我们观察到，PSS的训练使ViT在推理过程中对更宽的补丁采样范围更鲁棒。这允许在推理期间在吞吐量和准确性之间进行细粒度的动态权衡。我们在ImageNet的ViTs上使用PSS进行评估，包括从头开始训练和使用重建损失函数进行预训练。对于预训练模型，与每次迭代使用所有补丁相比，我们实现了分类准确率降低0.26%，训练时间减少31%（从25小时减少到17小时）。代码、模型检查点和日志可在www.example.com上获得。
2022-08-19 cs.CV
Causal Interpretation of Sparse Autoencoder Features in Vision
Seoul National University（首尔国立大学）
针对视觉Transformer中稀疏自编码器特征仅靠激活位置易误解的问题，提出利用有效感受野的因果特征解释方法CaFE，通过输入归因识别因果驱动激活的图像块，实验证明其解释更忠实精准。
2025-08-31 cs.AI cs.CV
PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning
Shanghai University（上海大学）；University of Technology Sydney（悉尼科技大学）
本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题，提出无训练的PPOM算子，通过边缘化相位偏移提升宿主性能，无需重新训练。
2026-08-17 cs.CV
Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院）；Huazhong University of Science and Technology, Wuhan, China（华中科技大学）；Ping An Technology, Shenzhen, China（平安科技）
ADVLA通过注意力引导实现低振幅、稀疏的对抗攻击，有效削弱VLA模型的下游动作预测。
2025-11-26 cs.AI cs.CV
REOrdering Patches Improves Vision Models
University of Pittsburgh（匹兹堡大学）；University of California, Berkeley（加州大学伯克利分校）
诸如Transformers之类的序列模型要求输入被表示为一维序列。在视觉中，这通常涉及使用固定的行为主（光栅扫描）顺序来平整图像。虽然完全的自我注意是置换等变的，但现代长序列Transformers越来越依赖于打破这种不变性并引入对补丁排序敏感性的架构近似。我们表明，补丁顺序显着影响模型的性能，在这样的设置，与简单的替代品，如列主要或希尔伯特曲线产生显着的准确性变化。出于这一动机，我们提出了REOrder，一个两阶段的框架，发现任务最优的补丁排序。首先，我们通过评估各种补丁序列的可压缩性来获得信息理论先验。然后，我们通过使用REINFORCE优化Plackett-Luce策略来学习置换策略。这种方法能够在组合置换空间中进行有效的学习。在ImageNet-1 K上，REOrder将行优先排序的前1精度提高了3.01%，将Functional Map of the World提高了13.35%。
2025-10-23 cs.AI cs.CV cs.LG
Short Range Correlation Transformer for Occluded Person Re-Identification
College of Automation and Artificial Intelligence, Nanjing University of Posts and Telecommunications（南京邮电大学自动化与人工智能学院）
被遮挡人的再识别是计算机视觉的一个具有挑战性的研究领域，面临着特征表示效率低、识别准确率低等问题。卷积神经网络更注重于局部特征的提取，对遮挡行人的特征提取比较困难，效果不理想。最近，视觉Transformer被引入到重识别领域，并取得了最先进的成果，通过构建补丁序列之间的全局特征的关系。但视觉Transformer在提取局部特征方面的性能不如卷积神经网络。因此，我们设计了一个基于部分特征变换的人物再识别框架PFT。提出的PFT利用三个模块，以提高效率的视觉Transformer。(1)修补全维度增强模块。我们设计了一个与补丁序列大小相同的可学习张量，它是全维的，并深深嵌入补丁序列中，以丰富训练样本的多样性。(2)融合和重建模块。我们提取得到的补丁序列的不太重要的部分，并将其与原始补丁序列融合，重建原始补丁序列。(3)空间切片模块。从空间方向对序列进行切片和分组，有效地提高了序列的短程相关性。在遮挡和整体重识别数据集上的实验结果表明，所提出的PFT网络实现了卓越的性能一致，优于最先进的方法。
2022-01-04 cs.AI cs.CV
Accelerating Vision Transformers with Adaptive Patch Sizes
Carnegie Mellon University（卡内基梅隆大学）；KAIST（韩国科学技术院）；General Robotics（通用机器人）
本文提出自适应补丁变换器APT，通过在图像内使用不同大小的补丁来减少输入token数量，从而加速ViT的推理和训练，提升吞吐量并保持性能。
2026-04-22 cs.AI cs.CV cs.LG
InfraPatch: Cross-Task Targeted Grayscale Patch Attacks on Infrared-Adapted Vision-Language Models
本文提出针对红外适配视觉语言模型的InfraPatch定向灰度补丁攻击框架，在10种模型变体上实现86.00%-100%的定向攻击成功率，揭示红外多模态模型的脆弱性，推动其鲁棒性评估。
2026-09-03 cs.AI cs.CV
Life Regression based Patch Slimming for Vision Transformers
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
本文提出生命回归模块一次性决定视觉Transformer中各图像块的生命周期，在推理时按层索引自动丢弃过期图像块，从而减少多层额外计算并加速推理，同时保持性能并减少训练轮数。
2023-04-11 cs.CV
Towards Practical Certifiable Patch Defense with Vision Transformer
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术研究院）；Tencent Youtu Lab（腾讯优图实验室）
补丁攻击是对抗示例中最具威胁性的物理攻击形式之一，可以通过任意修改连续区域中的像素来导致网络产生错误分类。可认证补丁防御可以保证分类器不受补丁攻击的影响。现有的可认证补丁防御牺牲了分类器的干净准确性，并且仅在玩具数据集上获得较低的认证准确性。此外，这些方法的清洁和认证的准确性仍然显着低于正常分类网络的准确性，这限制了它们在实践中的应用。为了实现实用的可认证补丁防御，我们将视觉Transformer（ViT）引入去随机平滑（DS）框架。具体来说，我们提出了一个渐进的平滑图像建模任务，训练视觉Transformer，它可以捕捉更多的可辨别的局部上下文的图像，同时保留全局语义信息。为了在现实世界中进行有效的推理和部署，我们创新性地将原始ViT的全局自注意结构重构为孤立的带单元自注意。在ImageNet上，在2%面积补丁攻击下，我们的方法达到了41.70%的认证准确率，比之前的最佳方法（26.00%）提高了近1倍。同时，我们的方法达到了78.58%的清洁准确率，这非常接近正常的ResNet-101准确率。大量的实验表明，我们的方法在CIFAR-10和ImageNet上有效地推断，获得了最先进的干净和认证的准确性。
2022-03-16 cs.AI cs.CR cs.CV
Vision Transformers with Patch Diversification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书）
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而，直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能，例如，结合卷积层。相比之下，我们研究了一种正交方法来稳定视觉Transformer训练，而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说，对于深度视觉Transformer，自注意力块倾向于将不同的补丁映射到类似的潜在表示中，从而产生信息丢失和性能下降。为了缓解这个问题，在这项工作中，我们在视觉Transformer训练中引入了新的损失函数，以明确鼓励补丁表示的多样性，以实现更具鉴别力的特征提取。我们的经验表明，我们提出的技术稳定的训练，并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明，多样化的功能显着有利于下游任务的迁移学习。对于语义分割，我们增强了Cityscapes和ADE 20 k上的最新（SOTA）结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Towards Transferable Adversarial Attacks on Vision Transformers
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Department of Computer Science, University of Maryland（马里兰大学计算机科学系）
视觉Transformer（ViTs）在一系列计算机视觉任务中表现出令人印象深刻的性能，但它们仍然受到对抗性示例的影响。%以与CNN类似的方式制作。在本文中，我们认为，对抗攻击Transformers应专门为他们的架构，共同考虑补丁和自我注意，以实现高的可转移性。更具体地说，我们引入了一个双重攻击框架，其中包含一个不注意（PNA）攻击和一个PatchOut攻击，以提高对抗样本在不同ViT之间的可转移性。我们表明，在反向传播过程中跳过注意力梯度可以生成具有高可移植性的对抗性示例。此外，通过在每次迭代中优化补丁的随机采样子集生成的对抗性扰动比使用所有补丁的攻击获得更高的攻击成功率。我们评估了对最先进的ViTs，CNN和经过鲁棒训练的CNN的攻击的可转移性。这些实验的结果表明，所提出的双重攻击可以大大提高ViTs之间以及从ViTs到CNN的可转移性。此外，该方法可以很容易地与现有的传输方法相结合，以提高性能。代码可在https://github.com/zhipeng-wei/PNA-PatchOut上获得。
2022-01-02 cs.AI cs.CV
Filtered-ViT: A Robust Defense Against Multiple Adversarial Patch Attacks
针对深度学习视觉系统易受多对抗性补丁攻击的问题，提出集成SMART-VMF滤波机制的Filtered-ViT架构，在ImageNet多补丁攻击下实现高清洁与鲁棒准确率，还能抵御自然伪影，为高风险领域可靠视觉系统提供方案。
2025-11-11 cs.AI cs.CV
PatchCue: Enhancing Vision-Language Model Reasoning with Patch-Based Visual Cues
本文提出PatchCue，一种基于补丁的视觉提示方法，通过两阶段训练提升VLMs的视觉推理能力，在多项任务中表现优于像素级和点级提示。
2026-03-13 cs.CV
Unsupervised Salient Patch Selection for Data-Efficient Reinforcement Learning
UM-SJTU Joint Institute（上海交通大学密西根联合学院）
提出SPIRL方法，利用自监督预训练的视觉Transformer自动选择图像中的显著块，通过注意力模块处理，提高视觉RL的样本效率，并在Atari游戏上验证了其数据效率优势。
2024-01-10 cs.AI cs.CV
CAT: Cross Attention in Vision Transformer
Beijing University of Posts and Telecommunications（北京邮电大学）；KuaiShou Inc（快手公司）
由于Transformer在NLP中得到了广泛的应用，Transformer在CV中的潜力已经实现，并激发了许多新的方法。然而，在图像的标记化之后用用于Transformer的图像块替换单词标记所需的计算是巨大的（例如，ViT），这会对模型训练和推理造成瓶颈。本文提出了一种新的Transformer中的注意力机制--交叉注意力（Cross Attention），该注意力机制在图像块内部而不是整个图像中交替进行，以捕获局部信息，并在从单通道特征图中划分出的图像块之间应用注意力，以捕获全局信息。这两种操作都比Transformer中的标准自注意运算量小。通过交替应用注意力内部和之间的补丁，我们实现了交叉注意，以保持较低的计算成本的性能，并建立了一个层次网络称为交叉注意Transformer（CAT）的其他视觉任务。我们的基础模型在ImageNet-1 K上达到了最先进的水平，并提高了COCO和ADE 20 K上其他方法的性能，这表明我们的网络有潜力作为通用骨干。代码和型号可在\url{https://github.com/linhezheng19/CAT}上获得。
2021-06-10 cs.AI cs.CV
Exploring and Improving Mobile Level Vision Transformers
The Chinese University of Hong Kong（香港中文大学）；SmartMore
本文研究了视觉Transformer结构在移动层的应用，发现其性能下降很大。本文分析了造成这种现象的原因，并提出了一种新的不规则块嵌入模块和自适应块融合模块来提高图像的性能。我们推测视觉Transformer块（由多头注意力和前馈网络组成）更适合处理高层信息而不是低层特征。不规则块嵌入模块提取具有不同感受野的包含丰富高级信息的块。Transformer块可以从这些不规则的面片中获得最有用的信息。然后，处理后的补丁通过自适应补丁合并模块，以获得最终的分类器的功能。通过我们提出的改进，传统的统一视觉Transformer结构，可以达到最先进的结果，在移动级。我们在移动级设置下将DeiT基线提高了9%以上，并大大超过了Swin和CoaT等其他Transformer架构。
2021-08-30 cs.CV
LOOPE: Learnable Optimal Patch Order in Positional Embeddings for Vision Transformers
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
LOOPE通过学习最优补丁顺序优化位置嵌入，提升视觉变换器的分类性能，引入新的评估框架验证位置嵌入的有效性。
2026-04-10 cs.AI cs.CV
Patch Slimming for Efficient Vision Transformers
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
通过挖掘给定网络中的冗余计算，研究了可视化Transformers的效率问题。最近的Transformer架构已经证明了其在一系列计算机视觉任务上实现出色性能的有效性。然而，与卷积神经网络类似，视觉Transformer的巨大计算成本仍然是一个严峻的问题。考虑到注意力机制是逐层聚合不同的补丁，我们提出了一种新的补丁瘦身方法，在一个自顶向下的范例中丢弃无用的补丁。我们首先在最后一层中识别有效的补丁，然后使用它们来指导前面几层的补丁选择过程。对于每一层，补丁对最终输出特征的影响是近似的，影响较小的补丁将被删除。在基准数据集上的实验结果表明，该方法可以在不影响视觉Transformer性能的前提下，显著降低其计算量.例如，在ImageNet数据集上，ViT-Ti模型的FLOP可以减少45%以上，而top-1准确率仅下降0.2%。
2022-04-04 cs.CV cs.LG
Vision Transformers: the threat of realistic adversarial patches
Vrije Universiteit Brussel（自由大学布鲁塞尔）；Open University of the Netherlands（荷兰开放大学）；Netherlands Defence Academy（荷兰国防学院）；Fraunhofer Institute of Optronics（弗劳恩霍夫光学研究所）；imec；Belgian Royal Military Academy（比利时皇家军事学院）
本研究设计现实对抗补丁，验证其从CNN到ViT的可迁移性，发现不同ViT模型攻击成功率差异显著，预训练规模影响鲁棒性。
2025-09-25 cs.AI cs.CV
PatchDropout: Economizing Vision Transformers Using Patch Dropout
KTH Royal Institute of Technology（瑞典皇家理工学院）；Science for Life Laboratory（生命科学实验室）；Karolinska Institutet（卡罗林斯卡学院）；Karolinska University Hospital（卡罗林斯卡大学医院）；AstraZeneca（阿斯利康）
视觉Transformer已经证明了在各种视觉任务中优于CNN的潜力。但是这些模型的计算和存储要求禁止它们在许多应用中使用，特别是那些依赖于高分辨率图像的应用，例如医学图像分类。更有效地训练虚拟人才的工作过于复杂，需要改变架构或制定复杂的培训计划。在这项工作中，我们表明，标准的ViT模型可以有效地训练在高分辨率随机下降输入图像补丁。这种简单的方法PatchDropout在ImageNet等标准自然图像数据集中将FLOP和内存减少了至少50%，并且这些节省只会随着图像大小而增加。在CSAW，一个高分辨率的医疗数据集上，我们观察到使用PatchDropout的计算和内存节省了5倍，同时性能也得到了提升。对于具有固定计算或内存预算的从业者来说，PatchDropout可以选择图像分辨率，超参数或模型大小，以获得模型的最佳性能。
2022-10-04 cs.CV cs.LG
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam（阿姆斯特丹大学）
本文提出VISION DIFFMASK，一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法，并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
Are Vision Transformers Robust to Patch Perturbations?
University of Munich（慕尼黑大学）；Google Research（谷歌研究院）
视觉Transformer（ViT）的最新进展已经证明了其在图像分类方面令人印象深刻的性能，这使其成为卷积神经网络（CNN）的一个有前途的替代方案。与CNN不同，ViT将输入图像表示为图像补丁序列。基于块的输入图像表示使以下问题变得有趣：与CNN相比，当单个输入图像块受到自然损坏或对抗性扰动时，ViT的表现如何？在这项工作中，我们研究的鲁棒性ViT补丁式扰动。令人惊讶的是，我们发现ViTs对自然损坏的补丁比CNN更鲁棒，而它们更容易受到对抗性补丁的攻击。此外，我们发现注意力机制对视觉Transformer的鲁棒性有很大的影响。具体而言，注意力模块可以通过有效地忽略自然损坏的补丁来帮助提高ViT的鲁棒性。然而，当ViTs被对手攻击时，注意力机制很容易被愚弄，从而更多地关注于被对手干扰的补丁并导致错误。基于我们的分析，我们提出了一个简单的基于温度缩放的方法来提高ViT对对抗补丁的鲁棒性。进行了大量的定性和定量实验，以支持我们的研究结果，理解和改进的ViT鲁棒性补丁的扰动在一组变压器为基础的架构。
2022-07-18 cs.CV eess.IV
Car Damage Detection and Patch-to-Patch Self-supervised Image Alignment
Harbin Institute of Technology（哈尔滨工业大学）
面向保险车险损伤检测，本文实现 Mask R-CNN 检测损伤，并提出受 SimCLR 启发的自监督 Patch-to-Patch 图像对齐方法，以估计租车前后图像的透视变换。
2024-03-11 cs.AI cs.CV
Patch-level Representation Learning for Self-supervised Vision Transformers
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
最近的自监督学习（SSL）方法在学习未标记图像的视觉表示方面取得了令人印象深刻的结果。本文旨在通过利用底层神经网络的架构优势进一步提高其性能，因为当前最先进的SSL视觉借口任务无法享受这种好处，即，它们是体系结构不可知论的。特别是，我们专注于视觉Transformer（ViTs），它最近作为一种更好的架构选择而备受关注，通常在各种视觉任务中表现优于卷积网络。ViT的独特之处在于它从图像中提取一系列不相交的块，并在内部处理块级表示。受此启发，我们设计了一个简单而有效的视觉借口任务，创造了SelfPatch，用于学习更好的补丁级表示。具体来说，我们对每个补丁及其邻居强制不变性，即，每个块将相似的相邻块视为正样本。因此，使用SelfPatch训练ViT可以学习补丁之间更有语义意义的关系（而不使用人工注释的标签），这特别有利于密集预测类型的下游任务。尽管它的简单性，我们证明，它可以显着提高现有的SSL方法的各种视觉任务，包括目标检测和语义分割的性能。具体来说，SelfPatch通过在COCO目标检测上实现+1.3 AP，在COCO实例分割上实现+1.2 AP，在ADE 20 K语义分割上实现+2.9 mIoU，显著改进了最近的自监督ViT，DINO。
2022-07-19 cs.AI cs.CV cs.LG
Improved Robustness of Vision Transformer via PreLayerNorm in Patch Embedding
Pohang University of Science and Technology（浦项科技大学）
视觉Transformer（ViTs）最近在各种视觉任务中表现出最先进的性能，取代了卷积神经网络（CNN）。同时，由于ViT具有与CNN不同的架构，因此其行为可能不同。为了研究ViT的可靠性，本文研究了ViT的行为和鲁棒性。我们通过假设实际视觉任务中可能出现的各种图像损坏来比较CNN和ViT的鲁棒性。我们证实，对于大多数图像变换，ViT显示出与CNN相当或更高的鲁棒性。然而，对于对比度增强，在ViT中始终观察到严重的性能下降。通过详细的分析，我们发现了一个潜在的问题：当色标发生变化时，ViT补丁嵌入中的位置嵌入可能会不正常工作。在这里，我们要求使用PreLayerNorm，一个修改后的补丁嵌入结构，以确保规模不变的行为的ViT。具有PreLayerNorm的ViT在包括对比度变化环境在内的各种损坏中表现出更好的鲁棒性。
2021-11-16 cs.CV
Near, far: Patch-ordering enhances vision foundation models' scene understanding
University of Amsterdam（阿姆斯特丹大学）；TNO（荷兰应用科学研究组织）；Institute of Science and Technology Austria（奥地利科学技术研究所）
该研究提出NeCo（Patch邻域一致性）自监督损失，通过对预训练表示（如DINOv2-registers）应用可微分排序实现细粒度patch排序学习信号，经单GPU19小时密集后预训练，在多模型和数据集上提升场景理解性能。
2025-04-17 cs.AI cs.CV
Steal the Patch Size: Adversarially Manipulate Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）
提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。
2026-07-02 cs.CV cs.LG
X-MLP: A Patch Embedding-Free MLP Architecture for Vision
Nanjing University（南京大学）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
提出无 patch embedding 的 X-MLP 架构，利用全连接层独立交替交互宽高通道信息，在十个基准数据集上超越其他视觉 MLP 及 CNN，并可视化长程依赖。
2023-07-02 cs.CV
Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification
Research Center for Medical Image Analysis and Artificial Intelligence（医学图像分析与人工智能研究中心）；Department of Medicine（医学系）；Faculty of Medicine and Dentistry（医学与牙科学院）；Danube Private University（多瑙私立大学）
本文研究了补丁大小对ViT在医学图像分类中的影响，发现较小补丁尺寸能提升分类性能，且通过模型集成策略进一步提高效果。
2026-02-20 cs.CV
Patch Pruning Strategy Based on Robust Statistical Measures of Attention Weight Diversity in Vision Transformers
Graduate School of Advanced Science and Engineering（先进科学与工程研究生学校）
针对 ViT 自注意力的二次复杂度问题，提出基于多头注意力权重方差及 MAD 等鲁棒统计量的 patch 剪枝策略，兼顾准确率与吞吐量。
2025-07-25 cs.CV
Patch Similarity Aware Data-Free Quantization for Vision Transformers
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
视觉Transformer最近在各种计算机视觉任务上取得了巨大成功;然而，它们的高模型复杂性使得在资源受限的设备上部署具有挑战性。量化是降低模型复杂度的有效方法，而无数据量化能够解决模型部署过程中的数据隐私和安全问题，受到了广泛的关注。不幸的是，所有现有的方法，例如BN正则化，都是为卷积神经网络设计的，并且不能应用于具有显著不同的模型架构的视觉Transformer。在本文中，我们提出了PSAQ-ViT，一个补丁相似性感知无数据量化框架的视觉变换器，使“现实”的样本的生成基于Vision Transformer的独特属性校准的量化参数。具体来说，我们分析了自我注意模块的属性，并揭示了一般的差异（补丁相似性）在其处理高斯噪声和真实图像。上述见解指导我们设计一个相对值度量来优化高斯噪声以近似真实图像，然后利用该相对值度量来校准量化参数。在各种基准上进行了大量的实验和消融研究，以验证PSAQ-ViT的有效性，它甚至可以优于真实数据驱动的方法。代码可从以下网址获得：https://github.com/zkkli/PSAQ-ViT。
2023-01-05 cs.CV
HindSight: A Graph-Based Vision Model Architecture For Representing Part-Whole Hierarchies
本文提出了一种模型架构，用于编码的图像中的部分-整体层次结构的表示，在一个图形的形式。其思想是将图像划分为不同级别的补丁，然后将所有这些补丁视为全连接图的节点。动态特征提取模块用于在每次图形迭代中从这些补丁中提取特征表示。这使我们能够学习包含固有部分-整体分层信息的图像的丰富图形表示。利用适当的自监督训练技术，这样的模型可以被训练为通用视觉编码器模型，该通用视觉编码器模型然后可以用于各种视觉相关的下游任务（例如，图像分类、目标检测、图像描述等）。
2021-04-08 cs.AI cs.CV cs.LG
TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
Google（谷歌）；DeepMind（深度Mind）
本文提出TIPSv2，通过改进的预训练方法提升视觉-语言模型的补丁-文本对齐能力，实验表明其在多种任务和数据集上表现优异。
2026-04-13 cs.CV
Not All Patches Are Equally Forgettable: Spatially Localized Domain Unlearning in Vision-Language Models
Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分校）
提出两阶段补丁选择框架，通过定位并抑制对遗忘领域预测贡献大的补丁，实现视觉-语言模型的空间局部化领域遗忘，在多个基准上改善遗忘-保留权衡并提升保留领域识别性能。
2026-09-17 cs.CV
MSPE: Multi-Scale Patch Embedding Prompts Vision Transformers to Any Resolution
School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；Centre for Artificial Intelligence and Robotics, HKISI-CAS（中国科学院香港中文大学信息工程研究所人工智能与机器人中心）
针对视觉变换器难以适应可变输入分辨率的问题，提出多尺度补丁嵌入（MSPE）方法，通过可变大小补丁内核替代标准嵌入，无需调整图像大小，在分类、分割和检测任务中低分辨率性能优越，高分辨率与现有方法相当。
2024-05-28 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学）
受人类视觉系统启发，RetinaViT将不同空间频率的补丁引入视觉变换器，在无额外偏置下自发实现从低频到高频的注意力转移，并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
Tac-DINO: Learning Tactile Features with Patch Alignment
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Shanghai Innovation Institute（上海创新研究院）
提出Tac-DINO方法，通过构建大规模触觉数据集和视觉-触觉全息匹配基准，利用补丁对齐学习局部到全局的视觉-触觉表征，性能优于无对齐方法。
2026-11-10 cs.CV
Learning Dynamic Evidence Routes for Vision Transformer Probing
School of Future Technology（未来技术学院）
本文提出SSMProbe框架，利用状态空间模型探索视觉表示中序列顺序的重要性，发现预训练目标影响token结构，不同模型在顺序依赖性上表现各异。
2026-10-15 cs.AI cs.CV
Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models
Graz University of Technology（格拉茨工业大学）；Silicon Austria Labs（奥地利硅实验室）
本文提出基于 patch 的去噪扩散概率模型，通过重叠 patch 的平滑噪声估计与引导去噪实现任意尺寸图像恢复，并在多类恶劣天气任务中达到最先进性能。
2022-11-21 cs.CV cs.LG
BUS:Efficient and Effective Vision-language Pre-training with Bottom-Up Patch Summarization
National Engineering Research Center for Software Engineering, Peking University（北京大学国家软件工程研究中心）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
本文提出BUS方法，通过自底向上图像块摘要协调ViT主干中的底层提取与顶层抽象，在提升视觉-语言预训练效率50%的同时保持或提升下游任务性能。
2024-02-24 cs.CV
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova（帕多瓦大学）
视觉Transformer（ViTs）支持在视觉任务中使用Transformer架构，在大数据集上训练时表现出令人印象深刻的性能。然而，在相对较小的数据集上，ViT由于缺乏归纳偏差而不太准确。为此，我们提出了一个简单但仍然有效的自监督学习（SSL）策略来训练ViTs，没有任何外部注释或外部数据，可以显着提高结果。具体来说，我们定义了一组SSL任务的基础上的关系的图像补丁，该模型必须解决之前或联合监督任务。从ViT继承，我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌，从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法，发现RelViT大幅提高了SSL最先进的方法，特别是在小数据集上。代码可在：https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
OAMixer: Object-aware Mixing Layer for Vision Transformers
KAIST（韩国科学技术院）
基于补丁的模型，例如，视觉Transformer（ViTs）和混合器在各种视觉识别任务上显示出令人印象深刻的结果，替代了经典的卷积网络。虽然最初的基于补丁的模型（ViTs）平等对待所有补丁，最近的研究表明，纳入归纳偏差，如空间性的代表。然而，大多数先前的工作只集中在补丁的位置，忽略了场景结构的图像。因此，我们的目标是进一步指导使用对象信息的补丁的相互作用。具体来说，我们提出了OAMixer（对象感知混合层），它校准基于对象标签的补丁模型的补丁混合层。在这里，我们以无监督或弱监督的方式获得对象标签，即，不需要额外的人工注释成本。使用对象标签，OAMixer使用可学习的缩放参数计算重新加权遮罩，该参数增强包含类似对象的补丁的交互，并将遮罩应用于补丁混合层。通过学习以对象为中心的表示，我们证明了OAMixer提高了各种基于补丁的模型（包括ViTs，MLP Mixers和ConvMixers）的分类准确性和背景鲁棒性。此外，我们展示了OAMixer增强了各种下游任务，包括大规模分类，自监督学习和多对象识别，验证了OAMixer的通用适用性
2022-12-13 cs.CV cs.LG
Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patch for Infrared Vision-Language Models
本文提出通用曲网格补丁框架UCGP，用于揭示红外视觉语言模型的语义鲁棒性漏洞，通过扰动视觉表征空间以削弱跨模态语义对齐，验证了其在多种架构和数据集上的有效性。
2026-07-21 cs.CV
InfraQR: Edge-Placed QR-Inspired Structured Patch Attacks on Infrared Vision-Language Models
China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区）；Guizhou University（贵州大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai Jiao Tong University（上海交通大学）
研究红外视觉语言模型对局部结构化扰动的鲁棒性，提出InfraQR攻击方法，沿图像边界放置结构化补丁并通过替代编码器优化网格单元，实验表明该方法能大幅降低分类器准确率，使对抗图像影响黑盒模型，凸显模型易受此类扰动影响。
2026-07-09 cs.CV
Semantic Graph Consistency: Going Beyond Patches for Regularizing Self-Supervised Vision Transformers
Fujitsu Research India（富士通印度研究院）
针对现有基于ViT的自监督学习未充分利用图像块令牌的问题，提出语义图一致性模块，通过构建图像块图并约束多视图图特征一致性来正则化SSL，在多个数据集上有限标注的线性评估中性能提升5-10%。
2024-06-18 cs.CV
Patch-wise Mixed-Precision Quantization of Vision Transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出补丁级混合精度量化（PMQ）方法，通过轻量级全局度量和帕累托前沿自动分配位精度，并利用补丁级模块重分配位宽，降低ViTs推理复杂度，实验证明大幅减少搜索成本。
2023-05-11 cs.CV
AT-ViT: Area-Targeted Multi-View Vision Transformer with Cross-Attention and Multi-Scale Patching for Plant Trait Recognition in Herbarium Images
该研究针对标本馆图像植物性状识别的背景干扰问题，提出双分支视觉Transformer模型AT-ViT，通过交叉注意力与掩码引导分块加权机制提升植物区域注意力，在多任务中实现准确率与鲁棒性提升。
2026-08-25 cs.AI cs.CV
