Exploring Multi-Tasking Learning in Document Attribute Classification
Thapar University（塔帕尔大学）；L3i, University of La-Rochelle（拉罗谢尔大学L3i实验室）
在这项工作中，我们坚持探索基于多任务学习（MTL）的网络来执行文档属性分类，例如文档图像的字体类型，字体大小，字体强调和扫描分辨率分类。为了完成这些任务，我们在分割的单词级别或随机裁剪出的文档上操作统一大小的补丁。在此基础上，提出了一种混合卷积神经网络（CNN）结构“MTL+MI”，该结构基于MTL与文本和词的多实例（MI）相结合，实现了对同一文档属性的联合学习。本文的贡献有三个方面：第一，基于分割的文字图像和补丁，我们提出了一个基于MTL的网络分类的完整的文档图像。其次，我们提出了一个MTL和MI（使用分割的单词和补丁）为基础的组合CNN架构（“MTL+MI”）的分类相同的文档属性。第三，基于词和/或块的多任务分类，我们提出了一个智能投票系统，它是基于每个词和/或块的后验概率来执行完整的文档图像的文档属性的分类。
2021-08-30 cs.CV
Random Position Adversarial Patch for Vision Transformers
Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）
本文提出G-Patch方法，利用GAN结构生成无需与视觉Transformer线性投影补丁对齐的对抗补丁，可在任意位置实现数字与物理世界中的通用鲁棒攻击。
2023-07-09 cs.CV
Points to Patches: Enabling the Use of Self-Attention for 3D Shape Recognition
Arm ML Research Lab（Arm机器学习研究实验室）；Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）
虽然Transformer架构在机器学习领域已经变得无处不在，但它对3D形状识别的适应性并不简单。由于其二次计算复杂性，自注意算子随着输入点的集合变大而迅速变得低效。此外，我们发现，注意力机制努力在全球范围内找到各个点之间的有用联系。为了缓解这些问题，我们提出了一个两阶段的点Transformer-in-Transformer（Point-TnT）的方法，它结合了本地和全球的注意力机制，使个人点和补丁的点，以参加对方有效。形状分类的实验表明，这种方法提供了更多有用的功能，下游任务比基线Transformer，同时也是更有效的计算。此外，我们还将我们的方法扩展到场景重建的特征匹配，表明它可以与现有的场景重建管道结合使用。
2022-04-08 cs.CV
DPT: Deformable Patch-based Transformer for Visual Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；AnyVision；Peking University（北京大学）
Transformer在计算机视觉中取得了巨大的成功，而如何分割图像中的补丁仍然是一个问题。现有的方法通常使用固定大小的补丁嵌入，这可能会破坏对象的语义。为了解决这个问题，我们提出了一个新的可变形补丁（DePatch）模块，学习自适应地分裂成不同的位置和规模的图像补丁在数据驱动的方式，而不是使用预定义的固定补丁。这样，我们的方法可以很好地保持补丁的语义。DePatch模块可以作为一个即插即用模块工作，可以很容易地集成到不同的Transformers中，以实现端到端的培训。我们将这种DePatch嵌入式Transformer称为基于可变形补丁的Transformer（DPT），并对DPT在图像分类和目标检测方面进行了广泛的评估。结果显示，DPT在ImageNet分类上可以达到81.9%的top-1准确率，在MSCOCO目标检测上，RetinaNet的box mAP为43.7%，Mask R-CNN为44.3%。代码已在https://github.com/CASIA-IVA-Lab/DPT上提供。
2021-07-30 cs.CV
A Sensorimotor Vision Transformer
University of Bremen（不来梅大学）；Cognitive Neuroinformatics（认知神经信息学）
本文提出受人类扫视眼动启发的 Sensorimotor Transformer (SMT)，通过基于内在二维特征选择高显著性图像块进行处理，在保持准确率的同时显著降低内存和计算复杂度。
2025-04-03 cs.CV
Accelerating Vision Transformer Training via a Patch Sampling Schedule
Franklin and Marshall College（富兰克林与马歇尔学院）
我们引入了补丁采样时间表（PSS）的概念，该时间表在训练期间改变每个批次使用的视觉Transformer（ViT）补丁的数量。由于对于大多数视觉目标来说，所有的补丁不是同等重要的（例如，分类），我们认为不太重要的补丁可以在更少的训练迭代中使用，从而缩短训练时间，对性能的影响最小。此外，我们观察到，PSS的训练使ViT在推理过程中对更宽的补丁采样范围更鲁棒。这允许在推理期间在吞吐量和准确性之间进行细粒度的动态权衡。我们在ImageNet的ViTs上使用PSS进行评估，包括从头开始训练和使用重建损失函数进行预训练。对于预训练模型，与每次迭代使用所有补丁相比，我们实现了分类准确率降低0.26%，训练时间减少31%（从25小时减少到17小时）。代码、模型检查点和日志可在www.example.com上获得。
2022-08-19 cs.CV
Exploiting Spatial Sparsity for Event Cameras with Visual Transformers
Institute of Neuroinformatics, University of Z\"urich；ETH Z\"urich, Z\"urich, Switzerland
事件摄像机通过异步输出事件流报告亮度的局部变化。事件在像素位置上是空间稀疏的，亮度变化很小。我们建议使用一个可视化的Transformer（ViT）架构，利用其处理可变长度输入的能力。ViT的输入由累积到时间仓中并在空间上分离成称为补丁的非重叠子区域的事件组成。当子区域内的非零像素位置的数量高于阈值时，选择块。我们表明，通过对选定的活动补丁微调ViT模型，我们可以将推理过程中输入主干的补丁的平均数量减少至少50%，而N-Caltech 101数据集的分类精度只有轻微下降（0.34%）。这种减少意味着使用服务器CPU的乘法累加（MAC）操作减少了51%，推理速度增加了46%。
2022-02-10 cs.CV
PicT: A Slim Weakly Supervised Vision Transformer for Pavement Distress Classification
Chongqing University（重庆大学）；San Diego State University（圣地亚哥州立大学）
路面破损自动分类有助于提高路面养护效率，降低人力和资源成本。最近有影响力的分支，这项任务划分为补丁的路面图像，并解决这些问题的多实例学习的角度来看。然而，这些方法忽略了斑块之间的相关性，并且在模型优化和推理中效率较低。同时，Swin Transformer能够以其独特的优势解决这两个问题。在Swin Transformer的基础上，提出了一个用于路面破损分类的视觉Transformer（\textbf{PicT}），命名为\textbf{P} avement \textbf{I} mage \textbf{C} classification \textbf{T} transformer。为了更好地利用路面图像在斑块层次上的判别信息，提出了\textit{Patch Labeling Teacher}，利用教师模型在每次迭代过程中从图像标签中动态生成斑块伪标签，并引导模型学习斑块的判别特征. Swin Transformer的宽分类头可能会由于路面图像的破损面积比例小而在特征聚合步骤中稀释破损斑块的区分特征。为了克服这个缺点，我们提出了一个\textit{Patch Refiner}集群补丁到不同的组，只选择最高的痛苦风险组产生一个苗条的头为最终的图像分类。我们评估我们的方法上CQU-BPDD。广泛的结果表明，\textbf{PicT}在检测任务上优于P@R中的$+2.4\%$，在识…
2022-09-21 cs.CV
GVTNet: Graph Vision Transformer For Face Super-Resolution
Southwest University of Science and Technology（西南科技大学）
针对现有Transformer架构在人脸超分辨率中无法处理补丁间关系导致面部组件失真的问题，提出GVTNet，将补丁视为图节点并基于补丁信息建立邻接矩阵，使补丁仅与相邻补丁交互，实验表明其优于现有技术，尤其在增强面部组件方面。
2025-02-18 cs.CV
A Contrastive Learning Scheme with Transformer Innate Patches
University of Agder（阿格德大学）
提出Contrastive Transformer对比学习方案，通过基于真实掩码的有监督补丁级对比学习，使视觉Transformer架构在航空图像分割等密集预测任务中提升平均IoU。
2024-01-08 cs.AI cs.CV
A Comparison for Patch-level Classification of Deep Learning Methods on Transparent Environmental Microorganism Images: from Convolutional Neural Networks to Visual Transformers
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）；University of Luebeck（吕贝克大学）
目前，透明环境微生物图像（T-EM图像）的分析已逐渐成为计算机视觉领域的一个新的研究热点。针对T-EM图像分析具有挑战性的问题，本文比较了不同的深度学习分类性能。我们将T-EM图像以相同的比例裁剪成8 * 8和224 * 224像素块，然后根据地面真实值将两个不同的像素块划分为前景和背景。我们还使用了四个卷积神经网络和一个新的ViT网络模型来比较前景和背景分类实验。我们得出结论，ViT在分类8 * 8像素块时表现最差，但在分类224 * 224像素块时，它优于大多数卷积神经网络。
2021-07-21 cs.CV
Exploring and Improving Mobile Level Vision Transformers
The Chinese University of Hong Kong（香港中文大学）；SmartMore
本文研究了视觉Transformer结构在移动层的应用，发现其性能下降很大。本文分析了造成这种现象的原因，并提出了一种新的不规则块嵌入模块和自适应块融合模块来提高图像的性能。我们推测视觉Transformer块（由多头注意力和前馈网络组成）更适合处理高层信息而不是低层特征。不规则块嵌入模块提取具有不同感受野的包含丰富高级信息的块。Transformer块可以从这些不规则的面片中获得最有用的信息。然后，处理后的补丁通过自适应补丁合并模块，以获得最终的分类器的功能。通过我们提出的改进，传统的统一视觉Transformer结构，可以达到最先进的结果，在移动级。我们在移动级设置下将DeiT基线提高了9%以上，并大大超过了Swin和CoaT等其他Transformer架构。
2021-08-30 cs.CV
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova（帕多瓦大学）
视觉Transformer（ViTs）支持在视觉任务中使用Transformer架构，在大数据集上训练时表现出令人印象深刻的性能。然而，在相对较小的数据集上，ViT由于缺乏归纳偏差而不太准确。为此，我们提出了一个简单但仍然有效的自监督学习（SSL）策略来训练ViTs，没有任何外部注释或外部数据，可以显着提高结果。具体来说，我们定义了一组SSL任务的基础上的关系的图像补丁，该模型必须解决之前或联合监督任务。从ViT继承，我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌，从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法，发现RelViT大幅提高了SSL最先进的方法，特别是在小数据集上。代码可在：https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
TransFER: Learning Relation-aware Facial Expression Representations with Transformers
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Deep Learning, Baidu Research（百度研究院深度学习研究所）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；West Virginia University（西弗吉尼亚大学）
人脸表情识别（FER）在计算机视觉中受到越来越多的关注。我们提出了transFER模型，它可以学习丰富的关系感知的本地表示。它主要由三个组件组成：多注意力丢弃（MAD），ViT-FER和多头自注意力丢弃（MSAD）。首先，局部块在区分不同的表达中起着重要的作用，然而，现有的工作很少能找到有区别的和不同的局部块。当某些面片由于姿势变化或视点更改而不可见时，这可能会导致严重的问题。为了解决这个问题，MAD被提议随机丢弃注意力地图。因此，模型被推到探索不同的局部补丁自适应。其次，为了在不同的局部块之间建立丰富的关系，在FER中使用视觉Transformer（ViT），称为ViT-FER。由于全局范围被用来加强每个局部补丁，获得更好的表示，以提高FER性能。第三，多头自注意允许ViT共同关注来自不同位置的不同信息子空间的特征。然而，如果没有明确的指导，多重自我关注可能会提取类似的关系。为了解决这个问题，建议MSAD随机丢弃一个自我注意模块。因此，模型被迫学习不同的本地补丁之间的丰富关系。我们提出的transFER模型优于国家的最先进的方法在几个FER基准，显示其有效性和实用性。
2021-08-25 cs.CV
Rethinking Surgical Captioning: End-to-End Window-Based MLP Transformer Using Patches
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National University of Singapore (Suzhou) Research Institute（新加坡国立大学（苏州）研究院）
手术字幕在手术指导预测和报告生成中起着重要作用。然而，大多数字幕模型仍然依赖于繁重的计算对象检测器或特征提取器来提取区域特征。此外，检测模型需要额外的限界框注释，这是昂贵的并且需要熟练的注释者。这些导致推理延迟并限制字幕模型在实时机器人手术中部署。为此，我们设计了一个端到端的检测器和特征提取器的自由字幕模型，利用基于补丁的移动窗口技术。本文提出了基于移动窗口的多层感知器Transformer字幕模型（SwinMLP-TranCAP），该模型具有更快的推理速度和更少的计算量。SwinMLP-TranCAP用基于窗口的多头MLP代替了多头注意力模块。此类部署主要关注图像理解任务，但很少有工作研究字幕生成任务。SwinMLP-TranCAP还扩展为视频版本，用于使用3D补丁和窗口的视频描述任务。与以前的基于检测器或基于特征提取器的模型相比，我们的模型大大简化了架构设计，同时保持了两个手术数据集的性能。该代码可在https://github.com/XuMengyaAmy/SwinMLP_TranCAP上公开获取。
2022-06-30 cs.CV
PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting
Sun Yat-Sen University（中山大学）
降水临近预报是对未来短时间内降雨强度的预报，主要依靠雷达回波序列的预报。虽然卷积神经网络（CNN）和递归神经网络（RNN）被广泛用于生成雷达回波帧，但是它们遭受感应偏差（即，平移不变性和局部性）和序列性。近年来，基于transformer的方法由于Transformer结构的巨大潜力而受到广泛关注，而忽略了短期相关性和自回归特性。在本文中，我们提出了一个变种的Transformer命名补丁与三维时间卷积Transformer网络（PTCT），其中原始帧被分割成多个补丁，以消除电感偏差的约束和三维时间卷积是用来捕捉短期的依赖性有效。训练结束后，采用自回归的方法进行PTCT的推理，以保证生成的雷达回波帧的质量。为了验证我们的算法，我们进行了实验上的两个雷达回波数据集：雷达回波广州和HKO-7。实验结果表明，PTCT实现国家的最先进的（SOTA）性能相比，现有的方法。
2022-06-03 cs.CV cs.MM
Semantic Graph Consistency: Going Beyond Patches for Regularizing Self-Supervised Vision Transformers
Fujitsu Research India（富士通印度研究院）
针对现有基于ViT的自监督学习未充分利用图像块令牌的问题，提出语义图一致性模块，通过构建图像块图并约束多视图图特征一致性来正则化SSL，在多个数据集上有限标注的线性评估中性能提升5-10%。
2024-06-18 cs.CV
CPTR: Full Transformer Network for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们认为图像描述任务从一个新的序列到序列的预测的角度来看，并提出了CPTR（CPTR），它需要序列化的原始图像作为输入到Transformer。与“CNN+Transformer”设计范式相比，我们的模型可以从一开始就在每个编码器层对全局上下文进行建模，并且完全无卷积。大量的实验证明了所提出的模型的有效性，我们超越了传统的“CNN+Transformer”的方法在MSCOCO数据集。此外，我们提供了详细的可视化的自我注意之间的补丁在编码器和“字到补丁”的注意在解码器感谢完整的Transformer架构。
2021-01-28 cs.CV
Are Vision Transformers Robust to Patch Perturbations?
University of Munich（慕尼黑大学）；Google Research（谷歌研究院）
视觉Transformer（ViT）的最新进展已经证明了其在图像分类方面令人印象深刻的性能，这使其成为卷积神经网络（CNN）的一个有前途的替代方案。与CNN不同，ViT将输入图像表示为图像补丁序列。基于块的输入图像表示使以下问题变得有趣：与CNN相比，当单个输入图像块受到自然损坏或对抗性扰动时，ViT的表现如何？在这项工作中，我们研究的鲁棒性ViT补丁式扰动。令人惊讶的是，我们发现ViTs对自然损坏的补丁比CNN更鲁棒，而它们更容易受到对抗性补丁的攻击。此外，我们发现注意力机制对视觉Transformer的鲁棒性有很大的影响。具体而言，注意力模块可以通过有效地忽略自然损坏的补丁来帮助提高ViT的鲁棒性。然而，当ViTs被对手攻击时，注意力机制很容易被愚弄，从而更多地关注于被对手干扰的补丁并导致错误。基于我们的分析，我们提出了一个简单的基于温度缩放的方法来提高ViT对对抗补丁的鲁棒性。进行了大量的定性和定量实验，以支持我们的研究结果，理解和改进的ViT鲁棒性补丁的扰动在一组变压器为基础的架构。
2022-07-18 cs.CV eess.IV
Deformable Video Transformer
Facebook AI Research（脸书人工智能研究院）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为卷积网络用于动作分类的有效替代方案。然而，大多数现有的视频Transformers采用全局时空注意力或手动定义的策略来比较帧内和跨帧的补丁。这些固定注意力方案不仅具有高计算成本，而且通过比较预定位置处的补丁，它们忽略了视频中的运动动态。在本文中，我们介绍了可变形的视频Transformer（DVT），动态预测一个小的视频补丁的子集，以出席每个查询位置的基础上的运动信息，从而使模型决定在视频中的对应关系的基础上跨帧。至关重要的是，这些基于运动的对应关系是从以视频压缩格式存储的信息中以零成本获得的。我们的变形注意力机制直接优化的分类性能，从而消除了需要次优的手工设计的注意力策略。在四个大规模视频基准测试（Kinetics-400，Something-Something-V2，EPIC-KITCHENS和Diving-48）上的实验表明，与现有的视频Transformers相比，我们的模型在相同或更低的计算成本下实现了更高的准确性，并且在这四个数据集上获得了最先进的结果。
2022-03-31 cs.CV
GPTR: Gestalt-Perception Transformer for Diagram Object Detection
Tongji University（同济大学）；National University of Singapore（新加坡国立大学）；Lenovo Research（联想研究院）
图形目标检测是实现教科书问答等实际应用的关键基础。由于该图主要由简单的线条和色块组成，其视觉特征比自然图像稀疏。此外，图通常表达多样化的知识，其中有许多低频对象类别的图。这些都导致了传统的数据驱动检测模型不适合于图。在这项工作中，我们提出了一个完整的感知Transformer模型的图目标检测，这是基于一个编码器-解码器架构。完形知觉包含了一系列解释人类知觉的规律，即人类视觉系统倾向于将图像中相似、接近或连接而没有突然方向变化的斑块感知为感知的整体对象。受这些思想的启发，我们在Transformer编码器中构建了一个完形感知图，该图以图块为节点，图块之间的关系为边。该图旨在通过这些边缘中隐含的相似性，邻近性和平滑性将这些补丁分组为对象，以便可以有效地检测有意义的对象。实验结果表明，该算法在图目标检测任务中取得了最好的效果。在自然图像目标检测中，我们的模型也获得了与竞争对手相当的结果。
2022-12-29 cs.CV
GiT: Graph Interactive Transformer for Vehicle Re-identification
Huaqiao University（华侨大学）；Nanjing University of Science and Technology（南京理工大学）；University of Science and Technology Beijing（北京科技大学）
Transformers在计算机视觉中越来越受欢迎，它将图像视为一系列补丁，并从序列中学习鲁棒的全局特征。然而，纯粹的Transformers是不完全适合的车辆重新识别，因为车辆重新识别既需要强大的全球功能和歧视性的本地功能。为此，本文提出了一种图形交互式转换器（GiT）Transformer。在宏观视图中，GiT块的列表被堆叠以构建车辆重新识别模型，其中图用于提取补丁内的区分性局部特征，并且Transformers用于提取补丁之间的鲁棒全局特征。在微观上，图和Transformers处于交互状态，实现局部特征和全局特征的有效配合。具体地，一个电流图被嵌入在前一级的图和Transformer之后，而电流变换被嵌入在电流图和前一级的Transformer之后。除了图和变换之间的相互作用外，图是一种新设计的局部校正图，它通过探索节点之间的关系来学习补丁内的判别性局部特征。在三个大规模车辆重新识别数据集上的大量实验表明，我们的GiT方法优于最先进的车辆重新识别方法。
2023-01-11 cs.CV
Visualizing and Understanding Patch Interactions in Vision Transformer
Guangxi Normal University（广西师范大学）；Huaqiao University（华侨大学）；JD Explore Academy（京东探索研究院）
视觉Transformer（ViT）由于其独特的自我注意力机制，通过跨补丁信息交互来学习视觉表征，已成为各种计算机视觉任务的主要工具。尽管取得了很好的成功，但文献很少探索视觉Transformer的可解释性，并且没有清楚的图片关于跨全面补丁的相关性的注意力机制将如何影响性能以及进一步的潜力是什么。在这项工作中，我们提出了一种新的可解释的可视化方法来分析和解释的关键注意力之间的相互作用的视觉Transformer补丁。具体来说，我们首先引入一个量化指标来衡量补丁的相互作用的影响，并验证这种量化的注意力窗口设计和不加区别的补丁删除。然后，我们利用ViT中每个贴片的有效响应场，设计了一个无窗口的Transformer结构。在ImageNet上进行的大量实验表明，这种精心设计的定量方法能够促进ViT模型的学习，最多可以将前1名的准确率提高4.28%。此外，下游细粒度识别任务的结果进一步验证了我们的建议的推广。
2022-03-11 cs.CV
AdaViT: Adaptive Vision Transformers for Efficient Image Recognition
Fudan University（复旦大学）；University of Maryland（马里兰大学）；Meta AI
建立在自我注意力机制之上的视觉Transformer最近在各种视觉任务上表现出了卓越的性能。在实现优异性能的同时，它们仍然需要相对密集的计算成本，随着补丁、自注意头和Transformer块的数量增加，计算成本急剧增加。在本文中，我们认为，由于图像之间的变化很大，他们需要建模补丁之间的远程依赖关系不同。为此，我们引入了AdaViT，一个自适应计算框架，它可以学习导出使用策略，在每个输入的基础上，在整个主干中使用补丁，自注意头和Transformer块，旨在提高视觉Transformer的推理效率，同时降低图像识别的准确性。通过以端到端的方式与Transformer骨干网联合优化，一个轻量级的决策网络被连接到骨干网，以实时生成决策。在ImageNet上进行的大量实验表明，与最先进的视觉Transformer相比，我们的方法在效率上获得了2倍以上的提高，而精度仅下降了0.8%，在不同的计算预算下实现了良好的效率/精度权衡。我们进一步对学习的使用策略进行定量和定性分析，并对视觉Transformer中的冗余提供更多的见解。
2021-11-30 cs.CV
Adaptive Morph-Patch Transformer for Aortic Vessel Segmentation
SIAT（中国科学院自动化研究所）
针对传统Transformer模型依赖固定矩形补丁影响主动脉血管结构完整性的问题，提出自适应形态补丁Transformer（MPT），通过动态生成形态感知补丁及语义聚类注意力机制，提升了主动脉血管分割精度。
2025-11-11 cs.CV
Compress image to patches for Vision Transformer
Tongji University（同济大学）
本文提出 CNN 与 ViT 混合模型 CI2P-ViT，用 CompressAI 压缩并经卷积生成补丁，在 Animals-10 上以更少 FLOPs 和更快训练取得更高准确率。
2025-02-17 cs.CV
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer（如ViT和DeiT）采用全局自注意，当补丁数量很大时，这在计算上是昂贵的。为了提高效率，最近的视觉Transformer采用局部自注意力机制，其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率，但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制，在本文中，我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇，并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系，但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer（BOAT），它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成，在几个基准数据集上进行的大量实验表明，我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Exploring Transformer Backbones for Image Diffusion Models
George Brown College（乔治布朗学院）
提出了一种基于端到端Transformer的潜空间扩散模型的图像合成方法。在ImageNet类条件生成任务中，我们证明了基于Transformer的潜空间扩散模型达到了14.1FID，与基于UNet的架构的13.1FID得分相当。除了展示Transformer模型在基于扩散的图像合成中的应用之外，这种架构上的简化允许文本和图像数据的容易融合和建模。Transformers的多头注意力机制使得图像和文本特征之间的交互简化，从而消除了基于UNet的扩散模型中对交叉注意机制的要求。
2022-12-27 cs.CV
Fast Training of Diffusion Models with Masked Transformers
Caltech（加州理工学院）；NVIDIA（英伟达公司）
本研究提出一种掩码Transformer训练方法，通过非对称编解码架构和掩码重建辅助任务，将扩散模型训练时间降至原DiT模型的30%，同时保持甚至提升生成性能。
2024-03-05 cs.AI cs.CV cs.LG
RSIR Transformer: Hierarchical Vision Transformer using Random Sampling Windows and Important Region Windows
Southwest Jiaotong University（西南交通大学）
针对局部自注意力感受野有限的问题，本文提出 RS-Win 与 IR-Win 两种窗口注意力模块，以增强层次化视觉 Transformer 的全局建模和重要区域聚焦能力。
2023-04-27 cs.CV
RAMS-Trans: Recurrent Attention Multi-scale Transformer forFine-grained Image Recognition
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
在细粒度图像识别（FGIR）中，区域注意力的定位和放大是一个重要因素，基于卷积神经网络（CNN）的方法对这一问题进行了大量研究。最近发展起来的视觉Transformer（ViT）在计算机视觉任务上取得了可喜的成果。与CNN相比，图像序列化是一种全新的方式。然而，ViT在其感受野大小方面受到限制，因此由于其补丁的固定大小而缺乏像CNN那样的局部注意力，并且无法生成多尺度特征来学习区分区域注意力。为了便于学习没有框/部分注释的区分区域注意力，我们使用注意力权重的强度来衡量与原始图像相对应的补丁标记的重要性。我们提出了递归注意力多尺度Transformer（RAMS-Trans），它使用Transformer的自注意力以多尺度的方式递归地学习区分区域注意力。具体来说，在我们的方法的核心在于动态补丁建议模块（DPPM）引导区域放大，以完成多尺度图像补丁的集成。DPPM从全尺寸图像块开始，并迭代地按比例增加区域注意力，以通过在每个尺度上生成的注意力权重的强度作为指示器从全局到局部生成新的块。我们的方法只需要ViT本身附带的注意力权重，并且可以很容易地进行端到端的训练。大量的实验表明，RAMS-Trans的性能优于并发作品，除了高效的CNN模型，实现了最先进的结果在三个基准数据集。
2021-07-17 cs.CV
MeshMAE: Masked Autoencoders for 3D Mesh Data Analysis
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
最近，自我监督的预训练已经在各种任务上推进了视觉Transformer。不同的数据模态，例如，图像和3D点云数据。在本文中，我们探讨这种学习范式的基础上，三维网格数据分析Transformers。由于将Transformer架构应用于新的模态通常是不平凡的，因此我们首先将视觉Transformer应用于3D网格数据处理，即，网状Transformer。具体来说，我们将网格划分为几个不重叠的局部面片，每个面片包含相同数量的面，并使用每个面片中心点的3D位置来形成位置嵌入。受MAE的启发，我们探索了如何使用基于Transformer的结构对3D网格数据进行预训练，从而使下游3D网格分析任务受益。我们首先随机遮罩网格的一些补丁，并将损坏的网格馈送到网格Transformers中。然后，通过重建的信息被掩盖的补丁，网络是能够学习的网格数据的歧视性表示。因此，我们将我们的方法命名为MeshMAE，它可以在网格分析任务上产生最先进或相当的性能，即，分类和分割。此外，我们还进行了全面的消融研究，以显示我们方法中关键设计的有效性。
2022-07-20 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
DocBinFormer: A Two-Level Transformer Network for Effective Document Image Binarization
Optiks Innovations Pvt. Ltd（奥普蒂克斯创新私人有限公司）；Alipurduar Government Engineering and Management College（阿里布尔杜阿尔政府工程与管理学院）；Chongqing College of Mobile Communication（重庆移通学院）；Indian Statistical Institute（印度统计研究所）；Nanyang Technological University（南洋理工大学）
本文提出 DocBinFormer，一种无卷积的两级视觉 Transformer，通过全局与局部块编码及解码实现文档图像二值化，并在 DIBCO/H-DIBCO 的四项指标上超越现有方法。
2023-12-06 cs.CV
Dynamic Texture Transfer using PatchMatch and Transformers
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
针对动态纹理自动迁移难题，提出结合PatchMatch与Transformer的两阶段模型，通过纹理合成、块序列预测与高斯加权拼接实现迁移，效果优于现有最优方法。
2024-02-01 cs.CV
Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches
University of California, Riverside（加州大学河滨分校）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程师学院）；Queen’s University Belfast（贝尔法斯特女王大学）
针对可变形视觉Transformer的稀疏注意力结构，首次提出操纵其注意力的对抗攻击及协作攻击，仅修改不到1%的补丁区域即可使单视角和多视角目标检测性能完全失效。
2023-12-25 cs.CR cs.CV
Patch Slimming for Efficient Vision Transformers
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
通过挖掘给定网络中的冗余计算，研究了可视化Transformers的效率问题。最近的Transformer架构已经证明了其在一系列计算机视觉任务上实现出色性能的有效性。然而，与卷积神经网络类似，视觉Transformer的巨大计算成本仍然是一个严峻的问题。考虑到注意力机制是逐层聚合不同的补丁，我们提出了一种新的补丁瘦身方法，在一个自顶向下的范例中丢弃无用的补丁。我们首先在最后一层中识别有效的补丁，然后使用它们来指导前面几层的补丁选择过程。对于每一层，补丁对最终输出特征的影响是近似的，影响较小的补丁将被删除。在基准数据集上的实验结果表明，该方法可以在不影响视觉Transformer性能的前提下，显著降低其计算量.例如，在ImageNet数据集上，ViT-Ti模型的FLOP可以减少45%以上，而top-1准确率仅下降0.2%。
2022-04-04 cs.CV cs.LG
Life Regression based Patch Slimming for Vision Transformers
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
本文提出生命回归模块一次性决定视觉Transformer中各图像块的生命周期，在推理时按层索引自动丢弃过期图像块，从而减少多层额外计算并加速推理，同时保持性能并减少训练轮数。
2023-04-11 cs.CV
Transformer in Transformer
ISCAS（中国科学院软件研究所）；UCAS（中国科学院大学）；Huawei Technologies（华为技术有限公司）；University of Macau（澳门大学）
Transformer是一种新型的神经结构，它通过注意力机制将输入数据编码为强大的特征。基本上，视觉转换器首先将输入图像划分为几个局部块，然后计算表示及其关系。由于自然图像具有高度的复杂性和丰富的细节和颜色信息，块划分的粒度不够细，以挖掘不同尺度和位置的对象的特征。在本文中，我们指出，这些本地补丁内的注意力也是必不可少的，以建设高性能的视觉变压器，我们探索了一种新的架构，即Transformer IN Transformer（TNT）。具体来说，我们认为本地补丁（例如，16 $\times$ 16）作为"视觉句子"并呈现以进一步将它们划分成更小的块（例如，4 $\times$ 4）作为"视觉词"。每个单词的注意力将与给定视觉句子中的其他单词一起计算，计算成本可以忽略不计。将单词和句子的特征聚合起来，以增强表示能力。在多个基准测试上的实验证明了所提出的TNT架构的有效性，例如，我们在ImageNet上实现了81.5%的top-1准确率，这比具有类似计算成本的最先进的视觉Transformer高出约1.7%。PyTorch代码可以在https：//github.com/huawei-noah/CV-Backbones上获得，MindSpore代码可以在www.example.com上获得。
2021-10-26 cs.AI cs.CV
Patch Pruning Strategy Based on Robust Statistical Measures of Attention Weight Diversity in Vision Transformers
Graduate School of Advanced Science and Engineering（先进科学与工程研究生学校）
针对 ViT 自注意力的二次复杂度问题，提出基于多头注意力权重方差及 MAD 等鲁棒统计量的 patch 剪枝策略，兼顾准确率与吞吐量。
2025-07-25 cs.CV
Exploring Adversarial Robustness of Vision Transformers in the Spectral Perspective
Yonsei University（延世大学）
该研究从频谱视角探究视觉Transformer的对抗鲁棒性，构建可实现空间域与频谱域攻击的框架，发现Transformer更依赖相位和低频信息，比CNNs更易受频率选择性攻击，为其特性与鲁棒性研究提供新见解。
2023-12-15 cs.CV
Beyond Grids: Exploring Elastic Input Sampling for Vision Transformers
IDEAS NCBR；Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学学院）；Jagiellonian University, Doctoral School of Exact and Natural Sciences（雅盖隆大学精确与自然科学博士学院）；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙技术大学）；Tooploox
针对 Vision Transformer 固定网格采样难以适应多尺度、任意位置 patch 的问题，本文形式化输入弹性，提出评估协议、架构与训练改进，并通过实验揭示其机遇与挑战。
2024-11-26 cs.CV
Understanding Gaussian Attention Bias of Vision Transformers Using Effective Receptive Fields
POSTECH（浦项科技大学）
本文通过有效感受野分析揭示ViT位置嵌入需特定模式才能理解补丁顺序，提出显式高斯注意力偏差引导训练，提升图像分类、检测与分割性能。
2023-05-08 cs.CV
RATS! Patches Talk Through Registers: Emergent Parts in Register Attention Transformers
Johns Hopkins University（约翰霍普金斯大学）；Office of Naval Research, Arlington, VA（海军研究办公室，阿灵顿，弗吉尼亚州）；Department of Laboratory Medicine and Pathology, Mayo Clinic, MN, USA（梅奥诊所检验医学与病理学系，明尼苏达州，美国）
提出RATS模型，通过将分类令牌分解为可学习的寄存器令牌，在L→N→N→L瓶颈中路由补丁信息，无需辅助损失或部件标注，每个寄存器自发专化为类似物体部件的原语义区域，在五个分割基准上平均mIoU提升12。
2026-06-15 cs.CV
MPDiT: Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
Rutgers University（罗格斯大学）
MPDiT通过多块变换器架构在扩散和流匹配模型中实现高效计算，减少50%的GFLOPs消耗同时保持生成性能，改进时间与类别嵌入设计加速训练收敛。
2026-04-04 cs.CV
Gramformer: Learning Crowd Counting via Graph-Modulated Transformer
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出图调制Transformer模型Gramformer解决人群计数中自注意力同质化问题，通过注意力图多样化注意力并引入基于特征的中心性编码调制节点特征，在四个数据集上验证了竞争力。
2024-01-08 cs.CV
Exploring Advances in Transformers and CNN for Skin Lesion Diagnosis on Small Datasets
Federal University of Espirito Santo, UFES（圣埃斯皮里图联邦大学（UFES））
皮肤癌是世界上最常见的癌症之一。已经提出了不同的计算机辅助诊断系统来解决皮肤病变诊断，其中大多数基于深度卷积神经网络。然而，计算机视觉的最新进展在许多任务中取得了最先进的成果，特别是基于Transformer的网络。我们探讨和评估计算机视觉架构，训练方法和多模态特征融合的皮肤病变诊断任务的进展。实验表明，PiT（$0.800 \pm 0.006$）、CoaT（$0.780 \pm 0.024$）和ViT（$0.771 \pm 0.018$）骨干模型与元块融合在PAD-UFES-20数据集中实现了平衡准确度度量的最新结果。
2022-05-30 cs.CV
Lightweight Transformer Backbone for Medical Object Detection
Duke University（杜克大学）；Vanderbilt University（范德堡大学）
数字乳腺断层合成摄影（DBT）中的病变检测是一个重要且具有挑战性的问题，其特征在于包含肿瘤的图像的低流行率。由于标签稀缺问题，大型深度学习模型和计算密集型算法在应用于此任务时可能会失败。在本文中，我们提出了一个实用而轻量级的骨干，以提高肿瘤检测的准确性。具体来说，我们提出了一种新的修改视觉Transformer（ViT）的图像特征补丁连接的特征补丁的肿瘤与健康背景的乳房图像，并形成一个更强大的骨干肿瘤检测。据我们所知，我们的模型是Transformer骨干目标检测的医学成像的第一个工作。我们的实验表明，该模型可以显着提高病变检测的准确性，并减少典型ViT中所需的标记数据量。我们进一步表明，通过额外的增强肿瘤数据，我们的模型显着优于Faster R-CNN模型和最先进的SWIN Transformer模型。
2022-10-11 cs.CV
TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization
University of Central Florida（中佛罗里达大学）
主要的基于CNN的跨视图图像地理定位方法依赖于极坐标变换，无法对全局相关性进行建模。我们提出了一个纯粹的transformer为基础的方法（TransGeo），以解决这些限制从不同的角度来看。TransGeo充分利用了Transformer在全局信息建模和显式位置信息编码方面的优势。我们进一步利用Transformer输入的灵活性，并提出了一种注意力引导的非均匀裁剪方法，以便在性能下降可以忽略不计的情况下去除无信息的图像块，以降低计算成本。节省的计算可以重新分配，以提高分辨率，只有信息补丁，从而提高性能，而没有额外的计算成本。这种“关注和放大”策略与人类观察图像时的行为高度相似。值得注意的是，TransGeo在城市和农村数据集上都取得了最先进的结果，其计算成本明显低于基于CNN的方法。它不依赖于极坐标变换，并且比基于CNN的方法推断得更快。代码可在https://github.com/Jeff-Zilence/TransGeo2022上获得。
2022-03-31 cs.CV
Green Hierarchical Vision Transformer for Masked Image Modeling
The University of Tokyo（东京大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
提出了一种基于层次化视觉Transformer的掩码图像建模方法，该方法允许层次化视觉变换器丢弃掩模图像块，只对可见图像块进行操作.我们的方法包括三个关键设计。首先，对于窗口注意力，我们提出了一个组窗口注意力计划以下的分治策略。为了减轻自我注意力的二次复杂性。块的数量、组注意力促进了均匀划分，即任意大小的每个局部窗口内的可见块可以以相等的大小被分组，其中然后在每个组内执行掩蔽的自注意力。其次，通过动态规划算法进一步改进分组策略，以最小化注意力在分组块上的总计算开销。第三，对于卷积层，我们将其转换为稀疏卷积，该稀疏卷积与稀疏数据无缝地工作，即，MIM中可见的补丁。因此，MIM现在可以以绿色和高效的方式处理大多数（如果不是全部）分层ViT。例如，我们可以训练分层ViT，例如，Swin Transformer和Twins Transformer，约快2.7 $\times$，并将GPU内存使用量减少70%，同时在ImageNet分类上仍具有竞争力的性能，并在下游COCO目标检测基准测试中具有优势。代码和预训练模型已在https://github.com/LayneH/GreenMIM上公开提供。
2022-10-14 cs.CV cs.LG
Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
基于视觉Transformer的视觉表征自监督学习~（SSL）中，掩码图像建模（MIM）已成为一种流行的策略。一个代表性的MIM模型，掩蔽自动编码器（MAE），随机屏蔽图像补丁的子集，并重建被掩蔽的补丁给定的未掩蔽的补丁。同时，自监督学习中的许多最近的作品利用学生/教师范例，其基于由先前学生的指数移动平均（EMA）组成的教师的输出为学生提供额外的目标。虽然常见的，相对较少的学生和教师之间的互动的动态所知。通过对一个简单的线性模型的分析，我们发现，教师有条件地删除以前的梯度方向的基础上的特征相似性，有效地作为一个条件动量正则化。从这个分析中，我们提出了一个简单的SSL方法，重建一致性掩蔽自动编码器（RC-MAE），通过添加一个EMA教师MAE。我们发现，RC-MAE收敛速度更快，需要更少的内存使用比国家的最先进的自蒸馏方法在预训练，这可能会提供一种方法来提高昂贵的自监督学习的实用性的视觉Transformer模型。此外，我们还证明了RC-MAE在ImageNet-1 K分类、目标检测和实例分割等下游任务上比MAE具有更高的鲁棒性和更好的性能。
2022-10-05 cs.CV
An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels
FAIR, Meta AI（FAIR，Meta人工智能）；University of Amsterdam（阿姆斯特丹大学）
研究发现普通Transformer可直接将单个像素作为token，在分类回归、掩码自编码和扩散生成任务上取得高性能，从而质疑视觉架构中局部性归纳偏置的必要性。
2025-03-13 cs.CV cs.LG
Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification
Independent Researcher（独立研究员）
本文提出GCN-HViT，通过结合层次视觉变换器和图卷积网络，解决ViT中补丁大小选择、位置嵌入不足及GCN缺乏全局结构信息的问题，提升图像分类性能。
2026-04-18 cs.AI cs.CV
Improved Ear Verification with Vision Transformers and Overlapping Patches
University of Notre Dame（圣母大学）
本研究使用重叠分块策略评估多种ViT模型在多数据集上的耳部识别性能，发现重叠分块显著提升准确率（最高达10%），且ViT-T模型表现最优，验证了该方法的高效性。
2025-03-30 cs.AI cs.CV
