Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的视觉Transformer,称为Swin Transformer,它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异,例如视觉实体的规模变化很大,图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异,我们提出了一个分层的Transformer,其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性,并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容,包括图像分类(ImageNet-1 K上的87.3 top-1精度)和密集预测任务,如目标检测(COCO test-dev上的58.7 box AP和51.1 mask AP)和语义分割(ADE 20 K val上的53.5 mIoU)。它的性能超过了之前的最先进水平,在COCO上为+2.7框AP和+2.6掩模AP,在ADE 20 K上为+3.2 mIoU,证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Can Vision Transformers Perform Convolution?
Peking University(北京大学);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
最近的几项研究表明,基于注意力的网络,如视觉Transformer(ViT),在不使用卷积层的情况下,可以在几个计算机视觉任务上胜过卷积神经网络(CNN)。这自然会导致以下问题:ViT的自我注意层可以表达任何卷积运算吗?在这项工作中,我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的,其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应,实验结果表明,我们的证明中的构造可以帮助将卷积偏差注入到Transformers中,并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh(匹兹堡大学)
最近,为了解决卷积神经网络中的一些普遍弱点,已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性,因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出,数据增强仍然是必不可少的模型是强大的腐败,我们建议探索的影响,该架构对腐败的鲁棒性。我们发现,视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现,参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University(纽约大学)
与卷积网络相比,视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断,Transformer模型比卷积模型对令牌攻击更敏感,ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
GeoViT: A Versatile Vision Transformer Architecture for Geospatial Image Analysis
Fermion AI(费米人工智能)
提出紧凑的视觉Transformer模型GeoViT,处理卫星图像执行多模态分割、分类和回归任务,在估算CO2和NO2排放相关指标上超越现有模型且显著减小模型规模,助力全球气候监测与排放监管。
2023-11-24 cs.CV cs.LG
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型,验证其在输入依赖场景下的高评估准确率,并发现原始SwinV2在非完全输入依赖场景中表现更优,拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)(国立科技大学(NUST))
最近计算机视觉领域的升级支撑了一堆算法,这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践,并正在改变成像数据的感知和解释。在这些算法中,Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中,我们研究了Vision Transformers和医学图像的交叉点,并概述了不同研究人员正在使用的各种基于ViT的框架,以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用,例如基于图像的疾病分类,解剖结构分割,配准,基于区域的病变检测,字幕,报告生成,使用多种医学成像模式进行重建,极大地帮助医疗诊断和治疗过程。与此同时,我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外,为了获得更多的洞察力和更深入的理解,Transformers的自我注意机制也进行了简要的解释。最后,我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学);Intel Labs(英特尔实验室)
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题,提出可配置硬件加速器ViTA,采用头级流水线和层间MLP优化避免重复片外内存访问,在多数模型上实现近90%硬件利用率,功耗0.88W,适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
A Computationally Efficient Multidimensional Vision Transformer
Université du Littoral Cote d’Opale(卢瓦尔海岸大学);LISIC(LISIC研究所)
本文提出了一种基于张量余弦积的高效视觉变换器架构,通过多线性结构和正交性实现计算高效的注意力机制和特征表示,实验表明在保持性能的同时显著减少了参数量。
2026-02-23 cs.LG cs.NA math.NA
Partition-Aware Unlearning for Removing Spurious Correlations in Large Vision-Language Models
Wayne State University(韦恩州立大学);IIIT Delhi(德里印度信息技术学院);Institute for AI and Data Science (AIDaS), Wayne State University(韦恩州立大学人工智能与数据科学研究所)
本研究提出PURGE框架,通过结构化数据集构建和感知分区式遗忘,减少大型视觉语言模型的虚假关联诱导错误,同时保持或提升整体性能。
2026-11-10 cs.AI cs.CV cs.LG
Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model
Tencent(腾讯)
针对CLIP等视觉语言基础模型因决策捷径导致下游任务泛化差的问题,提出SEraser方法,通过测试时可学习提示调优擦除伪特征、利用不变因果特征,显著提升了模型下游任务表现。
2025-01-14 cs.AI cs.CV cs.LG
RaVL: Discovering and Mitigating Spurious Correlations in Fine-Tuned Vision-Language Models
Stanford University(斯坦福大学);Hugging Face
RaVL通过区域级聚类发现虚假相关性,并用区域感知损失函数在微调中缓解,在654个VLM上实现191%的发现提升和8.2%的最差组准确率提升。
2024-11-06 cs.AI cs.CV
Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations?
University of Washington(华盛顿大学);Stanford University(斯坦福大学);University of Michigan(密歇根大学)
本文构建SpuriVerse基准,含124种真实虚假相关性和1364道VQA题,评估15个LVLM,最佳仅37.1%准确率;微调后提升至78.40%,证明模型能学会避免捷径、关注整体图像上下文。
2025-06-23 cs.CV cs.LG
PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Projection
Queen’s University(皇后大学)
提出 PRISM,一种无数据且与任务无关的去偏框架,通过 LLM 生成场景描述并利用对比式去偏损失学习嵌入投影,有效减少 CLIP 等 VLM 的虚假偏差,在 Waterbirds 和 CelebA 上优于现有方法。
2025-07-11 cs.CV cs.LG
Token-Based Detection of Spurious Correlations in Vision Transformers
Center for Biosystems and Biotech Data Science(生物系统与生物技术数据科学中心);Ghent University Global Campus(根特大学全球校区);State University of New York Korea(纽约州立大学韩国分校);Department of Mathematics(数学系);Université de Liège(列日大学);Department of Applied Mathematics, Computer Science and Statistics(应用数学、计算机科学与统计学系);Ghent University(根特大学);Department of Electronics and Information Systems(电子与信息系统系)
本研究提出基于Token的诊断流程,通过留一Token移除法检测视觉Transformer中的虚假相关性,经ImageNet等实验验证了方法的有效性,还探讨了虚假信号的来源及相关案例。
2026-08-12 cs.AI cs.CV
Superclass-Guided Representation Disentanglement for Spurious Correlation Mitigation
New York University(纽约大学);NYU Grossman School of Medicine(纽约大学 Grossman 医学院);Zhejiang University(浙江大学)
本文提出利用超类引导解耦表示以缓解虚假相关性,通过预训练视觉-语言模型的梯度注意力对齐和理论支持的最小最大最优特征使用策略,提升模型对复杂组结构和虚假相关性的鲁棒性。
2026-03-19 cs.AI cs.CV cs.LG
Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
Makerere University(马凯雷雷大学)
该研究识别出ViT家族中存在关注医学胸部X射线注释的虚假注意力头,其无法被输出级评估检测,机制审计可发现行为测试遗漏的偏差。
2026-10-16 cs.CL cs.CV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注,并有着广泛的应用。Transformers开始接管深度学习的所有领域,视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中,我们利用了一个视觉Transformer为基础的定制设计的模型,张量到图像,图像到图像的翻译。在自我注意的帮助下,我们的模型能够推广并应用于不同的问题,而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
BiPrompt: Bilateral Prompt Optimization for Visual and Textual Debiasing in Vision-Language Models
BiPrompt通过双重视觉语言模型双向提示优化,同时减轻视觉和文本中的非因果特征依赖,提升模型在分布偏移下的鲁棒性和因果推理能力。
2026-01-05 cs.AI cs.CV cs.LG
Debiased Prompt Tuning in Vision-Language Model without Annotations
Beijing Jiaotong University(北京交通大学);School of Computer and Information Technology(计算机与信息技术学院)
本文提出一种无需人工标注的VLM提示微调去偏方法,利用零样本能力识别虚假特征并自动调整群体训练权重,在多个数据集上显著提升最差群体准确率。
2025-03-11 cs.CV
Certified Patch Robustness via Smoothed Vision Transformers
MIT(麻省理工学院)
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是,目前,这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer,使更好的认证补丁的鲁棒性,也是更有效的计算,并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
Multiscale Vision Transformers
Facebook AI Research(Facebook AI研究院);UC Berkeley(加州大学伯克利分校)
我们提出了多尺度视觉Transformer(MViT)的视频和图像识别,通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始,这些级分级地扩展信道容量,同时降低空间分辨率。这创建了一个多尺度金字塔的功能,早期的层在高空间分辨率下操作,以模拟简单的低层次视觉信息,更深的层在空间上粗糙,但复杂的高维特征。我们评估了这种基本的架构先验,用于对各种视频识别任务的视觉信号的密集性质进行建模,在这些任务中,它优于依赖于大规模外部预训练的并发视觉Transformer,并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度,并将我们的模型应用于图像分类,它优于以前的工作视觉Transformer。代码可在:https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
最近,视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销,它也带来了挑战,特别是对于高分辨率视觉任务(例如,目标检测)。在本文中,我们提出了焦点自关注,一个新的机制,结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制,每个令牌出席最近的周围令牌在细粒度,但令牌远离在粗粒度,因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注,我们提出了一个新的变体的视觉Transformer模型,称为焦点Transformer,它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是,我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M,在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干,我们获得了一致的和实质性的改进,超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP,在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣,研究它们在计算机视觉问题上的应用。在它们的突出优点中,与递归网络相比,Transformers使得能够对输入序列元素之间的长依赖性进行建模,并且支持序列的并行处理,长短期记忆(LSTM)。与卷积网络不同,Transformers的设计需要最小的电感偏差,并且自然适合作为集函数。此外,Transformers的简单设计允许处理多个模态(例如,图像、视频、文本和语音),并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念,即,自我注意、大规模预训练和双向编码。然后,我们将介绍Transformers在视觉中的广泛应用,包括流行的识别任务(例如,图像分类、目标检测、动作识别和分割),生成建模,多模式任务(例如,视觉问答、视觉推理和视觉基础),视频处理(例如,活动识别,视频预测),低级视觉(例如,图像超分辨率、图像增强和彩色化)和3D分析(例如,点云分类和分割)。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后,我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Scaling Vision Transformers
Google Research(谷歌研究院)
基于注意力的神经网络,如视觉Transformer(ViT),最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素,因此,了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则,但还不知道视觉Transformer如何缩放。为了解决这个问题,我们缩放ViT模型和数据,向上和向下,并表征出错率,数据和计算之间的关系。在此过程中,我们改进了ViT的架构和训练,减少了内存消耗,提高了最终模型的准确性。因此,我们成功地训练了一个具有20亿个参数的ViT模型,该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好,例如,在ImageNet上达到84.86%的top-1准确率,每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
Conditional Positional Encodings for Vision Transformers
Meituan Inc.(美团公司);Beijing Academy of AI(北京人工智能研究院);Zhejiang University(浙江大学)
我们提出了一个条件位置编码(CPE)方案的视觉Transformer。与之前的固定或可学习的位置编码不同,CPE是动态生成的,并以输入标记的局部邻域为条件。因此,CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外,CPE在图像分类任务中可以保持期望的不变性,从而提高性能。我们用一个简单的位置编码生成器(PEG)实现CPE,以无缝地集成到当前的Transformer框架中。在PEG的基础上,我们提出了条件位置编码视觉Transformer(CPVT)。我们证明,CPVT有视觉上相似的注意力地图相比,那些与学习位置编码,并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Efficiency 360: Efficient Vision Transformers
Microsoft(微软)
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中,我们从内存(参数的数量)、计算成本(浮点运算的数量)和模型性能(包括准确性、模型的鲁棒性和公平无偏特性)方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架,其中包括视觉Transformer的各个方面,使其更有效的工业应用。通过考虑这些应用,我们将其分为多个维度,如隐私,鲁棒性,透明性,公平性,包容性,持续学习,概率模型,近似,计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能,参数的数量,以及在多个数据集上的浮点运算(FLOP)的数量。
2023-02-23 cs.AI cs.CL cs.CV
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs
University of Virginia(弗吉尼亚大学);Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
MM-SpuBench通过分析多模态大语言模型中的伪偏差,揭示其存在与缓解的挑战,提供公开基准以促进相关技术发展。
2025-12-30 cs.CV cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法,应用于Detection Transformer和Vision Transformer等大规模模型,通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Vision Transformers in Medical Imaging: A Review
Covenant University(盟约大学);Virginia Tech(弗吉尼亚理工大学)
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型,在自然语言处理(NLP)领域中已经获得了流行,并且最近影响了计算机视觉(CV)空间。计算机视觉和医学成像之间的相似之处,审查了研究人员之间的问题,如果Transformers对计算机视觉的影响可以转化为医学成像?本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型,并将其与多种卷积神经网络(CNN)进行了比较,详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法,重点关注图像模态,在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Reversible Vision Transformers
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了可逆的视觉Transformer,视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离,可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型,即视觉变压器和多尺度视觉Transformer,可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类,目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下,实现了高达15.5倍的内存占用减少,证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后,我们发现,重新计算激活的额外计算负担对于更深的模型来说是克服不了的,其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine(加州大学欧文分校)
许多研究人员已经证明,在许多计算机视觉任务中,Transformers的性能与卷积神经网络一样好。同时,其注意力模块的计算量大,阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer,但是它们中的大多数仅考虑图像分类任务。受这些结果的启发,我们提出了SiDT,修剪视觉Transformer骨干更复杂的视觉任务,如目标检测的方法,基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明,修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外,我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois(伊利诺伊大学)
本文是一篇文献综述,梳理了Transformer从自然语言处理到计算机视觉的应用演进,重点分析了其在多目标跟踪(MOT)领域的研究进展,指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University(阿尔托大学)
随着最近成功的Transformers的视觉域的适应,特别是当训练在一个自我监督的方式,它已被证明,视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务,在图像中的对象分割。在本文中,我们建立在掩蔽自动编码的自我监督任务的基础上,并探索其有效性,以明确学习以对象为中心的表示与Transformers。为此,我们设计了一个以对象为中心的自编码器,只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明,该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
Replacing softmax with ReLU in Vision Transformers
Google DeepMind(谷歌DeepMind)
本研究发现在视觉Transformer中,用ReLU替代softmax注意力并除以序列长度可缓解精度下降,在ImageNet-21k上训练小到大规模模型,其性能可接近或匹配softmax注意力。
2023-10-17 cs.CV cs.LG
CPL: Counterfactual Prompt Learning for Vision and Language Models
UC Santa Cruz(加州大学圣克鲁兹分校);UC Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌)
提示调优是一种新的Few-Shot迁移学习技术,它仅针对预训练的视觉和语言模型(如CLIP)调优可学习提示。然而,现有的快速调优方法往往会学习虚假或纠缠的表示,这导致对不可见概念的泛化能力差。为了从有限的例子中快速有效地进行非虚假学习,提出了一种新的视觉和语言模型的\underline{\textbf{C}}反事实\underline{\textbf{L}}快速学习(CPL)方法,该方法在联合优化框架中同时采用反事实生成和对比学习.特别是,CPL通过识别语义相似的正样本和负样本之间引起概念变化的最小非虚假特征变化来构建反事实,并通过对比学习从事实和反事实样本中学习更概括的提示表征。大量的实验表明,CPL可以获得优越的Few-Shot性能不同的视觉和语言任务比以前的提示调整方法CLIP。在图像分类方面,我们在7个数据集上对不可见类实现了3.55\%的平均相对改进;在图像-文本检索和视觉问答方面,我们在3个Few-Shot场景下对不可见测试集分别获得了4.09\%和25.08\%的相对改进。
2022-11-05 cs.AI cs.CL cs.CV
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab(韩国首尔计算机机器学习实验室)
提出一种离散旋转反射群等变的视觉Transformer,通过卷积注意力机制保持特征图的旋转、翻转和位置对称性,在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University(亚利桑那州立大学)
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题,基于ImageNet数据集通过白盒、黑盒攻击实验,分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Robustar: Interactive Toolbox Supporting Precise Data Annotation for Robust Vision Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学);University of California, Irvine(加州大学欧文分校);University of Michigan(密歇根大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们介绍了我们的软件Robustar的初始版本,该软件旨在通过数据驱动的视角提高视觉分类机器学习模型的鲁棒性。基于最近的理解,即缺乏机器学习模型的鲁棒性是模型学习虚假特征的趋势,我们的目标是通过在训练之前从数据中去除虚假特征,从数据的角度从根本上解决这个问题。特别是,我们介绍了一个软件,它可以帮助用户更好地准备训练图像分类模型的数据,允许用户在图像的像素级注释的虚假功能。为了促进这一过程,我们的软件还利用最新的进展来帮助识别值得关注的潜在图像和像素,并继续使用新注释的数据进行训练。我们的软件托管在GitHub Repository https://github.com/HaohanWang/Robustar上。
2022-07-18 cs.CV cs.LG
On the Robustness of Vision Transformers to Adversarial Examples
University of Connecticut(康涅狄格大学);CWI(荷兰国家数学与计算机科学研究所)
基于注意力的网络的最新进展表明,视觉Transformer可以在许多图像分类任务上实现最先进或接近最先进的结果。这使得Transformers处于独特的位置,成为传统卷积神经网络(CNN)的一个有前途的替代品。虽然CNN已经被仔细研究了对抗攻击,但视觉Transformer却不能这么说。在本文中,我们研究了视觉Transformer对抗性的例子的鲁棒性。我们对Transformer安全性的分析分为三个部分。首先,我们在标准白盒和黑盒攻击下测试Transformer。其次,我们研究了CNN和Transformers之间对抗性示例的可移植性。我们表明,对抗性的例子不容易在CNN和Transformers之间转移。基于这一发现,我们分析了CNN和Transformers的简单集成防御的安全性。通过创建一个新的攻击,自注意混合梯度攻击,我们表明,这样的合奏是不安全的白盒对手。然而,在黑盒对手,我们表明,合奏可以实现前所未有的鲁棒性,而不牺牲干净的准确性。我们对这项工作的分析是使用六种类型的白盒攻击和两种类型的黑盒攻击。我们的研究包括多个视觉Transformer,Big Transfer Models和CNN架构,这些架构在CIFAR-10,CIFAR-100和ImageNet上进行了训练。
2021-06-05 cs.CV cs.LG
Unsupervised Training of Vision Transformers with Synthetic Negatives
Imperial College London(伦敦帝国学院)
该研究针对自监督学习中视觉Transformer场景下硬负样本潜力被忽视的问题,将合成硬负样本融入其表征学习,有效提升了DeiT-S与Swin-T架构所学表征的判别能力及模型性能。
2025-09-02 cs.AI cs.CV
You Only Need a Good Embeddings Extractor to Fix Spurious Correlations
Meta AI
训练数据中的虚假相关性通常会导致鲁棒性问题,因为模型会将其用作捷径。例如,当预测一个对象是否是一头牛时,模型可能会学习依赖于它的绿色背景,所以它在沙质背景上的牛上表现不佳。用于衡量缓解此问题的方法的最新技术水平的标准数据集是水鸟。最好的方法(Group Distributionally Robust Optimization - GroupDRO)目前达到了89%的最差组准确率,而原始图像上从头开始的标准训练只能达到72%。GroupDRO要求以端到端的方式使用子组标签训练模型。在本文中,我们证明了我们可以在不使用训练集中任何子组信息的情况下,通过简单地使用来自大型预训练视觉模型提取器的嵌入并在其上训练线性分类器来实现高达90%的准确率。通过在广泛的预训练模型和预训练数据集上的实验,我们证明了预训练模型的容量和预训练数据集的大小很重要。我们的实验表明,与高容量卷积神经网络相比,高容量视觉Transformer的性能更好,并且更大的预训练数据集导致虚假相关数据集上更好的最差组准确度。
2022-12-12 cs.CV cs.LG
Part-based Face Recognition with Vision Transformers
Queen Mary University of London(伦敦玛丽女王大学)
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中,我们从两个方面出发:(a)我们采用视觉Transformer作为一种架构,用于训练非常强大的人脸识别基线,简称为fViT,它已经超过了大多数最先进的人脸识别方法。(b)其次,我们利用Transformer的固有属性来处理从不规则网格中提取的信息(视觉令牌),以设计一个用于人脸识别的管道,这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分,它只是包括一个轻量级网络来预测面部地标的坐标,然后是视觉Transformer对从预测的地标中提取的补丁进行操作,并且它是端到端训练的,没有地标监督。通过学习提取有区别的斑块,我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性,在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
A Survey on Visual Transformer
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);The University of Sydney(悉尼大学)
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法,并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc(拉德堡德大学医学中心)
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题,提出采用层次视觉变换器(H-ViTs)进行前列腺癌分级,实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications(北京邮电大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);SenseTime(商汤科技);The University of Sydney(悉尼大学)
近年来,自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而,占主导地位的方法,对比学习,主要依赖于一个实例判别借口任务,学习图像的全局理解。本文通过重构预训练(RePre)将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架,增加了一个分支,用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器,融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督,这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的(SOTA)自我监督同行。
2022-01-19 cs.AI cs.CV
Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
Chungnam National University(忠南大学)
提出软混合递归(SoftMoR)方法,通过可学习的token级混合权重灵活组合递归步骤的输出,使递归视觉Transformer(SR-ViT)在增加递归深度时性能持续提升,参数开销极小。
2026-11-02 cs.CV cs.LG
Attacking Compressed Vision Transformers
New York University(纽约大学)
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中,但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此,模型压缩技术现在被广泛用于在边缘设备上部署模型,因为它们降低了资源需求并使模型推理非常快速和高效。但是,从安全角度来看,它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉,它们会严重影响模型的准确性和可靠性。在这项工作中,我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性,并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
X-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise(Kakao企业)
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品,他们需要大量的计算资源的规模是令牌的数量,$N$的平方。这是传统的自注意(SA)算法的一个主要缺点。在这里,我们提出了具有线性复杂度的新型SA机制的X-ViT、ViT。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法,没有复杂的线性近似。通过修改只有几行代码,从原来的SA,所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2022-05-27 cs.CV cs.LG
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea(赵陈夏石移动研究生院)
本综述聚焦自动驾驶领域的视觉Transformer应用,梳理其基础概念与多场景应用,对比架构优劣,并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community(Cohere AI社区);ML Collective;IIT Delhi(印度理工学院德里分校);UC Berkeley(加州大学伯克利分校)
本文综述了面向移动端部署的小型视觉Transformer架构,分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟,为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV