GeoViT: A Versatile Vision Transformer Architecture for Geospatial Image Analysis
Fermion AI(费米人工智能)
提出紧凑的视觉Transformer模型GeoViT,处理卫星图像执行多模态分割、分类和回归任务,在估算CO2和NO2排放相关指标上超越现有模型且显著减小模型规模,助力全球气候监测与排放监管。
2023-11-24 cs.CV cs.LG
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型,验证其在输入依赖场景下的高评估准确率,并发现原始SwinV2在非完全输入依赖场景中表现更优,拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
Patch Slimming for Efficient Vision Transformers
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
通过挖掘给定网络中的冗余计算,研究了可视化Transformers的效率问题。最近的Transformer架构已经证明了其在一系列计算机视觉任务上实现出色性能的有效性。然而,与卷积神经网络类似,视觉Transformer的巨大计算成本仍然是一个严峻的问题。考虑到注意力机制是逐层聚合不同的补丁,我们提出了一种新的补丁瘦身方法,在一个自顶向下的范例中丢弃无用的补丁。我们首先在最后一层中识别有效的补丁,然后使用它们来指导前面几层的补丁选择过程。对于每一层,补丁对最终输出特征的影响是近似的,影响较小的补丁将被删除。在基准数据集上的实验结果表明,该方法可以在不影响视觉Transformer性能的前提下,显著降低其计算量.例如,在ImageNet数据集上,ViT-Ti模型的FLOP可以减少45%以上,而top-1准确率仅下降0.2%。
2022-04-04 cs.CV cs.LG
Number of Attention Heads vs Number of Transformer-Encoders in Computer Vision
Institute of Computer Science, University of St.Gallen (HSG)(圣加仑大学计算机科学研究所)
一方面确定适当数量的注意力头,另一方面确定transformer-编码器的数量,是使用Transformer架构的计算机视觉(CV)任务的重要选择。计算实验证实了参数总数必须满足超定条件(即,约束的数量显著超过参数的数量)。然后,可以预期良好的泛化性能。这设置了可以选择磁头数量和Transformers数量的边界。如果可以假设要分类的图像中的上下文的作用很小,则有利的是使用具有少量头(例如一个或两个)的多个Transformers。在分类其类别可能严重依赖于图像内的上下文(即,贴片的意义取决于其他贴片),头的数量与Transformers的数量同样重要。
2022-09-15 cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University(纽约大学)
与卷积网络相比,视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断,Transformer模型比卷积模型对令牌攻击更敏感,ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation(微软公司)
本文提出了一种新的视觉Transformer(ViT)架构多尺度视觉Longformer,显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构,它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制,它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体,并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明,新的ViT显着优于几个强大的基线,包括现有的ViT模型及其ResNet同行,以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid},在一系列的视觉任务,包括图像分类,目标检测,和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵,最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制,这在内置感应偏置的情况下更有效。然而,这些努力要么忽略了多层次的功能或缺乏动态繁荣,导致次优性能。在本文中,我们提出了一个动态的多级注意力机制(DMA),它捕获不同的模式的输入图像的多个内核大小,并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构,同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明,DMFormer实现了最先进的性能,优于类似大小的视觉Transformer(ViT)和卷积神经网络(CNN)。
2022-11-29 cs.AI cs.CV cs.LG
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)(国立科技大学(NUST))
最近计算机视觉领域的升级支撑了一堆算法,这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践,并正在改变成像数据的感知和解释。在这些算法中,Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中,我们研究了Vision Transformers和医学图像的交叉点,并概述了不同研究人员正在使用的各种基于ViT的框架,以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用,例如基于图像的疾病分类,解剖结构分割,配准,基于区域的病变检测,字幕,报告生成,使用多种医学成像模式进行重建,极大地帮助医疗诊断和治疗过程。与此同时,我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外,为了获得更多的洞察力和更深入的理解,Transformers的自我注意机制也进行了简要的解释。最后,我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学);Intel Labs(英特尔实验室)
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题,提出可配置硬件加速器ViTA,采用头级流水线和层间MLP优化避免重复片外内存访问,在多数模型上实现近90%硬件利用率,功耗0.88W,适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University(计算机科学与工程系,东西大学)
本文提出利用CNN和视觉Transformer架构的AI方法,通过大规模人脸图像数据集评估,展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Long-Short Transformer: Efficient Transformers for Language and Vision
NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院);University of Maryland, College Park(马里兰大学学院市分校)
Transformers在语言和视觉领域都取得了成功。然而,将它们缩放到长序列(诸如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制具有关于输入序列长度的二次时间和存储器复杂度。在本文中,我们提出了长-短Transformer(transformer-LS),一个有效的自我注意力机制建模长序列的线性复杂度的语言和视觉任务。它聚合了一种新的具有动态投影的长距离注意力来模拟远距离相关性,并聚合了一种短期注意力来捕获细粒度的局部相关性。我们提出了一个双重标准化策略来解释两个注意力机制之间的规模失配。transformer-LS可以应用于自回归和双向模型,而不会增加复杂性。我们的方法在语言和视觉领域的多个任务上优于最先进的模型,包括长距离Arena基准测试,自回归语言建模和ImageNet分类。例如,Transformer-LS在enwik 8上实现了0.97的测试BPC,使用的参数数量比以前的方法少了一半,同时速度更快,并且能够处理3倍于相同硬件上的全注意力版本的长序列。在ImageNet上,它可以获得最先进的结果(例如,仅在224 x224 ImageNet-1 K上训练的中等大小的55.8M模型可以获得Top-1准确率(84.1%),同时在高分辨率图像上更具可扩展性。源代码和模型在https://github.com/NVIDIA/transformer-ls上发布。
2021-12-07 cs.CL cs.CV cs.LG
A Computationally Efficient Multidimensional Vision Transformer
Université du Littoral Cote d’Opale(卢瓦尔海岸大学);LISIC(LISIC研究所)
本文提出了一种基于张量余弦积的高效视觉变换器架构,通过多线性结构和正交性实现计算高效的注意力机制和特征表示,实验表明在保持性能的同时显著减少了参数量。
2026-02-23 cs.LG cs.NA math.NA
Fast-COS: A Fast One-Stage Object Detector Based on Reparameterized Attention Vision Transformer for Autonomous Driving
National Formosa University(国立虎尾科技大学);University of Muhammadiyah Malang(玛琅穆罕默德大学);National Taipei University(国立台北大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对自动驾驶场景中目标检测需平衡精度与速度的问题,提出Fast-COS单阶段检测器,其基于重参数化注意力视觉Transformer(RAViT)骨干和RepFPN,在多平台测试中精度与效率优于现有模型,适用于资源受限环境。
2025-02-11 cs.CV
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine(加州大学欧文分校)
许多研究人员已经证明,在许多计算机视觉任务中,Transformers的性能与卷积神经网络一样好。同时,其注意力模块的计算量大,阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer,但是它们中的大多数仅考虑图像分类任务。受这些结果的启发,我们提出了SiDT,修剪视觉Transformer骨干更复杂的视觉任务,如目标检测的方法,基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明,修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外,我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University(阿尔托大学)
随着最近成功的Transformers的视觉域的适应,特别是当训练在一个自我监督的方式,它已被证明,视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务,在图像中的对象分割。在本文中,我们建立在掩蔽自动编码的自我监督任务的基础上,并探索其有效性,以明确学习以对象为中心的表示与Transformers。为此,我们设计了一个以对象为中心的自编码器,只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明,该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
Replacing softmax with ReLU in Vision Transformers
Google DeepMind(谷歌DeepMind)
本研究发现在视觉Transformer中,用ReLU替代softmax注意力并除以序列长度可缓解精度下降,在ImageNet-21k上训练小到大规模模型,其性能可接近或匹配softmax注意力。
2023-10-17 cs.CV cs.LG
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab(韩国首尔计算机机器学习实验室)
提出一种离散旋转反射群等变的视觉Transformer,通过卷积注意力机制保持特征图的旋转、翻转和位置对称性,在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University(亚利桑那州立大学)
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题,基于ImageNet数据集通过白盒、黑盒攻击实验,分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
On the Robustness of Vision Transformers to Adversarial Examples
University of Connecticut(康涅狄格大学);CWI(荷兰国家数学与计算机科学研究所)
基于注意力的网络的最新进展表明,视觉Transformer可以在许多图像分类任务上实现最先进或接近最先进的结果。这使得Transformers处于独特的位置,成为传统卷积神经网络(CNN)的一个有前途的替代品。虽然CNN已经被仔细研究了对抗攻击,但视觉Transformer却不能这么说。在本文中,我们研究了视觉Transformer对抗性的例子的鲁棒性。我们对Transformer安全性的分析分为三个部分。首先,我们在标准白盒和黑盒攻击下测试Transformer。其次,我们研究了CNN和Transformers之间对抗性示例的可移植性。我们表明,对抗性的例子不容易在CNN和Transformers之间转移。基于这一发现,我们分析了CNN和Transformers的简单集成防御的安全性。通过创建一个新的攻击,自注意混合梯度攻击,我们表明,这样的合奏是不安全的白盒对手。然而,在黑盒对手,我们表明,合奏可以实现前所未有的鲁棒性,而不牺牲干净的准确性。我们对这项工作的分析是使用六种类型的白盒攻击和两种类型的黑盒攻击。我们的研究包括多个视觉Transformer,Big Transfer Models和CNN架构,这些架构在CIFAR-10,CIFAR-100和ImageNet上进行了训练。
2021-06-05 cs.CV cs.LG
Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
Chungnam National University(忠南大学)
提出软混合递归(SoftMoR)方法,通过可学习的token级混合权重灵活组合递归步骤的输出,使递归视觉Transformer(SR-ViT)在增加递归深度时性能持续提升,参数开销极小。
2026-11-02 cs.CV cs.LG
Attacking Compressed Vision Transformers
New York University(纽约大学)
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中,但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此,模型压缩技术现在被广泛用于在边缘设备上部署模型,因为它们降低了资源需求并使模型推理非常快速和高效。但是,从安全角度来看,它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉,它们会严重影响模型的准确性和可靠性。在这项工作中,我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性,并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
X-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise(Kakao企业)
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品,他们需要大量的计算资源的规模是令牌的数量,$N$的平方。这是传统的自注意(SA)算法的一个主要缺点。在这里,我们提出了具有线性复杂度的新型SA机制的X-ViT、ViT。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法,没有复杂的线性近似。通过修改只有几行代码,从原来的SA,所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2022-05-27 cs.CV cs.LG
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea(赵陈夏石移动研究生院)
本综述聚焦自动驾驶领域的视觉Transformer应用,梳理其基础概念与多场景应用,对比架构优劣,并指明未来研究方向。
2024-03-12 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
自监督学习方法在计算机视觉中获得越来越多的关注,这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理(NLP)中,自监督学习和Transformers已经是首选的方法。最近的文献表明,Transformers在计算机视觉中也变得越来越流行。到目前为止,视觉Transformer已经被证明在使用大规模监督数据或某种共同监督(例如,在教师网络方面)进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中,我们调查的优点自监督学习预训练图像/视觉Transformer,然后使用它们的下游分类任务。我们提出了自监督视觉Transformer(SiT),并讨论了几种自监督训练机制,以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明,预训练的SiT可以在小规模数据集上进行下游分类任务的微调,这些数据集由几千张图像组成,而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习,并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Augmented Shortcuts for Vision Transformers
Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);University of Sydney(悉尼大学);Central Software Institution, Huawei Technologies(华为技术有限公司中央软件院)
近年来,Transformer模型在计算机视觉领域取得了很大的进展。视觉Transformer的快速发展主要得益于其从输入图像中提取信息特征的高表示能力。但主流的Transformer机型都是采用深度架构设计的,随着深度的增加,特征多样性会不断降低,即,功能崩溃。本文从理论上分析了这些Transformer模型中的特征塌陷现象,并研究了捷径与特征多样性之间的关系。然后,我们提出了一个增强的捷径计划,插入额外的路径与学习参数并行的原始捷径。为了节省计算成本,我们进一步探索了一种使用块循环投影来实现增强捷径的有效方法。在基准数据集上进行的大量实验证明了该方法的有效性,在不明显增加其参数和FLOP的情况下,使最先进的视觉Transformers的精度提高了1%。
2021-06-30 cs.CV cs.LG
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University(都柏林城市大学)
本研究使用视觉Transformer进行域泛化,发现BEIT架构最佳,并在PACS、Home-Office和DomainNet基准上显著提升准确率,缩小分布内外差距。
2023-07-16 cs.CV cs.LG
Learning to Estimate Shapley Values with Vision Transformers
University of Washington(华盛顿大学)
Transformers已经成为计算机视觉中的默认架构,但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度,但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案,但其计算成本使其对于大型高维模型不切实际。在这项工作中,我们的目标是使Shapley值实用的视觉Transformer(ViTs)。要做到这一点,我们首先利用注意力掩蔽方法来评估部分信息的ViTs,然后我们开发了一个程序,通过一个单独的,学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法(例如,注意推出,GradCAM,LRP),我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
TerViT: An Efficient Ternary Vision Transformer
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
视觉Transformer(ViTs)在各种视觉任务中已经展示出巨大的潜力,但是当部署在资源受限的设备上时,遭受昂贵的计算和存储器成本问题。在本文中,我们引入了一个三元视觉Transformer(TerViT),三进制化的权重ViTs,这是挑战的大损失面之间的差距实值和三元参数。为了解决这个问题,我们引入了一个渐进的训练方案,首先训练8位Transformers,然后TerViT,并实现了比传统方法更好的优化。此外,我们引入了通道式三值化,通过将每个矩阵划分为不同的通道,每个通道具有唯一的分布和三值化间隔。我们将我们的方法应用于流行的DeiT和Swin主干,大量结果表明我们可以实现有竞争力的性能。例如,TerViT可以将Swin-S的模型大小扩展到13.1MB,同时在ImageNet数据集上实现超过79%的Top-1准确度。
2022-01-21 cs.CV cs.LG
LT-ViT: A Vision Transformer for multi-label Chest X-ray classification
University of Surrey(萨里大学);University of Oxford(牛津大学)
提出LT-ViT,一种通过图像令牌与标签辅助令牌的联合注意力聚合多尺度信息的视觉Transformer,在多标签胸部X光分类中超越纯ViTs最先进性能,且无需grad-cam即可解释。
2023-11-13 cs.CV cs.LG
Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
Iwin Transformer通过交错窗口注意力和深度可分离卷积实现无位置嵌入的分层视觉Transformer,提升图像分类、语义分割和视频动作识别等任务的性能。
2026-08-26 cs.CV cs.LG
CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention
Zhejiang University(浙江大学);Tencent(腾讯);Columbia University(哥伦比亚大学)
Transformers在处理计算机视觉任务方面取得了很大进展。然而,现有的视觉Transformer还不具备建立不同尺度的特征之间的交互的能力,这是视觉输入的感知重要。原因有两个方面:(1)每层的输入嵌入是等尺度的,因此不能提取跨尺度特征;(2)为了降低计算成本,一些视觉Transformer在自注意模块内合并相邻的嵌入,从而牺牲嵌入的小尺度(细粒度)特征,并且还禁用跨尺度交互。为此,我们提出了跨尺度嵌入层(CEL)和长短距离注意(LSDA)。一方面,CEL将每个嵌入与不同尺度的多个补丁混合,为自我注意模块本身提供跨尺度特征。另一方面,LSDA将自注意模块分为短距离和长距离两部分,这不仅减少了计算负担,而且在嵌入中同时保留了小尺度和大尺度特征。通过以上两种设计,实现了跨尺度注意。此外,我们提出了一种动态的视觉Transformer的位置偏差,使流行的相对位置偏差适用于可变大小的图像。在跨尺度注意力模块的基础上,我们构建了一个通用的视觉架构,称为CrossFormer,它可以容纳可变大小的输入。大量的实验表明,CrossFormer在图像分类、目标检测、实例分割和语义分割任务上优于其他视觉Transformer。代码已发布:https://github.com/cheerss/CrossFormer。
2021-10-08 cs.CV cs.LG
Data-Efficient Realized Volatility Forecasting with Vision Transformers
Stanford University(斯坦福大学)
本文探索将视觉Transformer(ViT)应用于期权隐含波动率曲面,以预测未来30天已实现波动率,初步验证其能学习季节性模式与非线性特征,为期权数据Transformer建模提供了有前景的方向。
2025-11-04 cs.CV cs.LG
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注,并有着广泛的应用。Transformers开始接管深度学习的所有领域,视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中,我们利用了一个视觉Transformer为基础的定制设计的模型,张量到图像,图像到图像的翻译。在自我注意的帮助下,我们的模型能够推广并应用于不同的问题,而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT(麻省理工学院)
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是,目前,这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer,使更好的认证补丁的鲁棒性,也是更有效的计算,并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG(罗氏制药);Genentech, Inc.(基因泰克公司)
最近,Vision Transformers被证明在足够的数据量上进行预训练时,能够超越卷积神经网络。与卷积神经网络相比,Vision Transformers具有较弱的感应偏差,因此允许更灵活的特征检测。由于其有前途的特征检测,这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像,并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性,我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明,对于肿瘤检测的四种组织类型中的三种,Vision Transformer的表现略好于ResNet 18,而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的,这表明两个模型捕获了相似的成像特征。总之,Vision Transformer模型的性能与ResNet 18相当,但需要更多的努力来进行训练。为了超越卷积神经网络的性能,Vision Transformers可能需要更具有挑战性的任务,才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
Multiscale Vision Transformers
Facebook AI Research(Facebook AI研究院);UC Berkeley(加州大学伯克利分校)
我们提出了多尺度视觉Transformer(MViT)的视频和图像识别,通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始,这些级分级地扩展信道容量,同时降低空间分辨率。这创建了一个多尺度金字塔的功能,早期的层在高空间分辨率下操作,以模拟简单的低层次视觉信息,更深的层在空间上粗糙,但复杂的高维特征。我们评估了这种基本的架构先验,用于对各种视频识别任务的视觉信号的密集性质进行建模,在这些任务中,它优于依赖于大规模外部预训练的并发视觉Transformer,并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度,并将我们的模型应用于图像分类,它优于以前的工作视觉Transformer。代码可在:https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
最近,视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销,它也带来了挑战,特别是对于高分辨率视觉任务(例如,目标检测)。在本文中,我们提出了焦点自关注,一个新的机制,结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制,每个令牌出席最近的周围令牌在细粒度,但令牌远离在粗粒度,因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注,我们提出了一个新的变体的视觉Transformer模型,称为焦点Transformer,它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是,我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M,在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干,我们获得了一致的和实质性的改进,超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP,在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院);Khalifa University of Science and Technology(哈利法科学技术大学);Air University(空军大学)
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构,重点探讨了其注意力机制、位置嵌入等关键特征,强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn(波恩大学)
本文测试卷积视觉Transformer(CvT)在直方图化遥感数据上的产量预测,虽性能不及XGBoost和CNN,但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院)
许多高性能分类模型利用复杂的基于CNN的架构进行阿尔茨海默病分类。我们的目标是调查两个相关的问题,关于阿尔茨海默病的分类使用MRI:“做视觉转换器为基础的模型比基于CNN的模型表现更好?以及“是否有可能使用基于CNN的浅三维模型来获得令人满意的结果?“为了实现这些目标,我们提出了两种可以接受和处理3D MRI扫描的模型:卷积体素Vision Transformer(CVVT)架构和ConvNet 3D-4,一种基于浅4块3D CNN的模型。我们的研究结果表明,浅三维CNN为基础的模型是足够的,以实现良好的分类结果阿尔茨海默氏病使用MRI扫描。
2022-10-03 cs.CV cs.LG eess.IV
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣,研究它们在计算机视觉问题上的应用。在它们的突出优点中,与递归网络相比,Transformers使得能够对输入序列元素之间的长依赖性进行建模,并且支持序列的并行处理,长短期记忆(LSTM)。与卷积网络不同,Transformers的设计需要最小的电感偏差,并且自然适合作为集函数。此外,Transformers的简单设计允许处理多个模态(例如,图像、视频、文本和语音),并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念,即,自我注意、大规模预训练和双向编码。然后,我们将介绍Transformers在视觉中的广泛应用,包括流行的识别任务(例如,图像分类、目标检测、动作识别和分割),生成建模,多模式任务(例如,视觉问答、视觉推理和视觉基础),视频处理(例如,活动识别,视频预测),低级视觉(例如,图像超分辨率、图像增强和彩色化)和3D分析(例如,点云分类和分割)。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后,我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University(国立阳明交通大学)
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制,研究人员开发了视觉Transformer,用于各种计算机视觉任务,如图像识别,目标检测,图像分割,姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧(包括自监督学习)的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
Scaling Vision Transformers
Google Research(谷歌研究院)
基于注意力的神经网络,如视觉Transformer(ViT),最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素,因此,了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则,但还不知道视觉Transformer如何缩放。为了解决这个问题,我们缩放ViT模型和数据,向上和向下,并表征出错率,数据和计算之间的关系。在此过程中,我们改进了ViT的架构和训练,减少了内存消耗,提高了最终模型的准确性。因此,我们成功地训练了一个具有20亿个参数的ViT模型,该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好,例如,在ImageNet上达到84.86%的top-1准确率,每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
Conditional Positional Encodings for Vision Transformers
Meituan Inc.(美团公司);Beijing Academy of AI(北京人工智能研究院);Zhejiang University(浙江大学)
我们提出了一个条件位置编码(CPE)方案的视觉Transformer。与之前的固定或可学习的位置编码不同,CPE是动态生成的,并以输入标记的局部邻域为条件。因此,CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外,CPE在图像分类任务中可以保持期望的不变性,从而提高性能。我们用一个简单的位置编码生成器(PEG)实现CPE,以无缝地集成到当前的Transformer框架中。在PEG的基础上,我们提出了条件位置编码视觉Transformer(CPVT)。我们证明,CPVT有视觉上相似的注意力地图相比,那些与学习位置编码,并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University(淡江大学);National Cheng Kung University(台湾成功大学)
随着Transformer在自然语言处理领域的研究成果,Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来,在计算机视觉的多个任务(图像分类、对象检测、语义分割等)中,现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后,越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上,结合金字塔结构,采用分裂-变换-合并的方法,提出了分组编码器,并将其网络结构命名为聚合金字塔视觉Transformer(APVT)。我们在CIFAR-10数据集上执行图像分类任务,在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比,APVT在降低计算代价的同时,具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego(加州大学圣地亚哥分校)
图像Transformers的最新进展已经显示出令人印象深刻的结果,并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练,然后在ImageNet-1 k上进行微调。在微调之后,研究人员通常会考虑迁移学习在较小数据集(如CIFAR-10/100)上的性能,但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer(ViT)、Data Efficient Image Transformer(DeiT)、Class Attention in Image Transformer(CaiT)和Swin Transformers。此外,Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里:https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam(阿姆斯特丹大学)
本文提出VISION DIFFMASK,一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法,并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学);University of California at Merced(加州大学默塞德分校);Yonsei University(延世大学);Google(谷歌)
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品,因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的,其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中,3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上,但由于与2D视觉相比,3D视觉在数据表示和处理方面的差异,需要特别注意。在这项工作中,我们提出了一个系统和全面的审查100多个Transformers的方法,用于不同的3D视觉任务,包括分类,分割,检测,完成,姿态估计等。我们讨论了3D视觉中的Transformer设计,它允许它处理具有各种3D表示的数据。对于每个应用程序,我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力,我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外,我们的目标是经常更新最新的相关论文及其相应的实现:https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Efficiency 360: Efficient Vision Transformers
Microsoft(微软)
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中,我们从内存(参数的数量)、计算成本(浮点运算的数量)和模型性能(包括准确性、模型的鲁棒性和公平无偏特性)方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架,其中包括视觉Transformer的各个方面,使其更有效的工业应用。通过考虑这些应用,我们将其分为多个维度,如隐私,鲁棒性,透明性,公平性,包容性,持续学习,概率模型,近似,计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能,参数的数量,以及在多个数据集上的浮点运算(FLOP)的数量。
2023-02-23 cs.AI cs.CL cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences(中国科学院大学);Fudan University(复旦大学)
近年来,掩码图像建模(MIM)为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络(编码器)中丢弃被掩蔽的图像块(或令牌),这要求编码器是普通的视觉Transformer(例如,ViT),尽管是分层的视觉Transformer(例如,Swin Transformer)在制定视觉输入方面具有潜在的更好的性质。在本文中,我们提出了一种新的设计分层视觉Transformer命名为HiViT(简称分层ViT),享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”,得到结构简单的分层视觉Transformer,其中掩模单元可以像普通视觉Transformer一样被序列化。为此,我们从Swin Transformer开始,并且(i)将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小,(ii)在主阶段之前关闭单元间自关注,以及(iii)消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是,在ImageNet-1 K上运行MAE时,HiViT-B报告比ViT-B准确率提高了+0.6%,比Swin-B提高了1.9 $\times$速度,并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法,应用于Detection Transformer和Vision Transformer等大规模模型,通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG