Visualizing and Understanding Patch Interactions in Vision Transformer
Guangxi Normal University(广西师范大学);Huaqiao University(华侨大学);JD Explore Academy(京东探索研究院)
视觉Transformer(ViT)由于其独特的自我注意力机制,通过跨补丁信息交互来学习视觉表征,已成为各种计算机视觉任务的主要工具。尽管取得了很好的成功,但文献很少探索视觉Transformer的可解释性,并且没有清楚的图片关于跨全面补丁的相关性的注意力机制将如何影响性能以及进一步的潜力是什么。在这项工作中,我们提出了一种新的可解释的可视化方法来分析和解释的关键注意力之间的相互作用的视觉Transformer补丁。具体来说,我们首先引入一个量化指标来衡量补丁的相互作用的影响,并验证这种量化的注意力窗口设计和不加区别的补丁删除。然后,我们利用ViT中每个贴片的有效响应场,设计了一个无窗口的Transformer结构。在ImageNet上进行的大量实验表明,这种精心设计的定量方法能够促进ViT模型的学习,最多可以将前1名的准确率提高4.28%。此外,下游细粒度识别任务的结果进一步验证了我们的建议的推广。
2022-03-11 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China(中国科学技术大学)
野外人脸表情识别是计算机视觉中一项极具挑战性的任务,这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外,网络可以很容易地被上述因素分布,并执行错误的决策。近年来,视觉Transformer(ViT)和数据高效图像Transformers(DeiT)在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野,大大增强了特征提取能力。在这项工作中,我们首先提出了一种新的纯transformer为基础的面具视觉Transformer(MVT)在野外的FER,它由两个模块组成:一个transformer为基础的面具生成网络(MGN),以产生一个面具,可以过滤掉复杂的背景和遮挡的人脸图像,和一个动态的重新标记模块,纠正错误的标签在野外FER数据集。大量的实验结果表明,我们的MVT优于国家的最先进的方法在RAF-DB与88.62%,FERPlus与89.22%,和AffectNet-7与64.57%,分别,并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
Learning Vision Transformer with Squeeze and Excitation for Facial Expression Recognition
Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心)
在过去的几十年里,随着各种面部表情数据库的建立,面部表情识别(FER)任务引起了人们的极大兴趣。可用数据库的多个来源为面部识别任务提出了一些挑战。这些挑战通常由卷积神经网络(CNN)架构来解决。与CNN模型不同,最近提出了一种基于注意力机制的Transformer模型来处理视觉任务。Transformers的主要问题之一是需要大量数据进行训练,而与其他视觉应用程序相比,大多数FER数据库都是有限的。因此,在本文中,我们提出学习一个视觉Transformer联合挤压和激励(SE)块FER任务。该方法在不同的公开FER数据库,包括CK+,JAFFE,RAF-DB和SFEW上进行了评估。实验表明,我们的模型优于国家的最先进的方法CK+和SFEW和JAFFE和RAF-DB上取得竞争力的结果。
2021-07-16 cs.CV
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);National Cheng Kung University(国立成功大学)
深度学习在图像检索的散列技术方面取得了巨大的发展。最近,Transformer作为一种新的架构出现,它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer(ViT),用于视觉识别,在ImageNet上具有良好的性能。在本文中,我们提出了一个视觉Transformer基于哈希(VTS)的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络,并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整,包括深度监督哈希(DSH),HashNet,GreedyHash,改进的深度哈希网络(IDHN),深度极化网络(DPN)和中心相似性量化(CSQ)及其目标函数。我们在CIFAR 10,ImageNet,NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现,建议VTS模型作为骨干网络是优于现有的网络,如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Vision Transformers in Medical Imaging: A Review
Covenant University(盟约大学);Virginia Tech(弗吉尼亚理工大学)
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型,在自然语言处理(NLP)领域中已经获得了流行,并且最近影响了计算机视觉(CV)空间。计算机视觉和医学成像之间的相似之处,审查了研究人员之间的问题,如果Transformers对计算机视觉的影响可以转化为医学成像?本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型,并将其与多种卷积神经网络(CNN)进行了比较,详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法,重点关注图像模态,在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Reversible Vision Transformers
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了可逆的视觉Transformer,视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离,可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型,即视觉变压器和多尺度视觉Transformer,可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类,目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下,实现了高达15.5倍的内存占用减少,证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后,我们发现,重新计算激活的额外计算负担对于更深的模型来说是克服不了的,其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois(伊利诺伊大学)
本文是一篇文献综述,梳理了Transformer从自然语言处理到计算机视觉的应用演进,重点分析了其在多目标跟踪(MOT)领域的研究进展,指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
Unsupervised Training of Vision Transformers with Synthetic Negatives
Imperial College London(伦敦帝国学院)
该研究针对自监督学习中视觉Transformer场景下硬负样本潜力被忽视的问题,将合成硬负样本融入其表征学习,有效提升了DeiT-S与Swin-T架构所学表征的判别能力及模型性能。
2025-09-02 cs.AI cs.CV
A Survey on Visual Transformer
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);The University of Sydney(悉尼大学)
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法,并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc(拉德堡德大学医学中心)
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题,提出采用层次视觉变换器(H-ViTs)进行前列腺癌分级,实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications(北京邮电大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);SenseTime(商汤科技);The University of Sydney(悉尼大学)
近年来,自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而,占主导地位的方法,对比学习,主要依赖于一个实例判别借口任务,学习图像的全局理解。本文通过重构预训练(RePre)将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架,增加了一个分支,用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器,融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督,这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的(SOTA)自我监督同行。
2022-01-19 cs.AI cs.CV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注,并有着广泛的应用。Transformers开始接管深度学习的所有领域,视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中,我们利用了一个视觉Transformer为基础的定制设计的模型,张量到图像,图像到图像的翻译。在自我注意的帮助下,我们的模型能够推广并应用于不同的问题,而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community(Cohere AI社区);ML Collective;IIT Delhi(印度理工学院德里分校);UC Berkeley(加州大学伯克利分校)
本文综述了面向移动端部署的小型视觉Transformer架构,分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟,为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
Vision Transformers for Computer Go
Université Paris Dauphine - PSL(巴黎多芬大学-PSL大学);CNRS(法国国家科学研究中心);The University of New South Wales(新南威尔士大学)
本文研究视觉Transformer在计算机围棋中的应用,通过对比残差网络在准确率、胜率、资源开销等多维度的表现,证明了Transformer在围棋任务中的重要作用。
2023-09-22 cs.AI cs.CV
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab(腾讯人工智能实验室);Peking Union Medical College Hospital(北京协和医院)
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力,最近的工作提出将视觉Transformer与CNN相结合。然而,大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer(即,缺乏归纳偏差、计算量大且很少考虑3D数据)。因此,设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中,我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中,一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积,一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式,和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外,提出了一种自适应缩放增强的局部视觉Transformer,以增强沿空间和通道的自适应特征,并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明,该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
$E(2)$-Equivariant Vision Transformer
Zhejiang University(浙江大学);JD Explore Academy, JD.com, Inc.(京东集团京东探索研究院);University of Edinburgh(爱丁堡大学)
本文针对ViT位置编码难以学习等变性的问题,提出群等变视觉Transformer(GE-ViT),通过新型位置编码算子满足等变理论要求,并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya(布劳爪哇大学)
针对视觉Transformer计算负担重的问题,提出先稀疏正则化再剪枝的优化方法,在多个图像分类数据集上实现了准确率提升,兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China(苏州先进研究所,中国科学技术大学)
本文提出了一种方法,通过将视觉变换器中的线性层替换为卷积运算符,使其能够充分利用BPUs的加速能力,从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science(计算机工程与科学学院)
ECViT是一种结合CNN和Transformer优势的混合架构,通过引入局部注意力和金字塔结构实现高效多尺度特征提取,在图像分类任务上以低计算和存储需求超越现有模型,平衡了性能与效率。
2025-04-21 cs.AI cs.CV
Art Authentication with Vision Transformers
Art Recognition AG(艺术识别股份公司);Tilburg University(蒂尔堡大学)
本文比较Swin Transformer与EfficientNet在梵高画作真伪鉴定中的表现,发现视觉Transformer在纯仿制品对比集上准确率超过85%,证明其在检测艺术仿制品方面具有强大潜力。
2023-07-10 cs.AI cs.CV
Case-Enhanced Vision Transformer: Improving Explanations of Image Similarity with a ViT-based Similarity Metric
Indiana University(印第安纳大学);Berry College(贝里学院)
本文提出Case-Enhanced Vision Transformer(CEViT)相似性度量方法,通过将其集成到k-NN分类中,在保持与最先进模型相当准确率的同时,提升了图像相似性评估的可解释性,并能基于先验案例说明类间差异。
2024-07-24 cs.AI cs.CV
Gastrointestinal Disorder Detection with a Transformer Based Approach
Brac University(布拉克大学);University of Rochester(罗切斯特大学);Shaheed Tajuddin Ahmad Medical College(沙希德·塔朱丁·艾哈迈德医学院)
使用内窥镜图像进行准确的疾病分类是胃肠病学中的一个重要问题。本文描述了一种技术,用于辅助医疗诊断程序和识别胃肠道疾病的基础上的分类的特征,从内窥镜图片使用视觉Transformer和迁移学习模型。视觉Transformer在困难的图像分类任务上显示出非常有前途的结果。本文提出了一种基于视觉Transformer的方法,从无线胶囊内窥镜(WCE)采集的结肠图像中检测胃肠疾病,准确率达到95.63%.我们将这种基于Transformer的方法与预训练的卷积神经网络(CNN)模型DenseNet 201进行了比较,并证明了视觉Transformer在各种定量性能评估指标上都超过了DenseNet 201。
2022-10-06 cs.AI cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院);Khalifa University of Science and Technology(哈利法科学技术大学);Air University(空军大学)
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构,重点探讨了其注意力机制、位置嵌入等关键特征,强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn(波恩大学)
本文测试卷积视觉Transformer(CvT)在直方图化遥感数据上的产量预测,虽性能不及XGBoost和CNN,但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation(微软公司)
本文提出了一种新的视觉Transformer(ViT)架构多尺度视觉Longformer,显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构,它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制,它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体,并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明,新的ViT显着优于几个强大的基线,包括现有的ViT模型及其ResNet同行,以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid},在一系列的视觉任务,包括图像分类,目标检测,和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT(麻省理工学院)
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是,目前,这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer,使更好的认证补丁的鲁棒性,也是更有效的计算,并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University(国立阳明交通大学)
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制,研究人员开发了视觉Transformer,用于各种计算机视觉任务,如图像识别,目标检测,图像分割,姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧(包括自监督学习)的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
DMFormer: Closing the Gap Between CNN and Vision Transformers
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
视觉Transformer在计算机视觉任务中表现出了出色的性能。由于它们的自注意力机制的计算成本昂贵,最近的工作尝试用卷积运算来代替视觉Transformer中的自注意力机制,这在内置感应偏置的情况下更有效。然而,这些努力要么忽略了多层次的功能或缺乏动态繁荣,导致次优性能。在本文中,我们提出了一个动态的多级注意力机制(DMA),它捕获不同的模式的输入图像的多个内核大小,并使输入自适应权重与门控机制。本文提出了一种基于DMA的高效骨干网DMFormer。DMFormer采用了视觉Transformer的整体架构,同时用我们提出的DMA取代了自注意力机制。在ImageNet-1 K和ADE 20 K数据集上的大量实验结果表明,DMFormer实现了最先进的性能,优于类似大小的视觉Transformer(ViT)和卷积神经网络(CNN)。
2022-11-29 cs.AI cs.CV cs.LG
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University(淡江大学);National Cheng Kung University(台湾成功大学)
随着Transformer在自然语言处理领域的研究成果,Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来,在计算机视觉的多个任务(图像分类、对象检测、语义分割等)中,现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后,越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上,结合金字塔结构,采用分裂-变换-合并的方法,提出了分组编码器,并将其网络结构命名为聚合金字塔视觉Transformer(APVT)。我们在CIFAR-10数据集上执行图像分类任务,在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比,APVT在降低计算代价的同时,具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego(加州大学圣地亚哥分校)
图像Transformers的最新进展已经显示出令人印象深刻的结果,并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练,然后在ImageNet-1 k上进行微调。在微调之后,研究人员通常会考虑迁移学习在较小数据集(如CIFAR-10/100)上的性能,但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer(ViT)、Data Efficient Image Transformer(DeiT)、Class Attention in Image Transformer(CaiT)和Swin Transformers。此外,Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里:https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
Multiscale Vision Transformers
Facebook AI Research(Facebook AI研究院);UC Berkeley(加州大学伯克利分校)
我们提出了多尺度视觉Transformer(MViT)的视频和图像识别,通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始,这些级分级地扩展信道容量,同时降低空间分辨率。这创建了一个多尺度金字塔的功能,早期的层在高空间分辨率下操作,以模拟简单的低层次视觉信息,更深的层在空间上粗糙,但复杂的高维特征。我们评估了这种基本的架构先验,用于对各种视频识别任务的视觉信号的密集性质进行建模,在这些任务中,它优于依赖于大规模外部预训练的并发视觉Transformer,并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度,并将我们的模型应用于图像分类,它优于以前的工作视觉Transformer。代码可在:https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学);University of California at Merced(加州大学默塞德分校);Yonsei University(延世大学);Google(谷歌)
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品,因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的,其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中,3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上,但由于与2D视觉相比,3D视觉在数据表示和处理方面的差异,需要特别注意。在这项工作中,我们提出了一个系统和全面的审查100多个Transformers的方法,用于不同的3D视觉任务,包括分类,分割,检测,完成,姿态估计等。我们讨论了3D视觉中的Transformer设计,它允许它处理具有各种3D表示的数据。对于每个应用程序,我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力,我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外,我们的目标是经常更新最新的相关论文及其相应的实现:https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Spectral Vision Transformer for Efficient Tokenization with Limited Data
本文提出基于谱的视觉Transformer,用于有限数据下的高效分词,尤其关注医学影像,通过频谱投影降低复杂度,提升性能。
2026-05-12 cs.AI cs.CV eess.SP
Efficiency 360: Efficient Vision Transformers
Microsoft(微软)
Transformers广泛用于解决自然语言处理、计算机视觉、语音和音乐领域中的任务。在本文中,我们从内存(参数的数量)、计算成本(浮点运算的数量)和模型性能(包括准确性、模型的鲁棒性和公平无偏特性)方面讨论了Transformers的效率。我们主要讨论的视觉Transformer的图像分类任务。我们的贡献是引入一个高效的360度框架,其中包括视觉Transformer的各个方面,使其更有效的工业应用。通过考虑这些应用,我们将其分为多个维度,如隐私,鲁棒性,透明性,公平性,包容性,持续学习,概率模型,近似,计算复杂性和频谱复杂性。我们比较了各种视觉Transformer模型的性能,参数的数量,以及在多个数据集上的浮点运算(FLOP)的数量。
2023-02-23 cs.AI cs.CL cs.CV
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Focal Self-attention for Local-Global Interactions in Vision Transformers
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
最近,视觉Transformer及其变体在各种计算机视觉任务上显示出巨大的前景。通过自我注意捕捉短期和长期视觉依赖的能力可以说是成功的主要来源。但由于二次计算开销,它也带来了挑战,特别是对于高分辨率视觉任务(例如,目标检测)。在本文中,我们提出了焦点自关注,一个新的机制,结合了细粒度的本地和粗粒度的全球相互作用。使用这种新的机制,每个令牌出席最近的周围令牌在细粒度,但令牌远离在粗粒度,因此可以捕获短期和长期的视觉依赖有效和有效的。焦点自我关注,我们提出了一个新的变体的视觉Transformer模型,称为焦点Transformer,它实现了卓越的性能超过国家的最先进的视觉Transformer的一系列公共图像分类和目标检测基准。特别是,我们的Focal Transformer模型具有中等大小的51.1M和更大的89.8M,在224 x224分辨率的ImageNet分类上分别实现了83.5和83.8的Top-1准确度。使用焦点Transformers作为骨干,我们获得了一致的和实质性的改进,超过目前最先进的Swin Transformers的6种不同的目标检测方法训练与标准的1x和3x时间表。我们最大的Focal Transformer在COCO mini-val/test-dev上产生58.7/58.9的框mAP和50.9/51.3的掩码mAP,在ADE 20 K上产生55.4 mI…
2021-07-01 cs.AI cs.CV cs.LG
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences(中国科学院大学);Fudan University(复旦大学)
近年来,掩码图像建模(MIM)为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络(编码器)中丢弃被掩蔽的图像块(或令牌),这要求编码器是普通的视觉Transformer(例如,ViT),尽管是分层的视觉Transformer(例如,Swin Transformer)在制定视觉输入方面具有潜在的更好的性质。在本文中,我们提出了一种新的设计分层视觉Transformer命名为HiViT(简称分层ViT),享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”,得到结构简单的分层视觉Transformer,其中掩模单元可以像普通视觉Transformer一样被序列化。为此,我们从Swin Transformer开始,并且(i)将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小,(ii)在主阶段之前关闭单元间自关注,以及(iii)消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是,在ImageNet-1 K上运行MAE时,HiViT-B报告比ViT-B准确率提高了+0.6%,比Swin-B提高了1.9 $\times$速度,并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法,应用于Detection Transformer和Vision Transformer等大规模模型,通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Vision Transformer Pruning
Zhejiang University(浙江大学);Westlake University(西湖大学);Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而,它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里,我们提出了一个视觉Transformer修剪方法,该方法识别维度在Transformer的每一层中的影响,然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性,重要的维度会自动出现。可以丢弃大量重要性分数小的维度,以实现高修剪率,而不会显着损害准确性。用于视觉Transformer修剪的流水线如下:1)使用稀疏正则化进行训练; 2)修剪线性投影的维度; 3)微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析,以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
Blending Anti-Aliasing into Vision Transformer
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Amazon Inc.(亚马逊公司)
基于自注意力机制和无卷积设计的Transformer结构在计算机视觉中表现出了优异的性能和蓬勃的应用。然而,不连续的逐块标记化过程隐式地将锯齿状伪影引入注意力图中,从而引起视觉Transformer的混叠的传统问题。当使用离散模式产生高频或连续信息时,会产生混叠效应,导致失真难以分辨。最近的研究发现,现代卷积网络仍然存在这种现象。在这项工作中,我们分析了视觉Transformer中的锯齿问题,并探索将反锯齿属性。具体来说,我们提出了一个即插即用的混叠减少模块(ARM),以减轻上述问题。我们调查的有效性和推广所提出的方法在多个任务和各种视觉Transformer家庭。这种轻量化的设计始终如一地获得了几个著名结构的明显提升。此外,我们的模块还提高了数据的效率和鲁棒性的视觉Transformer。
2021-10-28 cs.CV
Adaptive Token Sampling For Efficient Vision Transformers
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);University of Bonn(波恩大学);Microsoft(微软);University of California, Davis(加州大学戴维斯分校);Meta Reality Labs(Meta现实实验室)
虽然最先进的视觉Transformer模型在图像分类中取得了有希望的结果,但它们在计算上是昂贵的,并且需要许多GFLOP。虽然视觉Transformer的GFLOP可以通过减少网络中的令牌数量来减少,但没有对所有输入图像都最佳的设置。因此,在这项工作中,我们引入了一个可微的无参数自适应令牌采样器(ATS)模块,它可以插入到任何现有的视觉Transformer架构。ATS通过对重要标记进行评分和自适应采样来增强视觉Transformer的能力。结果,令牌的数量不再是恒定的,而是针对每个输入图像而变化。通过将ATS集成为当前Transformer块中的附加层,我们可以将它们转换为具有自适应令牌数量的更高效的视觉Transformer。由于ATS是一个无参数模块,因此可以将其作为即插即用模块添加到现成的预训练视觉Transformer中,从而在不进行任何额外训练的情况下降低GFLOP。此外,由于其可区分的设计,还可以训练装备有ATS的视觉Transformer。我们通过将其添加到多个SOTA视觉Transformer来评估我们的模块在图像和视频分类任务中的效率。我们提出的模块通过将其计算成本(GFLOPs)降低2倍来改进SOTA,同时保留其在ImageNet,Kinetics-400和Kinetics-600数据集上的准确性。
2022-07-26 cs.CV
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构,它不仅彻底改变了自然语言处理(NLP)领域,而且在计算机视觉(CV)领域也做了一些开创性的工作。与卷积神经网络(CNN)相比,视觉Transformer(ViT)依靠出色的建模能力,在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制,其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣,研究它们在计算机视觉问题上的应用。在它们的突出优点中,与递归网络相比,Transformers使得能够对输入序列元素之间的长依赖性进行建模,并且支持序列的并行处理,长短期记忆(LSTM)。与卷积网络不同,Transformers的设计需要最小的电感偏差,并且自然适合作为集函数。此外,Transformers的简单设计允许处理多个模态(例如,图像、视频、文本和语音),并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念,即,自我注意、大规模预训练和双向编码。然后,我们将介绍Transformers在视觉中的广泛应用,包括流行的识别任务(例如,图像分类、目标检测、动作识别和分割),生成建模,多模式任务(例如,视觉问答、视觉推理和视觉基础),视频处理(例如,活动识别,视频预测),低级视觉(例如,图像超分辨率、图像增强和彩色化)和3D分析(例如,点云分类和分割)。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后,我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University(西安交通大学);ShanghaiTech University(上海科技大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Megvii Inc. (Face++)(旷视科技(Face++))
Transformers是语言建模的事实标准,最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer,利用自然图像的内在空间冗余,节省计算成本。具体来说,我们提出了一个动态粒度编码器的视觉Transformer,它可以自适应地分配一个合适的查询数量到每个空间区域。因此,它实现了一个细粒度的表示在区分区域,同时保持高效率。此外,动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西,我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%,同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
UFO-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品,他们需要大量的计算资源的规模是二次$N$。这是传统的自注意(SA)算法的一个主要缺点。在这里,我们提出了单位力操作的视觉Transformer(UFO-ViT),一种新的SA机制,具有线性复杂性。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法,没有复杂的线性近似。通过修改只有几行代码,从原来的SA,所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2021-11-04 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales(计算机科学与工程学院 新南威尔士大学)
受人类视觉系统启发,RetinaViT将不同空间频率的补丁引入视觉变换器,在无额外偏置下自发实现从低频到高频的注意力转移,并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
Scaling Vision Transformers
Google Research(谷歌研究院)
基于注意力的神经网络,如视觉Transformer(ViT),最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素,因此,了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则,但还不知道视觉Transformer如何缩放。为了解决这个问题,我们缩放ViT模型和数据,向上和向下,并表征出错率,数据和计算之间的关系。在此过程中,我们改进了ViT的架构和训练,减少了内存消耗,提高了最终模型的准确性。因此,我们成功地训练了一个具有20亿个参数的ViT模型,该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好,例如,在ImageNet上达到84.86%的top-1准确率,每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows
Xinjiang University(新疆大学);Shanghai AI Laboratory(上海人工智能实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对现有视觉Transformer注意力方法难以兼顾局部-全局信息交互、粗细粒度信息平衡的问题,提出可同时建模局部窗口与轴向视图上下文的AxWin注意力,并构建AxWin Transformer骨干网络,在多项视觉任务上取得SOTA性能。
2023-05-02 cs.CV
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks
Xiamen University(厦门大学);Microsoft(微软);Tencent Technology (Shanghai) Co., Ltd(腾讯科技(上海)有限公司)
尽管Transformer具有令人兴奋的性能,但其过多的参数和计算成本受到批评。然而,由于层设计的内部复杂性,压缩Transformer仍然是一个悬而未决的问题,即,多头注意力(MHA)和前馈网络(FFN)。为了解决这个问题,我们引入了一个通用的,但轻量级的Transformer的视觉和语言任务,称为LW-Transformer的组明智的转换。LW-Transformer应用分组变换来减少Transformer的参数和计算,同时还保留其两个主要属性,即,在MHA的不同子空间上的有效注意建模,以及FFN的扩展-缩放特征变换。我们将LW-Transformer应用于一组基于Transformer的网络,并在三个视觉和语言任务和六个基准数据集上对其进行定量测量。实验结果表明,LW-Transformer在节省大量参数和计算量的同时,与原有的Transformer网络相比,在视觉和语言任务上取得了非常有竞争力的性能。为了检验算法的泛化能力,我们还将优化策略应用于最近提出的一个图像Transformer算法Swin-Transformer,并用于图像分类,其有效性也得到了验证
2022-04-16 cs.CV
Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research(百度研究院)
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络(CNN)相比,视觉Transformer具有更大的感受野,能够表征长程依赖性。然而,视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率,出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口,自我注意力在每个窗口内进行。为了找回全局接收场,基于窗口的视觉Transformer投入了大量精力,通过开发几种复杂的操作来实现跨窗口通信。在这项工作中,我们检查Swin Transformer的关键设计元素的必要性,移动窗口分区。我们发现,一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言,由于存在去卷积,Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此,我们通过丢弃复杂的移位窗口分区,将Swin Transformer退化为普通的基于窗口(Win)的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单,更易于实现。与此同时,我们的Win Transformer在多个计算机视觉任务(包括图像识别、语义分割和目标检测)上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Armour: Generalizable Compact Self-Attention for Vision Transformers
Arm Inc.(安谋公司)
基于注意力的Transformer网络在自然语言处理和视觉等领域的应用越来越广泛。然而,尽管最近的改进,例如次二次注意力近似和各种训练增强,但迄今为止使用常规注意力的紧凑视觉Transformer在\textit{accuracy,} \textit{model size}、\textit{and} \textit{throughput}方面与其convnet对应物相比仍然不足。本文介绍了一个紧凑的自我注意力机制,这是基本的和高度概括。该方法减少了冗余,提高了效率的顶部现有的注意力优化。我们显示了它的下拉式的适用性,经常注意力机制和一些最近的变种在视觉Transformer。因此,我们生产了更小更快的模型,具有相同或更好的精度。
2021-08-03 cs.CV
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
How to Train Vision Transformer on Small-scale Datasets?
视觉Transformer(ViT)是一种与卷积神经网络完全不同的架构,具有多种优势,包括设计简单、鲁棒性和许多视觉任务的最新性能。然而,与卷积神经网络相比,视觉Transformer缺乏固有的感应偏差。因此,这些模型的成功训练主要归功于在大规模数据集上进行的预训练,例如具有1.2M图像的ImageNet或具有300 M图像的JFT。这阻碍了视觉Transformer对小规模数据集的直接适配。在这项工作中,我们证明了自我监督的归纳偏差可以直接从小规模数据集中学习,并作为一种有效的权重初始化方案进行微调。这允许训练这些模型,而无需大规模的预训练、对模型架构或损失函数的改变。我们提出了全面的实验,成功地训练单片和非单片视觉Transformer上五个小的数据集,包括CIFAR 10/100,CINIC 10,SVHN,Tiny-ImageNet和两个细粒度的数据集:飞机和汽车。我们的方法不断提高性能的视觉Transformer,同时保留其属性,如注意到显着的地区和更高的鲁棒性。我们的代码和预训练模型可在https://github.com/hananshafi/vits-for-small-scale-datasets上获得。
2022-10-13 cs.CV