MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China(中国科学技术大学)
野外人脸表情识别是计算机视觉中一项极具挑战性的任务,这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外,网络可以很容易地被上述因素分布,并执行错误的决策。近年来,视觉Transformer(ViT)和数据高效图像Transformers(DeiT)在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野,大大增强了特征提取能力。在这项工作中,我们首先提出了一种新的纯transformer为基础的面具视觉Transformer(MVT)在野外的FER,它由两个模块组成:一个transformer为基础的面具生成网络(MGN),以产生一个面具,可以过滤掉复杂的背景和遮挡的人脸图像,和一个动态的重新标记模块,纠正错误的标签在野外FER数据集。大量的实验结果表明,我们的MVT优于国家的最先进的方法在RAF-DB与88.62%,FERPlus与89.22%,和AffectNet-7与64.57%,分别,并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
Learning Vision Transformer with Squeeze and Excitation for Facial Expression Recognition
Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心)
在过去的几十年里,随着各种面部表情数据库的建立,面部表情识别(FER)任务引起了人们的极大兴趣。可用数据库的多个来源为面部识别任务提出了一些挑战。这些挑战通常由卷积神经网络(CNN)架构来解决。与CNN模型不同,最近提出了一种基于注意力机制的Transformer模型来处理视觉任务。Transformers的主要问题之一是需要大量数据进行训练,而与其他视觉应用程序相比,大多数FER数据库都是有限的。因此,在本文中,我们提出学习一个视觉Transformer联合挤压和激励(SE)块FER任务。该方法在不同的公开FER数据库,包括CK+,JAFFE,RAF-DB和SFEW上进行了评估。实验表明,我们的模型优于国家的最先进的方法CK+和SFEW和JAFFE和RAF-DB上取得竞争力的结果。
2021-07-16 cs.CV
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);National Cheng Kung University(国立成功大学)
深度学习在图像检索的散列技术方面取得了巨大的发展。最近,Transformer作为一种新的架构出现,它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer(ViT),用于视觉识别,在ImageNet上具有良好的性能。在本文中,我们提出了一个视觉Transformer基于哈希(VTS)的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络,并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整,包括深度监督哈希(DSH),HashNet,GreedyHash,改进的深度哈希网络(IDHN),深度极化网络(DPN)和中心相似性量化(CSQ)及其目标函数。我们在CIFAR 10,ImageNet,NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现,建议VTS模型作为骨干网络是优于现有的网络,如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London(伦敦玛丽女王大学)
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中,我们从两个方面出发:(a)我们采用视觉Transformer作为一种架构,用于训练非常强大的人脸识别基线,简称为fViT,它已经超过了大多数最先进的人脸识别方法。(b)其次,我们利用Transformer的固有属性来处理从不规则网格中提取的信息(视觉令牌),以设计一个用于人脸识别的管道,这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分,它只是包括一个轻量级网络来预测面部地标的坐标,然后是视觉Transformer对从预测的地标中提取的补丁进行操作,并且它是端到端训练的,没有地标监督。通过学习提取有区别的斑块,我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性,在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
AT-ViT: Area-Targeted Multi-View Vision Transformer with Cross-Attention and Multi-Scale Patching for Plant Trait Recognition in Herbarium Images
该研究针对标本馆图像植物性状识别的背景干扰问题,提出双分支视觉Transformer模型AT-ViT,通过交叉注意力与掩码引导分块加权机制提升植物区域注意力,在多任务中实现准确率与鲁棒性提升。
2026-08-25 cs.AI cs.CV
EVCC: Enhanced Vision Transformer-ConvNeXt-CoAtNet Fusion for Classification
EVCC通过融合Transformer、ConvNeXt和CoAtNet,结合自适应修剪、门控注意力和动态路由机制,在图像分类中实现高准确率与低计算成本的平衡。
2025-11-24 cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院);Khalifa University of Science and Technology(哈利法科学技术大学);Air University(空军大学)
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构,重点探讨了其注意力机制、位置嵌入等关键特征,强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
On Convolutional Vision Transformers for Yield Prediction
University of Bonn(波恩大学)
本文测试卷积视觉Transformer(CvT)在直方图化遥感数据上的产量预测,虽性能不及XGBoost和CNN,但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University(国立阳明交通大学)
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制,研究人员开发了视觉Transformer,用于各种计算机视觉任务,如图像识别,目标检测,图像分割,姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧(包括自监督学习)的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University(淡江大学);National Cheng Kung University(台湾成功大学)
随着Transformer在自然语言处理领域的研究成果,Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来,在计算机视觉的多个任务(图像分类、对象检测、语义分割等)中,现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后,越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上,结合金字塔结构,采用分裂-变换-合并的方法,提出了分组编码器,并将其网络结构命名为聚合金字塔视觉Transformer(APVT)。我们在CIFAR-10数据集上执行图像分类任务,在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比,APVT在降低计算代价的同时,具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Vision Transformers in 2022: An Update on Tiny ImageNet
University of California, San Diego(加州大学圣地亚哥分校)
图像Transformers的最新进展已经显示出令人印象深刻的结果,并在很大程度上缩小了传统CNN架构之间的差距。标准过程是在ImageNet-21 k等大型数据集上进行训练,然后在ImageNet-1 k上进行微调。在微调之后,研究人员通常会考虑迁移学习在较小数据集(如CIFAR-10/100)上的性能,但忽略了Tiny ImageNet。本文提供了视觉Transformer在Tiny ImageNet上的性能更新。其中包括视觉Transformer(ViT)、Data Efficient Image Transformer(DeiT)、Class Attention in Image Transformer(CaiT)和Swin Transformers。此外,Swin Transformers以91.35%的验证准确率击败了当前最先进的结果。代码可在这里:https://github.com/ehuynh1106/TinyImageNet-Transformers
2022-05-21 cs.CV
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学);University of California at Merced(加州大学默塞德分校);Yonsei University(延世大学);Google(谷歌)
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品,因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的,其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中,3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上,但由于与2D视觉相比,3D视觉在数据表示和处理方面的差异,需要特别注意。在这项工作中,我们提出了一个系统和全面的审查100多个Transformers的方法,用于不同的3D视觉任务,包括分类,分割,检测,完成,姿态估计等。我们讨论了3D视觉中的Transformer设计,它允许它处理具有各种3D表示的数据。对于每个应用程序,我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力,我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外,我们的目标是经常更新最新的相关论文及其相应的实现:https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences(中国科学院大学);Fudan University(复旦大学)
近年来,掩码图像建模(MIM)为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络(编码器)中丢弃被掩蔽的图像块(或令牌),这要求编码器是普通的视觉Transformer(例如,ViT),尽管是分层的视觉Transformer(例如,Swin Transformer)在制定视觉输入方面具有潜在的更好的性质。在本文中,我们提出了一种新的设计分层视觉Transformer命名为HiViT(简称分层ViT),享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”,得到结构简单的分层视觉Transformer,其中掩模单元可以像普通视觉Transformer一样被序列化。为此,我们从Swin Transformer开始,并且(i)将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小,(ii)在主阶段之前关闭单元间自关注,以及(iii)消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是,在ImageNet-1 K上运行MAE时,HiViT-B报告比ViT-B准确率提高了+0.6%,比Swin-B提高了1.9 $\times$速度,并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Vision Transformer Pruning
Zhejiang University(浙江大学);Westlake University(西湖大学);Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而,它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里,我们提出了一个视觉Transformer修剪方法,该方法识别维度在Transformer的每一层中的影响,然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性,重要的维度会自动出现。可以丢弃大量重要性分数小的维度,以实现高修剪率,而不会显着损害准确性。用于视觉Transformer修剪的流水线如下:1)使用稀疏正则化进行训练; 2)修剪线性投影的维度; 3)微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析,以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
Blending Anti-Aliasing into Vision Transformer
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Amazon Inc.(亚马逊公司)
基于自注意力机制和无卷积设计的Transformer结构在计算机视觉中表现出了优异的性能和蓬勃的应用。然而,不连续的逐块标记化过程隐式地将锯齿状伪影引入注意力图中,从而引起视觉Transformer的混叠的传统问题。当使用离散模式产生高频或连续信息时,会产生混叠效应,导致失真难以分辨。最近的研究发现,现代卷积网络仍然存在这种现象。在这项工作中,我们分析了视觉Transformer中的锯齿问题,并探索将反锯齿属性。具体来说,我们提出了一个即插即用的混叠减少模块(ARM),以减轻上述问题。我们调查的有效性和推广所提出的方法在多个任务和各种视觉Transformer家庭。这种轻量化的设计始终如一地获得了几个著名结构的明显提升。此外,我们的模块还提高了数据的效率和鲁棒性的视觉Transformer。
2021-10-28 cs.CV
Adaptive Token Sampling For Efficient Vision Transformers
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);University of Bonn(波恩大学);Microsoft(微软);University of California, Davis(加州大学戴维斯分校);Meta Reality Labs(Meta现实实验室)
虽然最先进的视觉Transformer模型在图像分类中取得了有希望的结果,但它们在计算上是昂贵的,并且需要许多GFLOP。虽然视觉Transformer的GFLOP可以通过减少网络中的令牌数量来减少,但没有对所有输入图像都最佳的设置。因此,在这项工作中,我们引入了一个可微的无参数自适应令牌采样器(ATS)模块,它可以插入到任何现有的视觉Transformer架构。ATS通过对重要标记进行评分和自适应采样来增强视觉Transformer的能力。结果,令牌的数量不再是恒定的,而是针对每个输入图像而变化。通过将ATS集成为当前Transformer块中的附加层,我们可以将它们转换为具有自适应令牌数量的更高效的视觉Transformer。由于ATS是一个无参数模块,因此可以将其作为即插即用模块添加到现成的预训练视觉Transformer中,从而在不进行任何额外训练的情况下降低GFLOP。此外,由于其可区分的设计,还可以训练装备有ATS的视觉Transformer。我们通过将其添加到多个SOTA视觉Transformer来评估我们的模块在图像和视频分类任务中的效率。我们提出的模块通过将其计算成本(GFLOPs)降低2倍来改进SOTA,同时保留其在ImageNet,Kinetics-400和Kinetics-600数据集上的准确性。
2022-07-26 cs.CV
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构,它不仅彻底改变了自然语言处理(NLP)领域,而且在计算机视觉(CV)领域也做了一些开创性的工作。与卷积神经网络(CNN)相比,视觉Transformer(ViT)依靠出色的建模能力,在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制,其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University(西安交通大学);ShanghaiTech University(上海科技大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);Megvii Inc. (Face++)(旷视科技(Face++))
Transformers是语言建模的事实标准,最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer,利用自然图像的内在空间冗余,节省计算成本。具体来说,我们提出了一个动态粒度编码器的视觉Transformer,它可以自适应地分配一个合适的查询数量到每个空间区域。因此,它实现了一个细粒度的表示在区分区域,同时保持高效率。此外,动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西,我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%,同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
UFO-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品,他们需要大量的计算资源的规模是二次$N$。这是传统的自注意(SA)算法的一个主要缺点。在这里,我们提出了单位力操作的视觉Transformer(UFO-ViT),一种新的SA机制,具有线性复杂性。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法,没有复杂的线性近似。通过修改只有几行代码,从原来的SA,所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2021-11-04 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales(计算机科学与工程学院 新南威尔士大学)
受人类视觉系统启发,RetinaViT将不同空间频率的补丁引入视觉变换器,在无额外偏置下自发实现从低频到高频的注意力转移,并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows
Xinjiang University(新疆大学);Shanghai AI Laboratory(上海人工智能实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对现有视觉Transformer注意力方法难以兼顾局部-全局信息交互、粗细粒度信息平衡的问题,提出可同时建模局部窗口与轴向视图上下文的AxWin注意力,并构建AxWin Transformer骨干网络,在多项视觉任务上取得SOTA性能。
2023-05-02 cs.CV
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks
Xiamen University(厦门大学);Microsoft(微软);Tencent Technology (Shanghai) Co., Ltd(腾讯科技(上海)有限公司)
尽管Transformer具有令人兴奋的性能,但其过多的参数和计算成本受到批评。然而,由于层设计的内部复杂性,压缩Transformer仍然是一个悬而未决的问题,即,多头注意力(MHA)和前馈网络(FFN)。为了解决这个问题,我们引入了一个通用的,但轻量级的Transformer的视觉和语言任务,称为LW-Transformer的组明智的转换。LW-Transformer应用分组变换来减少Transformer的参数和计算,同时还保留其两个主要属性,即,在MHA的不同子空间上的有效注意建模,以及FFN的扩展-缩放特征变换。我们将LW-Transformer应用于一组基于Transformer的网络,并在三个视觉和语言任务和六个基准数据集上对其进行定量测量。实验结果表明,LW-Transformer在节省大量参数和计算量的同时,与原有的Transformer网络相比,在视觉和语言任务上取得了非常有竞争力的性能。为了检验算法的泛化能力,我们还将优化策略应用于最近提出的一个图像Transformer算法Swin-Transformer,并用于图像分类,其有效性也得到了验证
2022-04-16 cs.CV
Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research(百度研究院)
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络(CNN)相比,视觉Transformer具有更大的感受野,能够表征长程依赖性。然而,视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率,出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口,自我注意力在每个窗口内进行。为了找回全局接收场,基于窗口的视觉Transformer投入了大量精力,通过开发几种复杂的操作来实现跨窗口通信。在这项工作中,我们检查Swin Transformer的关键设计元素的必要性,移动窗口分区。我们发现,一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言,由于存在去卷积,Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此,我们通过丢弃复杂的移位窗口分区,将Swin Transformer退化为普通的基于窗口(Win)的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单,更易于实现。与此同时,我们的Win Transformer在多个计算机视觉任务(包括图像识别、语义分割和目标检测)上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Armour: Generalizable Compact Self-Attention for Vision Transformers
Arm Inc.(安谋公司)
基于注意力的Transformer网络在自然语言处理和视觉等领域的应用越来越广泛。然而,尽管最近的改进,例如次二次注意力近似和各种训练增强,但迄今为止使用常规注意力的紧凑视觉Transformer在\textit{accuracy,} \textit{model size}、\textit{and} \textit{throughput}方面与其convnet对应物相比仍然不足。本文介绍了一个紧凑的自我注意力机制,这是基本的和高度概括。该方法减少了冗余,提高了效率的顶部现有的注意力优化。我们显示了它的下拉式的适用性,经常注意力机制和一些最近的变种在视觉Transformer。因此,我们生产了更小更快的模型,具有相同或更好的精度。
2021-08-03 cs.CV
How to Train Vision Transformer on Small-scale Datasets?
视觉Transformer(ViT)是一种与卷积神经网络完全不同的架构,具有多种优势,包括设计简单、鲁棒性和许多视觉任务的最新性能。然而,与卷积神经网络相比,视觉Transformer缺乏固有的感应偏差。因此,这些模型的成功训练主要归功于在大规模数据集上进行的预训练,例如具有1.2M图像的ImageNet或具有300 M图像的JFT。这阻碍了视觉Transformer对小规模数据集的直接适配。在这项工作中,我们证明了自我监督的归纳偏差可以直接从小规模数据集中学习,并作为一种有效的权重初始化方案进行微调。这允许训练这些模型,而无需大规模的预训练、对模型架构或损失函数的改变。我们提出了全面的实验,成功地训练单片和非单片视觉Transformer上五个小的数据集,包括CIFAR 10/100,CINIC 10,SVHN,Tiny-ImageNet和两个细粒度的数据集:飞机和汽车。我们的方法不断提高性能的视觉Transformer,同时保留其属性,如注意到显着的地区和更高的鲁棒性。我们的代码和预训练模型可在https://github.com/hananshafi/vits-for-small-scale-datasets上获得。
2022-10-13 cs.CV
Vision Transformers for Dense Prediction
Intel Labs(英特尔实验室)
我们引入了密集视觉Transformer,这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示,并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示,并且在每个阶段都具有全局接收域。与全卷积网络相比,这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明,这种架构在密集预测任务上产生了实质性的改进,特别是当大量的训练数据可用时。对于单眼深度估计,与最先进的全卷积网络相比,我们观察到相对性能提高了28%。当应用于语义分割时,密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明,该架构可以在较小的数据集上进行微调,如NYUv2,KITTI和Pascal Context,它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
CvT: Introducing Convolutions to Vision Transformers
McGill University(麦吉尔大学);Microsoft Cloud + AI(微软云与人工智能)
本文提出了一种新的架构,称为卷积视觉Transformer(CvT),提高了视觉Transformer(ViT)的性能和效率,通过引入卷积到ViT产生最好的两种设计。这是通过两个主要修改来实现的:包含新卷积令牌嵌入的Transformers层次结构,以及利用卷积投影的卷积Transformer块。这些变化将卷积神经网络(CNN)的理想属性引入ViT架构(\ie移位、缩放和失真不变性),同时保持了Transformers的优点(\ie动态注意力、全局上下文和更好的泛化)。我们通过进行广泛的实验来验证CvT,表明这种方法在ImageNet-1 k上实现了比其他视觉Transformer和ResNets更先进的性能,参数更少,FLOP更低。此外,当在较大的数据集(\eg ImageNet-22 k)上进行预训练并针对下游任务进行微调时,性能增益得以保持。在ImageNet-22 k上进行预训练后,我们的CvT-W24在ImageNet-1 k val集上获得了87.7\%的前1准确率。最后,我们的研究结果表明,位置编码,在现有的视觉Transformer的一个重要组成部分,可以安全地删除在我们的模型,简化设计更高分辨率的视觉任务。代码将在\url{https://github.com/leoxiaobin/CvT}发布。
2021-03-29 cs.CV
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University(约克大学)
最近,相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用,但它们的作用在很大程度上是未知的。在这里,我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题,我们重新审视了这些模型中的注意力公式,发现尽管名称如此,但在计算上,这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外,尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制,但视觉Transformer的纯前馈结构表明,这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果,我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明,自我注意模块组的数字在刺激的基础上相似的视觉特征,如颜色。此外,在一个单例检测实验的显着性检测的一个实例,我们研究了这些模型是否表现出类似的效果,前馈视觉显着性机制中利用人类的视觉注意。我们发现,一般来说,基于transformer的注意模块分配更多的显着性,无论是干扰或地面。总之,我们的研究表明,视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
随着近年来视觉Transformer研究的兴起,它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中,我们提出了经验的结果,训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说,我们探索视频视觉Transformer的训练技术,如增强,分辨率以及初始化等。使用我们的训练配方,单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能,比原始论文中报道的性能高出3.4%。我们发现,视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是,即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此,我们结合视频视觉Transformer和一些卷积视频网络,并提出我们的解决方案,EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Interpret Vision Transformers as ConvNets with Dynamic Convolutions
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文将视觉Transformer统一解释为具有动态卷积的ConvNet,并通过替换softmax和设计深度视觉Transformer验证了该统一框架对网络设计的指导作用。
2023-09-19 cs.CV
Rethinking Spatial Dimensions of Vision Transformers
NAVER AI Lab(NAVER AI实验室);Sogang University(西江大学)
视觉Transformer(ViT)将Transformers的应用范围从语言处理扩展到计算机视觉任务,作为现有卷积神经网络(CNN)的替代架构。由于基于transformer的体系结构是计算机视觉建模的创新,因此对有效体系结构的设计约定的研究较少。从CNN的成功设计原则,我们调查的作用,空间维度转换和其有效性的transformer为基础的架构。我们特别注意CNN的降维原理;随着深度的增加,传统的CNN会增加通道维度并降低空间维度。我们的经验表明,这样的空间降维是有益的Transformer架构,以及,并提出了一种新的基于池的视觉Transformer(PiT)的原始ViT模型。我们表明,PiT实现了改进的模型能力和泛化性能对ViT。在整个广泛的实验中,我们进一步表明PiT优于基线的几个任务,如图像分类,目标检测,和鲁棒性评估。源代码和ImageNet模型可在https://github.com/naver-ai/pit上获得
2021-08-18 cs.CV
Explicitly Increasing Input Information Density for Vision Transformers on Small Datasets
University of Kansas(堪萨斯大学);Beijing Jiaotong University(北京交通大学);OPPO US Research Center, InnoPeak Technology Inc(英诺皮克科技有限公司OPPO美国研究中心);Toronto Metropolitan University(多伦多都会大学)
自从视觉Transformer(ViT)在视觉任务上成功实现以来,视觉Transformer最近引起了人们的广泛关注。有了视觉Transformer,特别是多头自我注意模块,网络可以内在地捕获长期依赖性。然而,这些注意力模块通常需要在大型数据集上进行训练,与ResNets等广泛占主导地位的骨干相比,视觉Transformer在从头开始训练时在小数据集上表现出较差的性能。请注意,Transformer模型最初是为自然语言处理提出的,它携带的信息比自然图像更密集。为了提高视觉Transformer在小数据集上的性能,本文提出在频域中显式地增加输入信息密度。具体来说,我们介绍了通过使用离散余弦变换(DCT)在频域中计算通道方向热图来选择通道,在保持大部分信息的同时减少输入的大小,从而增加信息密度。其结果是,保持25%的通道,而更好的性能相比,以前的工作。在CIFAR-10/100、SVHN、Flowers-102和Tiny ImageNet等5个小规模数据集上进行了大量实验,验证了该方法的有效性。使用Swin和Focal Transformers,准确率提高到17.05%。代码可在https://github.com/xiangyu8/DenseVT上获得。
2022-10-25 cs.CV
Less is More: Pay Less Attention in Vision Transformers
Monash University(蒙纳士大学)
Transformers已成为深度学习中的主导架构之一,特别是作为计算机视觉中卷积神经网络(CNN)的强大替代方案。然而,Transformer训练和推理在以前的作品中可能是昂贵的,由于在一个长序列的表示,特别是对于高分辨率密集预测任务的自我注意的二次复杂性。为此,我们提出了一种新的较少注意力的视觉Transformer(LIT),建立在Transformers中的早期自我注意力层仍然专注于局部模式的事实上,并在最近的分层视觉Transformer中带来了一些好处。具体来说,我们提出了一个层次化的Transformer,我们使用纯多层感知器(MLP)在早期阶段编码丰富的本地模式,同时应用自我注意模块来捕获更深层次的依赖关系。此外,我们进一步提出了一个学习的可变形令牌合并模块,以自适应融合信息补丁在一个非均匀的方式。LIT在图像识别任务中取得了很好的性能,包括图像分类,目标检测和实例分割,作为许多视觉任务的强大骨干。代码可在:https://github.com/zhuang-group/LIT
2021-12-23 cs.CV
Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer
Tencent(腾讯)
最近,基于窗口的Transformers,它在非重叠的局部窗口内计算自我注意力,在图像分类,语义分割和目标检测方面表现出很好的效果。然而,对于提高表示能力的关键因素--跨窗口连接的研究较少。在这项工作中,我们重新审视空间洗牌作为一种有效的方式来建立窗口之间的连接。因此,我们提出了一个新的视觉Transformer,命名为Shuffle Transformer,它是高效的,易于通过修改两行代码实现。此外,引入深度卷积来补充空间混洗以增强相邻窗口连接。所提出的架构实现了良好的性能,在广泛的视觉任务,包括图像级分类,目标检测,和语义分割。代码将被发布用于复制。
2021-06-07 cs.CV
ViT-P: Rethinking Data-efficient Vision Transformers from Locality
Chongqing University of Technology(重庆理工大学);University of California(加利福尼亚大学)
Transformers的最新进展为计算机视觉任务带来了新的信任。然而,在小数据集上,Transformers很难训练,并且性能低于卷积神经网络。我们通过引入多焦点注意偏差,使视觉Transformer与卷积神经网络一样具有数据效率。受训练良好的ViT的注意距离的启发,我们将ViT的自我注意限制为具有多尺度局部感受野。感受野的大小在训练过程中是自适应的,从而可以学习最佳配置。我们提供的经验证据表明,适当的限制感受野可以减少训练数据量的视觉Transformer。在Cifar 100上,我们的ViT-P Base模型实现了从头开始训练的最先进的准确率(83.16%)。我们还在ImageNet上进行了分析,以证明我们的方法在大型数据集上不会失去准确性。
2022-03-04 cs.CV
AdaViT: Adaptive Vision Transformers for Efficient Image Recognition
Fudan University(复旦大学);University of Maryland(马里兰大学);Meta AI
建立在自我注意力机制之上的视觉Transformer最近在各种视觉任务上表现出了卓越的性能。在实现优异性能的同时,它们仍然需要相对密集的计算成本,随着补丁、自注意头和Transformer块的数量增加,计算成本急剧增加。在本文中,我们认为,由于图像之间的变化很大,他们需要建模补丁之间的远程依赖关系不同。为此,我们引入了AdaViT,一个自适应计算框架,它可以学习导出使用策略,在每个输入的基础上,在整个主干中使用补丁,自注意头和Transformer块,旨在提高视觉Transformer的推理效率,同时降低图像识别的准确性。通过以端到端的方式与Transformer骨干网联合优化,一个轻量级的决策网络被连接到骨干网,以实时生成决策。在ImageNet上进行的大量实验表明,与最先进的视觉Transformer相比,我们的方法在效率上获得了2倍以上的提高,而精度仅下降了0.8%,在不同的计算预算下实现了良好的效率/精度权衡。我们进一步对学习的使用策略进行定量和定性分析,并对视觉Transformer中的冗余提供更多的见解。
2021-11-30 cs.CV
What Makes for Good Tokenizers in Vision Transformer?
The Chinese University of Hong Kong(香港中文大学);Amazon AI(亚马逊人工智能部门)
最近在视觉任务中蓬勃发展的Transformers架构已经转向了广泛的卷积范式。依赖于将输入分成多个令牌的令牌化过程,Transformers能够使用自我注意力提取它们的成对关系。虽然是Transformers的主干构建块,但在计算机视觉中,什么是好的标记器还没有得到很好的理解。在这项工作中,我们调查这个未知的问题,从信息权衡的角度。除了统一和理解现有的结构修改,我们的推导导致更好的视觉标记器的设计策略。所提出的跨令牌调制(MoTo)通过归一化结合了令牌间建模能力。此外,标准训练机制中包含正则化目标TokenProp。通过对各种Transformer架构进行广泛的实验,我们观察到这两种即插即用设计的性能提高和有趣的特性,计算开销可以忽略不计。这些观察结果进一步表明了在视觉Transformer中经常被忽略的标记器设计的重要性。
2022-12-21 cs.CV
Fully-attentive and interpretable: vision and video vision transformers for pain detection
Utrecht University(乌得勒支大学)
疼痛在全球范围内是一个严重且昂贵的问题,但要治疗,必须首先检测到疼痛。视觉Transformer是计算机视觉中性能最好的架构,但很少有关于其用于疼痛检测的研究。在本文中,我们提出了第一个完全专注的自动疼痛检测管道,它在从面部表情进行二进制疼痛检测方面实现了最先进的性能。该模型是在UNBC-McMaster数据集上训练的,在面部进行3D注册并旋转到规范的正面视图之后。在我们的实验中,我们确定了超参数空间的重要领域及其与视觉和视频视觉Transformer的相互作用,获得3个值得注意的模型。我们分析了其中一个模型的注意力地图,为其预测找到了合理的解释。我们还评估了Mixup(一种增强技术)和Sharpness-Aware Minimization(一种优化器),但没有成功。我们提出的模型,ViT-1(F1得分0.55 +- 0.15),ViViT-1(F1得分0.55 +- 0.13),和ViViT-2(F1得分0.49 +- 0.04),都优于早期的作品,显示了潜在的视觉Transformer的疼痛检测。代码可在https://github.com/IPDTFE/ViT-McMaster上获得
2022-10-27 cs.CV
Glance-and-Gaze Vision Transformer
The Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiaotong University(上海交通大学)
最近,出现了一系列视觉Transformer,由于Transformers具有强大的建模远程依赖关系的能力,它们比传统的卷积神经网络具有更紧凑的模型大小,表现出更优越的性能。然而,视觉Transformer的优势也是有代价的:自注意,Transformer的核心部分,具有输入序列长度的二次复杂度。这导致随着序列长度的增加,计算和存储器成本急剧增加,从而在将Transformers应用于需要基于高分辨率特征图的密集预测的视觉任务时引入困难。在本文中,我们提出了一个新的视觉Transformer,命名为扫视和凝视Transformer(GG-Transformer),以解决上述问题。它的动机是人类在识别自然场景中的对象时的扫视和凝视行为,具有有效建模远程依赖性和本地上下文的能力。在GG-Transformer中,Glance和Gaze行为由两个并行分支实现:Glance分支通过对输入的自适应扩张分区执行自关注来实现,这导致线性复杂度,同时仍然享有全局感受野; Gaze分支由简单的深度卷积层实现,该卷积层将局部图像上下文补偿到由Glance机制获得的特征。我们经验证明,我们的方法实现了一贯优于以前的国家的最先进的Transformers的各种视觉任务和基准的性能。代码和模型将在https://github.com/yucornetto/GG-Transformer上提供。
2021-06-04 cs.CV
MoCoViT: Mobile Convolutional Vision Transformer
最近,Transformer网络在各种视觉任务上取得了令人印象深刻的成果。然而,它们中的大多数在计算上是昂贵的,并且不适合于真实世界的移动应用。在这项工作中,我们提出了移动卷积视觉Transformer(MoCoViT),它通过将Transformer引入移动卷积网络来利用这两种架构的优势,从而提高了性能和效率。与最近关于视觉Transformer的工作不同,MoCoViT中的移动Transformer模块是为移动设备精心设计的,非常轻便,通过两个主要修改完成:移动自注意(MoSA)模块和移动前馈网络(MoFFN)。MoSA通过分支共享方案简化了注意力地图的计算,而MoFFN在Transformer中充当MLP的移动版本,进一步大幅减少了计算量。综合实验验证了我们提出的MoCoViT系列在各种视觉任务上的表现优于最先进的便携式CNN和Transformer神经架构。在ImageNet分类上,它在1.47亿FLOPs时达到了74.5%的top-1准确率,比MobileNetV 3提高了1.2%,计算量更少。在COCO目标检测任务上,MoCoViT在RetinaNet框架中的性能优于GhostNet 2.1 AP。
2022-05-26 cs.CV
Privacy-Preserving Vision Transformer Using Images Encrypted with Restricted Random Permutation Matrices
Tokyo Metropolitan University(东京都立大学)
针对传统加密图像微调视觉Transformer会降低模型性能的问题,提出基于受限随机置换矩阵加密的隐私保护微调方法,可实现更优的模型性能。
2024-08-16 cs.CV
Semantic-Aware Local-Global Vision Transformer
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Xiaomi Corporation(小米公司)
视觉Transformer已经取得了令人瞩目的进展,其中Swin Transformer展示了Transformer在视觉任务方面的巨大潜力。它克服了高计算复杂性的关键挑战,通过在移位窗口内执行局部自注意。在这项工作中,我们提出了语义感知局部全局视觉Transformer(SALG),进一步研究两个潜在的改进Swin Transformer。首先,与Swin Transformer不同,它执行均匀分区以产生相同大小的常规窗口用于局部自我注意,我们的SALG以无监督的方式执行语义分割以探索图像中的潜在语义先验。因此,每个分割区域可以对应于图像中语义上有意义的部分,潜在地导致每个分割区域内的更有效的特征。其次,而不是像Swin Transformer那样仅在局部窗口内执行局部自注意,所提出的SALG执行1)用于学习每个区域内的细粒度特征的局部区域内自注意和2)用于建模所有区域之间的全局依赖关系的全局区域间特征传播。因此,我们的模型能够在学习每个令牌的特征时获得全局视图,这是Transformer的本质优势。由于显式建模的语义先验和建议的局部-全局建模机制,我们的SALG是特别有利的小规模模型时,建模能力是不够的其他模型隐式学习语义。在各种视觉任务的广泛实验表明,我们的模型的优点比其他视觉Transformer,特别是在小规模的建模场景。
2022-11-27 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University(哈德斯菲尔德大学)
本文综述了用于计算机视觉的Transformer架构,探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越,并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Three things everyone should know about Vision Transformers
Meta AI;Sorbonne University(索邦大学);Inria(法国国家信息与自动化研究所)
Transformer架构在自然语言处理领域取得初步成功后,在计算机视觉领域迅速获得了广泛应用,为图像分类、检测、分割和视频分析等任务提供了最先进的结果。我们提供了三个基于简单易行的视觉Transformer变体的见解。(1)通常顺序处理的视觉Transformer的剩余层可以在某种程度上并行有效地处理,而不会明显影响精度。(2)微调注意层的权重足以使视觉Transformer适应更高的分辨率和其他分类任务。这节省了计算,降低了微调时的峰值内存消耗,并允许在任务之间共享大部分权重。(3)添加基于MLP的补丁预处理层改进了基于补丁掩蔽的Bert式自监督训练。我们使用ImageNet-1 k数据集评估了这些设计选择的影响,并在ImageNet-v2测试集上证实了我们的发现。传输性能在六个较小的数据集上进行测量。
2022-03-18 cs.CV
Dynamic Group Transformer: A General Vision Transformer Backbone with Dynamic Group Attention
Sun Yat-sen University(中山大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
最近,Transformers在各种视觉任务中表现出了很好的性能。为了减少由每个查询涉及所有键/值所引起的二次计算复杂度,各种方法已经将注意力的范围限制在局部区域内,其中每个查询仅涉及手工制作的窗口内的键/值。然而,这些手工制作的窗口分区机制是数据不可知的,并且忽略了它们的输入内容,因此很可能一个查询可能涉及不相关的键/值。为了解决这个问题,我们提出了一个动态组注意力(DG-Attention),它动态地将所有查询分为多个组,并为每个组选择最相关的键/值。我们的DG-Attention可以灵活地建模更相关的依赖关系,而无需任何空间约束,这在手工制作的基于窗口的注意力中使用。在DG-Attention的基础上,我们开发了一个通用的视觉Transformer主干,称为动态组Transformer(DGT)。大量的实验表明,我们的模型可以在多个常见的视觉任务,包括图像分类,语义分割,目标检测和实例分割的国家的最先进的方法。
2022-05-27 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Alberta(阿尔伯塔大学)
针对视频暴力识别任务,提出基于强化学习路由器的视觉Transformer混合专家系统,结合大型与高效Transformer架构,在RWF数据集上准确率达92.4%,优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Exploring and Improving Mobile Level Vision Transformers
The Chinese University of Hong Kong(香港中文大学);SmartMore
本文研究了视觉Transformer结构在移动层的应用,发现其性能下降很大。本文分析了造成这种现象的原因,并提出了一种新的不规则块嵌入模块和自适应块融合模块来提高图像的性能。我们推测视觉Transformer块(由多头注意力和前馈网络组成)更适合处理高层信息而不是低层特征。不规则块嵌入模块提取具有不同感受野的包含丰富高级信息的块。Transformer块可以从这些不规则的面片中获得最有用的信息。然后,处理后的补丁通过自适应补丁合并模块,以获得最终的分类器的功能。通过我们提出的改进,传统的统一视觉Transformer结构,可以达到最先进的结果,在移动级。我们在移动级设置下将DeiT基线提高了9%以上,并大大超过了Swin和CoaT等其他Transformer架构。
2021-08-30 cs.CV
Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
最近,Transformers在各种视觉任务中表现出了很好的性能。为了降低全局自注意引起的二次计算复杂度,各种方法将注意范围限制在局部区域内以提高其效率。因此,它们在单个注意力层中的感受野不够大,导致上下文建模不足。为了解决这个问题,我们提出了一个苍白形的自我注意(PS-注意),它在苍白形区域内执行自我注意。与全局自注意相比,PS-Attention可以显著降低计算量和内存开销。同时,在与已有的局部自注意力机制相似的计算复杂度下,能够捕获更丰富的上下文信息。基于PS-Attention,我们开发了一个具有分层架构的通用视觉Transformer主干,命名为Pale Transformer,对于224 ImageNet-1 K分类,模型大小分别为22 M,48 M和85 M,分别达到83.4%,84.3%和84.9%的Top-1准确率,优于之前的视觉Transformer主干。对于下游任务,我们的Pale Transformer主干在ADE 20 K语义分割和COCO目标检测和实例分割方面的性能比最新的CSWin Transformer好得多。该代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Agriculture-Vision Challenge 2022 -- The Runner-Up Solution for Agricultural Pattern Recognition via Transformer-based Models
PAII Inc.(PAII公司);Ping An Bank Co., Ltd(平安银行股份有限公司)
CVPR中的视觉挑战赛是全球研究人员打破计算机视觉与农业部门之间界限的最著名和最具竞争力的挑战之一,旨在从航空图像中进行农业模式识别。在本文中,我们提出了CVPR 2022中第三个视觉挑战的解决方案。我们利用数据预处理方案和几个基于Transformer的模型以及数据增强技术,实现了0.582的mIoU,在这项挑战中获得第二名。
2022-06-23 cs.CV
Local-to-Global Self-Attention in Vision Transformers
Inception Institute of Artificial Intelligence (IIAI)(起源人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
Transformers在计算机视觉任务中表现出巨大的潜力。为了避免高分辨率视觉数据中自注意的密集计算,最近的一些Transformer模型采用分层设计,其中自注意仅在局部窗口内计算。这种设计显著提高了效率,但缺乏全局特征推理的早期阶段。在这项工作中,我们设计了一个多路径结构的Transformer,它使本地到全球的推理在多个粒度在每个阶段。所提出的框架是计算效率和高度有效的。随着计算开销的边际增加,我们的模型在图像分类和语义分割方面都取得了显着的改善。代码可在https://github.com/ljpadam/LG-Transformer上获得
2021-07-10 cs.CV
SimViT: Exploring a Simple Vision Transformer with sliding windows
Institute of Software Chinese Academy of Science(中国科学院软件研究所);Institute of Computing Technology Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
尽管视觉Transformer在许多视觉任务中作为骨干模型取得了优异的性能,但大多数视觉变换器都试图捕捉图像或窗口中所有标记的全局关系,这破坏了二维结构中斑块之间固有的空间和局部相关性。在本文中,我们介绍了一个简单的视觉Transformer命名为SimViT,将空间结构和局部信息的视觉Transformer。具体来说,我们引入多头中央自注意(MCSA),而不是传统的多头自注意捕捉高度本地关系。滑动窗口的引入有助于捕捉空间结构。同时,SimViT从不同层提取多尺度层次特征,用于密集预测任务。大量的实验表明,SimViT是有效和高效的通用骨干模型的各种图像处理任务。特别是,我们的SimViT-Micro只需要3.3M参数就可以在ImageNet-1 k数据集上达到71.1%的top-1准确率,这是目前最小尺寸的视觉Transformer模型。我们的代码将在https://github.com/ucasligang/SimViT上提供。
2021-12-24 cs.CV
Vision Transformer with Quadrangle Attention
The University of Sydney(悉尼大学)
基于窗口的注意力由于其优越的性能、较低的计算复杂性和较少的内存占用,已经成为视觉Transformer中的流行选择。然而,手工制作的窗口的设计是数据不可知的,限制了Transformers适应不同大小、形状和方向的对象的灵活性。为了解决这个问题,我们提出了一种新的四边形注意力(QA)的方法,扩展了基于窗口的注意一般四边形制定。我们的方法采用了一个端到端可学习的四边形回归模块,该模块预测一个转换矩阵,将默认窗口转换为目标四边形,用于令牌采样和注意力计算,使网络能够对具有不同形状和方向的各种目标进行建模,并捕获丰富的上下文信息。我们将QA集成到普通和分层的视觉Transformer中,以创建一个名为QFormer的新架构,该架构提供了较小的代码修改和可忽略的额外计算成本。在公共基准上进行的大量实验表明,QFormer在各种视觉任务上都优于现有的代表性视觉Transformer,包括分类、目标检测、语义分割和姿态估计。该代码将在\href{https://github.com/ViTAE-Transformer/QFormer}{QFormer}上公开发布。
2023-03-27 cs.CV
Semi-Supervised Vision Transformers
Fudan University(复旦大学);Meta AI;Baidu Apollo(百度阿波罗)
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是,当只有一小部分标记数据可用时,我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发,我们引入了一个联合半监督学习框架Semiformer,它包含一个Transformer流,一个卷积流和一个精心设计的融合模块,用于这些流之间的知识共享。卷积流在有限的标记数据上训练,并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明,Semiformer实现了75.5%的top-1准确率,明显优于最先进的技术。此外,我们还展示了Semiformer是一个通用框架,与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV