Token Pruning using a Lightweight Background Aware Vision Transformer
Deeplite(迪利普特公司)
提出BAViT模型,通过轻量级ViT预处理模块识别并剪枝背景token,在保持精度的同时显著提升边缘设备上目标检测的吞吐量并降低内存占用。
2024-10-12 cs.AI cs.CV
Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers
Duke University(杜克大学)
本文提出交错集成遗忘 IEU,通过浅层 ViT 门控识别投毒样本并以梯度上升异步遗忘,从而在含后门数据上安全微调 ViT,并在多数据集、11 种攻击和多架构上验证有效性。
2024-10-01 cs.CV cs.LG
Dynamic Group Transformer: A General Vision Transformer Backbone with Dynamic Group Attention
Sun Yat-sen University(中山大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
最近,Transformers在各种视觉任务中表现出了很好的性能。为了减少由每个查询涉及所有键/值所引起的二次计算复杂度,各种方法已经将注意力的范围限制在局部区域内,其中每个查询仅涉及手工制作的窗口内的键/值。然而,这些手工制作的窗口分区机制是数据不可知的,并且忽略了它们的输入内容,因此很可能一个查询可能涉及不相关的键/值。为了解决这个问题,我们提出了一个动态组注意力(DG-Attention),它动态地将所有查询分为多个组,并为每个组选择最相关的键/值。我们的DG-Attention可以灵活地建模更相关的依赖关系,而无需任何空间约束,这在手工制作的基于窗口的注意力中使用。在DG-Attention的基础上,我们开发了一个通用的视觉Transformer主干,称为动态组Transformer(DGT)。大量的实验表明,我们的模型可以在多个常见的视觉任务,包括图像分类,语义分割,目标检测和实例分割的国家的最先进的方法。
2022-05-27 cs.CV
Exploring Plain Vision Transformer Backbones for Object Detection
Facebook AI Research(脸书人工智能研究院)
我们探讨了平原,非分层视觉Transformer(ViT)作为骨干网络的目标检测。这种设计使得原始ViT架构能够针对目标检测进行微调,而无需重新设计用于预训练的分层骨干。通过最小的微调调整,我们的普通骨干检测器可以实现有竞争力的结果。令人惊讶的是,我们观察到:(i)从单尺度特征图(没有常见的FPN设计)构建简单的特征金字塔是足够的,以及(ii)使用窗口注意力(没有移位)辅助非常少的跨窗口传播块是足够的。通过将普通ViT骨干预训练为掩码自编码器(MAE),我们的检测器名为ViTDet,可以与之前所有基于分层骨干的领先方法竞争,仅使用ImageNet-1 K预训练即可在COCO数据集上达到61.3 AP_box。我们希望我们的研究能引起人们对普通主干检测器研究的关注。Detectron 2中提供ViTDet代码。
2022-06-10 cs.CV
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
Nanjing University(南京大学);The University of Hong Kong(香港大学);Nanjing University of Science and Technology(南京理工大学);IIAI(智能信息处理与应用研究院);SenseTime Research(商汤科技研究院)
虽然使用卷积神经网络(CNN)作为骨干在计算机视觉中取得了巨大的成功,但这项工作研究了一种简单的骨干网络,可用于许多没有卷积的密集预测任务。与最近提出的Transformer模型(例如,ViT)的基础上,提出了Pyramid视觉Transformer ~(PVT),克服了将Transformer移植到各种密集预测任务中的困难。与现有技术相比,PVT具有若干优点。(1)与通常具有低分辨率输出和高计算和内存成本的ViT不同,PVT不仅可以在图像的密集分区上进行训练以实现高输出分辨率,这对于密集预测很重要,而且还可以使用渐进收缩金字塔来减少大型特征图的计算。(2)PVT继承了CNN和Transformer的优点,通过简单地替换CNN骨干,使其成为各种视觉任务中的统一骨干,而无需卷积。(3)我们通过进行广泛的实验来验证PVT,表明它可以提高许多下游任务的性能,例如,目标检测、语义和实例分割。例如,在参数数量相当的情况下,RetinaNet+PVT在COCO数据集上达到40.4 AP,超过RetinNet+ ResNet 50(36.3 AP)4.1绝对AP。我们希望PVT可以作为一个替代和有用的骨干像素级预测和促进未来的研究。代码可在https://github.com/whai362/PVT上获得。
2021-08-11 cs.CV
VORTEX: Challenging CNNs at Texture Recognition by using Vision Transformers with Orderless and Randomized Token Encodings
São Carlos Institute of Physics, University of São Paulo(圣保罗大学圣卡洛斯物理研究所);KTH Royal Institute of Technology(瑞典皇家理工学院);São Paulo State University(圣保罗州立大学)
本文提出VORTEX方法,通过从预训练ViT提取多深度令牌嵌入并进行无序编码与轻量级聚合,在不微调骨干的情况下结合线性SVM,在多个纹理数据集上达到或超越CNN的SOTA性能。
2025-03-09 cs.AI cs.CV cs.LG
CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation
National Institute of Information and Communications Technology(国立信息通信技术研究所);Keio University(庆应义塾大学)
针对视觉语言导航中环境探索与语言-视觉路径对齐的难题,提出CrossMap Transformer网络,结合基于Transformer的指令生成器构建双反向翻译模型,通过共享潜在特征实现双向增强,提升了指令理解与生成效果。
2023-08-21 cs.CV cs.RO
Backdoor Attack Against Vision Transformers via Attention Gradient-Based Image Erosion
University of Electronic Science and Technology of China(电子科技大学);Laboratory Of Intelligent Collaborative Computing, University of Electronic Science and Technology of China(电子科技大学智能协同计算实验室);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对ViTs后门攻击难以平衡隐蔽性与有效性的问题,提出基于注意力梯度的侵蚀后门(AGEB),通过选择性侵蚀最大注意力梯度区域像素嵌入隐蔽触发器,在不降低干净数据准确率的同时实现了高攻击成功率。
2024-10-30 cs.AI cs.CR cs.CV
Native Segmentation Vision Transformers
NVIDIA(英伟达)
针对视觉骨干网络均匀下采样的局限,提出基于内容感知分组层的原生分割视觉Transformer,在特征提取中自然产生层次化分割,无需分割专用头即可实现强零样本分割,并支持高效下游任务。
2025-05-22 cs.CV cs.LG
SimpleClick: Interactive Image Segmentation with Simple Vision Transformers
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
基于点击的交互式图像分割的目标是在有限的用户点击下提取对象。分层骨干是当前方法的事实上的架构。最近,简单的、非分层的视觉Transformer(ViT)已经成为密集预测任务的竞争骨干。这种设计允许原始ViT成为一个基础模型,可以针对下游任务进行微调,而无需重新设计用于预训练的分层骨干。虽然这种设计是简单的,并已被证明是有效的,它还没有被探索用于交互式图像分割。为了填补这一空白,我们提出了SimpleClick,第一个交互式分割方法,利用一个普通的骨干。基于普通主干,我们引入了一个对称补丁嵌入层,该层将点击编码到主干中,对主干本身进行微小修改。通过将普通主干预训练为掩码自编码器(MAE),SimpleClick实现了最先进的性能。值得注意的是,我们的方法在SBD上实现了4.15 NoC@90,比之前的最佳结果提高了21.8%。对医学图像的广泛评价表明了该方法的通用性。我们进一步开发了一个非常小的ViT骨干SimpleClick,并提供了详细的计算分析,突出其适用性作为一个实用的注释工具。
2023-03-11 cs.CV
Enhancing Transformer Backbone for Egocentric Video Action Segmentation
Northeastern University(东北大学)
本文提出双重膨胀注意力机制和编码器-解码器交叉连接增强Transformer主干,结合视觉-语言表示学习,在GTEA和HOI4D数据集上提升了自我中心视频动作分割性能。
2023-05-23 cs.CV
SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Extremadura(埃斯特雷马杜拉大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
高光谱(HS)图像的特点是近似连续的光谱信息,使精细识别材料通过捕捉细微的光谱差异。卷积神经网络(CNN)由于其出色的局部上下文建模能力,已被证明是HS图像分类中一种强大的特征提取器。然而,由于其固有的网络骨干的限制,CNN未能很好地挖掘和表示光谱特征的序列属性。为了解决这个问题,我们重新思考HS图像分类从顺序的角度与Transformers,并提出了一种新的骨干网络称为\ul{SpectralFormer}。除了经典Transformers中的波段表示之外,SpectralFormer能够从HS图像的相邻波段学习光谱局部序列信息,从而产生分组光谱嵌入。更重要的是,为了减少在逐层传播过程中丢失有价值信息的可能性,我们设计了一种跨层跳过连接,通过自适应学习跨层融合“软”残差来将类似记忆的组件从浅层传递到深层。值得注意的是,所提出的SpectralFormer是一个高度灵活的骨干网络,它可以适用于像素和分块输入。我们通过进行广泛的实验,在三个HS数据集上评估了拟议的SpectralFormer的分类性能,显示了相对于经典Transformers的优越性,并与最先进的骨干网络相比取得了显着的改进。为了便于再现,本工作的代码将在https://github.com/danfenghong/IEEE_TGRS_SpectralFormer上提供。
2021-11-20 cs.AI cs.CV
SATr: Slice Attention with Transformer for Universal Lesion Detection
University of Science and Technology of China(中国科学技术大学)
计算机断层扫描中的通用病灶检测(ULD)在计算机辅助诊断中起着至关重要的作用。多切片输入检测方法已经报告了有希望的ULD结果,该方法从多个相邻CT切片对3D上下文进行建模,但是这样的方法仍然难以在不同切片之间和每个单独切片内获得全局表示,因为它们仅使用基于卷积的融合操作。在本文中,我们提出了一种新的切片注意力Transformer(SATr)块,它可以很容易地插入到基于卷积的ULD骨干,形成混合网络结构。这种新形成的混合骨干可以通过Transformer块中的级联自注意模块更好地对长距离特征依赖性进行建模,同时仍然保持利用原始骨干中的卷积操作对局部特征进行建模的强大能力。五个国家的最先进的方法的实验表明,所提出的SATr块可以提供一个几乎免费的提高病变检测精度,而无需额外的超参数或特殊的网络设计。
2022-03-13 cs.AI cs.CV eess.IV
Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
Faculty of Electrical and Computer Engineering(电气与计算机工程学院);Babol Noshirvani University of Technology(巴布尔诺希拉维尼技术大学)
本文提出对比前向-前向算法,通过改进视觉变换器的训练方法,显著提升了准确率并加快了收敛速度。
2025-11-30 cs.CV cs.LG
$MV_{Hybrid}$: Improving Spatial Transcriptomics Prediction with Hybrid State Space-Vision Transformer Backbone in Pathology Vision Foundation Models
AI Research Team(人工智能研究团队);AI Research Lab, Deepnoid Seoul(Deepnoid首尔人工智能研究实验室);Department of Hospital Pathology, College of Medicine, The Catholic University of Korea(韩国天主大学医学院医院病理科)
针对现有病理视觉基础模型ViT骨干预测空间基因表达性能不足的问题,提出结合状态空间模型与ViT的混合骨干$MV_{Hybrid}$,在结直肠癌数据集上验证了其更优的预测性能、鲁棒性及多下游任务潜力。
2025-08-01 cs.AI cs.CE cs.CV
AdaViT: Adaptive Vision Transformers for Efficient Image Recognition
Fudan University(复旦大学);University of Maryland(马里兰大学);Meta AI
建立在自我注意力机制之上的视觉Transformer最近在各种视觉任务上表现出了卓越的性能。在实现优异性能的同时,它们仍然需要相对密集的计算成本,随着补丁、自注意头和Transformer块的数量增加,计算成本急剧增加。在本文中,我们认为,由于图像之间的变化很大,他们需要建模补丁之间的远程依赖关系不同。为此,我们引入了AdaViT,一个自适应计算框架,它可以学习导出使用策略,在每个输入的基础上,在整个主干中使用补丁,自注意头和Transformer块,旨在提高视觉Transformer的推理效率,同时降低图像识别的准确性。通过以端到端的方式与Transformer骨干网联合优化,一个轻量级的决策网络被连接到骨干网,以实时生成决策。在ImageNet上进行的大量实验表明,与最先进的视觉Transformer相比,我们的方法在效率上获得了2倍以上的提高,而精度仅下降了0.8%,在不同的计算预算下实现了良好的效率/精度权衡。我们进一步对学习的使用策略进行定量和定性分析,并对视觉Transformer中的冗余提供更多的见解。
2021-11-30 cs.CV
SVD-ViT: Does SVD Make Vision Transformers Attend More to the Foreground?
Meijo University(静冈大学)
SVD-ViT通过引入奇异值分解来增强视觉变换器对前景特征的学习,从而提升分类性能并减少背景噪声的影响。
2026-02-08 cs.CV
Megatron: Evasive Clean-Label Backdoor Attacks against Vision Transformer
School of Computer Science, Wuhan University(武汉大学计算机学院);Department of Computer Science and Engineering of Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院);School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院)
针对视觉Transformer易受后门攻击且现有脏标签攻击易因标签纠正失效的问题,提出Megatron清洁标签攻击,通过定制潜在损失和注意力扩散损失生成触发器,实现无需篡改标签的有效后门注入,且在多数据集上攻击成功率超90%、规避性优于基线。
2024-12-06 cs.CR cs.CV
LatentPrintFormer: A Hybrid CNN-Transformer with Spatial Attention for Latent Fingerprint identification
Ramakrishna Mission Vidyamandira(拉马克里希纳使命学院);Indian Institute of Information Technology (IIIT)(印度信息与技术学院);Norwegian University of Science and Technology (NTNU)(挪威科学与技术大学)
针对潜指纹识别的挑战,提出LatentPrintFormer混合模型,结合CNN与Transformer提取局部和全局特征,通过空间注意力优化特征,在闭集识别中实现更高Rank-10识别率,优于现有技术。
2025-11-11 cs.CV
ConvNets vs. Transformers: Whose Visual Representations are More Transferable?
The University of Hong Kong(香港大学);ShanghaiTech University(上海科技大学)
视觉变换器吸引了计算机视觉研究人员的广泛关注,因为它们不限于ConvNets的空间感应偏差。然而,尽管基于Transformer的主干在ImageNet分类方面取得了很大进展,但目前还不清楚学习的表示是否与ConvNets的特征一样可转移,甚至比ConvNets的特征更可转移。为了解决这一点,我们系统地研究了ConvNets和视觉转换器在15个单任务和多任务性能评估中的迁移学习能力。考虑到预训练模型的性能与迁移学习之间的强相关性,我们包括2个剩余ConvNets(即,R-101 x3和R-152 x4)和3个基于transformer的视觉骨干(即,ViT-B,ViT-L和Swin-B),在ImageNet上具有接近的错误率,这表明在下游数据集上具有类似的迁移学习性能。我们在13个下游任务上观察到基于transformer的骨干的一致优势(共15项),包括但不限于细粒度分类、场景识别(分类、分割和深度估计)、开域分类、人脸识别等。更具体地说,我们发现,两个ViT模型严重依赖于整个网络的微调,以实现性能增益,而Swin变压器没有这样的要求。此外,视觉变换器在多任务学习中表现得更鲁棒,即,在管理互利的任务时带来更多的改进,并在处理不相关的任务时减少性能损失。我们希望我们的发现可以促进未来视觉转换器的探索和开发。
2021-08-17 cs.CV
Self-Supervised Vision Transformers for CBCT-Based Detection of Temporomandibular Joint Osteoarthritis
Herman Ostrow School of Dentistry, University of Southern California(南加州大学赫尔曼·奥斯特罗牙科学院);Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院)
研究DINO系列自监督ViT在CBCT颞下颌关节骨关节炎检测中的迁移性能,发现部分解冻最后两个Transformer块可将AUC从0.671提升至0.902,表明适应策略比骨干选择更重要。
2026-06-06 cs.AI cs.CV
NMS Strikes Back
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
检测Transformer(DETR)通过在训练期间使用一对一的二分匹配将查询直接转换为唯一对象,并启用端到端目标检测。最近,这些型号以不可否认的优雅超越了COCO上的传统探测器。然而,它们在多个设计方面与传统检测器不同,包括模型架构和训练时间表,因此一对一匹配的有效性尚未完全理解。在这项工作中,我们进行了严格的比较之间的一对一匈牙利匹配DETRs和一对多的标签分配在传统的检测器与非最大监督(NMS)。令人惊讶的是,我们观察到NMS的一对多分配在相同设置下始终优于标准的一对一匹配,具有高达2.5 mAP的显着增益。我们的检测器使用传统的基于IoU的标签分配来训练Deformable-DETR,使用ResNet 50主干在12个epoch(1x时间表)内实现了50.2 COCO mAP,在此设置中优于所有现有的传统或基于transformer的检测器。在多个数据集,时间表和架构上,我们始终表明二分匹配对于高性能检测Transformers是不必要的。此外,我们将检测Transformers的成功归因于其富有表现力的Transformer架构。代码可在https://github.com/jozhang97/DETA上获得。
2022-12-12 cs.CV
ViT-5: Vision Transformers for The Mid-2020s
Johns Hopkins University(约翰霍普金斯大学)
ViT-5通过改进组件和架构,提升了视觉变换器的性能和泛化能力,成为2020年代中期更优的视觉骨干网络。
2026-02-08 cs.CV
Vision Transformer using Low-level Chest X-ray Feature Corpus for COVID-19 Diagnosis and Severity Quantification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Asan Medical Center, University of Ulsan College of Medicine(蔚山大学医学院峨山医学中心);College of Medicine, Yeungnam University(岭南大学医学院);School of Medicine, Kyungpook National University(庆北国立大学医学院)
开发一个强大的算法来使用胸部X光(CXR)诊断和量化COVID-19的严重程度需要大量精心策划的COVID-19数据集,而在全球COVID-19大流行的情况下,很难收集这些数据集。另一方面,CXR数据与其他发现是丰富的。这种情况非常适合Vision Transformer(ViT)架构,其中可以通过自注意机制的结构建模来使用大量未标记的数据。然而,现有ViT的使用并不是最佳的,因为通过标准ViT中的直接补丁平坦化或ResNet主干的特征嵌入并不适用于CXR。为了解决这个问题,在这里,我们提出了一种新的Vision Transformer,它利用从主干网获得的低级别CXR特征语料库,提取常见的CXR发现。具体而言,首先使用大型公共数据集训练主干网,以检测常见的异常发现,如实变、不透明、水肿等。然后,将主干网的嵌入特征用作Transformer模型的语料库,用于COVID-19的诊断和严重程度量化。我们在来自完全不同机构的各种外部测试数据集上评估我们的模型,以评估泛化能力。实验结果证实,我们的模型可以实现最先进的诊断和严重程度量化任务的性能,具有卓越的泛化能力,这是广泛部署的必要条件。
2021-04-15 cs.CV cs.LG eess.IV
Disambiguating Monocular Reconstruction of 3D Clothed Human with Spatial-Temporal Transformer
本文提出时空Transformer(STT)网络,通过空间Transformer提取全局信息改善背部法向图预测,并利用时间Transformer融合相邻帧特征,有效解决单目3D着装人体重建中的视角不可见和局部歧义问题,在多个数据集上优于现有方法。
2024-10-21 cs.CV
Semantic-visual Guided Transformer for Few-shot Class-incremental Learning
Huazhong University of Science and Technology(华中科技大学);JD Retail POMC(京东零售平台运营与营销中心)
Few-Shot类增量学习(FSCIL)近年来受到了各个领域的广泛关注。现有的FSCIL方法高度依赖于在基类上预先训练的特征骨干的鲁棒性。近年来,不同的Transformer变体在海量领域的特征表示学习中取得了显著的进展。尽管如此,Transformer在FSCIL场景中的进展迄今为止还没有达到在其他领域所承诺的潜力。在本文中,我们开发了一个语义视觉引导的Transformer(SV-T),以提高增量类的预训练特征骨干的特征提取能力。具体来说,我们首先利用基类提供的可视(图像)标签来监督Transformer的优化。然后,引入文本编码器,自动生成相应的语义(文本)标签为每个图像从基类。最后,将所构造的语义标签应用于Transformer,指导其超参数的更新.我们的SV-T可以充分利用更多的监督信息,从基类,并进一步提高训练的鲁棒性的特征骨干。更重要的是,我们的SV-T是一个独立的方法,它可以直接应用到现有的FSCIL架构,以获取各种增量类的嵌入。在三个基准测试、两个FSCIL架构和两个Transformer变体上的大量实验表明,与现有的最先进的FSCIL方法相比,我们提出的SV-T获得了显着的改进。
2023-03-27 cs.CV
SLAM-Former: Putting SLAM into One Transformer
IIIS, Tsinghua University(清华大学智能系统研究所)
研究将SLAM功能集成于单个Transformer的方法,核心是SLAM-Former由协同的前后端组成,前端实时处理单目图像用于增量映射和跟踪,后端全局优化,实验证明该方法相比现有密集SLAM方法性能优越。
2026-07-28 cs.CV cs.RO
Masked Attention as a Mechanism for Improving Interpretability of Vision Transformers
Radboudumc(拉德堡德大学医学中心)
提出在视觉Transformer注意力机制中显式掩码背景的方法,通过排除背景token提升模型鲁棒性与可解释性,在前列腺癌分级案例中表现与自注意力相当且提供更准确的注意力热图。
2024-04-28 cs.CV eess.IV
ResT: An Efficient Transformer for Visual Recognition
State Key Laboratory for Novel Software Technology(现代软件工程国家重点实验室);Nanjing University(南京大学)
本文提出了一种高效的多尺度视觉Transformer,称为RestT,能够作为一个通用的骨干图像识别。与现有的Transformer方法不同,该方法使用标准的Transformer块来处理具有固定分辨率的原始图像,我们的RestT具有以下几个优点:(1)建立了一个存储效率高的多头自注意,它通过一个简单的深度卷积来压缩内存,并在保持多头多样性的同时将交互投影到注意力-头维上;(2)位置编码被构造为空间注意力编码,具有更大的灵活性,可以处理任意大小的输入图像,无需插值或微调;(3)代替在每个阶段开始时的直接标记化,我们将补丁嵌入设计为在2D整形的令牌映射上具有步幅的重叠卷积操作的堆栈。我们在图像分类和下游任务上全面验证了ResT。实验结果表明,建议的RestT可以超过最近的国家的最先进的骨干由一个大的利润,展示了潜力的RestT作为强大的骨干。代码和模型将在https://github.com/wofmanaf/ResT上公开提供。
2021-10-14 cs.CV
DBAT: Dynamic Backward Attention Transformer for Material Segmentation with Cross-Resolution Patches
School of Electronics and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出 DBAT,通过在 Transformer 各阶段动态合并相邻图像块并以注意力聚合跨分辨率特征,实现实时材料分割 86.85% 的最佳准确率,并结合网络剖析验证其可解释性与鲁棒性。
2024-02-28 cs.CV
Vision Transformers for Dense Prediction
Intel Labs(英特尔实验室)
我们引入了密集视觉Transformer,这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示,并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示,并且在每个阶段都具有全局接收域。与全卷积网络相比,这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明,这种架构在密集预测任务上产生了实质性的改进,特别是当大量的训练数据可用时。对于单眼深度估计,与最先进的全卷积网络相比,我们观察到相对性能提高了28%。当应用于语义分割时,密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明,该架构可以在较小的数据集上进行微调,如NYUv2,KITTI和Pascal Context,它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization
Institute of Science Tokyo(东京科学研究所);DENSO IT Laboratory(DENSO IT实验室);National Institute of Informatics(国家信息研究所)
本文提出What-Where Transformer,通过分解物体外观和空间位置,提升视觉模型的定位能力,在ImageNet上实现多物体发现,并在零样本物体发现和弱监督语义分割中表现优异。
2026-05-12 cs.CV
Calibration Attention: Learning Reliability-Aware Representations for Vision Transformers
Adelaide University(阿德莱德大学);The University of Queensland(昆士兰大学)
CalAttn通过在视觉变换器中引入表示感知校准模块,实现令牌条件不确定性调制,显著提升校准效果并保持准确性。
2026-01-19 cs.CV
MonoFormer: One Transformer for Both Diffusion and Autoregression
Baidu VIS(百度VIS);University of Technology Sydney(悉尼科技大学)
提出MonoFormer,通过共享一个Transformer同时处理自回归和扩散任务,在保持文本生成能力的同时实现与当前最先进方法相当的图像生成性能。
2024-09-24 cs.CV
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));The Hong Kong University of Science and Technology(香港科技大学)
基于分数的扩散模型已经引起了广泛的关注,并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进,基于vanilla ViT的骨干网(IU-ViT)的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构,并显示验证的概念验证实验的有效性,一个更强大的编码器生成任务与AsymmetriC编码器解码器(ASCEND)。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知,我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出音视频孪生网络AVSiam,用单一共享ViT骨干同时处理音频和视觉输入,结合多比例随机掩码的对比预训练,在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
PASTA: A Patch-Agnostic Twofold-Stealthy Backdoor Attack on Vision Transformers
Delft University of Technology(代尔夫特理工大学);University of Turku(图尔库大学)
本文提出PASTA,一种在像素和注意力领域均隐蔽的补丁式后门攻击,通过多位置触发插入策略增强触发辐射效应,同时采用双层优化问题和自适应后门学习框架提升攻击成功率和隐蔽性。
2026-04-21 cs.CR cs.CV
ViT-BEVSeg: A Hierarchical Transformer Network for Monocular Birds-Eye-View Segmentation
Hamilton Institute Maynooth University(汉密尔顿研究所梅努斯大学);Valeo Vision Systems(法雷奥视觉系统公司);Maynooth University(梅努斯大学)
生成环境的详细近场感知模型是自动驾驶车辆和自主移动机器人中的重要且具有挑战性的问题。提供全景表示的鸟瞰视图(BEV)地图是一种常用的方法,其为许多下游任务提供车辆周围环境的简化2D表示以及准确的语义级分割。当前用于生成BEV图的现有技术方法采用卷积神经网络(CNN)主干来创建特征图,特征图通过空间Transformer以将导出的特征投影到BEV坐标系上。在本文中,我们评估使用视觉Transformer(ViT)作为骨干架构,以生成BEV地图。我们的网络架构ViT-BEVSeg采用标准视觉Transformer来生成输入图像的多尺度表示。然后将所得的表示作为输入提供给空间Transformer解码器模块,该模块输出BEV网格中的分割图。我们在nuScenes数据集上评估了我们的方法,证明了相对于最先进的方法,性能有了相当大的提高。
2022-05-31 cs.CV
Optimizing Relevance Maps of Vision Transformers Improves Robustness
Tel-Aviv University(特拉维夫大学)
人们已经观察到,视觉分类模型往往主要依赖于图像的背景,忽略了前景,这损害了它们的鲁棒性分布的变化。为了缓解这一缺点,我们建议监测模型的相关性信号,并操纵它,使模型的重点放在前景对象。这是作为微调步骤完成的,涉及相对较少的样本,由图像对及其相关的前景蒙版组成。具体来说,我们鼓励模型的相关性图(i)将较低的相关性分配给背景区域,(ii)考虑尽可能多的前景信息,以及(iii)我们鼓励决策具有高置信度。当应用于视觉Transformer(ViT)模型,观察到域移位的鲁棒性有显着改善。此外,可以从ViT模型本身的自监督变体自动获得前景掩模;因此不需要额外的监督。
2022-06-02 cs.CV
Vision Transformer with Convolutions Architecture Search
Donghua University(东华大学);University of Alberta(阿尔伯塔大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Polish Academy of Sciences(波兰科学院);CSIRO(联邦科学与工业研究组织)
Transformers在处理计算机视觉任务时表现出很大的优势。他们通过利用多头注意力机制来处理由分割图像组成的一系列补丁,从而对图像分类任务进行建模。然而,对于复杂的任务,计算机视觉中的Transformer不仅需要继承一点动态注意力和全局上下文,还需要引入关于对象的降噪、移位和缩放不变性的特征。因此,本文进一步研究了Transformer和卷积的结构特征,提出了一种基于卷积的视觉Transformer结构搜索方法(VTCAS)。VTCAS搜索的高性能骨干网络将卷积神经网络的理想特性引入到Transformer架构中,同时保持了多头注意力机制的优势。搜索的基于块的骨干网络可以提取不同尺度的特征图。这些功能与更广泛的视觉任务兼容,例如图像分类(32 M参数,ImageNet-1 K上的Top-1准确率为82.0%)和目标检测(COCO 2017上的mAP为50.4%)。该拓扑结构基于多头注意力机制和CNN自适应地将像素的关系特征与对象的多尺度特征相关联。该方法提高了神经网络在低照度室内场景下目标识别的鲁棒性。
2022-03-20 cs.CV
Mobile Vision Transformer-based Visual Object Tracking
Concordia University(康考迪亚大学)
首次提出以MobileViT为骨干网络的轻量级跟踪算法MVT,通过新方法融合模板与搜索区域表示,在大规模数据集上以高推理速度超越近期轻量级跟踪器,且参数更少、速度更快却优于DiMP-50。
2023-09-11 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
弱监督目标定位是一项具有挑战性的任务,其目的是定位具有粗糙注释的目标,如图像类别。现有的深度网络方法主要基于类激活图,其侧重于突出有区别的局部区域而忽略整个对象。此外,新兴的基于transformer的技术不断强调背景,这阻碍了识别完整对象的能力。为了解决这些问题,我们提出了一个重新注意力机制,称为令牌细化Transformer(TRT),捕捉对象级的语义,以指导本地化。具体而言,TRT引入了一个新的模块,称为令牌优先级评分模块(TPSM),以抑制背景噪声的影响,同时专注于目标对象。然后,我们将类激活图作为语义感知输入,以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
Context-Aware Token Pruning and Discriminative Selective Attention for Transformer Tracking
Department of Computational Mathematics, University of Moratuwa(计算数学系,摩图瓦大学);Department of Interdisciplinary Studies, University of Jaffna(跨学科研究系,贾夫纳大学);Department of Computer Science, University of Jaffna(计算机科学系,贾夫纳大学)
CPDATrack通过上下文感知的标记剪枝和判别性选择性注意力机制,提升Transformer跟踪器的判别能力和计算效率,在GOT-10k上达到75.1%的平均重叠率。
2025-11-25 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
Transformers已成功应用于视觉跟踪任务,并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而,自我注意力缺乏对搜索区域中最相关信息的关注,很容易被背景分散注意力。在本文中,我们缓解这个问题与稀疏的注意力机制,通过集中在搜索区域中的最相关的信息,这使得更准确的跟踪。此外,我们引入了双头预测器,以提高前景-背景分类和目标边界框回归的准确性,从而进一步提高跟踪性能。大量的实验表明,在没有花里胡哨的情况下,我们的方法在以40 FPS运行时,在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是,我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes
University of Maryland(马里兰大学);NVIDIA(英伟达)
虽然具有单标签监督的数据集推动了图像分类的快速发展,但为了定量评估模型如何进行预测,还需要额外的注释。为此,对于ImageNet样本的子集,我们收集整个对象的分割掩码和$18$信息属性。我们将此数据集称为RIVAL 10(带有本地化的RIch视觉属性),它大致由$10$类上的$26k$实例组成。使用RIVAL 10,我们评估了一系列广泛的模型对前景,背景和属性中噪声污染的敏感性。在我们的分析中,我们考虑了各种最先进的架构(ResNets,Transformers)和训练过程(CLIP,Simplified,DeiT,对抗训练)。我们发现,有点令人惊讶的是,在ResNets中,对抗性训练使模型对背景比对前景更敏感。同样,对比训练的模型在Transformers和ResNet中也具有较低的相对前景敏感度。最后,我们观察到有趣的自适应能力的Transformers,以增加相对前景灵敏度的腐败水平的增加。使用显着性方法,我们自动发现驱动模型的背景敏感性的虚假特征,并评估显着性图与前景的对齐。最后,我们定量地研究了神经功能的属性问题,通过比较特征显着性与地面实况本地化的语义属性。
2022-01-26 cs.CV
Separable Self and Mixed Attention Transformers for Efficient Object Tracking
Concordia University(康考迪亚大学)
提出一种高效自注意力与混合注意力Transformer架构SMAT,首次在轻量级跟踪中同时部署Transformer骨干与预测头,实现高精度与低计算开销。
2023-09-07 cs.CV
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
密集的计算机视觉任务,如目标检测和分割需要有效的多尺度特征表示,用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络(CNN)一直是此类任务的主导架构,但最近推出的视觉Transformer(ViTs)旨在取代它们作为骨干。与CNN类似,ViT构建了一个简单的多级结构(即,从细到粗)用于具有单尺度片的多尺度表示。在这项工作中,与现有的Transformers不同的角度,我们探索多尺度补丁嵌入和多路径结构,构建多路径视觉Transformer(MPViT)。MPViT嵌入相同大小的特征~(即,序列长度)同时具有不同尺度的补丁。然后,不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中,并且聚合所得到的特征,从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示,我们的MPViT从微小的~(5 M)扩展到基本的~(73 M),在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明,MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
Enhance Multimodal Transformer With External Label And In-Domain Pretrain: Hateful Meme Challenge Winning Solution
ALFRED SYSTEM
仇恨模因检测是近年来出现的一个新的研究领域,它需要对模因的视觉、语言理解以及一定的背景知识来完成检测任务。这份技术报告总结了2020年仇恨模因检测挑战赛的第一个解决方案,该方案扩展了最先进的视觉语言转换器来解决这个问题。在报告的最后,我们还指出了现有方法的缺点和改进的可能方向。
2020-12-15 cs.CL cs.CV