Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer
University of Electronic Science and Technology of China(电子科技大学);Shanghai AI Lab(上海人工智能实验室);SenseTime(商汤科技)
最近,使用卷积神经网络(CNN)和Transformers的深度学习在完全监督的医学图像分割中显示出令人鼓舞的结果。然而,它仍然是具有挑战性的,他们实现良好的性能与有限的注释训练。在这项工作中,我们提出了一个非常简单而有效的框架,半监督医学图像分割之间的交叉教学引入CNN和Transformer。具体来说,我们将经典的深度协同训练从一致性正则化简化为交叉教学,其中网络的预测被用作伪标签,直接端到端地监督另一个网络。考虑到CNN和Transformer之间学习范式的差异,我们引入了CNN和Transformer之间的交叉教学,而不仅仅是使用CNN。在一个公开的基准测试上的实验表明,我们的方法比现有的八种半监督学习方法更好,只是一个更简单的框架。值得注意的是,这项工作可能是首次尝试将CNN和Transformer结合起来进行半监督医学图像分割,并在公共基准上取得了有希望的结果。该代码将在https://github.com/HiLab-git/SSL4MIS上发布。
2022-03-01 cs.CV eess.IV
WegFormer: Transformers for Weakly Supervised Semantic Segmentation
Tongji University(同济大学);The University of Hong Kong(香港大学);SenseTime(商汤科技);Shanghai AI Lab(上海人工智能实验室)
尽管卷积神经网络(CNN)在弱监督语义分割(WSSS)方面取得了显着进展,但CNN的有效感受野不足以捕获全局上下文信息,从而导致次优结果。受Transformers在基础视觉领域的巨大成功的启发,本文首次引入了Transformer来构建一个简单有效的WSSS框架,称为WegFormer。与现有的基于CNN的方法不同,WegFormer使用视觉Transformer(ViT)作为分类器来产生高质量的伪分割掩模。为此,我们在基于transformer的框架中引入了三个定制组件,它们是(1)深度泰勒分解(DTD)以生成注意力地图,(2)软擦除模块以平滑注意力地图,以及(3)高效的潜在对象挖掘(EPOM)以过滤背景中的噪声激活。在没有任何额外功能的情况下,WegFormer在PASCAL VOC数据集上实现了最先进的70.5% mIoU,显著优于之前的最佳方法。我们希望WegFormer为挖掘Transformer在弱监督语义分割中的潜力提供一个新的视角。代码将被释放。
2022-03-16 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要基于由基于CNN(卷积神经网络)的图像分类器生成的类激活图(CAM)。在本文中,我们提出了一种新的基于transformer的框架,命名为语义引导激活Transformer(SemFormer),WSSS。我们设计了一个基于transformer的类感知自动编码器(CAAE)来提取输入图像的类嵌入,并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成,即,类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明,该算法实现了\textbf{74.3} \% mIoU,并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
Emerging Properties in Self-Supervised Vision Transformers
Facebook AI Research(脸书人工智能研究院);Inria(法国国家信息与自动化研究所);Sorbonne University(索邦大学)
在本文中,我们质疑自监督学习是否为视觉Transformer(ViT)提供了与卷积网络(convnets)相比突出的新属性。除了自监督方法适应这种架构特别好的事实,我们做了以下观察:第一,自监督ViT功能包含明确的信息的语义分割的图像,这并不清楚地出现与监督ViT,也与convnets。其次,这些特征也是优秀的k-NN分类器,在ImageNet上达到了78.3%的top-1,具有较小的ViT。我们的研究还强调了动量编码器,多作物训练以及使用ViTs小补丁的重要性。我们将我们的发现应用到一个简单的自我监督方法中,称为DINO,我们将其解释为一种没有标签的自我蒸馏形式。我们通过在ImageNet上使用ViT-Base进行线性评估时达到80.1%的top-1,展示了DINO和ViTs之间的协同作用。
2021-05-24 cs.CV
SPT: Sequence Prompt Transformer for Interactive Image Segmentation
Ant Group(蚂蚁集团);BAIDU(百度);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有交互式图像分割方法未利用图像序列信息的问题,提出含序列提示Transformer和前k个提示选择模块的SPT方法,构建ADE20K-Seq基准,在多个数据集上性能超越现有最优水平。
2024-12-13 cs.CV
Self-Supervised Learning with Swin Transformers
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
我们正在见证计算机视觉中从CNN到Transformers的建模转变。在这项工作中,我们提出了一个自监督学习的方法,称为MoBY,与视觉Transformer作为其骨干架构。该方法基本上没有新的发明,它结合了MoCo v2和BYOL,并经过调整,在ImageNet-1 K线性评估中实现了相当高的准确度:通过300次训练,使用DeiT-S和Swin-T分别达到72.8%和75.0%的top-1准确度。性能略优于MoCo v3和DINO的最新作品,后者采用DeiT作为主干,但技巧要轻得多。更重要的是,通用的Swin Transformer主干使我们能够评估下游任务(如目标检测和语义分割)的学习表示,而最近基于ViT/DeiT的一些方法仅报告ImageNet-1 K上的线性评估结果,因为ViT/DeiT不适合这些密集的预测任务。我们希望我们的研究结果可以促进更全面的评估自监督学习方法设计的Transformer架构。我们的代码和模型可以在https://github.com/SwinTransformer/Transformer-SSL上获得,它将不断丰富。
2021-05-11 cs.CV
Self-Supervised Pre-training of Vision Transformers for Dense Prediction Tasks
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
我们提出了一种新的自监督预训练的视觉Transformer密集的预测任务。它基于跨视图的对比损失,将像素级表示与全局图像表示进行比较。这种策略产生更好的局部特征,适合于密集预测任务,而不是仅基于全局图像表示的对比预训练。此外,我们的方法并没有遭受减少批量大小,因为在对比损失所需的负例的数量是在本地功能的数量的顺序。我们证明了我们的预训练策略在两个密集预测任务上的有效性:语义分割和单眼深度估计。
2022-06-07 cs.CV
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta;University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出基于自监督Transformer的多目标定位方法MOST,通过盒计数法分析特征相似性图识别前景token并聚类生成边界框,可单图定位多目标,在多个基准上超越SOTA,还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China(中北大学)
基于深度学习的水下目标检测(UOD)仍然是一个主要挑战,这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题,提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络,强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性,设计了一种基于视角变换的改进空间Transformer网络,自适应地丰富网络中的图像特征。实验结果表明,该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能,优于许多现有的UOD方法,表明该方法更适合UOD。
2022-03-09 cs.CV
TransCAM: Transformer Attention-based CAM Refinement for Weakly Supervised Semantic Segmentation
University of Toronto(多伦多大学);Optimy AI(Optimy人工智能公司);LG AI Research(LG人工智能研究院)
只有图像级监督的弱监督语义分割是一项具有挑战性的任务。大多数现有的方法利用类激活图(CAM)生成像素级的伪标签进行监督训练。然而,由于卷积神经网络(CNN)的局部感受野,应用于CNN的CAM通常会受到部分激活的影响-突出显示最具辨别力的部分,而不是整个对象区域。为了同时捕获局部特征和全局表示,已提出Conformer来将视觉Transformer分支与CNN分支相结合。在本文中,我们提出了TransCAM,一个基于Conformer的WSSS解决方案,明确利用Conformer的Transformer分支的注意力权重来细化从CNN分支生成的CAM。TransCAM的动机是我们的观察,从浅Transformer块的注意力权重能够捕获低级别的空间特征相似性,而从深Transformer块的注意力权重捕获高级别的语义上下文。尽管它的简单性,transCAM实现了一个新的国家的最先进的性能分别为69.3%和69.6%的PASCAL VOC 2012年验证和测试集,显示了Transformer注意力为基础的细化CAM的WSSS的有效性。
2022-03-14 cs.CV
PM-DETR: Domain Adaptive Prompt Memory for Object Detection with Transformers
Peking University(北京大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Beihang University(北京航空航天大学)
提出分层提示域记忆(PDM)和提示记忆对齐(PMA)方法,通过注入分布相似提示并利用域特定知识对齐特征,有效提升DETR在不同数据分布下的检测性能,在三个基准上优于现有方法。
2023-07-01 cs.CV
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
The University of Western Australia(西澳大学);The University of Sydney(悉尼大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种新的基于transformer的框架,学习类特定的对象定位图作为伪标签的弱监督语义分割(WSSS)。受标准视觉Transformer中一类标记的关注区域可以用来形成类不可知的定位图的启发,我们研究了Transformer模型是否也可以通过学习Transformer中的多个类标记来有效地捕获类特定的注意力,以实现更具鉴别力的对象定位。为此,我们提出了一个多类令牌Transformer,称为MCTformer,它使用多个类令牌来学习类令牌和补丁令牌之间的交互。建议的MCTformer可以成功地产生类判别的对象定位地图,从类到补丁的关注对应于不同的类令牌。我们还建议使用一个补丁级成对的亲和力,这是从补丁到补丁Transformer的注意力,以进一步完善本地化地图。此外,所提出的框架,以充分补充类激活映射(CAM)的方法,导致PASCAL VOC和MS COCO数据集上的WSSS结果显着优越。这些结果强调了类标记对于WSSS的重要性。
2022-03-06 cs.CV
ProPL: Universal Semi-Supervised Ultrasound Image Segmentation via Prompt-Guided Pseudo-Labeling
MedAI Technology (Wuxi) Co. Ltd.(MedAI技术(无锡)有限公司)
本文针对现有超声分割方法泛用性不足的问题,提出通用半监督分割框架ProPL,配套构建多器官多任务超声数据集,实验证明其性能优于现有最优方法。
2025-11-19 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学);UC San Diego(加州大学圣地亚哥分校)
我们建议个性化的人的姿态估计给出了一组测试图像的人,而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展,但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例,我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间,我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验,并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University(詹姆斯库克大学);La Trobe University(乐卓博大学);Beijing University of Technology(北京工业大学)
最近,视觉Transformer模型已成为一系列视觉任务的突出模型。然而,这些模型通常是不透明的,具有较弱的特征可解释性。此外,目前还没有为本质上可解释的Transformer构建的方法,该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距,我们提出了一种新的视觉Transformer,称为eXplainable Vision Transformer(eX-ViT),一个本质上可解释的Transformer模型,能够共同发现强大的可解释的功能,并执行预测。具体来说,eX-ViT由可解释多头注意力(E-MHA)模块、属性引导解释器(AttE)模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重,这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时,AttE提出了编码的区别性属性特征的目标对象,通过不同的属性发现,这构成了模型的预测的忠实证据。此外,我们的eX-ViT开发了一个自我监督的属性引导损失,旨在通过属性区分机制和属性多样性机制学习增强的表示,以定位多样化和有区别的属性,并生成更强大的解释。因此,我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Discriminative Sampling of Proposals in Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal(蒙特利尔高等技术学院);Ericsson(爱立信)
无人机被用于越来越多的视觉识别应用。手机信号塔检查的最新发展是基于无人机的资产监视,其中无人机的自主飞行通过定位连续空中图像中的感兴趣对象来引导。在本文中,我们提出了一种训练深度弱监督对象定位(WSOL)模型的方法,仅基于图像类标签来定位具有高置信度的对象。为了训练我们的定位器,伪标签是有效地从一个自我监督的视觉Transformer(SST)收获。然而,由于SST将场景分解为包含各种对象部分的多个地图,并且不依赖于任何显式的监督信号,因此它们不能区分感兴趣的对象和其他对象,如WSOL所要求的。为了解决这个问题,我们建议利用不同的Transformer头生成的多个映射来获取伪标签,以训练深度WSOL模型。特别地,引入了一种新的判别建议采样(DiPS)方法,该方法依赖于CNN分类器来识别判别区域。然后,从这些区域中采样前景和背景像素,以便训练WSOL模型,用于生成激活图,该激活图可以准确地定位属于特定类别的对象。在具有挑战性的TelDrone数据集上的实证结果表明,我们提出的方法可以在生成的地图上的广泛阈值范围内优于最先进的方法。我们还计算了CUB数据集上的结果,表明我们的方法可以适用于其他任务。
2022-11-20 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab(腾讯Jarvis实验室);University of Science and Technology of China(中国科学技术大学)
自动显著目标检测(SOD)在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络(CNN)通过将深度信息重新表达为监督而不是输入,在RGB和RGB-D SOD场景下都取得了令人满意的结果,其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说,我们开发了深度监督融合Transformer(DFTR),以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征:1)DFTR是第一个基于transformer的深度监督SOD模型; 2)提出了多尺度特征聚合(MFA)模块,充分利用Swin Transformer编码的多尺度特征; 3)为了实现不同特征流之间的双向信息流,一种新的多阶段特征融合(MFF)模块进一步集成到我们的DFTR中,重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明,我们的DFTR始终优于现有的最先进的方法,RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University(澳大利亚国立大学);SenseTime(商汤科技)
弱监督语义分割(WSSS)是具有挑战性的,特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距,通常生成类激活图(CAM)以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响,即只有最具辨别力的区域被激活。另一方面,基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效,从而潜在地减轻“部分激活”问题。在本文中,我们提出了第一个基于Transformer的WSSS方法,并介绍了梯度加权元素的Transformer注意力地图(GETAM)。GETAM显示所有特征图元素的精细缩放激活,显示对象跨Transformer层的不同部分。此外,我们提出了一个激活感知标签完成模块,以生成高质量的伪标签。最后,我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明,我们的结果明显优于最先进的端到端方法,并且优于大多数多阶段方法。
2022-05-10 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London(帝国理工学院)
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而,大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时,特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题,该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此,我们提出三个想法来解决这个问题,更具体地说,我们的贡献是:1)抑制假阳性并改进弱监督训练的新的稀疏前景损失,2)利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失,3)可变形的Transformer编码器颈部,用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点,优于一些最先进的全监督模型。此外,我们的框架可以用于微调在自然图像分割数据集上训练的模型,从而大大提高其息肉分割的性能,并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research(谷歌研究院)
像素级标签的获取成本特别高。因此,预训练是改进语义分割等任务模型的关键步骤。然而,用于预训练神经网络的突出算法使用图像级目标,例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模,这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中,我们使用位置感知(LOCA)自监督方法预训练网络,该方法可以促进强密集特征的出现。具体来说,我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务,以鼓励学习对象的部分及其空间排列。我们的实验表明,LOCA预训练导致的表示,竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
AttEntropy: On the Generalization Ability of Supervised Semantic Segmentation Transformers to New Objects in New Domains
EPFL(洛桑联邦理工学院);University of Wuppertal(伍珀塔尔大学);IZMD;Samsung AI Center Toronto(三星人工智能中心多伦多分部)
本文研究有监督语义分割Transformer对训练集外新类别和新域的泛化能力,发现其能编码未训练信息并用于分割道路障碍、飞机、月岩等未见物体。
2024-12-30 cs.CV
LCTR: On Awakening the Local Continuity of Transformer for Weakly Supervised Object Localization
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室);CATL(宁德时代)
弱监督对象定位(WSOL)的目的是学习对象定位器只使用图像级标签。基于卷积神经网络(CNN)的技术通常导致突出对象的最有区别的部分,而忽略整个对象范围。最近,Transformer架构已经被部署到WSOL中,以捕获具有自注意力机制和多层感知器结构的远程特征依赖。然而,Transformers缺乏CNN固有的局部感应偏置,因此可能会恶化WSOL中的局部特征细节。在本文中,我们提出了一种新的框架上建立的Transformer,称为LCTR(本地连续性transansformer),其目标是在增强本地感知能力的全球功能之间的远程特征依赖。为此,我们提出了一个关系补丁注意模块(RPAM),它认为跨补丁信息的全球基础上。我们进一步设计了一个线索挖掘模块(CDM),它利用局部特征来指导模型的学习趋势,以突出弱的局部反应。最后,在CUB-200-2011和ILSVRC两个数据集上进行了综合实验,验证了该方法的有效性。
2021-12-10 cs.CV
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University(东南大学);The University of Newcastle(纽卡斯尔大学)
弱监督目标检测(WSOD)允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习(MIL)作为其检测器的骨干,并假设图像的限界框建议是相互独立的。然而,由于这种方法只利用最高分的建议,并放弃了潜在的有用信息,从其他建议,其独立的MIL骨干往往限制模型的突出部分的对象,或导致他们只能检测一个对象的类。为了解决上述问题,我们提出了一种新的骨干WSOD的基础上,我们定制的视觉Transformer命名为弱监督Transformer检测网络(WSTDN)。我们的算法不仅是第一个证明,自我注意模块,考虑实例间的关系是有效的骨干WSOD,但我们也引入了一种新的限界框挖掘方法(BBM)集成的内存传输细化(MTR)过程,利用实例的依赖关系,促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
DiPS: Discriminative Pseudo-Label Sampling with Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal(蒙特利尔高等技术学院);Ericsson(爱立信)
本文提出DiPS方法,利用自监督Transformer生成类无关注意力图,通过预训练分类器选取判别性候选区域作为伪标签,训练新型Transformer模型同时优化分类与定位,在多个数据集上优于现有弱监督目标定位方法。
2023-10-19 cs.CV
MECPformer: Multi-estimations Complementary Patch with CNN-Transformers for Weakly Supervised Semantic Segmentation
Tongji University(同济大学)
基于卷积神经网络(CNN)的弱监督语义分割的初始种子总是突出最具区分力的区域,但无法识别全局目标信息。基于Transformers的方法已被相继提出,受益于捕获远程特征表示的优势。然而,我们观察到一个缺陷,不管基于Transformer的礼物。给定一个类,基于Transformer生成的初始种子可能会侵入属于其他类的区域。受上述问题的启发,我们设计了一个简单而有效的方法,多估计互补补丁(MECP)策略和自适应冲突模块(ACM),称为MECPformer。给定一幅图像,在不同的时间段使用MECP策略进行操作,网络在不同的层次上挖掘和深度融合语义信息。此外,自适应模型自适应地去除冲突像素,并利用网络的自训练能力来挖掘潜在的目标信息。没有花里胡哨,我们的MECPformer在PASCAL VOC 2012上达到了最先进的72.0% mIoU,在MS COCO 2014数据集上达到了42.4%。该代码可在https://github.com/ChunmengLiu1/MECPformer上获得。
2023-03-19 cs.CV
Max Pooling with Vision Transformers reconciles class and shape in weakly supervised semantic segmentation
DeepPlants
弱监督语义分割(WSSS)研究探索了许多方向,以改善典型的管道CNN加上类激活映射(CAM)加上细化,给定图像类标签作为唯一的监督。虽然与完全监督方法的差距缩小了,但在这个框架内进一步减少传播似乎不太可能。另一方面,基于视觉Transformer(ViT)的WSSS方法尚未探索CAM的有效替代方案。ViT特征已被证明在自监督学习中保留场景布局和对象边界。为了证实这些发现,我们证明了Transformers在自监督方法中的优势进一步加强了全局最大池(GMP),它可以利用补丁功能来协商像素标签概率与类概率。这项工作提出了一种新的WSSS方法称为ViT-PCM(ViT补丁类映射),而不是基于CAM。端到端呈现的网络通过单个优化过程、细化的形状和适当的分割模板定位进行学习。我们的模型在基线伪掩码(BPM)上的性能优于最先进的模型,其中我们在PascalVOC 2012 $val$集上实现了$69.3\%$ mIoU。我们表明,我们的方法具有最少的参数集,虽然获得更高的精度比所有其他方法。总而言之,我们方法的定量和定性结果表明,ViT-PCM是基于CNN-CAM的架构的出色替代方案。
2022-10-31 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
弱监督目标定位是一项具有挑战性的任务,其目的是定位具有粗糙注释的目标,如图像类别。现有的深度网络方法主要基于类激活图,其侧重于突出有区别的局部区域而忽略整个对象。此外,新兴的基于transformer的技术不断强调背景,这阻碍了识别完整对象的能力。为了解决这些问题,我们提出了一个重新注意力机制,称为令牌细化Transformer(TRT),捕捉对象级的语义,以指导本地化。具体而言,TRT引入了一个新的模块,称为令牌优先级评分模块(TPSM),以抑制背景噪声的影响,同时专注于目标对象。然后,我们将类激活图作为语义感知输入,以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
PVPUFormer: Probabilistic Visual Prompt Unified Transformer for Interactive Image Segmentation
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与通信工程学院)
针对交互式图像分割现有方法提示反馈不足的问题,提出PVPUFormer模型,通过概率提示统一编码器、P²C损失和双交叉融合注意力模块挖掘鲁棒提示特征,实现了当前最优的交互式分割性能。
2024-11-03 cs.CV cs.RO eess.IV
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University(范德堡大学);NVIDIA(英伟达)
视觉Transformer(ViT)在全局和局部表示的自监督学习中表现出出色的性能,这些表示可以转移到下游应用程序。受这些结果的启发,我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言,我们建议:(i)一种新的基于3D变换器的模型,称为Swin UNEt Transformers(Swin UNETR),具有用于自我监督预训练的分层编码器;(ii)定制的代理任务,用于学习人体解剖学的基本模式。我们在来自各种身体器官的5,050个公开的计算机断层扫描(CT)图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶(BTCV)分割挑战与13个腹部器官和分割任务从医学分割十项全能(MSD)数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的(即排名第一)。代码:https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
Prompting Decision Transformer for Few-Shot Policy Generalization
Carnegie Mellon University(卡内基梅隆大学);University of Montreal(蒙特利尔大学);Mila(米拉);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
人类可以利用先前的经验,从一些演示中学习新的任务。与离线Meta强化学习相比,其目的是通过更好的算法设计实现快速适应,我们研究了架构归纳偏差对少样本学习能力的影响。我们提出了一个基于时间的决策Transformer(时间-DT),它利用了顺序建模能力的Transformer架构和提示框架,以实现Few-Shot适应离线RL。我们设计的轨迹提示,其中包含部分的Few-Shot演示,并编码特定于任务的信息,以指导政策的生成。我们在五个MuJoCo控制基准测试中的实验表明,Battle-DT是一个强大的Few-Shot学习器,无需对看不见的目标任务进行任何额外的微调。Prompt-DT的性能大幅优于其变体和强大的Meta离线RL基线,其轨迹提示仅包含几个时间步。此外,DT-DT对于提示长度更改也是健壮的,并且可以推广到分发外(OOD)环境。
2022-06-27 cs.AI cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
自监督学习方法在计算机视觉中获得越来越多的关注,这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理(NLP)中,自监督学习和Transformers已经是首选的方法。最近的文献表明,Transformers在计算机视觉中也变得越来越流行。到目前为止,视觉Transformer已经被证明在使用大规模监督数据或某种共同监督(例如,在教师网络方面)进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中,我们调查的优点自监督学习预训练图像/视觉Transformer,然后使用它们的下游分类任务。我们提出了自监督视觉Transformer(SiT),并讨论了几种自监督训练机制,以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明,预训练的SiT可以在小规模数据集上进行下游分类任务的微调,这些数据集由几千张图像组成,而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习,并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Prompt-Driven Feature Diffusion for Open-World Semi-Supervised Learning
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出提示驱动特征扩散(PDFD)方法,利用类原型作为提示引导特征扩散,结合类条件对抗损失,解决开放世界半监督学习中未见类别的标记数据缺失问题,实验显示性能显著优于现有方法。
2024-04-17 cs.AI cs.CV cs.LG
ADAPT to Robustify Prompt Tuning Vision Transformers
Northeastern University(东北大学)
本文提出ADAPT框架,在提示微调范式下进行自适应对抗训练,仅微调约1%参数即可达到与全模型微调SOTA方法相当的约40%鲁棒准确率,解决了现有防御方法在提示微调中遭受梯度混淆和自适应攻击的问题。
2025-02-07 cs.AI cs.CV cs.LG
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
本文提出掩码自监督预训练方法,通过逐步增加掩码概率并改进损失函数,在5000万未标注文本行上预训练文本识别Transformer,显著降低字符错误率(最高相对降低30%),性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
Efficient Self-supervised Vision Transformers for Representation Learning
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
本文研究了两种技术,开发有效的自我监督视觉Transformer(EsViT)的视觉表示学习。首先,我们通过一个全面的实证研究表明,多阶段架构与稀疏的自我注意力可以显着降低建模的复杂性,但失去了捕捉图像区域之间的细粒度对应的能力的成本。其次,我们提出了一个新的区域匹配的预训练任务,它允许模型捕获细粒度的区域依赖关系,从而显着提高了学习的视觉表示的质量。我们的研究结果表明,结合这两种技术,EsViT在ImageNet线性探针评估中达到了81.3%的top-1,优于现有技术,吞吐量高出一个数量级。当转移到下游线性分类任务时,EsViT在18个数据集中的17个数据集上的表现优于其监督对手。代码和模型可在https://github.com/microsoft/esvit上公开获取
2022-07-06 cs.AI cs.CV cs.LG
Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers
Department of Computational and Data Sciences, Indian Institute of Science(计算与数据科学系,印度科学研究院);Accenture, Japan(日本Accenture公司);Google, India(印度Google公司);Indian Institute of Science(印度科学研究院)
本文提出PEP-FedPT框架,通过类上下文混合提示实现联邦提示微调中的泛化与个性化,实验表明其在不同数据异质性场景下优于现有方法。
2026-05-11 cs.CV cs.LG
Semi-supervised CAPP Transformer Learning via Pseudo-labeling
Simula Research Laboratory(Simula研究实验室);National Technical University of Athens(希腊国家技术大学)
本文提出一种半监督学习方法,通过假设标签改进基于变换器的CAPP模型,提升数据稀缺环境下的制造过程规划准确性。
2026-09-01 cs.AI cs.LG
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova(帕多瓦大学)
视觉Transformer(ViTs)支持在视觉任务中使用Transformer架构,在大数据集上训练时表现出令人印象深刻的性能。然而,在相对较小的数据集上,ViT由于缺乏归纳偏差而不太准确。为此,我们提出了一个简单但仍然有效的自监督学习(SSL)策略来训练ViTs,没有任何外部注释或外部数据,可以显着提高结果。具体来说,我们定义了一组SSL任务的基础上的关系的图像补丁,该模型必须解决之前或联合监督任务。从ViT继承,我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌,从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法,发现RelViT大幅提高了SSL最先进的方法,特别是在小数据集上。代码可在:https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
Deep Prompt Tuning for Graph Transformers
University of Maryland(马里兰大学)
本文提出深度图提示微调方法,通过冻结预训练参数并仅更新新增的可训练特征节点和任务特定token,在显著减少参数的同时实现与微调相当甚至更优的图预测性能。
2023-09-18 cs.CV cs.LG
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University(西北大学);National Taiwan University(台湾大学);Fuzhou University(福州大学);UC Berkeley(加州大学伯克利分校)
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变,为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学);Department of Biostatistics and Bioinformatics(生物统计学与生物信息学系);Department of Computer Science(计算机科学系)
预训练语言模型提升决策变换器的少样本提示能力,通过初始化和提示正则化增强RL任务区分能力。
2025-12-02 cs.AI cs.CL cs.LG
Keep It SimPool: Who Said Supervised Transformers Suffer from Attention Deficit?
National Technical University of Athens(雅典国立技术大学);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
针对监督视觉Transformer注意力图质量低的问题,提出通用基于注意力的池化机制SimPool,无需修改架构或显式损失,即可在监督和自监督下提升性能并生成高质量物体边界注意力图。
2023-09-13 cs.CV cs.LG
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning
Xi’an Jiaotong University(西安交通大学);Singapore Management University(新加坡管理大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
最先进的深度神经网络仍在努力解决持续学习中的灾难性遗忘问题。在本文中,我们提出了一个简单的范式(命名为S-学习)和两个具体的方法,以大大降低遗忘程度的一个最典型的持续学习的情况下,即,领域增量学习(DIL)。该范例的关键思想是使用预先训练的Transformers跨域独立学习提示,避免使用常规方法中常见的范例。这导致了一个双赢的游戏,其中提示可以实现每个域的最佳效果。跨域独立提示只需要一次交叉熵损失进行训练,一次简单的K-NN操作作为域标识符进行推理。该学习范式衍生出意象提示学习法和一种新颖的语言-意象提示学习法。拥有一个优秀的可扩展性(0.03%的参数增加每个域),我们的方法中最好的实现了显着的相对改善(平均约30%)超过最好的国家的最先进的无样本的方法为三个标准的DIL任务,甚至超过他们中最好的相对约6%,平均当他们使用样本。源代码可从\url{https://github.com/iamwangyabin/S-Prompts}获得。
2023-03-18 cs.CV cs.LG
Self-Supervised Transformers for fMRI representation
Tel Aviv University(特拉维夫大学)
我们提出的TFF,这是一个Transformer框架的功能磁共振成像(fMRI)数据的分析。TFF采用两阶段培训方法。首先,将自监督训练应用于fMRI扫描的集合,其中训练模型以重建3D体积数据。其次,预训练的模型在特定任务上进行微调,使用地面真实标签。我们的研究结果显示了各种功能磁共振成像任务的最新表现,包括年龄和性别预测,以及精神分裂症识别。我们的代码的培训,网络架构和结果作为补充材料。
2022-08-13 cs.CV cs.LG eess.IV
An Empirical Study of Training Self-Supervised Vision Transformers
Facebook AI Research (FAIR)(脸书人工智能研究院)
本文没有描述一种新方法。相反,鉴于计算机视觉的最新进展,它研究了一个简单的,增量的,但必须知道的基线:视觉Transformer(ViT)的自监督学习。虽然标准卷积网络的训练方法已经非常成熟和强大,但ViT的方法还有待建立,特别是在训练变得更具挑战性的自监督场景中。在这项工作中,我们回到基础知识,并研究了几个基本组成部分对训练自我监督ViT的影响。我们观察到,不稳定性是降低准确性的主要问题,并且它可以被表面上良好的结果所隐藏。我们发现,这些结果确实是部分失败的,他们可以得到改善时,培训更加稳定。我们在MoCo v3和其他几个自监督框架中对ViT结果进行了基准测试,并在各个方面进行了消融。我们讨论了目前的积极证据以及挑战和开放的问题。我们希望这项工作将为未来的研究提供有用的数据点和经验。
2021-08-16 cs.CV cs.LG
SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
Booking.com, Amsterdam, The Netherlands(Booking.com,阿姆斯特丹,荷兰)
提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
2026-06-23 cs.AI cs.LG
Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency
Georgia Institute of Technology(佐治亚理工学院)
视觉领域自适应(DA)试图将训练的模型转移到分布偏移中看不见的未标记域,但方法通常专注于适应用监督ImageNet表示初始化的卷积神经网络架构。在这项工作中,我们将重点转移到适应对象识别的现代体系结构-越来越受欢迎的视觉Transformer(ViT)-以及基于自监督学习(SSL)的现代预训练。受最近SSL方法设计的启发,该方法基于从通过掩蔽或裁剪生成的部分图像输入中学习-无论是通过学习预测丢失的像素,还是学习对这种增强的代表性不变性-我们提出了PACMAC,一种简单的两阶段自适应算法,用于自监督ViTs。PACMAC首先对合并的源和目标数据执行域内SSL,以学习任务区分特征,然后在通过新型注意力条件掩蔽策略生成的一组部分目标输入中探测模型的预测一致性,以识别可靠的候选者进行自我训练。我们简单的方法导致了一致的性能增益竞争的方法,使用ViTs和自我监督的初始化标准的对象识别基准。代码可在https://github.com/virajprabhu/PACMAC获得
2022-06-16 cs.CV cs.LG
Prompt Tuning Decision Transformers with Structured and Scalable Bandits
Örebro University(奥雷布罗大学);King AI Labs, Microsoft Gaming(King AI实验室,微软游戏)
针对现有提示决策Transformer均匀采样轨迹提示未考虑信息性的问题,提出基于结构化可扩展老虎机的提示调优方法,实现线性缩放与高效奖励建模,理论与实验均验证其性能优于现有基线。
2025-10-01 cs.LG
Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing
Kyushu Institute of Technology(九州工业大学)
本文提出一种基于Transformer架构的增强型n维数值处理模型,通过线性层嵌入、分箱预处理和输出层线性变换处理多维传感器信号,在五个数据集上使人类活动识别准确率较vanilla Transformer提升10%-15%。
2025-05-28 cs.AI cs.LG
Transformers in Action: Weakly Supervised Action Segmentation
Technische Universität München(慕尼黑工业大学);Google(谷歌)
视频动作分割任务经常在较弱的监督形式下进行探索,例如转录监督,其中动作列表比密集的帧标签更容易获得。在这个公式中,任务提出了各种挑战的序列建模方法,由于强调动作转换点,长序列长度,和帧上下文,使任务以及Transformers。考虑到使Transformers能够线性扩展的发展,我们通过我们的架构展示了它们如何应用于提高基于RNN的等效模型的动作对齐精度,其中注意力机制专注于突出的动作过渡区域。此外,鉴于最近的重点推理时间的成绩单选择,我们提出了一个补充的成绩单嵌入方法,以选择成绩单更快地在推理时间。此外,我们随后演示了这种方法如何也可以提高整体分割性能。最后,我们在基准数据集上评估了我们提出的方法,以更好地理解Transformers的适用性以及转录本选择在这个视频驱动的弱监督任务中的重要性。
2022-01-20 cs.CV cs.LG