MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta；University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出基于自监督Transformer的多目标定位方法MOST，通过盒计数法分析特征相似性图识别前景token并聚类生成边界框，可单图定位多目标，在多个基准上超越SOTA，还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
TransCAM: Transformer Attention-based CAM Refinement for Weakly Supervised Semantic Segmentation
University of Toronto（多伦多大学）；Optimy AI（Optimy人工智能公司）；LG AI Research（LG人工智能研究院）
只有图像级监督的弱监督语义分割是一项具有挑战性的任务。大多数现有的方法利用类激活图（CAM）生成像素级的伪标签进行监督训练。然而，由于卷积神经网络（CNN）的局部感受野，应用于CNN的CAM通常会受到部分激活的影响-突出显示最具辨别力的部分，而不是整个对象区域。为了同时捕获局部特征和全局表示，已提出Conformer来将视觉Transformer分支与CNN分支相结合。在本文中，我们提出了TransCAM，一个基于Conformer的WSSS解决方案，明确利用Conformer的Transformer分支的注意力权重来细化从CNN分支生成的CAM。TransCAM的动机是我们的观察，从浅Transformer块的注意力权重能够捕获低级别的空间特征相似性，而从深Transformer块的注意力权重捕获高级别的语义上下文。尽管它的简单性，transCAM实现了一个新的国家的最先进的性能分别为69.3%和69.6%的PASCAL VOC 2012年验证和测试集，显示了Transformer注意力为基础的细化CAM的WSSS的有效性。
2022-03-14 cs.CV
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
The University of Western Australia（西澳大学）；The University of Sydney（悉尼大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种新的基于transformer的框架，学习类特定的对象定位图作为伪标签的弱监督语义分割（WSSS）。受标准视觉Transformer中一类标记的关注区域可以用来形成类不可知的定位图的启发，我们研究了Transformer模型是否也可以通过学习Transformer中的多个类标记来有效地捕获类特定的注意力，以实现更具鉴别力的对象定位。为此，我们提出了一个多类令牌Transformer，称为MCTformer，它使用多个类令牌来学习类令牌和补丁令牌之间的交互。建议的MCTformer可以成功地产生类判别的对象定位地图，从类到补丁的关注对应于不同的类令牌。我们还建议使用一个补丁级成对的亲和力，这是从补丁到补丁Transformer的注意力，以进一步完善本地化地图。此外，所提出的框架，以充分补充类激活映射（CAM）的方法，导致PASCAL VOC和MS COCO数据集上的WSSS结果显着优越。这些结果强调了类标记对于WSSS的重要性。
2022-03-06 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
我们建议个性化的人的姿态估计给出了一组测试图像的人，而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展，但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例，我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间，我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验，并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）；Beijing University of Technology（北京工业大学）
最近，视觉Transformer模型已成为一系列视觉任务的突出模型。然而，这些模型通常是不透明的，具有较弱的特征可解释性。此外，目前还没有为本质上可解释的Transformer构建的方法，该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距，我们提出了一种新的视觉Transformer，称为eXplainable Vision Transformer（eX-ViT），一个本质上可解释的Transformer模型，能够共同发现强大的可解释的功能，并执行预测。具体来说，eX-ViT由可解释多头注意力（E-MHA）模块、属性引导解释器（AttE）模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重，这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时，AttE提出了编码的区别性属性特征的目标对象，通过不同的属性发现，这构成了模型的预测的忠实证据。此外，我们的eX-ViT开发了一个自我监督的属性引导损失，旨在通过属性区分机制和属性多样性机制学习增强的表示，以定位多样化和有区别的属性，并生成更强大的解释。因此，我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Discriminative Sampling of Proposals in Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal（蒙特利尔高等技术学院）；Ericsson（爱立信）
无人机被用于越来越多的视觉识别应用。手机信号塔检查的最新发展是基于无人机的资产监视，其中无人机的自主飞行通过定位连续空中图像中的感兴趣对象来引导。在本文中，我们提出了一种训练深度弱监督对象定位（WSOL）模型的方法，仅基于图像类标签来定位具有高置信度的对象。为了训练我们的定位器，伪标签是有效地从一个自我监督的视觉Transformer（SST）收获。然而，由于SST将场景分解为包含各种对象部分的多个地图，并且不依赖于任何显式的监督信号，因此它们不能区分感兴趣的对象和其他对象，如WSOL所要求的。为了解决这个问题，我们建议利用不同的Transformer头生成的多个映射来获取伪标签，以训练深度WSOL模型。特别地，引入了一种新的判别建议采样（DiPS）方法，该方法依赖于CNN分类器来识别判别区域。然后，从这些区域中采样前景和背景像素，以便训练WSOL模型，用于生成激活图，该激活图可以准确地定位属于特定类别的对象。在具有挑战性的TelDrone数据集上的实证结果表明，我们提出的方法可以在生成的地图上的广泛阈值范围内优于最先进的方法。我们还计算了CUB数据集上的结果，表明我们的方法可以适用于其他任务。
2022-11-20 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab（腾讯Jarvis实验室）；University of Science and Technology of China（中国科学技术大学）
自动显著目标检测（SOD）在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络（CNN）通过将深度信息重新表达为监督而不是输入，在RGB和RGB-D SOD场景下都取得了令人满意的结果，其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说，我们开发了深度监督融合Transformer（DFTR），以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征：1）DFTR是第一个基于transformer的深度监督SOD模型; 2）提出了多尺度特征聚合（MFA）模块，充分利用Swin Transformer编码的多尺度特征; 3）为了实现不同特征流之间的双向信息流，一种新的多阶段特征融合（MFF）模块进一步集成到我们的DFTR中，重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明，我们的DFTR始终优于现有的最先进的方法，RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University（澳大利亚国立大学）；SenseTime（商汤科技）
弱监督语义分割（WSSS）是具有挑战性的，特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距，通常生成类激活图（CAM）以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响，即只有最具辨别力的区域被激活。另一方面，基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效，从而潜在地减轻“部分激活”问题。在本文中，我们提出了第一个基于Transformer的WSSS方法，并介绍了梯度加权元素的Transformer注意力地图（GETAM）。GETAM显示所有特征图元素的精细缩放激活，显示对象跨Transformer层的不同部分。此外，我们提出了一个激活感知标签完成模块，以生成高质量的伪标签。最后，我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明，我们的结果明显优于最先进的端到端方法，并且优于大多数多阶段方法。
2022-05-10 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London（帝国理工学院）
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而，大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时，特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题，该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此，我们提出三个想法来解决这个问题，更具体地说，我们的贡献是：1）抑制假阳性并改进弱监督训练的新的稀疏前景损失，2）利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失，3）可变形的Transformer编码器颈部，用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点，优于一些最先进的全监督模型。此外，我们的框架可以用于微调在自然图像分割数据集上训练的模型，从而大大提高其息肉分割的性能，并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research（谷歌研究院）
像素级标签的获取成本特别高。因此，预训练是改进语义分割等任务模型的关键步骤。然而，用于预训练神经网络的突出算法使用图像级目标，例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模，这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中，我们使用位置感知（LOCA）自监督方法预训练网络，该方法可以促进强密集特征的出现。具体来说，我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务，以鼓励学习对象的部分及其空间排列。我们的实验表明，LOCA预训练导致的表示，竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
AttEntropy: On the Generalization Ability of Supervised Semantic Segmentation Transformers to New Objects in New Domains
EPFL（洛桑联邦理工学院）；University of Wuppertal（伍珀塔尔大学）；IZMD；Samsung AI Center Toronto（三星人工智能中心多伦多分部）
本文研究有监督语义分割Transformer对训练集外新类别和新域的泛化能力，发现其能编码未训练信息并用于分割道路障碍、飞机、月岩等未见物体。
2024-12-30 cs.CV
LCTR: On Awakening the Local Continuity of Transformer for Weakly Supervised Object Localization
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；CATL（宁德时代）
弱监督对象定位（WSOL）的目的是学习对象定位器只使用图像级标签。基于卷积神经网络（CNN）的技术通常导致突出对象的最有区别的部分，而忽略整个对象范围。最近，Transformer架构已经被部署到WSOL中，以捕获具有自注意力机制和多层感知器结构的远程特征依赖。然而，Transformers缺乏CNN固有的局部感应偏置，因此可能会恶化WSOL中的局部特征细节。在本文中，我们提出了一种新的框架上建立的Transformer，称为LCTR（本地连续性transansformer），其目标是在增强本地感知能力的全球功能之间的远程特征依赖。为此，我们提出了一个关系补丁注意模块（RPAM），它认为跨补丁信息的全球基础上。我们进一步设计了一个线索挖掘模块（CDM），它利用局部特征来指导模型的学习趋势，以突出弱的局部反应。最后，在CUB-200-2011和ILSVRC两个数据集上进行了综合实验，验证了该方法的有效性。
2021-12-10 cs.CV
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
弱监督目标检测（WSOD）允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习（MIL）作为其检测器的骨干，并假设图像的限界框建议是相互独立的。然而，由于这种方法只利用最高分的建议，并放弃了潜在的有用信息，从其他建议，其独立的MIL骨干往往限制模型的突出部分的对象，或导致他们只能检测一个对象的类。为了解决上述问题，我们提出了一种新的骨干WSOD的基础上，我们定制的视觉Transformer命名为弱监督Transformer检测网络（WSTDN）。我们的算法不仅是第一个证明，自我注意模块，考虑实例间的关系是有效的骨干WSOD，但我们也引入了一种新的限界框挖掘方法（BBM）集成的内存传输细化（MTR）过程，利用实例的依赖关系，促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
DiPS: Discriminative Pseudo-Label Sampling with Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal（蒙特利尔高等技术学院）；Ericsson（爱立信）
本文提出DiPS方法，利用自监督Transformer生成类无关注意力图，通过预训练分类器选取判别性候选区域作为伪标签，训练新型Transformer模型同时优化分类与定位，在多个数据集上优于现有弱监督目标定位方法。
2023-10-19 cs.CV
MECPformer: Multi-estimations Complementary Patch with CNN-Transformers for Weakly Supervised Semantic Segmentation
Tongji University（同济大学）
基于卷积神经网络（CNN）的弱监督语义分割的初始种子总是突出最具区分力的区域，但无法识别全局目标信息。基于Transformers的方法已被相继提出，受益于捕获远程特征表示的优势。然而，我们观察到一个缺陷，不管基于Transformer的礼物。给定一个类，基于Transformer生成的初始种子可能会侵入属于其他类的区域。受上述问题的启发，我们设计了一个简单而有效的方法，多估计互补补丁（MECP）策略和自适应冲突模块（ACM），称为MECPformer。给定一幅图像，在不同的时间段使用MECP策略进行操作，网络在不同的层次上挖掘和深度融合语义信息。此外，自适应模型自适应地去除冲突像素，并利用网络的自训练能力来挖掘潜在的目标信息。没有花里胡哨，我们的MECPformer在PASCAL VOC 2012上达到了最先进的72.0% mIoU，在MS COCO 2014数据集上达到了42.4%。该代码可在https://github.com/ChunmengLiu1/MECPformer上获得。
2023-03-19 cs.CV
Max Pooling with Vision Transformers reconciles class and shape in weakly supervised semantic segmentation
DeepPlants
弱监督语义分割（WSSS）研究探索了许多方向，以改善典型的管道CNN加上类激活映射（CAM）加上细化，给定图像类标签作为唯一的监督。虽然与完全监督方法的差距缩小了，但在这个框架内进一步减少传播似乎不太可能。另一方面，基于视觉Transformer（ViT）的WSSS方法尚未探索CAM的有效替代方案。ViT特征已被证明在自监督学习中保留场景布局和对象边界。为了证实这些发现，我们证明了Transformers在自监督方法中的优势进一步加强了全局最大池（GMP），它可以利用补丁功能来协商像素标签概率与类概率。这项工作提出了一种新的WSSS方法称为ViT-PCM（ViT补丁类映射），而不是基于CAM。端到端呈现的网络通过单个优化过程、细化的形状和适当的分割模板定位进行学习。我们的模型在基线伪掩码（BPM）上的性能优于最先进的模型，其中我们在PascalVOC 2012 $val$集上实现了$69.3\%$ mIoU。我们表明，我们的方法具有最少的参数集，虽然获得更高的精度比所有其他方法。总而言之，我们方法的定量和定性结果表明，ViT-PCM是基于CNN-CAM的架构的出色替代方案。
2022-10-31 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
弱监督目标定位是一项具有挑战性的任务，其目的是定位具有粗糙注释的目标，如图像类别。现有的深度网络方法主要基于类激活图，其侧重于突出有区别的局部区域而忽略整个对象。此外，新兴的基于transformer的技术不断强调背景，这阻碍了识别完整对象的能力。为了解决这些问题，我们提出了一个重新注意力机制，称为令牌细化Transformer（TRT），捕捉对象级的语义，以指导本地化。具体而言，TRT引入了一个新的模块，称为令牌优先级评分模块（TPSM），以抑制背景噪声的影响，同时专注于目标对象。然后，我们将类激活图作为语义感知输入，以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
Exploring Token-Level Augmentation in Vision Transformer for Semi-Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）；China Tobacco Guangdong Industrial Corporation（广东中烟工业有限责任公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出TokenMix令牌级数据增强和双分支框架，解决Vision Transformer在半监督语义分割中的适应性问题，并在多个基准上取得领先精度。
2025-03-10 cs.CV
Semi-Supervised Object Detection: A Survey on Progress from CNN to Transformer
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文综述了从CNN到Transformer的27项半监督目标检测前沿方法，涵盖数据增强、伪标签、一致性正则化与对抗训练，并比较了模型性能与架构差异。
2024-07-16 cs.CV
Dual-Augmented Transformer Network for Weakly Supervised Semantic Segmentation
South China University of Technology（华南理工大学）
针对弱监督语义分割中 CNN 定位不完整与 ViT 缺乏对象归纳偏置的问题，提出 CNN 与 Transformer 互补的双重增强网络及自正则化约束，在 PASCAL VOC 2012 上超越已有最先进方法。
2023-09-30 cs.CV
Omni-DETR: Omni-Supervised Object Detection with Transformers
AWS AI Labs（AWS人工智能实验室）；UC San Diego（加州大学圣地亚哥分校）
我们考虑全监督目标检测的问题，它可以使用未标记的，完全标记的和弱标记的注释，如图像标签，计数，点等，用于目标检测。这是由一个统一的架构，Omni-DETR，基于学生-教师框架和端到端的Transformer为基础的目标检测的最新进展。在这种统一的架构下，可以利用不同类型的弱标签来生成准确的伪标签，通过基于二分匹配的过滤机制，供模型学习。在实验中，Omni-DETR在多个数据集和设置上取得了最先进的结果。我们发现弱注释可以帮助提高检测性能，并且它们的混合可以在注释成本和准确性之间实现比标准完整注释更好的权衡。这些发现可以鼓励具有混合注释的更大的目标检测数据集。该代码可在https://github.com/amazon-research/omni-detr上获得。
2022-03-30 cs.CV
MST: Masked Self-Supervised Transformer for Visual Representation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
Transformer已被广泛应用于自然语言处理（NLP）中的自监督预训练，并取得了巨大的成功。然而，在视觉自监督学习中，它还没有得到充分的探索。同时，以往的方法只从全局的角度考虑高层特征和学习表示，可能无法将其转移到关注局部特征的下游密集预测任务中。在本文中，我们提出了一种新的Masked自监督Transformer方法命名为MST，它可以显式地捕获图像的局部上下文，同时保留全局语义信息。具体而言，受自然语言处理中的MLM（Masked Language Modeling）思想的启发，提出了一种基于多头自注意映射的Masked token策略，该策略在不破坏自监督学习关键结构的前提下，动态地屏蔽局部块的部分token。更重要的是，屏蔽令牌连同剩余令牌一起由全局图像解码器进一步恢复，该全局图像解码器保留了图像的空间信息，并且对下游密集预测任务更友好。在多个数据集上的实验证明了该方法的有效性和通用性。例如，MST使用DeiT-S仅使用300个epoch预训练通过线性评估实现了76.9%的Top-1准确率，这比具有相同epoch的监督方法高出0.4%，比其可比变体DINO高出1.0%。对于密集预测任务，MST还在MS COCO目标检测上实现了42.7%的mAP，在Cityscapes分割上实现了74.04%的mIoU，仅使用100个epoch的预训练。
2021-10-24 cs.CV
AdvMIM: Adversarial Masked Image Modeling for Semi-Supervised Medical Image Segmentation
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC）、科技研究局（A*STAR））
针对半监督医学图像分割中Transformer因标注数据有限而缺乏监督信号的问题，提出对抗性掩码图像建模方法，通过构建辅助掩码域并设计对抗训练损失缩小域间差距，显著提升了分割性能。
2025-06-25 cs.CV
Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer
University of Electronic Science and Technology of China（电子科技大学）；Shanghai AI Lab（上海人工智能实验室）；SenseTime（商汤科技）
最近，使用卷积神经网络（CNN）和Transformers的深度学习在完全监督的医学图像分割中显示出令人鼓舞的结果。然而，它仍然是具有挑战性的，他们实现良好的性能与有限的注释训练。在这项工作中，我们提出了一个非常简单而有效的框架，半监督医学图像分割之间的交叉教学引入CNN和Transformer。具体来说，我们将经典的深度协同训练从一致性正则化简化为交叉教学，其中网络的预测被用作伪标签，直接端到端地监督另一个网络。考虑到CNN和Transformer之间学习范式的差异，我们引入了CNN和Transformer之间的交叉教学，而不仅仅是使用CNN。在一个公开的基准测试上的实验表明，我们的方法比现有的八种半监督学习方法更好，只是一个更简单的框架。值得注意的是，这项工作可能是首次尝试将CNN和Transformer结合起来进行半监督医学图像分割，并在公共基准上取得了有希望的结果。该代码将在https://github.com/HiLab-git/SSL4MIS上发布。
2022-03-01 cs.CV eess.IV
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自监督学习（SSL）方法（如掩蔽语言建模）通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法，如视觉Transformer中的掩码图像建模，并证明了图像分类任务的改进。对于目标检测Transformers（DETR，可变形DETR），没有详尽地研究这种简单的自监督方法，因为它们的Transformer编码器模块在卷积神经网络（CNN）提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而，CNN特征图仍然保持空间关系，我们利用这一属性来设计自监督学习方法，以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明，在预训练和多任务学习设置中，DETR在初始阶段的收敛速度更快;然而，在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University（汉阳大学）；Seoul National University of Science and Technology（首尔国立科技大学）
针对弱监督目标定位精度有限的问题，提出多尺度目标定位Transformer及深度聚类引导优化方法，在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在这项工作中，我们考虑的问题，学习的感知模型，单目机器人导航，使用很少的注释图像。使用视觉Transformer（ViT）预训练的无标签的自我监督的方法，我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割，并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT，并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率，甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理，我们部署在差分驱动移动机器人执行两项任务：车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University（亚利桑那州立大学）；Georgia State University（佐治亚州立大学）
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而，标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中，我们提出了一种自监督技术PatchRot，专为视觉Transformer。PatchRot旋转图像和图像补丁，并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征，这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Semi-Supervised Vision Transformers
Fudan University（复旦大学）；Meta AI；Baidu Apollo（百度阿波罗）
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是，当只有一小部分标记数据可用时，我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发，我们引入了一个联合半监督学习框架Semiformer，它包含一个Transformer流，一个卷积流和一个精心设计的融合模块，用于这些流之间的知识共享。卷积流在有限的标记数据上训练，并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明，Semiformer实现了75.5%的top-1准确率，明显优于最先进的技术。此外，我们还展示了Semiformer是一个通用框架，与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV
Self-supervised Video Transformer
Stony Brook University（石溪大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在本文中，我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频，我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征，对动作的时空变化保持不变。据我们所知，所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer（SVT）。此外，由于Transformer模型的灵活性，SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理，并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试（Kinetics-400，UCF-101，HMDB-51和SSv 2）上表现良好，并且在小批量的情况下收敛得更快。代码：https://git.io/J1juJ
2022-03-19 cs.CV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此，在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而，如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外，现有的自监督知识蒸馏（SSKD）方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer（ViT-SSKD）的知识蒸馏。我们发现，直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中，我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏（SSKD）方法，并与从头开始学习（使用ViT-S模型）的自监督学习（SSL）方法相比，实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外，AttnDistill算法不依赖于自监督学习算法，可以应用于基于ViT的SSL方法中，以提高性能。代码在这里：https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer
East China University of Science and Technology（华东理工大学）；University of Bologna（博洛尼亚大学）；PhiGent Robotics（鉴智机器人）
自监督单目深度估计是一种有吸引力的解决方案，它不需要难以获取的深度标签进行训练。最近，卷积神经网络（CNN）在这项任务中取得了巨大成功。然而，它们有限的感受野限制了现有的网络架构只能在本地进行推理，从而抑制了自我监督范式的有效性。鉴于视觉Transformer（ViTs）最近取得的成功，我们提出了MonoViT，一个全新的框架相结合的全局推理ViT模型的灵活性，自我监督单眼深度估计。通过将普通卷积与Transformer块相结合，我们的模型可以在本地和全局进行推理，从而以更高的细节和准确度进行深度预测，从而使MonoViT能够在已建立的KITTI数据集上实现最先进的性能。此外，MonoViT在Make3D和DrivingStereo等其他数据集上证明了其卓越的泛化能力。
2022-08-06 cs.CV
Joint CNN and Transformer Network via weakly supervised Learning for efficient crowd counting
Chongqing University（重庆大学）；Huazhong University of Science and Technology（华中科技大学）
目前，对于人群计数，基于密度图估计的全监督方法是主流研究方向。然而，这样的方法需要在图像中的人的位置级注释，这是费时费力的。因此，迫切需要一种仅依赖计数级标注的弱监督方法。由于CNN不适合对全局上下文和图像块之间的交互进行建模，因此通过CNN进行弱监督学习的人群计数通常不能表现出良好的性能。提出了基于Transformer的弱监督模型，用于全局上下文建模和对比度特征学习。然而，Transformer直接将人群图像划分为一系列令牌，由于每个行人都是独立的个体，并且网络的参数数量非常大，这可能不是一个很好的选择。因此，我们提出了一个联合CNN和Transformer网络（JCTNet）通过弱监督学习人群计数在本文中。JCTNet由三部分组成：CNN特征提取模块（CFM）、Transformer特征提取模块（TFM）和计数回归模块（CRM）。CFM提取人群的语义信息特征，将其分片发送给TRM进行全局上下文建模，CRM用于预测人群数量。大量的实验和可视化结果表明，JCTNet可以有效地集中在人群区域，并在五个主流数据集上获得优异的弱监督计数性能。与纯Transformer工作相比，该模型的参数数可减少约67%~73%。我们还试图解释仅受计数级注释约束的模型仍然可以聚焦于人群区域的现象。我们相信我们的工作可以促进这一领域的进一步研究。
2022-03-12 cs.CV
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
University of Arkansas（阿肯色大学）；West Virginia University（西弗吉尼亚大学）
本研究提出自监督时空Transformer方法SPARTAN，通过构建多尺度时空视图的自监督匹配目标，利用无标注视频提升群体活动识别效果，在两个基准数据集上的关键指标显著超越现有最优水平。
2023-08-28 cs.CV
PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training
University of Oulu（奥卢大学）；Center for Machine Vision and Signal Analysis (CMVS)（机器视觉与信号分析中心）
提出首个长时空图rPPG Transformer网络PhySU-Net及自监督预训练策略，利用传统方法和图像掩码生成伪标签，在OBF和VIPL-HR数据集上表现优越，有效缓解数据稀缺问题。
2024-02-19 cs.CV
TransCrowd: weakly-supervised crowd counting with transformers
Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
主流的人群计数方法通常利用卷积神经网络（CNN）来回归密度图，需要点级注释。然而，用一个点注释每个人是一个昂贵而费力的过程。在测试阶段，不考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，需要开发仅依赖于计数级注释的弱监督计数方法，这是一种更经济的标记方式。当前的弱监督计数方法采用CNN通过图像到计数范例来回归人群的总计数。然而，对于上下文建模具有有限的感受野是这些基于弱监督CNN的方法的内在限制。因此，这些方法不能实现令人满意的性能，在现实世界中的应用有限。Transformer是自然语言处理（NLP）中流行的序列到序列预测模型，它包含一个全局感受野。在本文中，我们提出了transCrowd，它重新制定了弱监督的人群计数问题的角度来看，基于Transformers的顺序计数。我们观察到，所提出的transCrowd通过使用Transformer的自注意力机制，可以有效地提取语义人群信息。据我们所知，这是第一个工作，采用纯Transformer的人群计数研究。在五个基准数据集上的实验表明，与所有基于弱监督CNN的计数方法相比，所提出的TransCrowd具有更好的性能，与一些流行的全监督计数方法相比，具有很强的竞争力。
2022-09-08 cs.CV
Hierarchically Self-Supervised Transformer for Human Skeleton Representation Learning
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；ByteDance Inc.（字节跳动公司）
尽管完全监督的人类骨骼序列建模取得了成功，但由于大规模获取任务特定的骨骼注释很困难，因此利用自监督预训练进行骨骼序列表示学习一直是一个活跃的领域。近年来的研究主要集中在使用对比学习学习视频级的时间和判别信息，但忽略了人类骨骼的分层时空性质。不同于这种肤浅的监督在视频层面上，我们提出了一个自我监督的分层预训练计划纳入一个分层的基于变换器的骨架序列编码器（Hi-TRS），明确捕捉空间，短期和长期的时间依赖性在帧，剪辑和视频级别，分别。为了评估所提出的具有Hi-TRS的自监督预训练方案，我们进行了广泛的实验，涵盖了三个基于机器人的下游任务，包括动作识别，动作检测和运动预测。在监督和半监督评估协议下，我们的方法达到了最先进的性能。此外，我们证明了我们的模型在预训练阶段学习的先验知识对不同的下游任务具有很强的转移能力。
2023-03-27 cs.CV
Analyzing Transformer Models and Knowledge Distillation Approaches for Image Captioning on Edge AI
本文研究在资源受限的边缘设备上部署Transformer图像描述模型，通过评估轻量级Transformer架构并结合知识蒸馏技术，在保持模型性能的同时加速推理，为工业自动化和自主机器人提供实时场景理解能力。
2025-06-04 cs.CV
Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers
Eindhoven University of Technology（埃因霍温理工大学）；ARIA Lab（ARIA实验室）；AIMS Lab（AIMS实验室）
SPECTRE通过可扩展的3D视觉Transformer架构和现代自监督与视觉-语言预训练策略，学习通用CT表示，克服了体素CT的极端标记扩展、几何各向异性及临床监督弱的问题，实现了大规模3D注意力计算。
2026-03-30 cs.CV
Transformer based multiple instance learning for weakly supervised histopathology image segmentation
Beihang University（北京航空航天大学）；China Pharmaceutical University（中国药科大学）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Xiaomi Corporation（小米公司）
病理图像分割算法在计算机辅助诊断技术中占有重要地位。弱监督分割算法的发展解决了医学图像标注费时费力的问题。作为弱监督学习的一个子集，多实例学习（MIL）在分割中被证明是有效的。然而，MIL中实例之间缺乏相关信息，这限制了分割性能的进一步提高。在本文中，我们提出了一种新的弱监督的方法，在组织病理学图像的像素级分割，它引入Transformer到MIL框架，以捕获全局或长期的依赖关系。Transformer中的多头自注意建立了实例之间的关系，解决了MIL中实例之间相互独立的缺点。此外，引入深度监督，克服了弱监督方法中标注的局限性，更好地利用了层次信息。结肠癌数据集上的最新结果表明，与其他弱监督方法相比，该方法具有优越性。值得相信的是，我们的方法在医学图像的各种应用中有潜力。
2022-05-18 cs.CV
Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers
Department of Electrical and Computer Engineering, Florida International University, Miami, Florida, USA（电气与计算机工程系，佛罗里达国际大学，迈阿密，佛罗里达州，美国）
本文提出Gardener，通过信息熵分析无数据剪枝掩码自监督视觉变换器中的冗余块，实现高效的模型压缩和迁移学习。
2026-02-03 cs.CV
DiT: Self-supervised Pre-training for Document Image Transformer
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能部门）
Image Transformer最近在自然图像理解方面取得了重大进展，无论是使用监督（ViT，DeiT等）或自我监督（BEiT，MAE等）预训练技术。在本文中，我们提出了\textbf{DiT}，这是一种自监督的预训练\textbf{D}或\textbf{I}图像\textbf{T} transformer模型，使用大规模未标记的文本图像进行文档AI任务，这是必不可少的，因为由于缺乏人类标记的文档图像，因此不存在监督的对应物。我们利用DiT作为各种基于视觉的文档AI任务的骨干网络，包括文档图像分类、文档布局分析、表格检测以及OCR的文本检测。实验结果表明，自监督预训练DiT模型在这些下游任务上实现了新的最先进的结果，例如文档图像分类（91.11 $\rightarrow$ 92.69）、文档布局分析（91.0 $\rightarrow$ 94.9）、表格检测（94.23 $\rightarrow$ 96.55）和OCR文本检测（93.07 $\rightarrow$ 94.29）。代码和预训练模型可在\url{https://aka.ms/msdit}上公开获得。
2022-07-19 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University（首尔大学）；Inha University（仁荷大学）
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题，提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块，首次将Transformer成功应用于360°深度估计，并在多个基准上达到最先进性能。
2021-12-30 cs.CV
Positional Label for Self-Supervised Vision Transformer
Southwest Jiaotong University（西南交通大学）
位置编码对于视觉Transformer（ViT）捕获输入图像的空间结构是重要的。一般有效性已在ViT中得到证明。在我们的工作中，我们建议训练ViT识别输入图像的补丁的位置标签，这个看似简单的任务实际上产生了一个有意义的自我监督任务。基于ViT位置编码的工作，我们提出了两个位置标签专用于二维图像，包括绝对位置和相对位置。我们的位置标签可以很容易地插入到各种当前的ViT变体中。它可以通过两种方式工作：（a）作为vanilla ViT的辅助训练目标（例如，ViT-B和Swin-B）以获得更好的性能。(b)结合自我监督的ViT（例如，MAE）为语义特征学习提供更强大的自监督信号。实验表明，使用所提出的自监督方法，ViT-B和Swin-B在ImageNet上的增益分别提高了1.20%（top-1 Acc）和0.74%（top-1 Acc），在Mini-ImageNet上分别提高了6.15%和1.14%。
2023-02-16 cs.CV
Self-Supervised Video Transformers for Isolated Sign Language Recognition
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
本文分析了多种自监督视频Transformer方法在孤立手语识别中的应用，发现MaskFeat在WLASL2000上达到79.02%的top-1准确率，并验证了掩码重建预训练与分层视觉Transformer对手语表征的关键作用。
2023-09-02 cs.CV
Self-supervised pretraining for an iterative image size agnostic vision transformer
INSAIT, Sofia University "St. Kliment Ohridski", Bulgaria（INSAIT，索菲亚大学"圣克莱门特·奥赫里迪斯"，保加利亚）
本文提出基于DINO自蒸馏目标的新型序列到全局自监督学习框架，通过高效积分图像补丁提取方法实现图像尺寸无关的视觉编码器大规模预训练，取得ImageNet-1K和下游分类任务的竞争力表现。
2026-04-22 cs.CV
Learning Self-Regularized Adversarial Views for Self-Supervised Vision Transformers
Sun Yat-sen University（中山大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Technology Sydney（悉尼科技大学）；Oxford University（牛津大学）
自动数据增强（AutoAugment）策略在视觉Transformer的监督数据高效训练协议中是不可或缺的，并且已经在监督学习中产生了最先进的结果。尽管取得了成功，但其在自监督视觉Transformer上的发展和应用受到一些障碍的阻碍，包括搜索成本高，缺乏监督，以及不合适的搜索空间。在这项工作中，我们提出了AutoView，一个自正则化的对抗AutoAugment方法，通过解决上述障碍来学习自监督视觉Transformer的视图。首先，我们减少搜索成本的AutoView几乎为零，同时学习的意见和网络参数在一个单一的前向-后向步骤，最小化和最大化的互信息之间的不同增强的意见，分别。然后，为了避免由于标签监督不足而导致的信息崩溃，我们提出了一个自正则化的损失项来保证信息的传播。此外，我们提出了一个策划的增强策略搜索空间的自监督学习，通过修改通常使用的搜索空间设计的监督学习。在ImageNet上，我们的AutoView在RandAug基线上实现了显着的改进（+10. 2% k-NN准确度），并且始终优于sota手动调整的视图策略（高达+1. 3% k-NN准确度）。大量的实验表明，AutoView预训练也有利于下游任务（在ADE 20 K语义分割上+1.2% mAcc，在重新访问的牛津图像检索基准上+2.8% mAP），并提高了模型的鲁棒性（在ImageNet-A上+2.3% Top-1…
2022-10-16 cs.CV
Self-Supervised Pre-Training for Table Structure Recognition Transformer
Georgia Institute of Technology（佐治亚理工学院）；ADP, Inc.（ADP公司）
针对表格结构识别中线性投影Transformer替换CNN骨干后性能下降的问题，提出自监督预训练方法缩小性能差距，并通过消融实验和开源代码验证其有效性。
2024-02-23 cs.CV
Self-Supervised Vision Transformers Are Efficient Segmentation Learners for Imperfect Labels
Yonsei University（延世大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出冻结自监督 vision transformer 主干并训练轻量分割头，以低成本利用涂鸦、点级、图像级及零样本视觉语言模型标签，在所有不完美标签设置下超越基线，最高提升 11.5%p。
2024-01-23 cs.CV
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI；POSTECH（浦项科技大学）；Australian National University（澳大利亚国立大学）
本文利用自监督预训练视觉Transformer的token相关性，通过自注意力和伪标签增强器实现弱监督少样本分类与分割，在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Vision Transformers Need Registers
FAIR, Meta（Meta FAIR）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对有监督和自监督ViT网络特征图中存在高范数token伪影的问题，提出给视觉Transformer输入序列添加额外寄存器token的方案，解决了伪影问题，提升了密集预测等任务性能，优化了下游视觉处理的特征与注意力图平滑度。
2024-04-12 cs.CV
