Improved Techniques For Weakly-Supervised Object Localization
Yonsei University（延世大学）
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性，他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题，并解决了这个限制，增加了训练数据的歧视性较低的部分。为此，我们采用了一种有效的数据增强，以提高目标定位的准确性。此外，我们引入了改进的学习技术，通过优化卷积神经网络（CNN）的基础上，最先进的模型。基于大量的实验，我们评估所提出的方法的有效性定性和定量。特别是，我们观察到，与当前最先进的弱监督对象定位技术相比，我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Dual-attention Guided Dropblock Module for Weakly Supervised Object Localization
Beijing University of Posts and Telecommunications（北京邮电大学）
注意力机制经常被用来学习区分性特征以获得更好的特征表示。在本文中，我们扩展的注意力机制的任务，弱监督对象定位（WSOL），并提出了双注意力引导dropblock模块（DGDM），其目的是学习的信息和互补的视觉模式的WSOL。该模块包含两个关键组件，通道注意引导丢弃（CAGD）和空间注意引导丢弃块（SAGD）。为了对通道相互依赖性进行建模，CAGD对通道关注度进行排名，并将具有最大幅度的前k个关注度视为重要关注度。它还保留了一些低价值的元素，如果它们在训练期间变得重要，则增加它们的价值。SAGD可以通过擦除特征图的连续区域而不是单个像素来有效地去除最具鉴别力的信息。这将引导模型捕获区分度较低的部分进行分类。此外，它还可以区分前景对象和背景区域，以减轻注意误导。实验结果表明，该方法实现了新的国家的最先进的定位性能。
2020-07-09 cs.CV
Dual-attention Focused Module for Weakly Supervised Object Localization
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
识别最具区分力区域的研究为仅具有图像级注释的弱监督目标定位提供了参考信息。然而，最具区分力的区域通常隐藏了对象的其他部分，从而阻碍了整个对象的识别和定位。为了解决这个问题，提出了双注意聚焦模块（DFM）来提高目标定位性能。具体来说，我们提出了一个双注意模块的信息融合，由一个位置分支和一个通道。在每个分支中，输入的特征图被推导成增强图和掩模图，从而突出显示或隐藏最具鉴别力的部分。对于位置掩模图，我们引入了一个聚焦矩阵来增强它，它利用了物体的像素是连续的原理。在这两个分支之间，增强图与掩模图相结合，旨在部分补偿丢失的信息并使特征多样化。利用双注意模块和聚焦矩阵，可以精确地识别出隐含信息的整个目标区域。我们在实验中展示了优于DFM的结果。特别是，DFM在ILSVRC 2016和CUB-200-2011中的定位精度方面达到了最先进的性能。
2019-09-11 cs.CV
Beyond Discriminative Regions: Saliency Maps as Alternatives to CAMs for Weakly Supervised Semantic Segmentation
Department of Computer Science（计算机科学系）；Virginia Tech（弗吉尼亚理工大学）
该研究针对弱监督语义分割中CAM仅关注判别区域的局限，全面对比显著性图与CAM的异同，提出新评估指标及随机裁剪聚合技术，验证显著性图可作为CAM的有力替代方案。
2023-08-21 cs.AI cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Background Activation Suppression for Weakly Supervised Object Localization
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
弱监督对象定位（WSOL）旨在仅使用图像级标签来定位对象。最近出现了一种新的范例，通过生成前景预测图（FPM）来实现定位任务。现有的基于FPM的方法使用交叉熵（CE）来评估前景预测图并指导生成器的学习。我们主张使用激活值来实现更有效的学习。它是基于实验观察，对于一个训练有素的网络，CE收敛到零时，前景掩模只覆盖部分的对象区域。而激活值增加，直到遮罩扩展到对象边界，这表明使用激活值可以学习更多的对象区域。在本文中，我们提出了一种背景激活抑制（BAS）方法。具体而言，激活映射约束模块（AMC）的设计，以促进通过抑制背景激活值的发生器的学习。同时，通过前景区域引导和面积约束，BAS可以学习对象的整个区域。在推理阶段，我们将不同类别的预测图放在一起考虑，以获得最终的定位结果。大量的实验表明，BAS实现了显着的和一致的改进，在CUB-200-2011和ILSVRC数据集上的基线方法。代码和型号可在https://github.com/wpy1999/BAS上获得。
2022-04-02 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
弱监督目标定位的目的是在给定图像中找到一个目标对象区域，只有弱监督，如图像级标签。大多数现有的方法使用类激活图（CAM）来生成定位图;然而，CAM仅识别目标对象的最有区别的部分，而不是整个对象区域。在这项工作中，我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明，错位抑制CAM的激活，在地区是歧视性的，但属于目标对象。为了弥补这一差距，我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
Attention-based Dropout Layer for Weakly Supervised Object Localization
Yonsei University（延世大学）
弱监督对象定位（WSOL）技术只使用图像级标签来学习对象位置，而不使用位置注释。这些技术的一个共同局限性是，它们只覆盖了对象的最有区别的部分，而不是整个对象。为了解决这个问题，我们提出了一个基于注意力的丢弃层（ADL），它利用自我注意力机制来处理模型的特征图。该方法由两个关键部分组成：1）隐藏模型中最具鉴别力的部分以捕捉对象的完整范围; 2）突出信息区域以提高模型的识别能力。实验结果表明，该方法能够有效提高WSOL的定位精度，在CUB-200-2011数据集上的定位精度达到了最新水平。我们还表明，所提出的方法是更有效的参数和计算开销比现有的技术。
2019-08-27 cs.CV
Object Instance Mining for Weakly Supervised Object Detection
SenseTime Research（商汤科技研究院）；Dalian University of Technology（大连理工大学）
在过去的几年中，仅使用图像级注释的弱监督目标检测（WSOD）引起了越来越多的关注。使用多实例学习的现有方法很容易陷入局部最优，因为这种机制倾向于从图像中最具区分力的对象学习每个类别。因此，这些方法遭受丢失的对象实例，降低WSOD的性能。为了解决这个问题，本文介绍了一个端到端的对象实例挖掘（OIM）框架弱监督目标检测。OIM试图通过在空间和外观图上引入信息传播来检测每个图像中存在的所有可能的对象实例，而不需要任何额外的注释。在迭代学习过程中，可以逐渐检测来自同一类的区分度较低的对象实例并用于训练。此外，我们设计了一个对象实例重加权损失，以学习每个对象实例的更大部分，以进一步提高性能。在两个公开数据库VOC 2007和2012上的实验结果证明了该方法的有效性。
2020-02-04 cs.CV
Anti-Adversarially Manipulated Attributions for Weakly and Semi-Supervised Semantic Segmentation
Seoul National University（首尔大学）；ASRI（先进技术研究中心）；INMC（纳米材料与技术研究院）；ISRC（互联网与安全研究中心）；Institute of Engineering Research（工程研究院）
弱监督的语义分割从分类器产生像素级定位，但它可能将其焦点限制在目标对象的小的有区别的区域。AdvCAM是图像的属性图，其被操纵以增加分类分数。这种操作是以反对抗的方式实现的，它沿着像素梯度在与对抗攻击中使用的方向相反的方向上扰动图像。它迫使最初被认为是没有区别的区域参与后续的分类，并产生属性图，连续识别目标对象的更多区域。此外，我们引入了一个新的正则化过程，该过程抑制了与目标对象无关的区域的不正确属性，并限制了已经具有高分的区域的属性。在PASCAL VOC 2012测试图像上，我们分别实现了弱监督和半监督语义分割的68.0和76.9的mIoU，这代表了最新的技术水平。
2021-03-16 cs.CV
CaT: Weakly Supervised Object Detection with Category Transfer
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
在全监督目标检测和弱监督目标检测之间存在很大的差距。为了缩小这一差距，一些方法考虑从额外的全监督数据集转移知识。但是这些方法没有充分利用全监督数据集中的判别类别信息，从而导致低mAP。为了解决这个问题，我们提出了一种新的类别转移框架弱监督目标检测。直觉是充分利用全监督数据集中的视觉区分和语义相关的类别信息，以增强弱监督检测器的对象分类能力。为了处理重叠的类别转移，我们提出了一个双监督平均教师收集共同的类别信息，并弥合两个数据集之间的领域差距。为了处理非重叠的类别转移，我们提出了一个语义图卷积网络，以促进相关类别之间的语义特征的聚合。以Pascal VOC 2007为弱监督目标数据集，COCO为全监督源数据集进行实验。我们的类别转移框架实现了63.5%的mAP和80.3%的CorLoc，两个数据集之间有5个重叠的类别，这优于最先进的方法。代码可在https://github.com/MediaBrain-SJTU/CaT获得。
2021-08-17 cs.CV
FickleNet: Weakly and Semi-supervised Semantic Image Segmentation using Stochastic Inference
Seoul National University（首尔国立大学）
弱监督语义图像分割的主要障碍是难以从粗糙的图像级注释中获得像素级信息。大多数基于图像级注释的方法使用从分类器获得的定位图，但这些方法仅关注对象的小的有区别的部分，并且不捕获精确的边界。FickleNet探索由通用深度神经网络创建的特征地图上的位置的不同组合。它随机选择隐藏单元，然后使用它们来获得激活分数用于图像分类。FickleNet隐式地学习特征图中每个位置的一致性，从而生成一个定位图，该图可以识别对象的区分部分和其他部分。通过选择随机隐藏单元对，从单个网络获得集成效果，这意味着从单个图像生成各种定位图。我们的方法不需要任何额外的训练步骤，只向标准卷积神经网络添加了一个简单的层;然而，它在弱监督和半监督设置下都优于Pascal VOC 2012基准测试中的最新可比技术。
2019-03-02 cs.CV
Constrained Sampling for Class-Agnostic Weakly Supervised Object Localization
ÉTS（高等工程技术学院）；Ericsson（爱立信）
自监督视觉Transformer可以生成图像中对象的精确定位图。然而，由于它们将场景分解为包含各种对象的多个地图，并且它们不依赖于任何显式的监督信号，因此它们无法区分感兴趣的对象与其他对象，如弱监督对象定位（WSOL）所需。为了解决这个问题，我们建议利用由不同的Transformer头生成的多个映射来获取伪标签以训练WSOL模型。特别地，引入了一种新的判别建议采样方法，该方法依赖于预训练的CNN分类器来识别判别区域。然后，从这些区域中采样前景和背景像素，以便训练WSOL模型，用于生成激活图，该激活图可以准确地定位属于特定类别的对象。在具有挑战性的CUB基准数据集上的实证结果表明，我们提出的方法可以在很宽的阈值范围内优于最先进的方法。我们的方法提供了类激活地图与更好的覆盖前景对象区域w.r.t.后台
2022-09-09 cs.CV
Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；NUS（新加坡国立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI Lab（腾讯人工智能实验室）
尽管取得了显着的进步，弱监督分割方法仍然不如完全监督的方法。我们观察到性能差距主要来自于它们在学习从图像级监督产生高质量密集对象定位图方面的限制。为了弥补这一差距，我们重新审视了扩张卷积[1]，并揭示了如何以一种新的方式利用它来有效地克服弱监督分割方法的这一关键限制。具体来说，我们发现不同的膨胀率可以有效地扩大卷积核的感受野，更重要的是将周围的判别信息转移到非判别对象区域，促进这些区域在对象定位图中的出现。然后，我们设计了一个通用的分类网络，配备了不同膨胀率的卷积块。它可以产生密集和可靠的目标定位图，并有效地有利于弱监督和半监督语义分割。尽管表面上的简单，我们提出的方法获得了优越的性能超过国家的最先进的。特别是，它在Pascal VOC 2012测试集上实现了60.8%和67.6%的mIoU分数，在弱（仅图像级标签可用）和半（1，464个分割掩码可用）监督设置中，这是最新的最先进技术。
2018-05-28 cs.CV
Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出背景激活抑制（BAS）方法，通过激活图约束模块抑制背景激活值，并结合前景区域引导与面积约束学习完整目标区域，显著提升弱监督目标定位与语义分割性能。
2023-09-22 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
The University of Western Australia（西澳大学）；The University of Sydney（悉尼大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种新的基于transformer的框架，学习类特定的对象定位图作为伪标签的弱监督语义分割（WSSS）。受标准视觉Transformer中一类标记的关注区域可以用来形成类不可知的定位图的启发，我们研究了Transformer模型是否也可以通过学习Transformer中的多个类标记来有效地捕获类特定的注意力，以实现更具鉴别力的对象定位。为此，我们提出了一个多类令牌Transformer，称为MCTformer，它使用多个类令牌来学习类令牌和补丁令牌之间的交互。建议的MCTformer可以成功地产生类判别的对象定位地图，从类到补丁的关注对应于不同的类令牌。我们还建议使用一个补丁级成对的亲和力，这是从补丁到补丁Transformer的注意力，以进一步完善本地化地图。此外，所提出的框架，以充分补充类激活映射（CAM）的方法，导致PASCAL VOC和MS COCO数据集上的WSSS结果显着优越。这些结果强调了类标记对于WSSS的重要性。
2022-03-06 cs.CV
Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up
The University of Hong Kong（香港大学）；Deepwise AI Lab（深度智耀人工智能实验室）
给定由图像和相应类别标签组成的训练数据集，深度卷积神经网络在挖掘图像分类的区分部分方面表现出很强的能力。然而，使用图像级别标签训练的深度卷积神经网络往往只关注最具区分力的部分，而忽略了其他可以提供补充信息的对象部分。在本文中，我们从不同的角度来探讨这个问题。我们以弱监督的方式构建互补部分模型，以检索由卷积神经网络检测到的主导对象部分所抑制的信息。仅给定图像级标签，我们首先通过使用Mask R-CNN和基于CRF的分割执行弱监督对象检测和实例分割来提取粗糙对象实例。然后，我们估计和搜索的最佳零件模型为每个对象的情况下，保持尽可能多的多样性的原则。在最后一个阶段，我们构建了一个双向长短期记忆（LSTM）网络，将这些互补部分的部分信息融合编码成一个综合特征，用于图像分类。实验结果表明，该方法不仅取得了显着的改善，我们的基线模型，但也优于国家的最先进的算法的大幅度（分别为6.7%，2.8%，5.2%）斯坦福狗120，加州理工大学UCSD鸟类2011 - 200和加州理工大学256。
2019-03-07 cs.CV
Bagging Regional Classification Activation Maps for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University（北京大学医学技术研究院）；Peking University（北京大学）；Institute of Biomedical Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）
分类激活图（CAM）利用分类结构生成逐像素定位图，是弱监督目标定位（WSOL）的关键机制。然而，CAM直接使用在图像级特征上训练的分类器来定位对象，使得它更喜欢辨别全局判别因素而不是区域对象线索。因此，当将像素级特征馈送到该分类器中时，仅激活有区别的位置。为了解决这个问题，本文阐述了一种称为BagCAMs的即插即用机制，以便在不细化或重新训练基线结构的情况下，更好地为本地化任务设计一个训练有素的分类器。我们的BagCAMs采用了建议的区域定位器生成（RLG）策略来定义一组区域定位器，然后从一个训练有素的分类器中导出它们。这些区域定位器可以被看作是基础学习器，它只识别用于定位任务的区域对象因素，它们的结果可以被我们的BagCAMs有效地加权以形成最终的定位图。实验表明，采用我们提出的BagCAMs可以在很大程度上提高基线WSOL方法的性能，并在三个WSOL基准测试中获得了最先进的性能。代码发布于https://github.com/zh460045050/BagCAMs。
2022-07-16 cs.CV
Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features
Tsinghua University（清华大学）；DATA61-CSIRO（联邦科学与工业研究组织DATA61）；Australian National University（澳大利亚国立大学）
图像标签监督下的弱监督语义分割是一项具有挑战性的任务，因为它直接将高层语义与低层外观相关联。为了弥合这一差距，在本文中，我们提出了一个迭代的自下而上和自上而下的框架，交替扩展对象区域和优化分割网络。我们从分类网络产生的初始定位开始。虽然分类网络只对小而粗的区分对象区域做出响应，但我们认为，这些区域包含有关对象的重要共同特征。因此，在自底向上的步骤中，我们从初始定位中挖掘共同的对象特征，并使用挖掘的特征扩展对象区域。为了补充非歧视性的区域，显着图，然后考虑贝叶斯框架下细化对象区域。然后在自顶向下的步骤中，细化的对象区域被用作监督来训练分割网络并预测对象掩模。这些对象掩模提供更准确的定位，并包含更多的对象区域。此外，我们把这些对象掩码作为初始定位，并从中挖掘共同的对象特征。这些过程迭代进行，以逐步产生精细的对象掩模并优化分割网络。在Pascal VOC 2012数据集上的实验结果表明，该方法的性能明显优于现有的方法.
2018-06-12 cs.CV
Find it if You Can: End-to-End Adversarial Erasing for Weakly-Supervised Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom
语义分割是一项传统上需要大量像素级地面实况标签数据集的任务，这是耗时且昂贵的。最近在弱监督设置方面的进展表明，仅使用图像级标签可以获得合理的性能。分类通常被用作代理任务来训练深度神经网络，从该深度神经网络提取注意力图。然而，分类任务只需要最少的证据来进行预测，因此它专注于最具区分力的对象区域。为了克服这个问题，我们提出了一个新的配方对抗擦除的注意力地图。与以前的对抗性擦除方法相比，我们用相反的损失函数优化了两个网络，这消除了某些次优策略的要求;例如，具有多个训练步骤，使训练过程复杂化，或者在不同分布上运行的网络之间的权重共享策略可能对性能次优。所提出的解决方案不需要显著性掩模，而是使用正则化损失来防止注意力图扩散到区分度较低的对象区域。我们在Pascal VOC数据集上的实验表明，与我们的基线相比，我们的对抗性方法将分割性能提高了2.1 mIoU，与以前的对抗性擦除方法相比，提高了1.0 mIoU。
2020-11-09 cs.CV
MCTformer+: Multi-Class Token Transformer for Weakly Supervised Semantic Segmentation
The University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出MCTformer+框架，通过多类令牌Transformer和对比类令牌模块生成类别判别性定位图，并结合图像块亲和力细化伪标签，显著提升弱监督语义分割性能。
2023-08-06 cs.CV
Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation
KAIST（韩国科学技术院）
现有的研究在弱监督语义分割（WSSS）利用类激活地图（CAM）本地化的类对象。然而，由于分类损失不足以提供精确的对象区域，因此CAM倾向于偏向于有区别的模式（即，稀疏性）并且不提供精确的对象边界信息（即，不精确）。为了解决这些限制，我们提出了一个新的框架（由MainNet和SupportNet组成）。其从给定的图像级监督导出像素级自我监督。在我们的框架中，在建议的区域对比模块（RCM）和多尺度注意模块（MAM）的帮助下，MainNet通过来自SupportNet的自我监督进行训练。RCM从SupportNet中提取了两种形式的自我监督：（1）从CAM生成的类区域掩码和（2）根据类区域掩码从特征中获得的类原型。然后，MainNet的每个像素级特征都由原型以对比的方式进行训练，从而锐化生成的CAM。MAM利用从SupportNet推断的多个尺度的CAM作为自我监督来指导MainNet。基于来自MainNet和SupportNet的多尺度CAM之间的不同，来自MainNet的CAM被训练以扩展到区分度较低的区域。该方法在PASCAL VOC 2012数据集的训练集和验证集上均显示出最先进的WSSS性能。为了可重复性，代码将很快公开。
2021-12-10 cs.CV
Track and Transfer: Watching Videos to Simulate Strong Human Supervision for Weakly-Supervised Object Detection
University of California, Davis（加州大学戴维斯分校）
训练对象检测器的现状方法需要昂贵的限界框注释。我们的框架采取了一个明显不同的方向：我们将跟踪的对象框从弱标记视频转移到弱标记图像，以自动生成伪地面实况框，取代手动注释的边界框。我们首先在弱标记图像集合中挖掘经常/很少出现在正/负像中的区分区域。然后，我们将这些区域与视频进行匹配，并检索相应的跟踪对象框。最后，我们设计了一个霍夫变换算法来投票选出最好的盒子作为每个图像的伪GT，并使用它们来训练目标检测器。总之，这些导致了PASCAL 2007和2010数据集上最先进的弱监督检测结果。
2016-04-19 cs.CV
In-sample Contrastive Learning and Consistent Attention for Weakly Supervised Object Localization
Yonsei University（延世大学）
弱监督目标定位（WSOL）的目的是定位目标对象只使用图像级的监督。最近的方法鼓励模型通过丢弃最具区别性的部分来激活整个对象的特征图。然而，它们可能会导致过度扩展的背景，导致高估的本地化。在本文中，我们认为背景作为一个重要的线索，指导功能激活覆盖复杂的对象区域，并提出对比注意损失。丢失促进前景与其丢弃的版本之间的相似性，以及丢弃的版本与背景之间的不相似性。此外，我们提出前景一致性损失，惩罚较早的层产生噪音的注意力，关于后一层作为参考，为他们提供一种背景感。它引导早期层在对象上激活，而不是在局部独特的背景上激活，以便它们的注意力与后面的层相似。为了更好地优化上述损失，我们使用非局部注意力块来取代通道池注意力，从而增强注意力地图考虑空间相似性。最后但并非最不重要的是，我们建议除了最具鉴别力的区域之外，还删除背景区域。我们的方法在CUB-200-2011和ImageNet基准数据集上实现了关于顶级定位精度和MaxBoxAccV 2的最新性能，并且我们提供了对各个组件的详细分析。该代码将在网上公开，以供复制。
2020-09-25 cs.CV
Mining Discriminative Food Regions for Accurate Food Recognition
The Hamlyn Centre（哈姆林中心）；Imperial College London（帝国理工学院）；Department of Computing（计算系）
自动食物识别是被动饮食监测的第一步。在本文中，我们解决的问题，通过挖掘判别食品区域的食品识别。从对抗性擦除的启发，逐步发现歧视性的对象区域的弱监督语义分割的策略，我们提出了一种新的网络架构，其中一个主要的网络保持分类输入图像的基本准确性，辅助网络对抗性地挖掘歧视性的食物区域，和区域网络分类产生的挖掘区域。然后将全局（原始输入图像）和局部（挖掘区域）表示集成以进行最终预测。所提出的架构表示为PAR-Net是端到端可训练的，并以在线方式突出区分区域。此外，我们还引入了一个新的细粒度食物数据集Sushi-50，它由50个不同的寿司类别组成。已经进行了大量的实验来评估所提出的方法。在选择的三个食物数据集（Food-101，Vireo-172和Sushi-50）上，与其他现有方法相比，我们的方法表现一致，并达到了最先进的结果（分别为$90.4\%$，$90.2\%$，$92.0\%$的前1测试精度）。数据集和代码可在https://github.com/Jianing-Qiu/PARNet上获得
2022-07-08 cs.CV
Weakly Supervised Semantic Segmentation via Progressive Patch Learning
Shenzhen University（深圳大学）；Meituan Inc.（美团公司）
现有的大多数语义分割方法都以图像级的类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新的“渐进式补丁学习”的方法，以提高局部细节提取的分类，生产CAM更好地覆盖整个对象，而不是只有最具歧视性的地区，在传统的分类模型中获得的CAM。“补丁学习”将特征图分解为补丁，并在最终聚合之前并行独立处理每个局部补丁。这种机制迫使网络从分散的有区别的局部部分中发现弱信息，从而实现增强的局部细节敏感性。“渐进式补丁学习”进一步以渐进的方式将特征破坏和补丁学习扩展到多级粒度。这种“渐进式补丁学习”机制与多阶段优化策略相配合，隐含地为模型提供了跨不同局部粒度的特征提取能力。作为隐式多粒度渐进融合方法的替代方案，我们还提出了一种显式方法，可以在单个模型中同时融合来自不同粒度的特征，进一步提高了全对象覆盖的CAM质量。我们提出的方法在PASCAL VOC 2012数据集上实现了出色的性能，例如，在测试集上具有69.6$% mIoU），这超过了大多数现有的弱监督语义分割方法。代码将在https://github.com/TyroneLi/PPL_WSSS上公开发布。
2022-09-16 cs.CV
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University（首尔大学）
弱监督的语义分割从类标签产生像素级定位;然而，在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象：由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈，因此，只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点，然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外，我们引入了一种新的池化方法，进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明，这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量，为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得：https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
Adaptive Base-class Suppression and Prior Guidance Network for One-Shot Object Detection
Zhejiang University（浙江大学）；Tencent（腾讯）
单次目标检测（OSOD）旨在检测查询图像指定的给定类别的所有对象实例。现有的OSOD研究大多致力于探索有效的跨图像关联，缓解语义特征错位，但忽略了模型偏向于基类和泛化能力下降的现象。观察到这一点，我们提出了一种新的框架，即基本类抑制和事先指导（BSPG）网络来克服这个问题。具体地说，基类的对象可以明确地检测到的基类预测器和自适应消除我们的基类抑制模块。此外，设计了先验引导模块，以非参数方式计算高层特征之间的相关性，生成与类别无关的先验图，为目标特征提供丰富的语义线索，指导后续的检测过程。配备了建议的两个模块，我们赋予模型具有很强的区分能力，区分目标对象属于基类的干扰。大量的实验表明，我们的方法优于以前的技术，由一个大的利润率，并实现了新的国家的最先进的性能在各种评估设置。
2023-03-24 cs.CV
Progressive Representation Adaptation for Weakly Supervised Object Localization
Tsinghua University（清华大学）；Virginia Tech（弗吉尼亚理工大学）；University of California, Merced（加州大学默塞德分校）
我们解决了弱监督对象定位的问题，只有图像级的注释可用于训练对象检测器。已经提出了许多方法来解决这个问题，通过挖掘对象的建议。然而，在对象建议中的大量噪声导致学习有区别的对象模型的模糊性。这种方法对模型初始化敏感，并且经常收敛到不期望的局部最小解。在本文中，我们提出通过渐进式表示自适应来克服这些缺点，其中包括两个主要步骤：1）分类自适应和2）检测自适应。在分类自适应中，我们将预训练的网络转移到多标签分类任务中，以识别图像中某个对象的存在。通过分类自适应步骤，网络学习特定于感兴趣的对象类别的区别性表示。在检测自适应，我们挖掘类特定的对象的建议，利用两个评分策略的基础上适应分类网络。特定于类的建议挖掘有助于从背景杂波中去除大量噪声，并从类似对象中消除潜在的混淆。我们进一步完善这些建议使用多个实例学习和分割线索。使用这些细化的对象边界框，我们微调了分类网络的所有层，并获得了一个完全自适应的检测网络。我们提出了详细的实验验证PASCAL VOC和ILSVRC数据集。实验结果表明，我们的渐进式表示自适应算法表现良好，对国家的最先进的方法。
2017-10-12 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Weakly-Supervised Semantic Segmentation with Visual Words Learning and Hybrid Pooling
Wuhan University（武汉大学）；JD Explore Academy, JD.com（京东探索研究院）
具有图像级标签的弱监督语义分割（WSSS）方法通常训练分类网络以生成类激活图（CAM）作为初始粗分割标签。然而，目前的WSSS方法仍然远远不能令人满意地执行，因为它们所采用的CAM 1）通常集中在部分可区分的对象区域和2）通常包含无用的背景区域。这两个问题归因于训练分类网络时的唯一图像级监督和全局信息的聚合。在这项工作中，我们提出了视觉词汇学习模块和混合池化方法，并将它们纳入分类网络中，以缓解上述问题。在视觉词学习模块中，我们通过强制分类网络学习细粒度的视觉词标签来解决第一个问题，以便可以发现更多的对象范围。具体地说，视觉词汇学习与码本，它可以通过两个建议的策略，即基于学习的策略和记忆库策略更新。CAM的第二个缺点是缓解与建议的混合池，它结合了全球平均值和本地判别信息，同时确保对象的完整性和减少背景区域。我们在PASCAL VOC 2012和MS COCO 2014数据集上评估了我们的方法。在没有任何额外显著性的情况下，我们的方法在PASCAL VOC数据集的$val$和$test$集上分别实现了70.6%和70.7%的mIoU，在MS COCO数据集的$val$集上实现了36.2%的mIoU，这显著超过了最先进的WSSS方法的性能。
2022-02-10 cs.CV
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）；Beijing University of Technology（北京工业大学）
最近，视觉Transformer模型已成为一系列视觉任务的突出模型。然而，这些模型通常是不透明的，具有较弱的特征可解释性。此外，目前还没有为本质上可解释的Transformer构建的方法，该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距，我们提出了一种新的视觉Transformer，称为eXplainable Vision Transformer（eX-ViT），一个本质上可解释的Transformer模型，能够共同发现强大的可解释的功能，并执行预测。具体来说，eX-ViT由可解释多头注意力（E-MHA）模块、属性引导解释器（AttE）模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重，这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时，AttE提出了编码的区别性属性特征的目标对象，通过不同的属性发现，这构成了模型的预测的忠实证据。此外，我们的eX-ViT开发了一个自我监督的属性引导损失，旨在通过属性区分机制和属性多样性机制学习增强的表示，以定位多样化和有区别的属性，并生成更强大的解释。因此，我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Knowledge Transfer with Simulated Inter-Image Erasing for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；Horizon Robotics（Horizon Robotics（地平线机器人））
本文提出KTSE方法，通过模拟图像间擦除引入额外目标信息并迁移知识，结合自监督正则化和多粒度对齐，缓解弱监督语义分割中的欠激活与过度扩张问题。
2024-07-03 cs.CV
Extracting Class Activation Maps from Non-Discriminative Features as well
Singapore Management University（新加坡管理大学）
从分类模型中提取类别激活图（CAM）通常导致对前景对象的不良覆盖，即，仅区分区域（例如，“绵羊”的“头”）被识别并且其余的（例如，“羊”的“腿”）错误地作为背景。背后的关键是分类器的权重（用于计算CAM）仅捕获对象的区分特征。我们通过引入一种新的CAM计算方法来解决这个问题，该方法也可以显式地捕获非歧视性特征，从而扩展CAM以覆盖整个对象。具体来说，我们省略了分类模型的最后一个池化层，并对对象类的所有局部特征进行聚类，其中“局部”意味着“在空间像素位置”。我们将得到的K个聚类中心称为局部原型-表示局部语义，如“绵羊”的“头”、“腿”和“身体”。给定类的新图像，我们将其未合并的特征与每个原型进行比较，导出K个相似性矩阵，然后将它们聚合成热图（即，我们的CAM）。因此，我们的CAM捕捉类的所有本地功能没有歧视。我们在弱监督语义分割（WSSS）的挑战性任务中对其进行了评估，并将其插入到多个最先进的WSSS方法中，如MCTformer和AMN，只需将其原始CAM替换为我们的CAM。我们在标准WSSS基准测试（PASCAL VOC和MS COCO）上进行的大量实验表明了我们方法的优越性：一致的改进和较小的计算开销。
2023-03-18 cs.CV
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley（加州大学伯克利分校）
随着弱标记数据的日益突出，对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法，自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题，并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之，这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels
Computer Vision Lab Delft University of Technology（代尔夫特理工大学计算机视觉实验室）；Delft University of Technology（代尔夫特理工大学）；The Netherlands（荷兰（注：原文本中The Netherlands为国家名，根据提取规则，国家不属于机构，此处仅为完整显示原机构相关信息））；Computer Vision Lab（计算机视觉实验室）
当前的弱监督对象定位和分割依赖于类判别可视化技术来生成用于像素级训练的伪标签。这种可视化方法，包括类激活映射（CAM）和Grad-CAM，只使用最深，最低分辨率的卷积层，丢失中间层中的所有信息。我们提出了Zoom-CAM：通过整合中间层中所有激活的重要性地图，超越最后一个最低分辨率层。Zoom-CAM捕捉细粒度的小规模对象的各种歧视性的类实例，这是通常错过的基线可视化方法。我们专注于从类标签生成像素级伪标签。在ImageNet本地化任务中评估的伪标签的质量在top-1错误上显示出超过2.8%的改进。对于弱监督的语义分割，我们生成的伪标签将最先进的模型提高了1.1%。
2020-10-16 cs.CV
ProCNS: Progressive Prototype Calibration and Noise Suppression for Weakly-Supervised Medical Image Segmentation
Southern University of Science and Technology（南方科技大学）；University of Hong Kong（香港大学）；Jiaxing Research Institute, Southern University of Science and Technology（南方科技大学嘉兴研究院）
提出弱监督医学图像分割方法ProCNS，通过PRSA损失最大化空间与语义亲和性并提供可靠指导，结合ANPM模块掩蔽噪声区域并生成软伪标签，在六项任务上显著优于现有方法。
2024-12-24 cs.CV cs.LG
Weakly Supervised Segmentation Framework for Thyroid Nodule Based on High-confidence Labels and High-rationality Losses
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Harbin Institute of Technology（哈尔滨工业大学）；Department of Ultrasound, Shengjing Hospital of China Medical University（中国医科大学附属盛京医院超声科）
本文针对甲状腺结节弱监督分割中的标签噪声和损失函数不合理问题，提出融合四点标注与MedSAM生成高置信度伪标签，并设计对齐、对比和原型相关三类高合理性损失，在TN3K和DDTI上取得最优性能。
2025-07-07 cs.CV
Anti-Adversarially Manipulated Attributions for Weakly Supervised Semantic Segmentation and Object Localization
Seoul National University（首尔国立大学）
在弱监督语义分割和目标定位中，从类标签中获得精确的像素级定位是一个至关重要的过程。来自经训练的分类器的属性图被广泛用于提供像素级定位，但是它们的焦点往往被限制在目标对象的小的区分区域。AdvCAM是图像的属性图，其被操纵以在最终softmax或sigmoid层之前增加由分类器产生的分类分数。这种操作是以反对抗的方式实现的，使得原始图像沿着像素梯度在与对抗攻击中使用的方向相反的方向上被扰动。这个过程增强了非歧视性的，但类相关的功能，使以前的属性地图的贡献不足，使所得的AdvCAM识别目标对象的更多区域。此外，我们引入了一个新的正则化过程，抑制不正确的归属区域无关的目标对象和过度集中的归属目标对象的一个小区域。我们的方法在PASCAL VOC 2012和MS COCO 2014数据集上实现了弱监督和半监督语义分割的最新性能。在弱监督对象定位中，它在CUB-200-2011和ImageNet-1 K数据集上实现了最新的性能。
2022-04-11 cs.CV cs.LG
Two-Phase Learning for Weakly Supervised Object Localization
KAIST（韩国科学技术院）；Lunit Inc.（Lunit 公司）
弱监督的语义分割和定位具有仅关注图像的最重要部分的问题，因为它们仅使用图像级注释。在本文中，我们通过两阶段学习从根本上解决了这个问题。我们的网络分为两步进行训练。在第一步中，训练传统的全卷积网络（FCN）来找到图像中最具鉴别力的部分。在第二步中，通过推理条件反馈抑制最显著部分上的激活，然后执行第二次学习以找到下一个最重要部分的区域。通过组合两个阶段的激活，可以捕获目标对象的整个部分。我们提出的训练方案是新颖的，可以用于设计良好的技术，弱监督语义分割，显著区域检测和对象位置预测。详细的实验证明了我们的两阶段学习在每个任务中的有效性。
2017-08-16 cs.CV
Multiple Instance Curriculum Learning for Weakly Supervised Object Detection
University of Southern California（南加州大学）；Google, Inc.（谷歌公司）
当用弱标记数据来监督对象检测器时，大多数现有方法都倾向于在有区别的对象部分中捕获，例如，由于缺乏对完整对象范围的监督，发现猫的脸而不是整个身体。为了应对这一挑战，我们将对象分割纳入检测器训练中，从而指导模型正确定位完整对象。本文提出了多实例课程学习方法，将课程学习引入多实例学习框架。MICL方法首先自动挑选容易的训练样本，其中分割掩码的范围与检测边界框一致。训练集逐渐扩展到包括更难的示例，以训练处理复杂图像的强大检测器。在PASCAL VOC数据集上，所提出的具有循环中分割的MICL方法的性能远远优于最先进的弱监督对象检测器。
2017-11-25 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Background Noise Reduction of Attention Map for Weakly Supervised Semantic Segmentation
Tokushima University（德岛大学）
针对TransCAM注意力权重中的背景噪声问题，本文提出降噪方法以提升伪标签质量，并在PASCAL VOC 2012和MS COCO 2014上取得优于TransCAM的分割结果。
2024-04-09 cs.CV
Self-produced Guidance for Weakly-supervised Object Localization
University of Technology Sydney（悉尼科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
弱监督方法通常基于分类网络产生的注意力图来生成定位结果。然而，注意力地图展示了对象的最具区分力的部分，这些部分很小且稀疏。我们建议生成自产指导（SPG）掩模，将前景（感兴趣的对象）与背景分离，为分类网络提供像素的空间相关性信息。提出了一种分阶段的方法，将高置信度的对象区域学习SPG掩模。利用注意力图中的高置信度区域来逐步学习SPG掩码。然后将掩模用作辅助像素级监督以促进分类网络的训练。ILSVRC上的大量实验表明，SPG是有效的，在生产高质量的目标定位地图。特别地，所提出的SPG在ILSVRC验证集上实现了43.83%的Top-1定位出错率，这是新的最先进的出错率。
2018-08-05 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）
弱监督对象定位仍然具有挑战性，在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件，但通常计算量很大，并且无法与其他一些模块进行联合优化。在本文中，据我们所知，我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络（CNN）中。我们设计了一个网络组件Soft Proposal（SP），可以插入任何标准卷积架构，以引入几乎无成本的对象提案，比最先进的方法快几个数量级。在SP增强的CNN中，被称为软提议网络（SPN），迭代进化的对象提议是基于深度特征图生成的，然后投影回来，并进一步与网络参数联合优化，仅具有图像级监督。通过统一的学习过程，SPN可以学习更好的以对象为中心的过滤器，发现更多有区别的视觉证据，并抑制背景干扰，从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果，包括PASCAL VOC，MS COCO和ImageNet。
2017-09-06 cs.CV
SLV: Spatial Likelihood Voting for Weakly Supervised Object Detection
Zhejiang University（浙江大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
基于多示例学习框架的大量工作促进了弱监督目标检测的发展。然而，大多数基于MIL的方法倾向于将实例本地化到它们的区分部分而不是整个内容。在本文中，我们提出了一个空间似然投票（SLV）模块收敛的建议本地化过程中没有任何限界框注释。具体来说，给定图像中的所有区域建议在训练期间的每次迭代中都扮演投票者的角色，为空间维度中每个类别的可能性投票。在对具有大似然值的区域进行膨胀对齐之后，将投票结果正则化为边界框，用于最终的分类和定位。基于SLV，我们进一步提出了一个端到端的多任务学习训练框架。分类和定位任务相互促进，进一步提高了检测性能。在PASCAL VOC 2007和2012数据集上进行的大量实验证明了SLV的优越性能。
2020-06-23 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales（新南威尔士大学）
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题，提出基于原型的图像提示框架，利用聚类原型与对比匹配损失提升CAM质量，并在四个数据集上取得新基准。
2025-03-15 cs.CV
Self-Taught Cross-Domain Few-Shot Learning with Weakly Supervised Object Localization and Task-Decomposition
Tianjin University（天津大学）；Binghamton University（宾汉姆顿大学）
跨域少镜头学习（Cross-Domain Few-Shot Learning，CD-FSL）的主要挑战是源域和目标域之间的域转移。然而，在源域上训练时，目标域是完全未知的，这导致对目标任务缺乏直接指导。我们观察到，由于目标领域中存在相似的背景，它可以将自标记样本作为先验任务，将知识转移到目标任务上。为此，我们提出了一个CD-FSL的任务扩展分解框架，称为自学（ST）方法，它通过构建面向任务的度量空间来解决非目标制导问题。具体而言，弱监督对象定位（WSOL）和自监督技术被用来丰富面向任务的样本，通过交换和旋转的判别区域，从而产生一个更丰富的任务集。然后将这些任务分解为若干个任务，完成Few-Shot识别和旋转分类任务。它有助于将源知识转移到目标任务上，并专注于区分区域。我们在跨域设置下进行了广泛的实验，包括8个目标域：CUB，汽车，地方，植物，作物病害，EuroSAT，ISIC和ChestX。实验结果表明，所提出的ST方法适用于各种基于度量的模型，并提供了有前途的改进CD-FSL。
2021-09-03 cs.AI cs.CV
CREAM: Weakly Supervised Object Localization via Class RE-Activation Mapping
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Deakin University（迪肯大学）
弱监督对象定位（WSOL）旨在通过图像级监督来定位对象。现有的工作主要依赖于类激活映射（CAM）来自分类模型。然而，基于CAM的方法通常集中在对象的最有区别的部分（即，不完全定位问题）。在本文中，我们经验证明，这个问题是与混淆的激活值之间的歧视前景区域和背景。为了解决这个问题，我们提出了类再激活映射（CREAM），一种新的基于聚类的方法来提高积分对象区域的激活值。为此，我们引入类特定的前景和背景上下文嵌入集群质心。提出了一种CAM引导的动量保持策略，用于在训练过程中学习上下文嵌入。在推理阶段，将重新激活映射问题转化为高斯混合模型下的参数估计问题，通过推导基于期望最大化的无监督软聚类算法来解决该问题。通过简单地将CREAM集成到各种WSOL方法中，我们的方法显着提高了它们的性能。CREAM在CUB、ILSVRC和OpenImages基准数据集上实现了最先进的性能。代码将在https://github.com/Jazzcharles/CREAM上提供。
2022-05-27 cs.AI cs.CV
Weakly-Supervised Semantic Segmentation via Sub-category Exploration
UC Merced（加州大学默塞德分校）；eBay Inc.（eBay公司）；NEC Labs America（NEC美国实验室）；Google Research（谷歌研究院）
现有的弱监督语义分割方法使用图像级注释通常依赖于初始响应来定位对象区域。然而，由于网络不需要整个对象来优化目标函数的事实，由分类网络生成的这种响应图通常集中于有区别的对象部分。为了让网络关注对象的其他部分，我们提出了一种简单而有效的方法，通过利用子类信息来引入自监督任务。具体来说，我们对图像特征进行聚类，以在每个带注释的父类中生成伪子类标签，并构建子类目标，以将网络分配给更具挑战性的任务。通过迭代地聚类图像特征，训练过程不会将其自身限制在最具辨别力的对象部分，从而提高了响应图的质量。我们进行了广泛的分析，以验证所提出的方法，并表明我们的方法对国家的最先进的方法表现良好。
2020-08-03 cs.CV cs.LG eess.IV
DyFrDet: Towards Accurate Small Object Detection via Dynamic Frequency Suppression with Label Disambiguation
Hangzhou International Innovation Institute of Beihang University（北京航空航天大学杭州国际创新研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对小目标检测中视觉线索不足、频域噪声与标签歧义被忽视的问题，提出DyFrDet检测器，通过DyFrFPN与LDM模块实现精确检测，在多基准上达SOTA性能。
2026-08-04 cs.AI cs.CV
D3TW: Discriminative Differentiable Dynamic Time Warping for Weakly Supervised Action Alignment and Segmentation
Stanford University（斯坦福大学）
我们解决了视频中的弱监督动作对齐和分割问题，在训练过程中只有动作发生的顺序可用。我们提出了判别微分动态时间弯曲（D3TW），第一个判别模型使用弱序监督。弱监督判别建模的关键技术挑战是，有序监督的损失函数通常使用动态规划来制定，因此是不可微的。我们解决这个挑战，连续放松的最小运营商在动态规划和扩展的对齐损失是可微的。所提出的D3TW创新性地解决了具有判别式建模和端到端训练的序列对齐问题，这大大提高了弱监督动作对齐和分割任务的性能。我们表明，我们的模型能够绕过在以前的工作中通常遇到的退化序列问题，并在两个具有挑战性的数据集中的三个评估指标上优于当前最先进的模型。
2019-04-11 cs.CV
Discriminative Localization in CNNs for Weakly-Supervised Segmentation of Pulmonary Nodules
Columbia University（哥伦比亚大学）；Imperial College（帝国理工学院）
在肺部计算机断层扫描（CT）扫描上自动检测和分割肺结节可以促进早期肺癌诊断。用于CT扫描上的自动结节分割的现有监督方法需要用于训练的基于体素的注释，这是耗费人力和时间的。在这项工作中，我们提出了一种弱监督方法，该方法仅使用图像级标签进行训练，生成准确的体素级结节分割。通过调整为图像分类训练的卷积神经网络（CNN），我们所提出的方法从不同尺度的卷积单元的激活图中学习有区别的区域，并使用新的候选筛选框架来识别真正的结节位置。在公共LIDC-IDRI数据集上的实验结果表明，与基于CNN的全监督分割方法相比，我们的弱监督结节分割框架具有竞争力的性能。
2018-02-22 cs.CV
