Structure-Consistent Weakly Supervised Salient Object Detection with Local Saliency Coherence
School of Advanced Technology, Xi’an Jiaotong Liverpool University（西交利物浦大学先进技术学院）
稀疏标签近年来引起了人们的广泛关注。但是，弱监督和完全监督的显著目标检测方法之间的性能差距是巨大的，并且大多数以前的弱监督作品都采用了复杂的训练方法，有很多花里胡哨的东西。在这项工作中，我们提出了一个一轮的端到端的训练方法弱监督显着目标检测通过涂鸦注释没有预/后处理操作或额外的监督数据。由于涂鸦标签无法提供详细的显着区域，我们提出了一个局部相干性损失的基础上的图像特征和像素距离的标签传播到未标记的区域，从而预测完整的显着区域与完整的对象结构。我们设计了一个显著性结构一致性损失作为自洽机制，以确保一致的显着性地图预测不同尺度的同一图像作为输入，这可以被视为一种正则化技术，以提高模型的泛化能力。此外，我们设计了一个聚合模块（AGGM），以更好地集成高层次的功能，低层次的功能和全局上下文信息的解码器聚合各种信息。大量的实验表明，我们的方法实现了一个新的国家的最先进的性能在六个基准测试（例如，对于ECSSD数据集：F_β= 0.8995，E_β = 0.9079和MAE = 0.0489$），平均增益为4.60%的F-measure，2.05%的E-measure和1.88%的MAE比以前的最好的方法在这个任务。源代码可在http://github.com/siyueyu/SCWSSOD上获得。
2020-12-09 cs.CV
Weakly-Supervised Saliency Detection via Salient Object Subitizing
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
显著目标检测的目的是检测视觉上最明显的目标并产生相应的掩模。由于像素级标注的成本很高，图像标签通常被用作弱监督。但是，图像标记只能用于注释一类对象。在本文中，我们引入显着性subitizing作为弱监督，因为它是类不可知的。这允许监督与显着性检测的属性对齐，其中图像的显着对象可以来自多个类别。为此，我们提出了一个模型，两个模块，显着性Subitizing模块（SSM）和显着性更新模块（SUM）。虽然SSM学习使用subitizing信息生成初始显着性掩码，但不需要任何无监督方法或一些随机种子，SUM有助于迭代地优化生成的显着性掩码。我们在五个基准数据集上进行了广泛的实验。实验结果表明，该方法的性能优于其他弱监督方法，甚至优于一些全监督方法。
2021-01-04 cs.CV
Weakly Supervised Salient Object Detection Using Image Labels
Sun Yat-sen University（中山大学）；SenseTime Group Limited（商汤集团有限公司）
基于深度学习的显著目标检测最近取得了巨大的成功，其性能大大优于任何其他无监督方法。然而，注释每像素显著性掩模是一个繁琐且低效的过程。在本文中，我们注意到，优越的显着目标检测，可以通过迭代挖掘和纠正标记模糊显着图从传统的无监督方法。我们建议使用来自分类网络的粗糙显著对象激活图和从无监督方法生成的显著性图作为像素级注释的组合，并开发一种简单但非常有效的算法来训练完全卷积网络，用于由这些噪声注释监督的显著目标检测。我们的算法基于交替利用图形模型和训练用于模型更新的全卷积网络。图形模型通过空间一致性和结构保持来纠正内部标记模糊性，而全卷积网络有助于纠正交叉图像语义模糊性，同时更新下一次迭代的粗略激活图。实验结果表明，我们提出的方法大大优于所有最先进的无监督显着性检测方法，并且可以与当前最好的强监督方法相媲美，这些方法在所有公共基准上使用数千个像素级显着性图注释进行训练。
2018-03-17 cs.CV
Synthesize Boundaries: A Boundary-aware Self-consistent Framework for Weakly Supervised Salient Object Detection
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
本文提出一种边界感知自洽框架，通过合成凹陷区域图像和双分支结构（GIB与BAB）及自洽损失，在无需额外辅助数据的情况下提升弱监督显著目标检测的边界精度，并在多个基准上超越现有方法。
2022-12-04 cs.CV
Scribble-based Boundary-aware Network for Weakly Supervised Salient Object Detection in Remote Sensing Images
University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初始研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
现有的基于CNN的显著目标检测（SOD）严重依赖于大规模像素级标注，这是劳动密集型的，耗时的，并且昂贵。相比之下，稀疏注释变得对突出的目标检测社区有吸引力。然而，很少有人致力于学习显着的目标检测稀疏注释，特别是在遥感领域。此外，稀疏注释通常包含很少的信息，这使得训练性能良好的模型具有挑战性，导致其性能大大落后于全监督模型。虽然一些SOD方法采用一些先验线索来提高检测性能，但它们通常缺乏对对象边界的有针对性的区分，从而提供边界定位较差的显著图。为此，在本文中，我们提出了一种新的弱监督显着目标检测框架来预测显着性的遥感图像稀疏潦草的注释。为了实现它，我们首先构建基于涂鸦的遥感显著性数据集，通过重新标记现有的大规模SOD数据集与涂鸦，即S-EOR数据集。在此基础上，我们提出了一种新的基于涂鸦的边界感知网络（SBA-Net）的遥感显著目标检测。具体来说，我们设计了一个边界感知模块（BAM）来探索对象边界语义，该语义由边界标签生成（BLG）模块生成的高置信度对象边界（伪）标签显式监督，迫使模型学习突出对象结构的特征，从而提高对象的边界定位。然后，边界语义与高层特征相结合，指导涂鸦标签监督下的显著目标检测。
2022-02-07 cs.CV
Mutual Information Regularization for Weakly-supervised RGB-D Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）；the Australian National University（澳大利亚国立大学）
提出基于涂鸦监督的弱监督 RGB-D 显著目标检测模型，利用互信息正则化实现多模态解耦表示，并结合非对称特征提取器与多模态变分自编码器细化预测，达到接近全监督 SOTA 的性能。
2023-06-06 cs.CV
To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection
Dalian University of Technology（大连理工大学）
弱监督显著性目标检测（WSOD）的目标是使用图像级注释来开发显著性模型。尽管以前的工作取得了成功，探索一个有效的训练策略的显着性网络和图像级注释和显着对象之间的准确匹配仍然是不够的。在这项工作中，1）我们提出了一种自校准的训练策略，通过显式地在伪标签和网络预测之间建立相互校准循环，将显着性网络从伪标签引起的易出错传播中解放出来。2)我们证明，即使是一个小得多的数据集（仅为ImageNet的1.8%），具有良好匹配的注释也可以促进模型实现更好的性能和泛化能力。这为WSOD的发展提供了新的视角，并鼓励更多的社区贡献。综合实验表明，我们的方法优于所有现有的WSOD方法，仅采用自校准的策略。通过对所提出的数据集进行训练，进一步实现了稳定的改进。此外，我们的方法平均达到了完全监督方法性能的94.7%。更重要的是，采用我们的预测结果作为“地面实况”的完全监督模型取得了成功的结果（BASNet为95.6%，ITSD为97.3%），而像素级注释的标记时间仅为0.32%。
2021-09-04 cs.CV
Weakly-Supervised Salient Object Detection via Scribble Annotations
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Data61（数据61）；University of Technology Sydney（悉尼科技大学）；Northwestern Polytechnical University（西北工业大学）
与费力的逐像素密集标记相比，通过涂鸦标记数据要容易得多，标记一幅图像仅需1 $\sim$ 2秒。然而，尚未探索使用涂鸦标签来学习显著目标检测。在本文中，我们提出了一个弱监督的显着目标检测模型来学习显着性，从这样的注释。在这样做时，我们首先用涂鸦重新标记现有的大规模显著目标检测数据集，即S-DUTS数据集。由于涂鸦无法识别对象的结构和细节信息，因此直接使用涂鸦标签进行训练将导致边界定位较差的显着图。为了缓解这个问题，我们提出了一个辅助的边缘检测任务，明确定位对象的边缘，和一个门控结构感知损失的范围内的结构要恢复的限制。此外，我们设计了一个涂鸦提升方案来迭代地巩固我们的涂鸦注释，然后将其用作监督来学习高质量的显着性图。由于现有的显著性评估度量忽略了测量预测的结构对齐，显著性图排名度量可能不符合人类感知。我们提出了一个新的度量，称为显着性结构测度，来衡量预测显着性图的结构对齐，这是更符合人类的感知。在六个基准数据集上的大量实验表明，我们的方法不仅优于现有的弱监督/无监督方法，而且与几个完全监督的最先进的模型相当。我们的代码和数据可在https://github.com/JingZhang617/Scribble_Saliency上公开获取。
2020-03-17 cs.CV
Weakly Supervised Video Salient Object Detection via Point Supervision
Fudan University（复旦大学）；Yiwu Research Institute of Fudan University（复旦大学义乌研究院）
基于逐像素密集标注训练的视频显著目标检测模型已经取得了优异的性能，但是获得逐像素标注的数据集是费力的。一些作品试图使用潦草的注释来缓解这个问题，但点监督作为一种更节省劳动力的注释方法（甚至是用于密集预测的手动注释方法中最节省劳动力的方法）尚未被探索。在本文中，我们提出了一个强基线模型的基础上点监督。为了利用时间信息推断显著图，我们分别从短期和长期角度挖掘帧间互补信息。具体来说，我们提出了一个混合令牌注意模块，它混合光流和图像信息从正交方向，自适应突出的关键光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期线索，我们开发了长期跨帧注意力模块（LCFA），该模块帮助当前帧基于多帧标记推断显著对象。此外，我们标记两个点监督数据集，P-DAVIS和P-DAVSOD，通过重新标记DAVIS和DAVSOD数据集。在六个基准数据集上的实验表明，我们的方法优于以前最先进的弱监督方法，甚至可以与一些完全监督方法相媲美。提供源代码和数据集。
2022-07-15 cs.CV
Discriminative Consensus Mining with A Thousand Groups for More Accurate Co-Salient Object Detection
针对CoSOD缺乏标准训练集的问题，提出最大组数数据集CoSINe和层次化实例感知共识挖掘器HICOME，以更少图像实现更优性能，并在所有测试集上达到最先进水平。
2024-01-15 cs.CV
Multi-Miner: Object-Adaptive Region Mining for Weakly-Supervised Semantic Segmentation
National University of Singapore（新加坡国立大学）；Beijing Jiaotong University（北京交通大学）
目标区域挖掘是弱监督语义分割的关键步骤。最新的方法挖掘对象区域扩展的种子区域本地化的类激活地图。它们通常不考虑对象的大小，并采用单调的过程来挖掘所有的对象区域。因此，它们的雷区往往在数量和规模上不足以对付大型物体，而在另一方面，小型物体又容易受到周围背景的污染。在本文中，我们提出了一种新的多矿工框架来执行区域挖掘过程，适应不同的对象大小，从而能够挖掘更完整和更精细的对象区域。具体来说，我们的多矿工利用并行调制器来检查每个对象是否有剩余的对象区域，并引导类别感知生成器独立地挖掘每个对象的区域。通过这种方式，多矿工自适应地对大对象采取更多步骤，对小对象采取更少步骤。实验结果表明，与现有的弱监督语义分割方法相比，多挖掘器能够提供更好的区域挖掘结果，并有助于实现更好的分割性能。
2020-06-14 cs.CV
MFNet: Multi-filter Directive Network for Weakly Supervised Salient Object Detection
Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）；Key Lab for Ubiquitous Network and Service Software of Liaoning Province（辽宁省泛在网络与服务软件重点实验室）
弱监督显着目标检测（WSOD）的目标是仅使用低成本注释训练基于CNN的显着性网络。现有的WSOD方法采用各种技术从低成本的注释中寻找单一的“高质量”伪标签，然后开发显着性网络。虽然这些方法都取得了良好的性能，所产生的单一标签不可避免地受到所采用的细化算法的影响，并显示出偏见的特点，进一步影响显着性网络。在这项工作中，我们引入了一个新的多伪标签框架，以整合来自多个标签的更全面，更准确的显着性线索，避免了上述问题。具体来说，我们提出了一个多过滤器定向网络（MFNet），包括显着性网络以及多个定向过滤器。方向滤波器（DF）的目的是从噪声伪标签中提取和过滤更准确的显着性线索。然后，来自多个DF的多个准确线索被同时传播到显著性网络，具有多引导损失。在五个数据集上的四个度量的广泛实验表明，我们的方法优于所有现有的同类方法。此外，还值得注意的是，我们的框架是灵活的，足以适用于现有的方法，并提高其性能。
2021-12-03 cs.CV
A Weakly Supervised Learning Framework for Salient Object Detection via Hybrid Labels
Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）；Ningbo University（宁波大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
全监督显著性目标检测（SOD）方法已经取得了很大的进展，但这类方法往往依赖于大量的像素级标注，耗时耗力。在本文中，我们专注于一个新的弱监督SOD任务下的混合标签，其中的监督标签包括大量的粗标签由传统的无监督方法和少量的真正的标签。为了解决这个任务中的标签噪声和数量不平衡问题，我们设计了一个新的管道框架，其中包含三个复杂的训练策略。在模型框架上，将任务解耦为标签细化子任务和显著目标检测子任务，这两个子任务相互协作，交替进行训练。具体来说，R-Net被设计为一个双流编码器-解码器模型，配备了Blender with Guidance and Aggregation Mechanisms（BGA），旨在纠正粗糙标签以获得更可靠的伪标签，而S-Net是一个由当前R-Net生成的伪标签监督的可替换SOD网络。请注意，我们只需要使用训练好的S-Net进行测试。此外，为了保证网络训练的有效性和效率，设计了交替迭代机制、分组增量机制和可信性验证机制三种训练策略。在五个SOD基准上的实验表明，我们的方法在定性和定量上都比弱监督/无监督方法具有竞争力的性能。
2022-09-07 cs.CV
Object Instance Mining for Weakly Supervised Object Detection
SenseTime Research（商汤科技研究院）；Dalian University of Technology（大连理工大学）
在过去的几年中，仅使用图像级注释的弱监督目标检测（WSOD）引起了越来越多的关注。使用多实例学习的现有方法很容易陷入局部最优，因为这种机制倾向于从图像中最具区分力的对象学习每个类别。因此，这些方法遭受丢失的对象实例，降低WSOD的性能。为了解决这个问题，本文介绍了一个端到端的对象实例挖掘（OIM）框架弱监督目标检测。OIM试图通过在空间和外观图上引入信息传播来检测每个图像中存在的所有可能的对象实例，而不需要任何额外的注释。在迭代学习过程中，可以逐渐检测来自同一类的区分度较低的对象实例并用于训练。此外，我们设计了一个对象实例重加权损失，以学习每个对象实例的更大部分，以进一步提高性能。在两个公开数据库VOC 2007和2012上的实验结果证明了该方法的有效性。
2020-02-04 cs.CV
Co-Salient Object Detection with Co-Representation Purification
Nankai University（南开大学）；SenseTime Research（商汤科技研究院）；Tencent（腾讯）
共显目标检测（Co-SOD）的目的是从一组相关图像中发现共同的目标。挖掘共表征对于定位共显对象是必不可少的。遗憾的是，目前的Co-SOD方法没有足够注意到与共显对象无关的信息被包括在共表征中。共同表征中的这种不相关信息干扰其对共同显着对象的定位。在本文中，我们提出了一个共同代表纯化（CoRP）的方法，旨在寻找无噪声的共同代表。我们搜索几个像素的嵌入可能属于共同显着的地区。这些嵌入构成了我们的共同表示，并指导我们的预测。为了获得更纯粹的共同表示，我们使用预测来迭代地减少我们的共同表示中的不相关嵌入。在三个数据集上的实验表明，我们的CoRP在基准数据集上达到了最先进的性能。我们的源代码可以在https://github.com/ZZY816/CoRP上找到。
2023-03-14 cs.CV
Weakly-Supervised Salient Object Detection Using Point Supervision
Fudan University（复旦大学）
目前最先进的显着性检测模型严重依赖于精确的逐像素注释的大型数据集，但手动标记像素是耗时且劳动密集型的。针对这一问题，目前已经有一些弱监督的方法，如图像标注、限界框标注、涂鸦标注等，而点标注在这一领域的研究还很少。提出了一种基于点监督的弱监督显著目标检测方法。为了推断显著图，我们首先设计了一个自适应掩蔽泛洪填充算法来生成伪标签。然后，我们开发了一个基于变换的点监督显著性检测模型，以产生第一轮的显著性图。然而，由于标签的稀疏性，弱监督模型往往退化为一般的前景检测模型。为了解决这个问题，我们提出了一种非显着抑制（NSS）方法来优化第一轮中生成的错误显着图，并将其用于第二轮训练。此外，我们建立了一个新的点监督数据集（P-DUTS）通过重新标记的DUTS数据集。在P-DUTs中，每个显著对象只有一个标记点。在五个最大的基准数据集上进行的综合实验表明，我们的方法优于以前用更强的监督训练的最先进的方法，甚至超过了几个完全监督的最先进的模型。该代码可从以下网址获得：https://github.com/shuyonggao/PSOD。
2022-07-12 cs.AI cs.CV
Backtracking Spatial Pyramid Pooling (SPP)-based Image Classifier for Weakly Supervised Top-down Salient Object Detection
Nanyang Technological University（南洋理工大学）
自上而下的显著性模型产生概率图，该概率图在由诸如目标检测的任务/目标指定的目标位置处达到峰值。它们通常在完全监督的环境中进行训练，涉及对象的像素级注释。我们提出了一个弱监督的自上而下的显着性框架，只使用二进制标签，指示图像中的对象的存在/不存在。首先，通过回溯策略计算每个图像区域对基于CNN的图像分类器的置信度的概率贡献，以产生自上而下的显著性。从一组由快速自下而上的显着性方法产生的图像的显着性图，我们选择最好的显着性图适合自上而下的任务。所选择的自下而上显著性图与自上而下显著性图组合。具有高组合显著性的特征用于训练线性SVM分类器以估计特征显著性。这与组合显着性相结合，并通过显着性图的多尺度超像素平均进一步细化。我们评估了所提出的弱监督自上而下显着性的性能，并实现了与完全监督方法相当的性能。在7个具有挑战性的数据集上进行了实验，并将定量结果与4个不同应用程序中的40种密切相关的方法进行了比较。
2018-08-14 cs.CV
Cross-Image Region Mining with Region Prototypical Network for Weakly Supervised Segmentation
Nanyang Technological University（南洋理工大学）；Ant Group（蚂蚁集团）；Delta Research Center（台达研究中心）
用图像级标签训练的弱监督图像分割通常在生成伪地面实况期间遭受对象区域的不准确覆盖。这是因为对象激活图是用分类目标训练的，缺乏泛化能力。为了提高目标激活图的通用性，我们提出了一个区域原型网络RPNet来探索训练集的跨图像对象多样性。通过区域特征比较来识别图像中的相似对象部分。对象置信度在区域之间传播以发现新的对象区域，同时背景区域被抑制。实验结果表明，该方法生成的伪目标模板更加完整、准确，在PASCAL VOC 2012和MS COCO上的性能达到了最先进水平。此外，我们调查的鲁棒性所提出的方法减少训练集。
2022-06-29 cs.CV
TS2C: Tight Box Mining with Surrounding Segmentation Context for Weakly Supervised Object Detection
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Fudan University（复旦大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；National University of Singapore（新加坡国立大学）
这项工作提供了一个简单的方法来发现紧密的对象边界框，只有图像级的监督，称为紧盒挖掘与周围的分割上下文（TS2C）。我们观察到，通过当前的多实例学习方法挖掘的对象候选者通常被困在有区别的对象部分，而不是整个对象。TS2C利用从弱监督分割中获得的周围分割上下文来抑制这种低质量的分散注意力的候选项并提高高质量的候选项。具体来说，TS2C是基于理想边界框的两个关键属性开发的：1）高纯度，意味着框中的大多数像素具有高对象响应，以及2）高完整性，意味着框全面覆盖高对象响应像素。利用这种新颖且可计算的标准，可以发现更紧密的候选者以用于学习更好的对象检测器。通过TS2C，我们在VOC 2007和2012基准上获得了48.0%和44.4%的mAP分数，这是最新的技术水平。
2018-07-13 cs.CV
A Visual Representation-guided Framework with Global Affinity for Weakly Supervised Salient Object Detection
Zhejiang University of Technology（浙江工业大学）
针对弱监督显著目标检测标注成本高、现有涂鸦方法性能受限的问题，提出融合自监督通用视觉表征与全局语义亲和性损失的框架，仅用涂鸦标注便超越现有弱监督方法，甚至媲美全监督模型。
2023-06-09 cs.CV
From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；ByteDance China（字节跳动中国）；ByteDance USA（字节跳动美国）；Lingnan University（岭南大学）
本文研究弱监督视频显著性目标检测问题，通过引入眼动注视点信息，提出PSE模块提供位置与语义指导，设计SLQ竞争器进行特征选择，并构建IIMC对比学习范式增强时空建模，在五个基准上取得优异性能。
2025-06-30 cs.CV
Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds
Nanyang Technological University（南洋理工大学）；Delta Research Center（台达研究中心）
点云为场景理解提供了内在的几何信息和表面上下文。现有的点云分割方法需要大量的完全标记的数据。使用先进的深度传感器，大规模3D数据集的收集不再是一个繁琐的过程。然而，在大规模数据集上手动产生点级标签是时间和劳动密集型的。在本文中，我们提出了一种弱监督的方法来预测点水平的结果，使用弱标签的3D点云。我们引入了多路径区域挖掘模块，从用弱标签训练的分类网络中生成伪点级标签。它使用不同的注意力模块从网络特征的各个方面挖掘每个类的定位线索。然后，我们使用点级伪标签训练一个点云分割网络在一个完全监督的方式。据我们所知，这是第一种在原始3D空间上使用云级弱标签来训练点云语义分割网络的方法。在我们的设置中，3D弱标签仅指示出现在输入样本中的类。我们讨论了场景级和子云级的弱标签的原始3D点云数据，并对它们进行深入的实验。在ScanNet数据集上，我们使用子云级别标签训练的结果与一些完全监督的方法兼容。
2020-03-29 cs.CV
Group Collaborative Learning for Co-Salient Object Detection
HKUST（香港科技大学）；Inception Institute of AI (IIAI)（起源人工智能研究院）；Kwai Inc.（快手公司）
本文提出了一个新的群体协作学习框架（GCoNet），该框架能够实时的（16 ms）检测共显对象，通过基于两个必要标准同时挖掘群体层次的一致性表示：1）群体内紧密性，通过使用我们新的群体亲和度模块捕获共显对象的内在共享属性，更好地表达它们之间的一致性; 2）群间可分性，通过引入新的群协作模块，有效抑制噪声对象对输出的影响。为了在没有额外计算开销的情况下学习更好的嵌入空间，我们显式地使用辅助分类监督。在三个具有挑战性的基准上进行了广泛的实验，即，CoCA，CoSOD 3 k和Cosal 2015，证明了我们简单的GCoNet优于10个前沿模型，并实现了新的国家的最先进的。我们展示了本文的新技术贡献的一些重要的下游计算机视觉应用，包括内容感知的协同分割，基于协同定位的自动缩略图等。
2021-05-09 cs.CV
Two-Phase Learning for Weakly Supervised Object Localization
KAIST（韩国科学技术院）；Lunit Inc.（Lunit 公司）
弱监督的语义分割和定位具有仅关注图像的最重要部分的问题，因为它们仅使用图像级注释。在本文中，我们通过两阶段学习从根本上解决了这个问题。我们的网络分为两步进行训练。在第一步中，训练传统的全卷积网络（FCN）来找到图像中最具鉴别力的部分。在第二步中，通过推理条件反馈抑制最显著部分上的激活，然后执行第二次学习以找到下一个最重要部分的区域。通过组合两个阶段的激活，可以捕获目标对象的整个部分。我们提出的训练方案是新颖的，可以用于设计良好的技术，弱监督语义分割，显著区域检测和对象位置预测。详细的实验证明了我们的两阶段学习在每个任务中的有效性。
2017-08-16 cs.CV
WeakMedSAM: Weakly-Supervised Medical Image Segmentation via SAM with Sub-Class Exploration and Prompt Affinity Mining
Nanjing University（南京大学）；Nanjing Drum Tower Hospital（南京鼓楼医院）；Southeast University（东南大学）；BOE Technology Group Co., Ltd.（京东方科技集团股份有限公司）
为降低标注成本，提出弱监督分割模型WeakMedSAM，通过子类探索模块缓解共现问题，并利用提示亲和力挖掘模块提升类激活图质量，在多个基准数据集上取得优异结果。
2025-03-06 cs.CV
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
研究弱监督 RGB-D 显著目标检测，提出由 SAM-PAG 和 $S^2$Diff 组成的方法，前者扩展稀疏涂鸦为伪标注，后者在条件信息引导下细化显著图，二者合作使方法性能优异。
2026-07-17 cs.CV
Amulet: Aggregating Multi-level Convolutional Features for Salient Object Detection
Dalian University of Technology（大连理工大学）；Tiwaki Co.Ltd（Tiwaki株式会社）
全卷积神经网络（FCN）在许多密集标记问题中表现出了出色的性能。这些成功的一个关键支柱是从卷积层的特征中挖掘相关信息。然而，如何更好地聚合多级卷积特征图以用于显著目标检测还未得到充分探索。在这项工作中，我们提出了Amulet，一个通用的聚合多层次卷积特征框架，用于显着的目标检测。我们的框架首先将多层次的特征映射集成到多个分辨率中，同时将粗糙的语义和精细的细节结合起来。然后，它自适应地学习在每个分辨率下组合这些特征图，并使用组合的特征预测显著性图。最后，将预测结果有效地融合以生成最终的显著性图。此外，为了实现准确的边界推理和语义增强，低级别层中的边缘感知特征图和低分辨率特征的预测结果被递归地嵌入到学习框架中。通过以这种高效灵活的方式聚合多级卷积特征，所提出的显着性模型提供了准确的显着对象标记。综合实验表明，我们的方法表现良好，对国家的最先进的方法在几乎所有比较的评价指标。
2017-08-07 cs.CV
Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features
Tsinghua University（清华大学）；DATA61-CSIRO（联邦科学与工业研究组织DATA61）；Australian National University（澳大利亚国立大学）
图像标签监督下的弱监督语义分割是一项具有挑战性的任务，因为它直接将高层语义与低层外观相关联。为了弥合这一差距，在本文中，我们提出了一个迭代的自下而上和自上而下的框架，交替扩展对象区域和优化分割网络。我们从分类网络产生的初始定位开始。虽然分类网络只对小而粗的区分对象区域做出响应，但我们认为，这些区域包含有关对象的重要共同特征。因此，在自底向上的步骤中，我们从初始定位中挖掘共同的对象特征，并使用挖掘的特征扩展对象区域。为了补充非歧视性的区域，显着图，然后考虑贝叶斯框架下细化对象区域。然后在自顶向下的步骤中，细化的对象区域被用作监督来训练分割网络并预测对象掩模。这些对象掩模提供更准确的定位，并包含更多的对象区域。此外，我们把这些对象掩码作为初始定位，并从中挖掘共同的对象特征。这些过程迭代进行，以逐步产生精细的对象掩模并优化分割网络。在Pascal VOC 2012数据集上的实验结果表明，该方法的性能明显优于现有的方法.
2018-06-12 cs.CV
Guidance and Teaching Network for Video Salient Object Detection
Wuhan University（武汉大学）；Jiangxi University of Finance and Economics（江西财经大学）
现有的视频显著目标检测（VSOD）方法由于难以挖掘时空线索，在理解复杂和噪声场景时受到限制，往往无法推断出显著目标。为了减轻这些缺点，我们提出了一个简单而有效的架构，称为指导和教学网络（GTNet），独立地隐藏有效的空间和时间线索与隐式指导和明确的教学功能和决策水平，分别。具体来说，我们（a）引入一个时间调制器来隐式地将来自运动的特征桥接到外观分支中，这能够协同地融合跨模态特征，以及（b）利用运动引导的掩码来在特征聚合期间传播显式提示。这种新的学习策略通过解耦复杂的时空线索和映射信息线索在不同的方式取得了令人满意的结果。在三个具有挑战性的基准测试上进行的大量实验表明，该方法可以在单个TITAN Xp GPU上以约28 fps的速度运行，并与14个尖端基线相比具有竞争力。
2021-06-06 cs.CV
Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Computer Vision Laboratory, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）
多年来，由于深度学习的数据饥渴特性，获取足够的地面实况监督来训练深度视觉模型一直是一个瓶颈。这在一些结构化预测任务中加剧，例如需要像素级注释的语义分割。这项工作解决了弱监督语义分割（WSSS），目标是弥合图像级注释和像素级分割之间的差距。我们将WSSS制定为一种新的组学习任务，该任务明确地对一组图像中的语义依赖关系进行建模，以估计更可靠的伪地面实况，这可用于训练更准确的分割模型。特别是，我们设计了一个图神经网络（GNN）组明智的语义挖掘，其中输入图像表示为图形节点，和一对图像之间的潜在关系的特点是一个有效的共同注意力机制。此外，为了防止模型过度关注公共语义，我们进一步提出了一个图丢弃层，鼓励模型学习更准确和完整的对象响应。整个网络可以通过迭代消息传递进行端到端的训练，通过图像传播交互提示以逐步提高性能。我们对流行的PASCAL VOC 2012和COCO基准进行了实验，我们的模型产生了最先进的性能。我们的代码可在https://github.com/Lixy1997/Group-WSSS上获得。
2020-12-09 cs.CV
Complete Instances Mining for Weakly Supervised Instance Segmentation
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）
针对弱监督实例分割中的冗余分割问题，提出完整实例挖掘（CIM）方法，通过MaskIoU头预测完整性分数并生成精炼伪标签，结合抗噪声策略提升鲁棒性，在PASCAL VOC 2012和MS COCO数据集上达到SOTA性能。
2024-02-12 cs.CV
Region-Aware CAM: High-Resolution Weakly-Supervised Defect Segmentation via Salient Region Perception
School of Instrumentation Science and Engineering, Harbin Institute of Technology（仪器科学与工程学院，哈尔滨工业大学）；Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究所）
提出一种结合区域感知CAM和伪标签训练的弱监督语义分割框架，通过过滤引导反向传播和区域感知加权模块提升缺陷分割精度，适用于资源受限的工业场景。
2025-06-28 cs.AI cs.CV
Discovering Class-Specific Pixels for Weakly-Supervised Semantic Segmentation
University of Oxford（牛津大学）
我们提出了一种方法来发现类特定像素的弱监督语义分割任务。我们表明，适当地结合显着性和注意力地图，使我们能够获得可靠的线索，能够显着提高性能。首先，我们提出了一个简单而强大的分层方法来发现类不可知的显着区域，使用显着对象检测器，否则将被忽略。其次，我们使用完全卷积的注意力地图来可靠地定位给定图像中的类特定区域。我们将这两个线索结合起来，发现特定于类的像素，然后将其用作训练CNN的近似基础事实。在解决弱监督语义分割任务的同时，我们确保图像级分类任务也得到解决，以便强制CNN为图像中存在的每个对象分配至少一个像素。在实验上，在PASCAL VOC 12 val和测试集上，我们获得了60.8%和61.9%的mIoU，与已发表的最新结果相比，实现了5.1%和5.2%的性能提升。该代码是公开的。
2017-07-18 cs.CV
Salient Object Detection via Integrity Learning
Nankai University（南开大学）；IIAI（IIAI（阿联酋创新人工智能研究院））；Northwestern Polytechnical University（西北工业大学）；The University of Hong Kong（香港大学）；Terminus Group（特斯联集团）
虽然当前显著性目标检测（SOD）工作取得了显著的进展，但在预测显著性区域的完整性方面仍然存在局限性。我们在微观和宏观层面上定义了诚信的概念。具体来说，在微观层面，模型应该突出属于某个突出对象的所有部分。同时，在宏观层面上，该模型需要发现给定图像中的所有显著对象。为了促进SOD的完整性学习，我们设计了一个新的完整性认知网络（ICON），它探讨了学习强完整性功能的三个重要组成部分。1)与现有模型不同，现有模型更多地关注特征的可辨别性，我们引入了一个多样化的特征聚合（DFA）组件来聚合具有各种感受野的特征（即，核形状和上下文）并增加特征多样性。这种多样性是挖掘整体显著对象的基础。2)基于DFA特征，我们引入了完整性通道增强（ICE）组件，其目标是增强突出整体突出对象的特征通道，同时抑制其他分散注意力的特征通道。3)在提取增强特征后，采用部分-整体验证（PWV）方法来确定部分和整体对象特征是否具有强一致性。这种部分-整体协议可以进一步提高每个显着对象的微观层次的完整性。为了证明我们的ICON的有效性，在七个具有挑战性的基准上进行了全面的实验。我们的ICON在广泛的指标方面优于基线方法。值得注意的是，在六个数据集上，我们的ICON在平均假阴性率（FNR）方面比以前的最佳模型实现了约10%的相对改善。代码和结果可在www.example.com上获得。
2022-06-13 cs.CV
Online Easy Example Mining for Weakly-supervised Gland Segmentation from Histology Images
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen Research Institute（香港科技大学深圳研究院）
从组织学图像中开发AI辅助的腺体分割方法对于自动癌症诊断和预后至关重要;然而，像素级注释的高成本阻碍了其在更广泛疾病中的应用。现有的弱监督语义分割方法在计算机视觉中实现退化的结果腺体分割，由于腺体数据集的特点和问题不同于一般的对象数据集。我们观察到，与自然图像不同，组织学图像的关键问题是由于不同组织之间的形态同质性和低颜色对比度而导致的类别混淆。为此，我们提出了一种新的方法在线简单示例挖掘（OEEM），鼓励网络专注于可信的监督信号，而不是嘈杂的信号，从而减轻伪掩码中不可避免的错误预测的影响。根据腺体数据集的特点，设计了一个强有力的腺体分割框架。我们的结果超过了许多完全监督的方法和弱监督的方法，分别超过4.4%和6.04%，在mIoU的腺体分割。代码可在https://github.com/xmed-lab/OEEM上获得。
2022-06-25 cs.AI cs.CV
Two-phase weakly supervised object detection with pseudo ground truth mining
King's College London（伦敦国王学院）
弱监督目标检测（WSOD）是一种利用图像数据训练训练检测器的方法，受到了越来越多的研究者的关注。在这个项目中，我们专注于两个阶段的WSOD架构，它集成了一个强大的检测器与一个纯WSOD模型。我们探讨了一些代表性的检测器作为第二阶段检测器在两相WSOD的有效性，并提出了一个两相WSOD架构。此外，我们提出了一种策略来建立伪地面真值（PGT）用于训练第二相位检测器。不同于以往的作品，认为顶部的一个边界框PGT，我们考虑更多的边界框建立PGT注释。这说明了PGT的低召回率导致的学习不足的问题。我们还提出了一些策略，以改善PGT在第二个检测器的训练。我们的策略在特定的时期暂停训练，然后通过第二相位检测器的输出来改进PGT。之后，该算法使用与暂停之前相同的梯度和权重继续训练。在PASCAL VOC 2007数据集上进行了详细的实验，以验证我们的方法的有效性。结果表明，与单一PCL模型相比，我们的两相体系结构将mAP从49.17%提高到53.21%。此外，最佳PGT生成策略获得0.7%的mAP增量。我们最好的细化策略将性能提高了1.74% mAP。采用我们所有方法的最佳结果达到55.231% mAP，这是最先进的性能。
2021-04-01 cs.CV
Learning Video Salient Object Detection Progressively from Unlabeled Videos
Zhejiang University of Technology（浙江工业大学）
最近基于深度学习的视频显著目标检测（VSOD）已经取得了一些突破，但是这些方法依赖于具有逐像素注释、弱注释或部分逐像素注释的昂贵的注释视频。基于VSOD与图像显著性目标检测（SOD）的异同，提出了一种新的VSOD方法，该方法采用渐进式框架，在不使用任何视频注释的情况下，按顺序定位和分割显著性目标。为了有效地将SOD数据集中学习到的知识用于VSOD，我们引入动态显着性来补偿定位过程中SOD运动信息的缺乏，但保留相同的精细分割过程。具体而言，时空位置标签的生成算法，其中包括生成高显着性的位置标签和跟踪显着对象在相邻帧，提出。基于这些位置标记，提出了一种引入光流分支的双流定位网络，用于视频显著目标的定位。虽然我们的方法根本不需要标记视频，但DAVIS，FBMS，ViSal，VOS和DAVSOD五个公共基准测试的实验结果表明，我们提出的方法与完全监督方法相比具有竞争力，并且优于最先进的弱无监督方法。
2022-04-05 cs.CV
Manifold-driven Attention Maps for Weakly Supervised Segmentation
ETS Montreal（蒙特利尔高等工程技术学院）
使用深度学习的分割在医学成像中显示出有前途的方向，因为它有助于疾病的分析和诊断。然而，深度模型的一个主要缺点是它们需要大量的像素级标签，这是费力和昂贵的获得。为了缓解这个问题，弱监督学习已经成为一种有效的替代方案，它采用图像级标签，涂鸦，点或边界框作为监督。其中，图像级标签更容易获得。然而，由于这种类型的注释只包含对象类别信息，因此这种学习范式下的分割任务是一个具有挑战性的问题。为了解决这个问题，通常使用从训练的分类网络导出的视觉显著区域。尽管它们成功地识别了分类任务中的重要区域，但这些显着区域仅关注图像中最具判别力的区域，限制了它们在语义分割中的使用。在这项工作中，我们提出了一个流形驱动的基于注意力的网络，以增强视觉显着区域，从而提高分割精度在弱监督设置。我们的方法直接在推理过程中生成卓越的注意力地图，而不需要额外的计算。我们评估我们的方法的好处，在分割任务中使用一个公共基准皮肤病变图像。结果表明，我们的方法优于国家的最先进的GradCAM的边缘约22%的骰子得分。
2020-04-07 cs.CV
A convolutional autoencoder approach for mining features in cellular electron cryo-tomograms and weakly supervised coarse segmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）；Utrecht University（乌得勒支大学）
细胞电子冷冻断层扫描能够在近天然状态和亚分子分辨率下实现细胞组织的3D可视化。然而，细胞断层图像的内容通常是复杂的，使得难以自动分离不同的原位细胞成分。在本文中，我们提出了一种基于卷积自动编码器的无监督方法，以提供从断层图像中提取的3D小子体积的粗略分组。我们证明，自动编码器可用于高分子复合物和表面，如膜的功能的有效和粗糙的表征。此外，自动编码器可用于检测与样品制备和数据收集相关的非细胞特征，例如来自网格和断层图像边界的碳边缘。自动编码器还能够检测可能指示细胞成分之间的空间相互作用的模式。此外，我们证明了我们的自动编码器可以用于弱监督语义分割的细胞成分，需要非常少量的手动注释。
2017-12-28 cs.CV q-bio.QM
LFSamba: Marry SAM with Mamba for Light Field Salient Object Detection
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
提出LFSamba模型用于光场显著性目标检测，利用SAM提取特征、Mamba建模切片间与跨模态关系以获取深度线索并相互增强，同时构建首个涂鸦监督基线。
2024-11-11 cs.CV
Pixel is All You Need: Adversarial Trajectory-Ensemble Active Learning for Salient Object Detection
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；SenseTime Research（商汤科技研究院）；China University of Petroleum (East China)（中国石油大学（华东））；Peng Cheng Laboratory（鹏城实验室）；Case Western Reserve University（凯斯西储大学）
虽然弱监督技术可以减少标记工作，但不清楚用弱监督数据训练的显着性模型（例如，点注释）可以实现其完全监督版本的等效性能。本文试图通过证明一个假设来回答这个未探索的问题：存在一个点标记的数据集，在该数据集上训练的显着性模型在密集注释的数据集上训练时可以实现等效的性能。为了证明这一猜想，我们提出了一种新颖而有效的对抗性集成主动学习（ATL）。我们的贡献是三方面的：1）我们提出的对抗攻击触发不确定性可以克服现有的主动学习方法的过度自信，并准确地定位这些不确定的像素。{2)}我们提出的概率集成不确定性估计方法保持了集成网络的优点，同时显着降低了计算成本。{3)}我们提出的关系感知的多样性采样算法可以克服过采样，同时提高性能。实验结果表明，我们的ATAL可以找到这样一个点标记的数据集，其中在其上训练的显着性模型获得了$97\%$ - $99\%$性能的完全监督版本，每个图像只有十个注释点。
2022-12-13 cs.CV
Co-salient Object Detection Based on Deep Saliency Networks and Seed Propagation over an Integrated Graph
Seoul National University（首尔国立大学）
本文提出了一种共同显着的目标检测方法，以找到共同的显着区域，在一组图像。我们利用深度显着性网络来传递共显着性先验知识并更好地捕获高级语义信息，并且通过集成图上的种子传播步骤来增强所产生的初始共显着性图。深度显着性网络以监督的方式进行训练，以避免在线弱监督学习，并利用它们不仅提取高级特征，而且生成图像内和图像间显着性图。通过细化步骤，初始共显图可以均匀地突出共显区域并定位准确的对象边界。为了处理大小不一致的输入图像组，我们建议池多区域描述符，包括段内和组内信息。此外，综合多层图的构建，以找到区域，前面的步骤可能无法检测到的种子传播与低级别的描述符。在这项工作中，我们利用有用的补充组件的高，低层次的信息，和几个学习为基础的步骤。我们的实验表明，所提出的方法优于可比的共同显着性检测方法在广泛使用的公共数据库，也可以直接应用到共同分割任务。
2017-06-29 cs.CV
Optimizing Region Selection for Weakly Supervised Object Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
训练仅具有图像级注释的对象检测器是非常具有挑战性的，因为目标对象通常被大量背景杂波包围。许多现有的方法通过对象建议挖掘来解决这个问题。然而，收集到的阳性区域要么精度不高，要么缺乏多样性，而且收集阴性区域的策略也没有经过精心设计。此外，训练通常很慢，因为区域选择和对象检测器训练是分开处理的。在这种情况下，这项工作的主要贡献是改善弱监督检测与优化的区域选择策略。该方法通过逐步去除易受干扰的背景来收集纯化的阳性训练区域，并通过挖掘特定类别的硬样本来选择有区别的阴性区域。该区域选择过程被进一步集成到基于CNN的弱监督检测（WSD）框架中，并且可以在训练期间在每个随机梯度下降小批量中执行。因此，整个模型可以有效地进行端到端训练。在PASCAL VOC 2007、VOC 2010和VOC 2012数据集上的测试结果表明，该方法有效地提高了WSD。
2017-08-05 cs.CV
L2G: A Simple Local-to-Global Knowledge Transfer Framework for Weakly Supervised Semantic Segmentation
Nankai University（南开大学）；Beijing Jiaotong University（北京交通大学）
挖掘精确的类感知注意图，也就是类激活图，对于弱监督语义分割是必不可少的。在本文中，我们提出了L2G，一个简单的在线本地到全球的知识转移框架，高质量的对象注意力挖掘。我们观察到，分类模型可以发现更多的细节时，用其局部补丁的输入图像的对象区域。考虑到这一点，我们首先利用局部分类网络从输入图像随机裁剪的多个局部补丁中提取注意力。然后，我们利用一个全球网络在线学习多个本地注意力地图的互补注意力知识。我们的框架引导全局网络从全局角度学习捕获的丰富对象细节知识，从而产生高质量的注意力地图，可以直接用作语义分割网络的伪注释。实验表明，我们的方法在PASCAL VOC 2012和MS COCO 2014的验证集上分别获得了72.1%和44.2%的mIoU分数，创造了新的最先进的记录。代码可在https://github.com/PengtaoJiang/L2G上获得。
2022-04-07 cs.CV
GCoNet+: A Stronger Group Collaborative Co-Salient Object Detector
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）；Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）；KU Leuven（鲁汶大学）
本文提出端到端组协作学习网络 GCoNet+，通过组内紧凑性和组间可分性挖掘共识表示，结合辅助分类、置信度增强和对称三元组损失等模块，在三个基准上超越12个前沿模型，实现高效高精度的协同显著目标检测。
2023-04-10 cs.CV
Generative Transformer for Accurate and Reliable Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Nankai University（南开大学）
源自机器翻译的Transformer在建模远程依赖关系方面特别强大。目前，Transformer在各种视觉任务中取得了革命性的进展，与基于卷积神经网络（CNN）的框架相比，性能得到了显著的提高。在本文中，我们进行了广泛的研究，利用Transformers的贡献，准确和可靠的显着目标检测。对于前者，我们将Transformer应用于确定性模型，并解释了与基于CNN的框架相比，有效的结构建模和全局上下文建模能力导致其优越的性能。对于后者，我们观察到基于CNN和Transformer的框架都严重受到过度自信问题的影响，其中模型往往会生成具有高置信度的错误预测。为了评估基于CNN和基于transformer的框架的可靠性程度，我们进一步提出了一种基于生成对抗网络（GAN）的潜变量模型，即推理生成对抗网络（iGAN）。潜变量的随机属性使得预测不确定性的估计变得方便，可以作为辅助输出来评估模型预测的可靠性。与传统的GAN将潜变量的分布定义为固定的标准正态分布$\mathcal{N}(0,\mathbf{I})$不同，本文提出的iGAN通过基于梯度的马尔可夫链蒙特卡罗（MCMC）方法（Langevin dynamics）来推断潜变量，从而得到一个依赖于输入的潜变量模型.我们将我们提出的iGAN应用于完全和弱监督的显着对象检测，并解释了Transformer框架内的iGAN可以实现准确和可靠的显着…
2022-12-30 cs.CV
MuSCLe: A Multi-Strategy Contrastive Learning Framework for Weakly Supervised Semantic Segmentation
Loughborough University（拉夫堡大学）；Cardiff University（卡迪夫大学）；Central South University（中南大学）
弱监督语义分割（WSSS）已经获得了显着的普及，因为它只依赖于弱标签，如图像级注释，而不是像素级注释所需的监督语义分割（SSS）方法。尽管注释成本大大降低，但从WSSS学习的典型特征表示仅代表对象的一些突出部分，并且由于训练期间的弱指导，与SSS相比不太可靠。在本文中，我们提出了一种新的多策略对比学习（MuSCLe）框架，以获得增强的特征表示，并通过利用图像，区域，像素和对象边界级别的对比样本对的相似性和不相似性，提高WSSS性能。大量的实验证明了我们的方法的有效性，并表明MuSCLe在广泛使用的PASCAL VOC 2012数据集上的性能优于当前最先进的技术。
2022-01-18 cs.CV
Boosting Salient Object Detection with Knowledge Distillated from Large Foundation Models
本文利用大型基础模型通过文本提示和弱监督微调生成高质量伪标签，构建更大规模的 BDS-TR 数据集，并提出动态上采样边缘解码器，显著提升 SOD 性能。
2025-01-08 cs.CV
Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；SenseTime Research（商汤科技研究院）；Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）
本文研究了仅从图像级监督学习语义分割的问题。当前流行的解决方案利用来自分类器的对象定位图作为监督信号，并且努力使定位图捕获更完整的对象内容。而不是以前的努力，主要集中在图像内的信息，我们解决了跨图像的语义关系的综合对象模式挖掘的价值。为了实现这一点，两个神经共同关注被纳入分类器，以互补地捕获跨图像语义的相似性和差异。特别是，给定一对训练图像，一个共同注意力迫使分类器从共同注意的对象中识别出共同语义，而另一个，称为对比共同注意力，驱动分类器从其余的不常见对象中识别出非共享语义。这有助于分类器在图像区域中发现更多的对象模式和更好的地面语义。除了促进对象模式学习之外，共同注意力还可以利用来自其他相关图像的上下文来改进定位图推断，从而最终有利于语义分割学习。更重要的是，我们的算法提供了一个统一的框架，可以很好地处理不同的WSSS设置，即，学习WSSS，（1）仅使用精确的图像级监控，（2）额外简单的单标签数据，（3）额外的噪声Web数据。它在所有这些环境中设置了新的艺术状态，充分展示了其有效性和普遍性。此外，我们的方法在CVPR 2020从不完美数据中学习挑战赛的弱监督语义分割赛道中排名第一。
2020-07-08 cs.CV cs.LG eess.IV
Progressive Representation Adaptation for Weakly Supervised Object Localization
Tsinghua University（清华大学）；Virginia Tech（弗吉尼亚理工大学）；University of California, Merced（加州大学默塞德分校）
我们解决了弱监督对象定位的问题，只有图像级的注释可用于训练对象检测器。已经提出了许多方法来解决这个问题，通过挖掘对象的建议。然而，在对象建议中的大量噪声导致学习有区别的对象模型的模糊性。这种方法对模型初始化敏感，并且经常收敛到不期望的局部最小解。在本文中，我们提出通过渐进式表示自适应来克服这些缺点，其中包括两个主要步骤：1）分类自适应和2）检测自适应。在分类自适应中，我们将预训练的网络转移到多标签分类任务中，以识别图像中某个对象的存在。通过分类自适应步骤，网络学习特定于感兴趣的对象类别的区别性表示。在检测自适应，我们挖掘类特定的对象的建议，利用两个评分策略的基础上适应分类网络。特定于类的建议挖掘有助于从背景杂波中去除大量噪声，并从类似对象中消除潜在的混淆。我们进一步完善这些建议使用多个实例学习和分割线索。使用这些细化的对象边界框，我们微调了分类网络的所有层，并获得了一个完全自适应的检测网络。我们提出了详细的实验验证PASCAL VOC和ILSVRC数据集。实验结果表明，我们的渐进式表示自适应算法表现良好，对国家的最先进的方法。
2017-10-12 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter
Beihang University（北京航空航天大学）；Qingdao University（青岛大学）；Stony Brook University（石溪大学）
真正的人类注意是视觉系统与大脑之间的一种交互活动，它利用低层次的视觉刺激和高层次的语义信息。先前的图像显著性目标检测（SOD）工作以多任务方式进行其显著性预测，即，同时执行逐像素显著性回归和类分割显著性细化，这在揭示语义信息方面退化了它们的特征骨干。然而，给定一幅图像，我们倾向于更多地关注那些语义显著的区域，即使这些区域在第一眼看上去并不是最显著的。在本文中，我们将SOD问题分为两个连续的任务：1）我们提出了一个轻量级的，弱监督的深度网络，首先粗略定位这些语义显著区域; 2）然后，作为后处理过程，我们选择性地将多个现成的深度模型融合到这些语义显著区域上，作为逐像素的显著性细化。与主要利用感知线索学习“单幅图像”像素级显著性的SOTA方法形成鲜明对比，该方法研究了“多幅图像之间的对象级语义等级”，其方法更符合真实人类的注意力机制。我们的方法是简单而有效的，这是第一次尝试考虑显着的目标检测主要是作为一个对象级的语义重排序问题。
2020-08-10 cs.CV cs.LG
Synthetic Data Supervised Salient Object Detection
Beihang University（北京航空航天大学）；Harbin Institute of Technology（哈尔滨工业大学）；China University of Petroleum (East China)（中国石油大学（华东））；Peng Cheng Laboratory（鹏城实验室）；Western University（韦仕敦大学）
虽然深度显著目标检测（SOD）已经取得了显著的进展，但深度SOD模型非常需要数据，需要大规模的像素级注释才能提供如此有希望的结果。在本文中，我们提出了一种新颖而有效的SOD方法，创造SODGAN，它可以产生无限高质量的图像掩模对，只需要很少的标记数据，这些合成对可以取代人类标记的DUTS-TR训练任何现成的SOD模型。它的贡献是三方面的。1)我们提出的扩散嵌入网络可以解决流形失配问题，并且对于潜在的代码生成来说是易于处理的，与ImageNet潜在空间更好地匹配。2)我们提出的Few-Shot显著性掩模生成器第一次可以用少量的标记数据合成无限精确的图像同步显著性掩模。3)我们提出的质量感知的合成图像可以选择高质量的合成图像掩模对噪声的合成数据池，提高质量的合成数据。我们的SODGAN第一次使用从生成模型直接生成的合成数据来处理SOD，这为SOD开辟了一个新的研究范式。大量的实验结果表明，在合成数据上训练的显著性模型可以达到在DUTS-TR上训练的显著性模型的$98.4\%$ F-测度。此外，我们的方法在半/弱监督方法中实现了新的SOTA性能，甚至优于几种全监督SOTA方法。代码可在https://github.com/wuzhenyubuaa/SODGAN上获得
2022-10-25 cs.CV
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
弱监督目标检测（WSOD）允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习（MIL）作为其检测器的骨干，并假设图像的限界框建议是相互独立的。然而，由于这种方法只利用最高分的建议，并放弃了潜在的有用信息，从其他建议，其独立的MIL骨干往往限制模型的突出部分的对象，或导致他们只能检测一个对象的类。为了解决上述问题，我们提出了一种新的骨干WSOD的基础上，我们定制的视觉Transformer命名为弱监督Transformer检测网络（WSTDN）。我们的算法不仅是第一个证明，自我注意模块，考虑实例间的关系是有效的骨干WSOD，但我们也引入了一种新的限界框挖掘方法（BBM）集成的内存传输细化（MTR）过程，利用实例的依赖关系，促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
