Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation
Google, Inc.（谷歌公司）；UCLA（加州大学洛杉矶分校）
深度卷积神经网络（DCNN）在大量具有强像素级注释的图像上训练，最近显着推动了语义图像分割的最新技术。我们研究了从（1）弱注释的训练数据（如边界框或图像级标签）或（2）来自一个或多个数据集的少数强标记和许多弱标记图像的组合中学习DCNN进行语义图像分割的更具挑战性的问题。我们开发了期望最大化（EM）方法，用于在这些弱监督和半监督设置下进行语义图像分割模型训练。广泛的实验评估表明，所提出的技术可以学习模型提供具有挑战性的PASCAL VOC 2012图像分割基准的竞争力的结果，同时需要显着减少注释工作。我们在https://bitbucket.org/deeplab/deeplab-public上共享实现所提出的系统的源代码。
2015-10-05 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释，我们提出了一种新的方法，不需要修改的分割训练过程。我们表明，当从给定的边界框中仔细设计输入标签时，即使是一轮训练也足以改善先前报告的弱监督结果。总的来说，我们的弱监督方法达到了完全监督模型质量的95%，无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University（卡尔顿大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练，这是众所周知的昂贵和耗时的收集。为了减轻这一负担，弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法（PSCV），它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差（CV）损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明，该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology（华中科技大学）；VIVO Inc.（维沃移动通信有限公司）
人类具有很强的类无关对象分割能力，能够精确地勾画出未知对象的边界，这促使我们提出了一种基于框监督类无关对象分割（BoxCaseg）的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码，作为代理地面实况，以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像，弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当，并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation
IST Austria（奥地利科学技术学院）
我们引入了一个新的损失函数的语义图像分割模型的弱监督训练的基础上的三个指导原则：种子与弱本地化线索，扩大对象的基础上的信息，哪些类可以出现在图像中，并限制分割，以符合对象的边界。我们通过实验证明，使用所提出的损失函数训练深度卷积神经网络，在具有挑战性的PASCAL VOC 2012数据集上，比以前最先进的方法得到了更好的分割。此外，我们深入了解我们的方法的工作机制，详细的实验研究，说明了如何分割质量的影响所提出的损失函数，以及它们的组合。
2016-08-06 cs.CV
Weakly Supervised Instance Segmentation for Videos with Temporal Mask Consistency
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
弱监督实例分割降低了训练模型所需的注释成本。然而，现有的方法，只依赖于图像级的类标签主要遭受错误，由于（a）部分分割的对象和（b）丢失的对象预测。我们表明，这些问题可以通过使用弱标记视频而不是图像进行训练来更好地解决。在视频中，跨帧的预测的运动和时间一致性提供了可以帮助分割的互补信号。我们是第一个探索使用这些视频信号来解决弱监督实例分割。我们提出了两种方法来利用我们的模型中的这些信息。首先，我们调整像素间关系网络（IRN），以有效地将运动信息在训练过程中。其次，我们引入了一个新的MaskConsistt模块，它通过在训练过程中在相邻帧之间传输稳定的预测来解决丢失对象实例的问题。我们证明了这两种方法共同提高了实例分割度量$AP_{50}$对两个数据集的视频帧：Youtube-VIS和Cityscapes分别由$5\%$和$3\%$。
2021-03-23 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications（电气通信大学人工智能探索研究中心）
为了最小化与语义分割模型训练相关的标注成本，研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中，最广泛采用的方法是基于可视化的。然而，可视化结果并不等于语义分割。因此，为了在弱监督条件下执行精确的语义分割，需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数，通常使用条件随机场和使用分割模型的输出的迭代再训练。然而，这些方法并不总是保证精度的提高;因此，如果我们多次迭代地应用这些映射函数，最终精度不会提高或会降低。为了充分利用这类映射函数，本文假设映射函数的结果中含有噪声，通过去除噪声来提高精度。为了实现我们的目标，我们提出了自我监督的差异检测模块，它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验，验证了该方法的有效性，在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
文本分割是一项具有挑战性的视觉任务，有许多下游应用。目前的文本分割方法需要像素级的标注，人工成本昂贵，应用场景有限。在本文中，我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是，文本识别方法提供每个文本实例的精确注意位置，并且注意位置可以馈送到文本自适应细化头（TAR）和文本分割头。具体而言，建议TAR生成伪标签，通过执行两阶段的迭代细化操作的注意位置，以适应相应的文本实例的准确边界。同时，文本分割头采用粗略的注意力位置来预测分割模板，这些模板由上述伪标签监督。此外，我们设计了一个掩码增强的对比学习，将我们的分割结果作为输入文本图像的增强版本，从而提高了视觉表示，并进一步提高了识别和分割的性能。实验结果表明，该方法在ICDAR 13-FST（$\%$改进18.95）和TextSeg（$\%$改进17.80）上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
最近，几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器（例如，密集CRF和MCG）以产生用于进一步训练分割模型的增强的分割掩模。然而，这些建议生成器是通用的，并且不是专门为框监督的语义分割设计的，从而为改进分割性能留下了一些余地。在本文中，我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此，我们采用像素级注释的辅助数据集，其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器，我们提出了一种双层优化公式。特别地，下部子问题用于学习框监督的语义分割，而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集，以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明，学习的伪掩码生成器在提高分割性能方面是有效的，我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Weakly Supervised Instance Segmentation by Deep Community Learning
Seoul National University（首尔大学）；ETRI（韩国电子通信研究院）
提出了一种基于多任务深度社区学习的弱监督实例分割算法。该任务被制定为弱监督目标检测和语义分割的组合，其中同一类的单个对象被分别识别和分割。我们通过设计一个统一的深度神经网络架构来解决这个问题，该架构具有正反馈的目标检测循环，包括限界框回归、实例掩码生成、实例分割和特征提取。网络的每个组件都与其他组件进行积极的交互以提高准确性，我们模型的端到端可训练性使我们的结果更加强大和可重复。所提出的算法在弱监督设置中实现了最先进的性能，而无需在标准基准数据集上进行任何额外的训练，例如Fast R-CNN和Mask R-CNN。我们的算法的实现可在项目网页上获得：https://cv.snu.ac.kr/research/WSIS_CL。
2020-11-18 cs.CV
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿人工智能实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
生物医学图像分割在计算机辅助诊断中起着重要的作用。然而，现有的基于CNN的方法严重依赖于大量的人工注释，这是非常昂贵的，需要大量的人力资源。在这项工作中，我们采用了由粗到精的策略，并提出了一个自监督校正学习范式的半监督生物医学图像分割。具体来说，我们设计了一个双任务网络，包括一个共享的编码器和两个独立的解码器分割和病变区域修复，分别。在第一阶段中，仅使用分割分支来获得相对粗略的分割结果。第二步，我们根据初始分割图对原始图像上检测到的病变区域进行掩模，并将其与原始图像一起再次发送到网络中，同时分别进行修复和分割。对于标记数据，该过程由分割注释监督，对于未标记数据，该过程由掩蔽病变区域的修复损失指导。由于这两个任务依赖于相似的特征信息，未标记的数据有效地增强了网络对病变区域的表示，并进一步提高了分割性能。此外，一个门控特征融合（GFF）模块的设计，将互补的功能，从两个任务。在三个不同任务的医学图像分割数据集上的实验，包括息肉，皮肤病变和眼底视盘分割，以及证明了我们的方法相比其他半监督方法的出色性能。该代码可在https://github.com/ReaFly/SemiMedSeg上获得。
2023-01-12 cs.CV
Weakly Supervised Semantic Segmentation Based on Web Image Co-segmentation
The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）
训练用于语义分割的全卷积网络（FCN）需要大量具有像素级标记的掩模，这涉及大量的人工劳动和注释时间。相比之下，Web图像及其图像级标签更容易获得，也更便宜。在这项工作中，我们提出了一种新的方法弱监督语义分割，只有图像级标签。该方法利用互联网检索大量的图像，并使用一个大规模的共同分割框架，以产生掩模检索到的图像。我们首先从搜索引擎中检索图像，例如Flickr和Google，使用语义类名作为查询，例如数据集PASCAL VOC 2012中的类名。然后，我们使用高质量的掩模产生的共同分割的检索图像以及目标数据集图像与图像级别的标签训练分割网络。在PASCAL VOC 2012的测试集上，我们获得了56.9的IoU得分，达到了最先进的性能。
2017-08-06 cs.CV
Weakly Supervised Instance Segmentation using Motion Information via Optical Flow
The University of Tokyo（东京大学）
弱监督的实例分割已经得到普及，因为它减少了模型训练所需的像素级掩模的高注释成本。最近的弱监督实例分割方法使用从静态图像获得的外观信息来检测和分割对象。然而，它提出了识别具有非歧视性外观的物体的挑战。在这项研究中，我们解决这个问题，通过使用从图像序列的运动信息。我们提出了一个双流编码器，利用从图像和光流中提取的外观和运动特征。此外，我们提出了一种新的成对损失，同时考虑外观和运动信息来监督分割。我们对YouTube-VIS 2019基准数据集进行了广泛的评估。我们的结果表明，该方法提高了平均精度的国家的最先进的方法由3.1。
2022-02-25 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University（首尔大学）；ASRI（先进技术研究中心）；INMC（纳米材料与技术研究所）；ISRC（智能系统研究中心）；Institute of Engineering Research（工程研究院）
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器，其对图像固有的低级别信息进行操作。在这项工作中，我们利用更高层次的信息，从一个训练有素的对象检测器的行为，通过寻找图像的最小区域，从对象检测器产生几乎相同的结果，因为它从整个图像。这些区域构成了边界框属性图（BBAM），其在其限界框中识别目标对象，从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外，我们还提供了对我们方法的详细分析，从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation
本文提出一种端到端弱监督语义分割方法，通过双向监督机制和分支间交互操作，使分类分支与分割分支平等互促，从而提升分割性能。
2023-08-09 cs.CV
Weakly-Supervised Lung Nodule Segmentation via Training-Free Guidance of 3D Rectified Flow
Chalmers University of Technology, Gothenburg, Sweden（楚德大学技术学院，哥德堡，瑞典）
本文提出一种无监督分割方法，结合预训练的校正流和预测器模型，通过无需训练的指导生成高质量肺结节分割结果，实验表明在LUNA16数据集上优于基线方法。
2026-04-20 cs.CV
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督和域自适应语义分割，这是增强了自我监督的单眼深度估计（ESTA）只训练未标记的图像序列。特别地，我们在整个学习框架中全面地利用标注作为辅助任务：首先，基于标注和语义分割之间的样本多样性和难度的相关性，我们自动选择最有用的样本进行语义分割。其次，我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三，通过迁移和多任务学习，将学习到的特征知识迁移到语义分割中。第四，我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据，从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型，其中所有四个贡献都表现出显着的性能增益，并实现了半监督语义分割和半监督领域自适应的最新结果。特别是，只有1/30的Cityscapes标签，我们的方法实现了92%的完全监督基线性能，甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University（华南农业大学）；Mechanization Research Office of national citrus industry technology system（国家柑橘产业技术体系机械化研究室）；Guangdong Agricultural Information Monitoring Engineering Technology Research Center（广东省农业信息监测工程技术研究中心）
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果，但是这些基于监督学习的方法需要大量的注释数据，并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中，我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式，它可以大致预测柑橘的位置从每帧。然后，我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势，我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明，两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度，优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比，该方法使用少量的监督数据和大量的非监督数据，同时学习像素级位置信息和柑橘变化的时间信息，增强分割效果。
2021-05-04 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Università di Napoli Parthenope（那不勒斯帕泰诺佩大学）；La Rochelle Université（拉罗谢尔大学）
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割，并取得了出色的效果。然而，这些模型需要大量密集注释的图像。为了解决这个问题，我们提出了一种新的算法，使用超图卷积网络弱监督语义分割（HyperGCN-WSS）。我们的算法从数据集中的图像构造空间和k-最近邻（k-NN）图来生成超图。然后，我们训练一个专门的超图卷积网络（HyperGCN）架构，使用一些微弱的信号。HyperGCN的输出被命名为伪标签，稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估，使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
Collaborative Learning for Weakly Supervised Object Detection
Cooperative Madianet Innovation Center（Madianet协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
弱监督目标检测最近受到了广泛的关注，因为它只需要图像级别的标签，而不是在强监督学习中消耗的边界框标签。然而，标签费用的节省通常是以模型精度为代价的。在本文中，我们提出了一个简单但有效的弱监督协作学习框架来解决这个问题，该框架通过强制部分特征共享和预测一致性来联合训练弱监督学习者和强监督学习者。对于目标检测，以WSDDN为弱监督检测器子网络，Faster-RCNN为强监督检测器子网络，提出了一种端到端的弱监督协作检测网络。由于不存在可用于训练Faster-RCNN类子网络的强监督，因此定义了新的预测一致性损失以强制两个子网络之间以及Faster-RCNN类子网络内的预测的一致性。同时，两个检测器被设计为部分共享特征，以进一步保证模型在感知水平上的一致性。在PASCAL VOC 2007和2012数据集上的大量实验证明了所提出的框架的有效性。
2018-02-10 cs.CV
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research（迪士尼研究院）；University of Waterloo（滑铁卢大学）
最新的语义分割方法训练深度卷积神经网络，具有完全注释的掩码，需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理，从部分输入（例如，涂鸦或种子）生成完整的掩码。但是，由于标准损失函数（例如交叉熵）不能将种子与潜在的错误标记的其他像素区分开，因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发，我们通过一种新的原则性损失函数来评估网络输出，并以"浅"分割为标准，如归一化割，来解决这些问题。与之前的工作不同，我们损失的交叉熵部分仅评估标签已知的种子，而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失，其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
Fully Using Classifiers for Weakly Supervised Semantic Segmentation with Modified Cues
Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的仅使用图像级标签的弱监督语义分割方法。来自良好训练的分类器的类特异性激活图被用作训练分割网络的线索。这些线索的众所周知的缺陷是粗糙和不完整。我们使用超像素来细化它们，并融合从彩色图像训练分类器和灰度图像训练分类器中提取的线索，以补偿它们的不完整性。条件随机场适用于调节训练过程并进一步细化输出。除了初始化分割网络之外，先前训练的分类器还用于测试阶段以抑制不存在的类。在PASCAL VOC 2012数据集上的实验结果表明了该方法的有效性。
2019-06-14 cs.CV
Weakly Labeling the Antarctic: The Penguin Colony Case
Stony Brook University（石溪大学）
南极企鹅是重要的生态指标，特别是在气候变化的情况下。在这项工作中，我们提出了一个基于深度学习的模型，用于在高分辨率卫星图像中对阿德利企鹅群进行语义分割。为了训练我们的分割模型，我们利用了企鹅殖民地数据集：一个独特的数据集，包含来自南极洲193个阿德利企鹅殖民地的2044个地理参考裁剪图像。面对像素级注释掩码的稀缺性，我们提出了一个弱监督框架，以有效地从弱标签中学习分割模型。我们使用分类网络来过滤不适合分割网络的数据。该分割网络基于平均激活，使用特定的损失函数进行训练，以有效地从具有弱注释标签的数据中学习。我们的实验表明，添加弱注释的训练样本显著提高了分割性能，在企鹅殖民地数据集上将平均Intersection-over-Union从42.3%提高到60.0%。
2019-05-19 cs.CV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
在过去的几年里，用于语义医学图像分割的有监督深度学习方法越来越流行。然而，在资源受限的情况下，获取大量带注释的图像非常困难，因为它主要需要专家，成本高且耗时。半监督分割是一种有吸引力的解决方案，其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里，监督和半监督方法之间的差距已经大大缩小，但在分割方法方面仍然存在较大的差距。在这项工作中，我们采用了最先进的半监督分类方法FixMatch的语义分割任务，引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估：心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时，我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
A Comprehensive Analysis of Weakly-Supervised Semantic Segmentation in Different Image Domains
University of Toronto（多伦多大学）
最近提出的弱监督语义分割方法在预测像素类方面取得了令人印象深刻的性能，尽管只使用缺乏位置信息的图像标签进行训练。由于图像注释更便宜，生成速度更快，因此弱监督比训练分割算法的完全监督更实用。这些方法主要用于解决自然场景图像的背景分离和部分分割问题，目前还不清楚它们是否可以简单地转移到其他具有不同特征的领域，如组织病理学和卫星图像，并且仍然表现良好。本文评估了最先进的弱监督语义分割方法对自然场景，组织病理学和卫星图像数据集，并分析了如何确定哪种方法是最适合于给定的数据集。我们的实验表明，组织病理学和卫星图像提出了一套不同的问题，弱监督语义分割比自然场景图像，如模糊的边界和类同现。方法在它们开发的数据集上表现良好，但在其他数据集上往往表现不佳。我们提出了一些实用的技术，这些方法看不见的数据集，并认为需要更多的工作，一个可推广的方法，弱监督语义分割。我们的完整代码实现可在GitHub上获得：https://github.com/lyndonchan/wsss-analysis。
2020-10-17 cs.CV
Prior to Segment: Foreground Cues for Weakly Annotated Classes in Partially Supervised Instance Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom（通腾导航科技公司）
实例分割方法需要具有昂贵且因此有限的实例级掩码标签的大型数据集。部分监督实例分割的目的是通过利用更丰富的弱盒标签来改进具有有限掩码标签的掩码预测。在这项工作中，我们表明，一个类不可知的面具头，通常用于部分监督实例分割，有困难的学习前景的一般概念弱注释类只使用框监督。为了解决这个问题，我们引入了对象掩模先验（OMP），它为掩模头提供了由框分类头在所有类的监督下隐式学习的前景的一般概念。这有助于类不可知掩码头集中在感兴趣区域（ROI）中的主要对象上，并改进了对弱注释类的泛化。我们在COCO数据集上使用强监督类和弱监督类的不同分割来测试我们的方法。我们的方法在Mask R-CNN基线上有了显着改进，并获得了最先进的竞争性能，同时提供了一个更简单的架构。
2021-04-10 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督语义分割，这是增强了自监督单目深度估计从未标记的图像序列。特别是，我们提出三个关键贡献：（1）我们将知识从自监督深度估计期间学习的特征转移到语义分割，（2）我们通过使用场景的几何形状混合图像和标签来实现强数据增强，以及（3）我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型，其中所有三个模块都表现出显着的性能增益，并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Revisiting CycleGAN for semi-supervised segmentation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Roorkee（印度理工学院鲁尔基分校）；ETS Montreal（蒙特利尔工程技术学院）
在这项工作中，我们研究了仅使用一小部分注释图像来训练深度网络进行语义图像分割的问题，这可能会显着减少人类注释工作。特别是，我们提出了一种策略，利用CycleGAN在半监督分割中的不成对图像风格传输能力。与最近使用对抗学习进行半监督分割的作品不同，我们强制循环一致性来学习未配对图像和分割掩码之间的双向映射。这增加了一个无监督的正则化效果，当注释数据有限时，可以提高分割性能。在PASCAL VOC 2012、Cityscapes和ACDC三个不同的公共分割基准上的实验证明了该方法的有效性。该模型相对于基线实现了2-4%的改进，并且在此任务中优于最近的方法，特别是在低标记数据状态下。
2019-08-30 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH（浦项科技大学）
我们提出了一种新的深度神经网络架构，用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反，我们的算法将分类和分割合并，并为每个任务学习一个单独的网络。在这种架构中，与图像相关联的标签由分类网络识别，并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比，我们的算法表现出出色的性能，即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab（Facebook连接实验室）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Core Data Science（Facebook核心数据科学）
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一，特别是对于图像语义分割等任务，其中标记是极其昂贵和主观的。在本文中，我们提出了一种新的神经网络架构，通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明，该算法取得了优越的性能和效率相比，各种基线模型。
2016-12-08 cs.CV
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong（香港大学）
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时，弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中，我们提出了一种新的弱监督课程学习管道多标签对象识别，检测和语义分割。在这个管道中，我们首先获得训练图像的中间对象定位和像素标记结果，然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成，包括训练图像中的对象定位，过滤和融合对象实例，训练图像的像素标记，以及特定任务的网络训练。为了在训练图像中获得干净的对象实例，我们提出了一种新的算法，用于过滤，融合和分类从多个解决方案机制收集的对象实例。在该算法中，我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明，我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果，在弱监督语义分割的MS-COCO，PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London（帝国理工学院）
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而，大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时，特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题，该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此，我们提出三个想法来解决这个问题，更具体地说，我们的贡献是：1）抑制假阳性并改进弱监督训练的新的稀疏前景损失，2）利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失，3）可变形的Transformer编码器颈部，用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点，优于一些最先进的全监督模型。此外，我们的框架可以用于微调在自然图像分割数据集上训练的模型，从而大大提高其息肉分割的性能，并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Harvesting Information from Captions for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）
由于获取逐像素注释以训练用于语义图像分割的卷积神经网络是耗时的，因此已经提出了仅需要类标签的弱监督方法。在这项工作中，我们提出了另一种形式的监督，即图像标题，因为它们可以在互联网上找到。这些标题有两个优点。它们不需要额外的策展，因为它是当前弱监督方法使用的干净类标签的情况，并且它们为图像中存在的类提供文本上下文。为了利用这样的文本上下文，我们部署了一个多模态网络，该网络学习图像的视觉表示和标题的文本表示的联合嵌入。该网络估计类名以及复合概念（即名词及其属性的组合）的文本激活图（TAM）。描述感兴趣类别的复合概念的TAM实质上提高了估计的类别激活图的质量，然后将其用于训练用于语义分割的网络。我们在COCO数据集上评估了我们的方法，在那里它实现了弱监督图像分割的最新结果。
2019-05-16 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；School of Computer and Control Engineering, Yantai University（烟台大学计算机与控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在基于模式识别的标签融合框架下，将半监督标签传播方法和监督随机森林方法相结合，提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观，并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地，使用随机森林方法来训练回归模型，所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果，以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明，该方法具有较好的分割效果。
2017-12-31 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而，1）这些工作不能以端到端的方式处理通用分割，以及2）全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中，我们提出了视觉语言全监督分割（VLOSS）。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力，我们利用全监督数据（即，全景分割数据、目标检测数据和图像-文本对数据）进行训练，从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率，充分释放全监督数据的力量，我们提出了几种先进的技术，即，FPN风格的编码器，可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术，VLOSS可以应用于各种开放世界的分割任务，而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是，在参数较少的情况下，我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Weakly-supervised Semantic Segmentation in Cityscape via Hyperspectral Image
Nanjing University（南京大学）；Beijing Institute of Technology（北京理工大学）；University of Amsterdam（阿姆斯特丹大学）
高分辨率高光谱图像包含了每个像元在不同光谱波段的响应，可以有效区分复杂场景中的各种地物。虽然HSI相机已经变得低成本，但基于它的算法还没有得到很好的利用。在本文中，我们专注于一个新的主题，弱监督语义分割在城市景观通过HSI。它是基于这样的想法，高分辨率的HSI在城市场景中包含丰富的光谱信息，它可以很容易地关联到语义，而无需手动标记。因此，它能够在复杂场景中实现低成本、高可靠性的语义分割。具体来说，在本文中，我们从理论上分析了HSI，并介绍了一个弱监督HSI语义分割框架，它利用光谱信息，以改善粗糙的标签到一个更精细的程度。实验结果表明，我们的方法可以获得高度竞争的标签，甚至有更高的边缘精细度比人工精细标签在某些类别。同时，实验结果也表明，细化后的标签能够有效地提高语义分割的效果。HSI和语义分割的结合证明了HSI在高级视觉任务中具有巨大的潜力。
2021-07-20 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford（牛津大学）
本文研究无监督实例分割中的自监督特征，发现不同SSL方法的实例感知水平存在差异，DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation
Zhejiang University（浙江大学）；Nankai University（南开大学）
针对弱监督语义分割的不适定问题，本研究挖掘类别无关大模型segment-anything的“提示生成掩码”潜力，以弱标签为提示生成精确类别掩码，再用其制作伪标签训练分割网络，在PASCAL VOC 2012上验证了该方法的有效性，代码将开源。
2023-05-02 cs.CV
CaT: Weakly Supervised Object Detection with Category Transfer
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
在全监督目标检测和弱监督目标检测之间存在很大的差距。为了缩小这一差距，一些方法考虑从额外的全监督数据集转移知识。但是这些方法没有充分利用全监督数据集中的判别类别信息，从而导致低mAP。为了解决这个问题，我们提出了一种新的类别转移框架弱监督目标检测。直觉是充分利用全监督数据集中的视觉区分和语义相关的类别信息，以增强弱监督检测器的对象分类能力。为了处理重叠的类别转移，我们提出了一个双监督平均教师收集共同的类别信息，并弥合两个数据集之间的领域差距。为了处理非重叠的类别转移，我们提出了一个语义图卷积网络，以促进相关类别之间的语义特征的聚合。以Pascal VOC 2007为弱监督目标数据集，COCO为全监督源数据集进行实验。我们的类别转移框架实现了63.5%的mAP和80.3%的CorLoc，两个数据集之间有5个重叠的类别，这优于最先进的方法。代码可在https://github.com/MediaBrain-SJTU/CaT获得。
2021-08-17 cs.CV
Weakly Supervised Semantic Segmentation Using Constrained Dominant Sets
Ca' Foscari University of Venice（威尼斯卡福斯卡里大学）；Ege University（爱琴海大学）
大规模数据集的可用性是基于深度学习的语义分割方案的基本先决条件。由于获取像素级标签的成本非常昂贵，近年来，使用低成本弱注释来监督深度语义分割网络一直是一个有吸引力的研究问题。在这项工作中，我们探索了约束主导集（CDS）的潜力，用于生成多标记的全掩码预测，以训练用于语义分割的全卷积网络（FCN）。我们的实验结果表明，使用CDS的产量更高质量的掩模预测相比，已在文献中采用的方法，用于相同的目的。
2019-09-20 cs.CV
Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；NUS（新加坡国立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI Lab（腾讯人工智能实验室）
尽管取得了显着的进步，弱监督分割方法仍然不如完全监督的方法。我们观察到性能差距主要来自于它们在学习从图像级监督产生高质量密集对象定位图方面的限制。为了弥补这一差距，我们重新审视了扩张卷积[1]，并揭示了如何以一种新的方式利用它来有效地克服弱监督分割方法的这一关键限制。具体来说，我们发现不同的膨胀率可以有效地扩大卷积核的感受野，更重要的是将周围的判别信息转移到非判别对象区域，促进这些区域在对象定位图中的出现。然后，我们设计了一个通用的分类网络，配备了不同膨胀率的卷积块。它可以产生密集和可靠的目标定位图，并有效地有利于弱监督和半监督语义分割。尽管表面上的简单，我们提出的方法获得了优越的性能超过国家的最先进的。特别是，它在Pascal VOC 2012测试集上实现了60.8%和67.6%的mIoU分数，在弱（仅图像级标签可用）和半（1，464个分割掩码可用）监督设置中，这是最新的最先进技术。
2018-05-28 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales（新南威尔士大学）
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题，提出基于原型的图像提示框架，利用聚类原型与对比匹配损失提升CAM质量，并在四个数据集上取得新基准。
2025-03-15 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH（浦项科技大学）；University of Michigan（密歇根大学）
提出了一种基于深度卷积神经网络（DCNN）的弱监督语义分割算法。与现有的弱监督方法相反，我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性，我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中，该模型使用注意力模型生成图像中呈现的每个类别的空间高光，随后使用解码器为每个高光区域生成前景分割。结合注意力模型，我们表明，在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时，与挑战PASCAL VOC 2012数据集的最新弱监督技术相比，该算法表现出显着提高的性能。
2015-12-24 cs.CV
