Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon（里斯本大学高等技术学院）
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络（CNN）。在本文中，我们考虑弱监督分割图像中的火灾，其中只有图像标签被用来训练网络。我们表明，在火灾分割的情况下，这是一个二进制分割问题，在中间层的分类CNN的特征的平均值可以比传统的类激活映射（CAM）方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明，明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督和域自适应语义分割，这是增强了自我监督的单眼深度估计（ESTA）只训练未标记的图像序列。特别地，我们在整个学习框架中全面地利用标注作为辅助任务：首先，基于标注和语义分割之间的样本多样性和难度的相关性，我们自动选择最有用的样本进行语义分割。其次，我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三，通过迁移和多任务学习，将学习到的特征知识迁移到语义分割中。第四，我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据，从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型，其中所有四个贡献都表现出显着的性能增益，并实现了半监督语义分割和半监督领域自适应的最新结果。特别是，只有1/30的Cityscapes标签，我们的方法实现了92%的完全监督基线性能，甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University（华南农业大学）；Mechanization Research Office of national citrus industry technology system（国家柑橘产业技术体系机械化研究室）；Guangdong Agricultural Information Monitoring Engineering Technology Research Center（广东省农业信息监测工程技术研究中心）
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果，但是这些基于监督学习的方法需要大量的注释数据，并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中，我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式，它可以大致预测柑橘的位置从每帧。然后，我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势，我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明，两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度，优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比，该方法使用少量的监督数据和大量的非监督数据，同时学习像素级位置信息和柑橘变化的时间信息，增强分割效果。
2021-05-04 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释，我们提出了一种新的方法，不需要修改的分割训练过程。我们表明，当从给定的边界框中仔细设计输入标签时，即使是一轮训练也足以改善先前报告的弱监督结果。总的来说，我们的弱监督方法达到了完全监督模型质量的95%，无论是语义标记还是实例分割。
2016-11-23 cs.CV
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
在过去的几年里，用于语义医学图像分割的有监督深度学习方法越来越流行。然而，在资源受限的情况下，获取大量带注释的图像非常困难，因为它主要需要专家，成本高且耗时。半监督分割是一种有吸引力的解决方案，其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里，监督和半监督方法之间的差距已经大大缩小，但在分割方法方面仍然存在较大的差距。在这项工作中，我们采用了最先进的半监督分类方法FixMatch的语义分割任务，引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估：心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时，我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督语义分割，这是增强了自监督单目深度估计从未标记的图像序列。特别是，我们提出三个关键贡献：（1）我们将知识从自监督深度估计期间学习的特征转移到语义分割，（2）我们通过使用场景的几何形状混合图像和标签来实现强数据增强，以及（3）我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型，其中所有三个模块都表现出显着的性能增益，并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Revisiting CycleGAN for semi-supervised segmentation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Roorkee（印度理工学院鲁尔基分校）；ETS Montreal（蒙特利尔工程技术学院）
在这项工作中，我们研究了仅使用一小部分注释图像来训练深度网络进行语义图像分割的问题，这可能会显着减少人类注释工作。特别是，我们提出了一种策略，利用CycleGAN在半监督分割中的不成对图像风格传输能力。与最近使用对抗学习进行半监督分割的作品不同，我们强制循环一致性来学习未配对图像和分割掩码之间的双向映射。这增加了一个无监督的正则化效果，当注释数据有限时，可以提高分割性能。在PASCAL VOC 2012、Cityscapes和ACDC三个不同的公共分割基准上的实验证明了该方法的有效性。该模型相对于基线实现了2-4%的改进，并且在此任务中优于最近的方法，特别是在低标记数据状态下。
2019-08-30 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH（浦项科技大学）
我们提出了一种新的深度神经网络架构，用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反，我们的算法将分类和分割合并，并为每个任务学习一个单独的网络。在这种架构中，与图像相关联的标签由分类网络识别，并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比，我们的算法表现出出色的性能，即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；School of Computer and Control Engineering, Yantai University（烟台大学计算机与控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在基于模式识别的标签融合框架下，将半监督标签传播方法和监督随机森林方法相结合，提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观，并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地，使用随机森林方法来训练回归模型，所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果，以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明，该方法具有较好的分割效果。
2017-12-31 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而，1）这些工作不能以端到端的方式处理通用分割，以及2）全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中，我们提出了视觉语言全监督分割（VLOSS）。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力，我们利用全监督数据（即，全景分割数据、目标检测数据和图像-文本对数据）进行训练，从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率，充分释放全监督数据的力量，我们提出了几种先进的技术，即，FPN风格的编码器，可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术，VLOSS可以应用于各种开放世界的分割任务，而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是，在参数较少的情况下，我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford（牛津大学）
本文研究无监督实例分割中的自监督特征，发现不同SSL方法的实例感知水平存在差异，DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Semi-Supervised and Self-Supervised Collaborative Learning for Prostate 3D MR Image Segmentation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；University of Gezira（杰济拉大学）
磁共振（MR）图像分割在许多临床应用中起着重要的作用。深度学习（DL）最近在各种图像分割任务上实现了最先进的甚至是人类水平的性能。然而，手动注释用于DL模型训练的体积MR图像是劳动力耗尽且耗时的。在这项工作中，我们的目标是训练一个用于前列腺3D MR图像分割的半监督和自监督协作学习框架，同时使用极其稀疏的注释，其中仅为每个体积MR图像的中心切片提供地面实况注释。具体地，使用半监督学习和自监督学习方法来生成两个独立的伪标签集合。然后通过布尔运算融合这些伪标签，以提取更可信的伪标签集。然后使用具有手动或网络自生成标签的图像来训练用于目标体积提取的分割模型。公开的前列腺MR图像数据集上的实验结果表明，虽然需要显着更少的注释工作，我们的框架生成非常令人鼓舞的分割结果。当难以获得具有密集注释的训练数据时，所提出的框架在临床应用中非常有用。
2022-11-16 cs.CV
ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles
Leibniz University Hannover（汉诺威莱布尼茨大学）
我们提出了一个半监督的方法，全景分割的基础上ConsInstancy正则化，一种新的策略，半监督学习。它通过在训练期间强制执行预测实例表示和语义分割之间的一致性来利用完全未标记的数据，以提高分割性能。为此，我们还提出了新类型的实例表示，可以通过一个简单的前向路径通过全卷积网络（FCN）进行预测，为全景分割提供一个方便和简单的训练框架。更具体地说，我们提出了一个三维的实例方向图作为中间表示和两个互补的距离变换图作为最终表示的预测，提供独特的实例表示的全景分割。我们在硬化和新鲜混凝土的两个具有挑战性的数据集上测试了我们的方法，后者是作者在本文中提出的，证明了我们方法的有效性，优于最先进的半监督分割方法所取得的结果。特别是，我们能够证明，通过在我们的半监督方法中利用完全未标记的数据，与仅使用标记数据的完全监督训练相比，实现的总体准确度（OA）提高了5%。此外，我们超过了最先进的半监督方法所实现的OA高达1.5%。
2022-04-10 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
文本分割是一项具有挑战性的视觉任务，有许多下游应用。目前的文本分割方法需要像素级的标注，人工成本昂贵，应用场景有限。在本文中，我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是，文本识别方法提供每个文本实例的精确注意位置，并且注意位置可以馈送到文本自适应细化头（TAR）和文本分割头。具体而言，建议TAR生成伪标签，通过执行两阶段的迭代细化操作的注意位置，以适应相应的文本实例的准确边界。同时，文本分割头采用粗略的注意力位置来预测分割模板，这些模板由上述伪标签监督。此外，我们设计了一个掩码增强的对比学习，将我们的分割结果作为输入文本图像的增强版本，从而提高了视觉表示，并进一步提高了识别和分割的性能。实验结果表明，该方法在ICDAR 13-FST（$\%$改进18.95）和TextSeg（$\%$改进17.80）上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
转向较少监督场景的方法是图像分割的关键，因为密集标签需要大量的人为干预。一般来说，通过用较弱的监督形式标记数据集来减轻注释负担，例如图像级标签或边界框。另一种选择是半监督设置，通常利用一些强注释和大量未标记/弱标记数据。在本文中，我们重新审视了半监督分割方案，并与以前的方法相比显着缩小了注释预算（就训练集的总标记时间而言）。通过一个非常简单的管道，我们证明了在低注释预算下，半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品，大大降低了标签成本。我们提出了Pascal VOC基准测试的结果，并通过考虑总注释预算来统一弱监督和半监督方法，从而使方法之间的比较更加公平。
2019-05-23 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong（香港大学）
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation，其依赖更少、使用更简便且性能优于MMSegmentation，并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester（罗切斯特大学）；Google Inc.（谷歌公司）；ByteDance AI Lab（字节跳动人工智能实验室）；Vaitl Inc.（维特尔公司）
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能，但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比，大量的弱标签（如姿势和全身遮罩）已经存在并包含相关信息。出于使用现有弱标签的可能性，我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签（如关键点）转换为身体部位掩模的初始估计，然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签，我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法（63.6% mIoU）相当的性能（62.0% mIoU）。此外，在扩展的半监督设置，所提出的框架优于国家的最先进的方法。此外，我们将我们提出的框架扩展到其他关键点监督的部分分割任务，如人脸解析。
2020-10-30 cs.CV
Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance
Institute of Building Materials Science, Leibniz University Hannover（莱布尼茨汉诺威大学建筑材料科学研究所）；Institute of Photogrammetry and GeoInformation, Leibniz University Hannover（莱布尼茨汉诺威大学摄影测量与地理信息研究所）
为了利用和利用未标记的数据，基于一致性训练的语义分割的半监督框架已被证明是显着提高纯监督分割学习性能的强大工具。然而，一致性训练背后的共识原则至少有一个缺点，我们在本文中发现：数据中的标签分布不平衡。为了克服标准一致性训练的局限性，我们提出了一种新的半监督框架语义分割，引入额外的损失的基础上先验知识。具体来说，我们提出了一个轻量级的架构，由一个共享的编码器和一个主解码器，这是在监督的方式训练。一个辅助解码器被添加为额外的分支，以便利用基于共识训练的未标记数据，并且我们添加了从类分布和自动编码器正则化的先验信息中导出的额外约束。在本文提出的“混凝土聚合数据集”上进行的实验证明了所提出的方法的有效性，优于纯监督分割和标准一致性训练所取得的分割结果。
2021-04-22 cs.CV
Sparse Point-Guided Fusion of Supervised and Self-Supervised Learning Model for Seaweed Segmentation
Fujitsu Limited（富士通株式会社）
提出一种两阶段海藻分割方法，结合监督与自监督学习，利用稀疏点引导自监督学习实现精细分割，并通过MaskFusion融合实例掩码，在蓝碳量化中提升小海藻分割精度0.068 mIoU。
2026-06-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg（弗莱堡大学）
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究，但具有有限数据的密集像素级分类最近才引起注意。在这项工作中，我们提出了一种半监督语义分割的方法，学习有限的像素明智的注释样本，同时利用额外的无注释图像。它使用两个网络分支，将半监督分类与半监督分割（包括自训练）联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进，特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012，PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Semi-supervised semantic segmentation needs strong, varied perturbations
NVIDIA（英伟达公司）
一致性正则化描述了一类在半监督分类问题中取得突破性成果的方法。先前的工作已经建立了集群假设-在此假设下，数据分布由低密度区域分隔的样本的均匀类集群组成-对其成功至关重要。我们分析了语义分割的问题，发现它的分布并没有表现出低密度区域分离类，并提供这作为解释为什么半监督分割是一个具有挑战性的问题，只有少数报告的成功。然后，我们确定选择增强作为关键，以获得可靠的性能，没有这样的低密度区域。我们发现，最近提出的CutOut和CutMix增强技术的适应变体在标准数据集中产生最先进的半监督语义分割结果。此外，鉴于其具有挑战性的性质，我们建议语义分割作为一个有效的酸测试评估半监督正则化。执行网址：https://github.com/Britefury/cutmix-semisup-seg。
2020-08-11 cs.CV
Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了半监督语义分割问题，通过探索标记数据和额外的未标记数据。我们提出了一种新的一致性正则化方法，称为交叉伪监督（CPS）。我们的方法对同一输入图像的不同初始化扰动的两个分割网络的一致性。从一个扰动的分割网络输出的伪独热标签映射被用于以标准交叉熵损失来监督另一个分割网络，反之亦然。CPS一致性有两个作用：鼓励两个扰动网络对同一输入图像的预测之间的高度相似性，以及通过使用具有伪标签的未标记数据来扩展训练数据。实验结果表明，该方法在Cityscapes和PASCAL VOC 2012上实现了最先进的半监督分割性能。代码可在https://git.io/CPS上获得。
2021-06-04 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University（路德维希-马克西米利安大学）；Hensoldt Analytics（亨索尔特分析公司）
视频对象分割（VOS）已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果，但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而，自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷，但尚未被用于视频域。在这项工作中，我们提出了一个框监督的视频对象分割建议网络，它利用了固有的视频属性。我们的方法采用了以下方式的对象运动：首先，运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次，我们引入了一种新的运动感知的亲和力损失，鼓励网络预测积极的像素对，如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法，而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融，证明了我们方法的稳健性。
2022-02-16 cs.CV
ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Cars（沃尔沃汽车）
语义分割的最新技术水平在性能上稳步提高，从而在许多不同的应用中实现更精确和可靠的分割。然而，进展受到生成用于训练的标签的成本的限制，这有时需要为单个图像进行数小时的手工劳动。正因为如此，半监督方法已被应用于这项任务，并取得了不同程度的成功。一个关键的挑战是，在半监督分类中使用的常见的增强是不太有效的语义分割。我们提出了一种新的数据增强机制称为ClassMix，它通过混合未标记的样本来生成增强，通过利用网络的预测来尊重对象边界。我们在两个常见的半监督语义分割基准上评估了这种增强技术，表明它达到了最先进的结果。最后，我们还提供了广泛的消融研究，比较不同的设计决策和培训制度。
2020-11-29 cs.CV
A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation
Alibaba DAMO Academy（阿里巴巴达摩院）；The University of Adelaide（阿德莱德大学）
近年来，语义分割取得了重大进展。然而，监督语义分割的成功通常依赖于大量的标记数据，这是耗时和昂贵的获得。受半监督学习方法在图像分类中的成功启发，本文提出了一种简单有效的用于语义分割的半监督学习框架。我们证明，魔鬼在细节中：一组简单的设计和训练技术可以共同提高半监督语义分割的性能显着。以前的作品[3，27]未能有效地在伪标签学习中使用强增强，因为强增强引起的大分布变化会损害批量归一化统计。我们设计了一个新的批处理规范化，即分布特定的批处理规范化（DSBN）来解决这个问题，并证明了强大的增强语义分割的重要性。此外，我们还设计了一个自校正损耗，它在抗噪声方面是有效的。我们进行了一系列的消融研究，以显示每个组件的有效性。我们的方法在Cityscapes和Pascal VOC数据集的半监督设置中获得了最先进的结果。
2021-08-25 cs.CV
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research（迪士尼研究院）；University of Waterloo（滑铁卢大学）
最新的语义分割方法训练深度卷积神经网络，具有完全注释的掩码，需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理，从部分输入（例如，涂鸦或种子）生成完整的掩码。但是，由于标准损失函数（例如交叉熵）不能将种子与潜在的错误标记的其他像素区分开，因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发，我们通过一种新的原则性损失函数来评估网络输出，并以"浅"分割为标准，如归一化割，来解决这些问题。与之前的工作不同，我们损失的交叉熵部分仅评估标签已知的种子，而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失，其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）；Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院）
本文提出SemiSAM策略，利用SAM生成的伪标签作为额外监督，在标注极少时显著提升半监督医学图像分割性能，并具备即插即用效率。
2024-10-23 cs.CV
Self-supervised Segmentation via Background Inpainting
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The University of British Columbia（不列颠哥伦比亚大学）；Balgrist University Hospital（巴尔格里斯特大学医院）；University of Zurich（苏黎世大学）
虽然有监督的目标检测和分割方法实现了令人印象深刻的准确性，他们推广不良的图像，其外观显着不同的数据，他们已经trainedon.To解决这个问题时，注释数据是昂贵的，我们引入了一个自我监督的检测和分割方法，可以与潜在的移动摄像机捕获的单个图像。在我们的方法的核心在于观察对象分割和背景重建是相互关联的任务，并且，对于结构化场景，背景区域可以从周围环境中重新合成，而描绘移动对象的区域则不能。我们将这种直觉编码成一个自我监督的损失函数，我们利用它来训练一个基于建议的分割网络。考虑到提案的离散性，我们开发了一种基于蒙特卡洛的训练策略，该策略允许算法探索对象提案的大空间。我们将我们的方法应用于图像中的人体检测和分割，这些图像在视觉上偏离标准基准，并且优于现有的自监督方法。
2020-11-11 cs.CV
Self-supervised Training of Proposal-based Segmentation via Background Prediction
EPFL（洛桑联邦理工学院）；Balgrist University Hospital, University of Zurich（苏黎世大学巴尔格里斯特大学医院）
虽然监督的目标检测方法实现了令人印象深刻的准确性，他们推广不良的图像，其外观显着不同的数据，他们已经trainedon.To解决这个问题的情况下，注释数据是昂贵的，我们引入了一个自我监督的方法来目标检测和分割，能够与单目图像捕获的移动相机。我们的方法的核心在于观察分割和背景重建是相互关联的任务，以及这样的想法，因为我们观察到一个结构化的场景，背景区域可以从周围环境中重新合成，而描绘对象的区域则不能。因此，我们将这种直觉编码为一个自我监督的损失函数，我们利用它来训练一个基于建议的分割网络。考虑到对象提案的离散性，我们开发了一种基于蒙特卡洛的训练策略，使我们能够探索对象提案的大空间。我们的实验表明，我们的方法在图像中产生准确的检测和分割，这些图像在视觉上偏离标准基准，优于现有的自监督方法，并接近利用大型注释数据集的弱监督方法。
2019-07-18 cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University（南京大学）；Tsinghua University（清华大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）；Shandong Women’s University（山东女子学院）；Southeast University（东南大学）
在半监督医学图像分割中，大多数以前的工作都基于一个共同的假设，即较高的熵意味着较高的不确定性。在本文中，我们研究了一种新的方法来估计不确定性。我们观察到，当在一定程度上分配不同的误分类成本时，如果像素的分割结果变得不一致，则该像素在其分割中表现出相对的不确定性。因此，我们提出了一种新的半监督分割模型，即基于我们的不确定性估计和单独的自训练策略的保守-激进网络（CoraNet）。特别是，我们的CoraNet模型由三个主要组件组成：保守-激进模块（CRM），特定区域分割网络（C-SN）和不确定区域分割网络（UC-SN），它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集，包括CT胰腺，MR内镜，和MR多结构分割的ACDC数据集。与目前的技术水平相比，我们的CoraNet表现出了卓越的性能。此外，我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
Semi-Supervised Medical Image Segmentation via Dual Networks
AIPM, School of Artificial Intelligence, Guilin University of Electronic Technology（桂林电子科技大学人工智能学院AIPM）；College of Computer Science and Engineering, Jeddah University（吉达大学计算机科学与工程学院）
提出一种基于双网络架构和自监督对比学习的半监督三维医学图像分割方法，减少对标注数据依赖，提升伪标签可靠性，在临床MRI上优于现有技术。
2025-05-23 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London（帝国理工学院）
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而，大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时，特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题，该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此，我们提出三个想法来解决这个问题，更具体地说，我们的贡献是：1）抑制假阳性并改进弱监督训练的新的稀疏前景损失，2）利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失，3）可变形的Transformer编码器颈部，用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点，优于一些最先进的全监督模型。此外，我们的框架可以用于微调在自然图像分割数据集上训练的模型，从而大大提高其息肉分割的性能，并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Semi-supervised 3D shape segmentation with multilevel consistency and part substitution
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
缺乏细粒度的3D形状分割数据是发展基于学习的3D分割技术的主要障碍。我们提出了一种有效的半监督方法，用于从一些标记的3D形状和大量未标记的3D数据中学习3D分割。对于未标记的数据，我们提出了一种新的多级一致性损失，以执行在多个级别（点级，部分级和层次级）的3D形状的扰动副本之间的网络预测的一致性。对于标记的数据，我们开发了一个简单而有效的部分替换方案，以增加标记的3D形状与更多的结构变化，以增强训练。我们的方法已被广泛验证的PartNet和ShapeNetPart上的三维对象语义分割的任务，和室内场景语义分割的ScanNet。它表现出优于现有的半监督和无监督预训练3D方法的性能。我们的代码和训练模型可在www.example.com上公开获取。
2022-04-20 cs.CV
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation
IST Austria（奥地利科学技术学院）
我们引入了一个新的损失函数的语义图像分割模型的弱监督训练的基础上的三个指导原则：种子与弱本地化线索，扩大对象的基础上的信息，哪些类可以出现在图像中，并限制分割，以符合对象的边界。我们通过实验证明，使用所提出的损失函数训练深度卷积神经网络，在具有挑战性的PASCAL VOC 2012数据集上，比以前最先进的方法得到了更好的分割。此外，我们深入了解我们的方法的工作机制，详细的实验研究，说明了如何分割质量的影响所提出的损失函数，以及它们的组合。
2016-08-06 cs.CV
Multi-Task Attention-Based Semi-Supervised Learning for Medical Image Segmentation
Erasmus MC（伊拉斯姆斯医学中心）；University of Copenhagen（哥本哈根大学）
我们提出了一种新的半监督图像分割方法，同时优化监督分割和无监督重建目标。重建目标使用注意力机制，该机制将对应于不同类别的图像区域的重建分开。所提出的方法进行了评估两个应用程序：脑肿瘤和白质高信号分割。我们的方法在未标记和少量标记图像上训练，优于用相同数量的图像训练的监督CNN和在未标记数据上预训练的CNN。在消融实验中，我们观察到，所提出的注意力机制大大提高了分割性能。我们探讨了两种多任务训练策略：联合训练和交替训练。交替训练需要更少的超参数，并实现比联合训练更好，更稳定的性能。最后，我们分析了通过不同方法学习的特征，发现注意力机制有助于在编码器的更深层中学习更有区别的特征。
2019-07-29 cs.CV
HS3: Learning with Proper Task Complexity in Hierarchically Supervised Semantic Segmentation
Qualcomm AI Research（高通人工智能研究院）
虽然深度监督网络在最近的文献中很常见，但它们通常对所有过渡层施加相同的学习目标，尽管它们的表示能力不同。在本文中，我们提出了分层监督语义分割（HS 3），一个训练方案，监督中间层的分割网络学习有意义的表示不同的任务复杂性。为了在整个网络中实现一致的性能与复杂性的权衡，我们推导出各种类别集群来监督网络的每个过渡层。此外，我们设计了一个融合框架，HS 3-ESTA，聚合这些层，它可以提供丰富的语义上下文，并进一步提高最终的分割产生的层次特征。大量的实验表明，我们提出的HS 3方案在不增加推理成本的情况下大大优于vanilla深度监督。我们提出的HS 3-ESTA框架进一步改进了分割预测，并在两个大型分割基准上实现了最先进的结果：NYUD-v2和Cityscapes。
2021-11-03 cs.CV
Deep Compatible Learning for Partially-Supervised Medical Image Segmentation
Fudan University（复旦大学）
部分监督学习由于缺乏对未标记结构的监督而对于分割可能具有挑战性，并且直接应用完全监督学习的方法可能导致不兼容，这意味着在给定损失函数的情况下，基础事实不在优化问题的解集中。为了应对这一挑战，我们提出了一个深度兼容学习（DCL）框架，该框架使用仅标注了部分结构的图像来训练单个多标签分割网络。我们首先将部分监督分割公式化为与缺失标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备了条件分割策略，将标签从多个部分注释的图像传播到目标。此外，我们提出了一个双重学习策略，同时学习两个相反的标签传播映射，为未标记的结构提供实质性的监督。这两种策略分别被表述为相容形式，称为条件相容和对偶相容。我们表明，这个框架是普遍适用于传统的损失函数。与现有方法相比，该方法获得了显着的性能改进，特别是在只有少量训练数据集的情况下。三个分割任务的结果表明，所提出的框架可以实现与全监督模型相匹配的性能。
2022-06-18 cs.CV
RCPS: Rectified Contrastive Pseudo Supervision for Semi-Supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Huashan Hospital（华山医院）；National Center for Neurological Disorders（国家神经疾病医学中心）；ShanghaiTech University（上海科技大学）
针对半监督医学图像分割中伪标签噪声大、特征类别可分性不足的问题，提出结合校正伪监督与双向体素对比学习的RCPS方法，经多数据集验证性能优于现有最优方法。
2023-10-09 cs.CV
Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海市智能视觉与成像工程技术研究中心）
半监督学习在医学图像分割中引起了广泛关注，因为获取逐像素图像注释是构建高性能深度学习方法的关键步骤。大多数现有的半监督分割方法要么倾向于忽略对象分割中的几何约束，导致不完整的对象覆盖，要么强加强形状先验，需要额外的对齐。在这项工作中，我们提出了一种新的shapeware半监督分割策略，利用丰富的未标记的数据，并强制执行分割输出的几何形状约束。为了实现这一目标，我们开发了一个多任务深度网络，该网络联合预测对象表面的语义分割和符号距离图（SDM）。在训练过程中，我们在标记数据和未标记数据的预测SDM之间引入对抗性损失，以便我们的网络能够更有效地捕获形状感知特征。在心房分割挑战数据集上的实验表明，我们的方法优于当前最先进的方法，改进了形状估计，这验证了其有效性。代码可在https://github.com/kleinzcy/SASSnet上获得。
2020-07-21 cs.CV
Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation
Google, Inc.（谷歌公司）；UCLA（加州大学洛杉矶分校）
深度卷积神经网络（DCNN）在大量具有强像素级注释的图像上训练，最近显着推动了语义图像分割的最新技术。我们研究了从（1）弱注释的训练数据（如边界框或图像级标签）或（2）来自一个或多个数据集的少数强标记和许多弱标记图像的组合中学习DCNN进行语义图像分割的更具挑战性的问题。我们开发了期望最大化（EM）方法，用于在这些弱监督和半监督设置下进行语义图像分割模型训练。广泛的实验评估表明，所提出的技术可以学习模型提供具有挑战性的PASCAL VOC 2012图像分割基准的竞争力的结果，同时需要显着减少注释工作。我们在https://bitbucket.org/deeplab/deeplab-public上共享实现所提出的系统的源代码。
2015-10-05 cs.CV
ProPL: Universal Semi-Supervised Ultrasound Image Segmentation via Prompt-Guided Pseudo-Labeling
MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司）
本文针对现有超声分割方法泛用性不足的问题，提出通用半监督分割框架ProPL，配套构建多器官多任务超声数据集，实验证明其性能优于现有最优方法。
2025-11-19 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza（萨拉戈萨大学）；Magic Leap（Magic Leap公司）；Bitbrain（Bitbrain公司）
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块，该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点，我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中，来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应，在最具挑战性的场景上有更大的改进，即，更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Duo-SegNet: Adversarial Dual-Views for Semi-Supervised Medical Image Segmentation
Monash University（莫纳什大学）
图像分割是医疗AI中的一个长期挑战。这主要是由于训练神经网络来执行图像分割需要大量的像素级注释数据，而这些数据通常是不可用的。为了解决这个问题，我们提出了一个半监督的图像分割技术的基础上的多视图学习的概念。与之前的技术相比，我们引入了一种对抗形式的双视图训练，并采用批评家将多视图训练中的学习问题制定为最小-最大问题。在几个数据集上进行的全面的定量和定性评估表明，我们提出的方法一致且舒适地优于最先进的医学图像分割算法。该代码可在https://github.com/himashi92/Duo-SegNet上公开获取
2021-08-25 cs.CV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime（商汤科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
大多数弱监督语义分割（WSSS）方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而，我们发现了一些与伪掩码相关的问题，包括从类激活映射（CAM）生成高质量的伪掩码，以及使用噪声伪掩码监督进行训练。对于这些问题，我们提出了以下设计来将性能提升到新的最新水平：（i）变异系数平滑，以自适应地平滑CAM;（ii）比例伪掩模生成，将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标，而不是从二进制分类器训练的分数。(iii)伪欠拟合策略，以抑制噪声在伪掩模中的影响;（iv）循环伪掩模，以在全监督语义分割（FSSS）的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果，在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
Hierarchical Self-Supervised Learning for Medical Image Segmentation Based on Multi-Domain Data Aggregation
University of Notre Dame（圣母大学）
大型标记数据集是监督式深度学习成功的关键，但对于医学图像分割，获得足够的注释图像用于模型训练具有高度挑战性。在许多情况下，未注释的图像是丰富的，易于获取。自监督学习在挖掘原始数据信息和表示学习方面显示出巨大的潜力。在本文中，我们提出了分层自监督学习（HSSL），一个新的自监督框架，提高医学图像分割，充分利用未注释的数据。与当前关于特定任务的自监督预训练以及随后的监督微调的文献不同，我们利用SSL从各种医学图像分割任务的异构数据中学习与任务无关的知识。具体来说，我们首先从几个医疗挑战中聚合一个数据集，然后以自我监督的方式对网络进行预训练，最后对标记数据进行微调。我们开发了一个新的损失函数，结合对比损失和分类损失和预训练的编码器-解码器架构的分割任务。我们的大量实验表明，多域联合预训练有利于下游分割任务，并显着优于单域预训练。与从头开始学习相比，我们的新方法在各种任务上都有更好的性能（例如，+0.69%至+18.60%（Dice评分，注释数据为5%）。在有限的训练数据的情况下，我们的方法可以实质性地弥合性能差距。更密集的注释（例如，10%与~ 100%的注释数据）。
2021-07-10 cs.CV
