Bootstrapping Semantic Segmentation with Regional Contrast
Imperial College London（伦敦帝国理工学院）
我们提出了ReCo，一个在区域层面上设计的对比学习框架，以帮助学习语义分割。ReCo在稀疏的硬负像素集上执行半监督或监督像素级对比学习，具有最小的额外内存占用。ReCo易于实现，构建在现成的分割网络之上，并持续提高半监督和监督语义分割方法的性能，实现更平滑的分割边界和更快的收敛。效果最强的是标签很少的半监督学习。使用ReCo，我们实现了高质量的语义分割模型，每个语义类只需要5个示例。代码可在https://github.com/lorenmt/reco上获得。
2022-01-31 cs.CV cs.LG
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
最近，几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器（例如，密集CRF和MCG）以产生用于进一步训练分割模型的增强的分割掩模。然而，这些建议生成器是通用的，并且不是专门为框监督的语义分割设计的，从而为改进分割性能留下了一些余地。在本文中，我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此，我们采用像素级注释的辅助数据集，其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器，我们提出了一种双层优化公式。特别地，下部子问题用于学习框监督的语义分割，而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集，以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明，学习的伪掩码生成器在提高分割性能方面是有效的，我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University（卡尔顿大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练，这是众所周知的昂贵和耗时的收集。为了减轻这一负担，弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法（PSCV），它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差（CV）损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明，该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
Sparse Object-level Supervision for Instance Segmentation with Pixel Embeddings
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室（EMBL））
大多数最先进的实例分割方法必须在密集注释的图像上进行训练。虽然一般来说很困难，但这一要求对于生物医学图像尤其令人生畏，因为在生物医学图像中，注释通常需要领域专业知识，并且没有大型公共数据汇集可用于预训练。我们建议通过引入基于非空间嵌入的无命题分割方法来解决密集注释瓶颈，该方法利用学习的嵌入空间的结构以可区分的方式提取单个实例。然后可以将分割损失直接应用于实例，并且可以以完全或弱监督的方式训练整个管道。我们考虑了正未标记监督的挑战性案例，其中为训练数据的未标记部分引入了新型的自监督一致性损失。我们评估所提出的方法在不同的显微镜模式，以及在城市景观和CVPPP实例分割基准的2D和3D分割问题，后者实现国家的最先进的结果。代码可在以下网址获得：https://github.com/kreshuklab/spoco
2022-04-04 cs.CV cs.LG
n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation
AI Clearing, Inc.（AI清算公司）；Semantic Technology Institute, Department of Computer Science, University of Innsbruck（因斯布鲁克大学语义技术研究所）；Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
我们提出了n-CPS -最近国家的最先进的交叉伪监督（CPS）的方法的半监督语义分割的任务的概括。在n-CPS中，有n个同时训练的子网络，它们通过one-hot编码扰动和一致性正则化相互学习。我们还表明，应用于子网络输出的集成技术可以显着提高性能。据我们所知，n-CPS搭配CutMix的性能优于CPS，并为Pascal VOC 2012设定了最新的技术水平（1/16，1/8，1/4和1/2监督制度）和Cityscapes（1/16监督）。
2022-04-11 cs.AI cs.CV cs.LG
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释，我们提出了一种新的方法，不需要修改的分割训练过程。我们表明，当从给定的边界框中仔细设计输入标签时，即使是一轮训练也足以改善先前报告的弱监督结果。总的来说，我们的弱监督方法达到了完全监督模型质量的95%，无论是语义标记还是实例分割。
2016-11-23 cs.CV
Multi-Task Self-Supervised Learning for Image Segmentation Task
Worcester Polytechnic Institute（伍斯特理工学院）
由于人工智能和深度学习方法的突破，计算机视觉技术正在迅速发展。大多数计算机视觉应用需要复杂的图像分割来理解图像的内容并使每个部分的分析更容易。训练用于语义分割的深度学习网络需要大量带注释的数据，这在实践中提出了一个重大挑战，因为产生这样的数据是昂贵的和劳动密集型的。本文介绍了1.使用具有深度预测和表面规范化的多任务学习来提高语义分割性能的自监督技术。2.用于多任务学习的不同类型的加权技术（UW，Nash-MTL）的性能评估。使用NY 2D数据集进行性能评估。根据我们的评估，Nash-MTL方法优于单任务学习（语义分割）。
2023-02-05 cs.CV cs.LG
Towards Robust Partially Supervised Multi-Structure Medical Image Segmentation on Small-Scale Data
University of Oxford（牛津大学）；UiT The Arctic University of Norway（挪威北极大学）；Sun Yat-sen University（中山大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
用于语义分割的深度学习（DL）模型的数据驱动性质需要大量像素级注释。然而，大规模和完全标记的医疗数据集通常无法用于实际任务。最近，部分监督的方法已经被提出来利用在医学领域中的不完整的标签的图像。为了弥补部分监督学习（PSL）在数据稀缺情况下的方法学空白，提出了不确定性下的邻近标签（VLUU），这是一个简单而有效的框架，利用人体结构相似性进行部分监督医学图像分割。受多任务学习和邻近风险最小化的启发，VLUU通过生成邻近标签将部分监督问题转化为完全监督问题。我们系统地评估了VLUU的挑战下，小规模的数据，数据集移位，和类不平衡的两个常用的分割数据集的任务，胸部器官分割和视盘和杯分割。实验结果表明，VLUU在这些设置中始终优于以前的部分监督模型。我们的研究为部分监督的标签高效深度学习提出了一个新的研究方向。
2021-10-26 cs.CV cs.LG eess.IV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.（达美微科技公司）；Shenzhen SiBright Co. Ltd.（深圳硅基仿生科技有限公司）
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略，以辅助松散包围盒作为监督的图像分割。在该策略中，引入加权平滑最大值近似，以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Automatic segmentation of meniscus based on MAE self-supervision and point-line weak supervision paradigm
Sun Yat-sen University（中山大学）；The Third Affiliated Hospital of Southern Medical University（南方医科大学第三附属医院）
基于深度学习的医学图像分割常面临数据集不足、标注耗时长等问题。本文将自监督方法MAE（掩码自编码器）引入到膝关节图像中，为分割模型提供良好的初始权重，提高模型对小数据集的适应性。其次，我们提出了一种基于点和线相结合的半月板分割的弱监督范例，以减少标记的时间。基于弱标记，我们设计了一个区域生长算法来生成伪标记。最后，我们训练的分割网络的基础上的伪标签的权重转移从自我监督。大量实验结果表明，本文提出的自监督和弱监督相结合的方法可以在极大地减少标注时间和数据集大小的同时，接近纯全监督模型的性能。
2022-05-07 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要依赖于图像级的分类学习，其表示能力有限。在本文中，我们提出了一种新的语义学习为基础的框架，命名为SLAMs（基于语义学习激活图），WSSS。
2022-11-10 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology（华中科技大学）；VIVO Inc.（维沃移动通信有限公司）
人类具有很强的类无关对象分割能力，能够精确地勾画出未知对象的边界，这促使我们提出了一种基于框监督类无关对象分割（BoxCaseg）的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码，作为代理地面实况，以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像，弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当，并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
CAMEL: A Weakly Supervised Learning Framework for Histopathology Image Segmentation
Tsinghua University（清华大学）；The Chinese PLA General Hospital（中国人民解放军总医院）；Thorough Images；Fudan University（复旦大学）
组织学图像分析在癌症诊断和治疗中起着至关重要的作用。为了自动分割癌变区域，完全监督分割算法需要在像素级进行劳动密集型和耗时的标记。在这项研究中，我们提出了CAMEL，一个弱监督学习框架的组织病理学图像分割只使用图像级标签。使用基于多实例学习（MIL）的标签丰富，CAMEL将图像拆分为网格实例并自动生成实例级标签。在标签丰富之后，实例级标签被进一步分配给相应的像素，产生近似的像素级标签，并使分割模型的完全监督训练成为可能。CAMEL在CAMELYON 16和结直肠腺瘤数据集上的实例级分类和像素级分割方面与完全监督方法具有相当的性能。此外，自动标记方法的通用性可能有利于未来的弱监督学习研究的组织病理学图像分析。
2019-08-28 cs.CV cs.LG eess.IV
A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
图像分割是计算机视觉的基本任务之一，随着深度学习的迅速发展，图像分割取得了很大的进展。然而，目前的分割算法大多依赖于像素级标注的可用性，这往往是昂贵的，繁琐的，费力的。为了减轻这一负担，过去几年人们越来越关注构建标签高效、基于深度学习的图像分割算法。本文提供了一个全面的审查标签有效的图像分割方法。为此，我们首先开发了一个分类法来组织这些方法，根据不同类型的弱标签（包括无监督，不精确监督，不完全监督和不准确监督）提供的监督，并辅以分割问题的类型（包括语义分割，实例分割和全景分割）。接下来，我们从一个统一的角度总结了现有的标签有效的图像分割方法，讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距-目前的方法大多是基于启发式先验知识，如跨像素相似性，跨标签约束，跨视图一致性，跨图像关系。最后，我们分享了我们对标签高效深度图像分割未来研究方向的看法。
2023-02-15 cs.CV
RCPS: Rectified Contrastive Pseudo Supervision for Semi-Supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Huashan Hospital（华山医院）；National Center for Neurological Disorders（国家神经疾病医学中心）；ShanghaiTech University（上海科技大学）
针对半监督医学图像分割中伪标签噪声大、特征类别可分性不足的问题，提出结合校正伪监督与双向体素对比学习的RCPS方法，经多数据集验证性能优于现有最优方法。
2023-10-09 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications（电气通信大学人工智能探索研究中心）
为了最小化与语义分割模型训练相关的标注成本，研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中，最广泛采用的方法是基于可视化的。然而，可视化结果并不等于语义分割。因此，为了在弱监督条件下执行精确的语义分割，需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数，通常使用条件随机场和使用分割模型的输出的迭代再训练。然而，这些方法并不总是保证精度的提高;因此，如果我们多次迭代地应用这些映射函数，最终精度不会提高或会降低。为了充分利用这类映射函数，本文假设映射函数的结果中含有噪声，通过去除噪声来提高精度。为了实现我们的目标，我们提出了自我监督的差异检测模块，它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验，验证了该方法的有效性，在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿人工智能实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
生物医学图像分割在计算机辅助诊断中起着重要的作用。然而，现有的基于CNN的方法严重依赖于大量的人工注释，这是非常昂贵的，需要大量的人力资源。在这项工作中，我们采用了由粗到精的策略，并提出了一个自监督校正学习范式的半监督生物医学图像分割。具体来说，我们设计了一个双任务网络，包括一个共享的编码器和两个独立的解码器分割和病变区域修复，分别。在第一阶段中，仅使用分割分支来获得相对粗略的分割结果。第二步，我们根据初始分割图对原始图像上检测到的病变区域进行掩模，并将其与原始图像一起再次发送到网络中，同时分别进行修复和分割。对于标记数据，该过程由分割注释监督，对于未标记数据，该过程由掩蔽病变区域的修复损失指导。由于这两个任务依赖于相似的特征信息，未标记的数据有效地增强了网络对病变区域的表示，并进一步提高了分割性能。此外，一个门控特征融合（GFF）模块的设计，将互补的功能，从两个任务。在三个不同任务的医学图像分割数据集上的实验，包括息肉，皮肤病变和眼底视盘分割，以及证明了我们的方法相比其他半监督方法的出色性能。该代码可在https://github.com/ReaFly/SemiMedSeg上获得。
2023-01-12 cs.CV
Triply Supervised Decoder Networks for Joint Detection and Segmentation
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
联合目标检测和语义分割可以应用于许多领域，例如自动驾驶汽车和无人水面船只。通过简单地共享两个任务的深度卷积特征，实现了这一目标的初步和重要进展。然而，这种简单的方案无法充分利用检测和分割是互利的这一事实。为了克服这个缺点，我们提出了一个框架，称为TripleNet的三重监督，包括面向检测的监督，类感知的分割监督，和类不可知的分割监督施加在解码器网络的每一层。类无关的分割监督为语义分割和目标检测提供对象性先验知识。除了三种类型的监督，两个轻量级模块（即，内连接模块和注意力跳过层融合）也被结合到解码器的每一层中。在所提出的框架中，检测和分割可以充分地相互促进。此外，在测试阶段不执行每个解码器层上的类不可知和类感知分段。因此，在测试阶段不会引入额外的计算成本。在VOC2007和VOC2012数据集上的实验结果表明，所提出的TripleNet能够在不增加额外计算成本的情况下提高检测和分割精度。
2018-09-25 cs.CV
HS3: Learning with Proper Task Complexity in Hierarchically Supervised Semantic Segmentation
Qualcomm AI Research（高通人工智能研究院）
虽然深度监督网络在最近的文献中很常见，但它们通常对所有过渡层施加相同的学习目标，尽管它们的表示能力不同。在本文中，我们提出了分层监督语义分割（HS 3），一个训练方案，监督中间层的分割网络学习有意义的表示不同的任务复杂性。为了在整个网络中实现一致的性能与复杂性的权衡，我们推导出各种类别集群来监督网络的每个过渡层。此外，我们设计了一个融合框架，HS 3-ESTA，聚合这些层，它可以提供丰富的语义上下文，并进一步提高最终的分割产生的层次特征。大量的实验表明，我们提出的HS 3方案在不增加推理成本的情况下大大优于vanilla深度监督。我们提出的HS 3-ESTA框架进一步改进了分割预测，并在两个大型分割基准上实现了最先进的结果：NYUD-v2和Cityscapes。
2021-11-03 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon（里斯本大学高等技术学院）
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络（CNN）。在本文中，我们考虑弱监督分割图像中的火灾，其中只有图像标签被用来训练网络。我们表明，在火灾分割的情况下，这是一个二进制分割问题，在中间层的分类CNN的特征的平均值可以比传统的类激活映射（CAM）方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明，明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）；University of Siegen（锡根大学）
由于完全注释的图像的稀缺性，弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络（CNN）。该方法引入了一种新的层，该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的，可以无缝集成到任何CNN架构。此外，投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明，在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
Learning Semantic Segmentation with Query Points Supervision on Aerial Images
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对航空图像像素级标注昂贵的问题，提出利用查询点标注生成超像素伪标签的弱监督语义分割方法，在降低标注成本的同时取得接近全监督的性能。
2024-08-05 cs.AI cs.CV cs.LG
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
PCA: Semi-supervised Segmentation with Patch Confidence Adversarial Training
Hebei University of Technology（河北工业大学）；University of Oxford（牛津大学）
基于深度学习的半监督学习（SSL）方法在医学图像分割中取得了很好的效果，可以利用大量未标记数据减轻医生昂贵的标注费用。与大多数现有的半监督学习方法不同，基于对抗训练的方法通过学习分割图的数据分布来区分来自不同来源的样本，从而使分割器生成更准确的预测。我们认为，目前的性能限制，这种方法的特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督对抗方法称为补丁的信心对抗训练（PCA）的医学图像分割。而不是单一的标量分类结果或像素级的置信度图，我们提出的ESTA创建补丁的置信度图，并将它们分类的补丁的规模。未标记数据的预测学习每个块中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于迭代收敛到最优状态，提高半监督分割性能。此外，在机器人的输入，我们补充图像上的语义信息约束，使其更简单的未标记的数据，以适应预期的数据分布。在自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BraTS）2019挑战数据集上进行的大量实验表明，我们的方法优于最先进的半监督方法，这证明了其对医学图像分割的有效性。
2022-07-24 cs.CV cs.LG eess.IV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Polite Teacher: Semi-Supervised Instance Segmentation with Mutual Learning and Pseudo-Label Thresholding
AI Clearing, Inc.（AI Clearing公司）；University of Innsbruck（因斯布鲁克大学）；University of Warsaw（华沙大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
我们提出了礼貌的老师，一个简单而有效的方法，半监督实例分割的任务。建议的架构依赖于教师-学生相互学习的框架。为了过滤掉噪声伪标签，我们使用置信度阈值的边界框和面具得分的面具。该方法已被测试与CenterMask，一个单级无锚检测器。在COCO 2017 val数据集上进行测试，我们的架构显著（约+8页。在掩模AP中）在不同的监督制度下优于基线。据我们所知，这是解决半监督实例分割问题的第一个作品之一，也是第一个致力于无锚检测器的作品。
2022-11-07 cs.AI cs.CV cs.LG
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督和域自适应语义分割，这是增强了自我监督的单眼深度估计（ESTA）只训练未标记的图像序列。特别地，我们在整个学习框架中全面地利用标注作为辅助任务：首先，基于标注和语义分割之间的样本多样性和难度的相关性，我们自动选择最有用的样本进行语义分割。其次，我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三，通过迁移和多任务学习，将学习到的特征知识迁移到语义分割中。第四，我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据，从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型，其中所有四个贡献都表现出显着的性能增益，并实现了半监督语义分割和半监督领域自适应的最新结果。特别是，只有1/30的Cityscapes标签，我们的方法实现了92%的完全监督基线性能，甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University（华南农业大学）；Mechanization Research Office of national citrus industry technology system（国家柑橘产业技术体系机械化研究室）；Guangdong Agricultural Information Monitoring Engineering Technology Research Center（广东省农业信息监测工程技术研究中心）
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果，但是这些基于监督学习的方法需要大量的注释数据，并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中，我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式，它可以大致预测柑橘的位置从每帧。然后，我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势，我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明，两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度，优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比，该方法使用少量的监督数据和大量的非监督数据，同时学习像素级位置信息和柑橘变化的时间信息，增强分割效果。
2021-05-04 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
Semi-supervision semantic segmentation with uncertainty-guided self cross supervision
Chinese Academy of Military Science（中国军事科学院）；National University of Defense Technology（国防科技大学）
交叉监督方法是实现半监督分割的一种有效方法，它利用大量未标记图像，基于独立集成模型学习交叉一致性。然而，交叉监督产生的错误伪标记信息会混淆训练过程，并对分割模型的有效性产生负面影响。此外，这种方法中集成模型的训练过程也增加了计算资源的消耗，降低了训练效率。为了解决这些问题，我们提出了一种新的交叉监督方法，即不确定性引导的自我交叉监督（USCS）。除了集成模型之外，我们首先设计了一个多输入多输出（MIMO）分割模型，该模型可以使用共享模型生成多个输出，从而对输出施加一致性，节省了参数和计算成本。另一方面，我们采用不确定性作为指导信息，鼓励模型专注于伪标签的高置信区域，并减轻自交叉监督中错误伪标签的影响，提高分割模型的性能。大量的实验表明，我们的方法达到了最先进的性能，同时节省了40.5%和49.1%的参数和计算成本。
2022-03-15 cs.CV
GASNet: Weakly-supervised Framework for COVID-19 Lesion Segmentation
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
胸部CT容积中感染区域的分割对于COVID-19患者的进一步诊断和治疗具有重要意义。由于病变形状复杂、外观多变，通常需要大量的体素级标记样本来训练病变分割网络，这是发展基于深度学习的医学图像分割算法的主要瓶颈。在本文中，我们提出了一个弱监督的病变分割框架，将生成对抗训练过程嵌入到分割网络中，称为GASNet。GASNet经过优化，可通过分割器分割COVID-19 CT的病变区域，并通过生成器将异常外观替换为生成的正常外观，因此恢复的CT体积无法通过重建器与健康CT体积区分开来。GASNet由许多健康和COVID-19受试者的胸部CT体积监督，没有体素级注释。在三个公共数据库上的实验表明，当使用少至一个体素级标记样本时，GASNet的性能与在数十个体素级标记样本上训练的全监督分割算法相当。
2020-10-19 cs.CV cs.LG eess.IV
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
在过去的几年里，用于语义医学图像分割的有监督深度学习方法越来越流行。然而，在资源受限的情况下，获取大量带注释的图像非常困难，因为它主要需要专家，成本高且耗时。半监督分割是一种有吸引力的解决方案，其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里，监督和半监督方法之间的差距已经大大缩小，但在分割方法方面仍然存在较大的差距。在这项工作中，我们采用了最先进的半监督分类方法FixMatch的语义分割任务，引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估：心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时，我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
Revisiting CycleGAN for semi-supervised segmentation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Roorkee（印度理工学院鲁尔基分校）；ETS Montreal（蒙特利尔工程技术学院）
在这项工作中，我们研究了仅使用一小部分注释图像来训练深度网络进行语义图像分割的问题，这可能会显着减少人类注释工作。特别是，我们提出了一种策略，利用CycleGAN在半监督分割中的不成对图像风格传输能力。与最近使用对抗学习进行半监督分割的作品不同，我们强制循环一致性来学习未配对图像和分割掩码之间的双向映射。这增加了一个无监督的正则化效果，当注释数据有限时，可以提高分割性能。在PASCAL VOC 2012、Cityscapes和ACDC三个不同的公共分割基准上的实验证明了该方法的有效性。该模型相对于基线实现了2-4%的改进，并且在此任务中优于最近的方法，特别是在低标记数据状态下。
2019-08-30 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督语义分割，这是增强了自监督单目深度估计从未标记的图像序列。特别是，我们提出三个关键贡献：（1）我们将知识从自监督深度估计期间学习的特征转移到语义分割，（2）我们通过使用场景的几何形状混合图像和标签来实现强数据增强，以及（3）我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型，其中所有三个模块都表现出显着的性能增益，并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH（浦项科技大学）
我们提出了一种新的深度神经网络架构，用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反，我们的算法将分类和分割合并，并为每个任务学习一个单独的网络。在这种架构中，与图像相关联的标签由分类网络识别，并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比，我们的算法表现出出色的性能，即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Pointly-Supervised Instance Segmentation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook AI（脸书人工智能部门）
我们提出了一个非常简单的点注释计划收集弱监督实例分割。除了边界框之外，我们还为每个限界框内均匀采样的一组点收集二进制标签。我们表明，现有的实例分割模型开发的全掩模监督可以无缝训练与基于点的监督通过我们的计划收集。值得注意的是，在COCO、PASCAL VOC、Cityscapes和LVIS上训练的Mask R-CNN，每个对象只有10个注释随机点，达到了其完全监督性能的94%-98%，为弱监督实例分割设定了一个强基线。新的点注释方案比注释完整对象遮罩快约5倍，使高质量的实例分割在实践中更容易获得。受基于点的标注形式的启发，我们对PointRend的实例分割模块进行了改进。对于每个对象，称为隐式PointRend的新架构为进行最终点级掩码预测的函数生成参数。隐式PointRend更直接，使用单个点级掩码丢失。实验结果表明，该模型更适合于基于点的监控。
2022-06-15 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而，1）这些工作不能以端到端的方式处理通用分割，以及2）全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中，我们提出了视觉语言全监督分割（VLOSS）。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力，我们利用全监督数据（即，全景分割数据、目标检测数据和图像-文本对数据）进行训练，从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率，充分释放全监督数据的力量，我们提出了几种先进的技术，即，FPN风格的编码器，可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术，VLOSS可以应用于各种开放世界的分割任务，而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是，在参数较少的情况下，我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；School of Computer and Control Engineering, Yantai University（烟台大学计算机与控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在基于模式识别的标签融合框架下，将半监督标签传播方法和监督随机森林方法相结合，提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观，并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地，使用随机森林方法来训练回归模型，所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果，以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明，该方法具有较好的分割效果。
2017-12-31 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation
本文提出一种端到端弱监督语义分割方法，通过双向监督机制和分支间交互操作，使分类分支与分割分支平等互促，从而提升分割性能。
2023-08-09 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
转向较少监督场景的方法是图像分割的关键，因为密集标签需要大量的人为干预。一般来说，通过用较弱的监督形式标记数据集来减轻注释负担，例如图像级标签或边界框。另一种选择是半监督设置，通常利用一些强注释和大量未标记/弱标记数据。在本文中，我们重新审视了半监督分割方案，并与以前的方法相比显着缩小了注释预算（就训练集的总标记时间而言）。通过一个非常简单的管道，我们证明了在低注释预算下，半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品，大大降低了标签成本。我们提出了Pascal VOC基准测试的结果，并通过考虑总注释预算来统一弱监督和半监督方法，从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Deep Compatible Learning for Partially-Supervised Medical Image Segmentation
Fudan University（复旦大学）
部分监督学习由于缺乏对未标记结构的监督而对于分割可能具有挑战性，并且直接应用完全监督学习的方法可能导致不兼容，这意味着在给定损失函数的情况下，基础事实不在优化问题的解集中。为了应对这一挑战，我们提出了一个深度兼容学习（DCL）框架，该框架使用仅标注了部分结构的图像来训练单个多标签分割网络。我们首先将部分监督分割公式化为与缺失标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备了条件分割策略，将标签从多个部分注释的图像传播到目标。此外，我们提出了一个双重学习策略，同时学习两个相反的标签传播映射，为未标记的结构提供实质性的监督。这两种策略分别被表述为相容形式，称为条件相容和对偶相容。我们表明，这个框架是普遍适用于传统的损失函数。与现有方法相比，该方法获得了显着的性能改进，特别是在只有少量训练数据集的情况下。三个分割任务的结果表明，所提出的框架可以实现与全监督模型相匹配的性能。
2022-06-18 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford（牛津大学）
本文研究无监督实例分割中的自监督特征，发现不同SSL方法的实例感知水平存在差异，DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
文本分割是一项具有挑战性的视觉任务，有许多下游应用。目前的文本分割方法需要像素级的标注，人工成本昂贵，应用场景有限。在本文中，我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是，文本识别方法提供每个文本实例的精确注意位置，并且注意位置可以馈送到文本自适应细化头（TAR）和文本分割头。具体而言，建议TAR生成伪标签，通过执行两阶段的迭代细化操作的注意位置，以适应相应的文本实例的准确边界。同时，文本分割头采用粗略的注意力位置来预测分割模板，这些模板由上述伪标签监督。此外，我们设计了一个掩码增强的对比学习，将我们的分割结果作为输入文本图像的增强版本，从而提高了视觉表示，并进一步提高了识别和分割的性能。实验结果表明，该方法在ICDAR 13-FST（$\%$改进18.95）和TextSeg（$\%$改进17.80）上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong（香港大学）
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation，其依赖更少、使用更简便且性能优于MMSegmentation，并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles
Leibniz University Hannover（汉诺威莱布尼茨大学）
我们提出了一个半监督的方法，全景分割的基础上ConsInstancy正则化，一种新的策略，半监督学习。它通过在训练期间强制执行预测实例表示和语义分割之间的一致性来利用完全未标记的数据，以提高分割性能。为此，我们还提出了新类型的实例表示，可以通过一个简单的前向路径通过全卷积网络（FCN）进行预测，为全景分割提供一个方便和简单的训练框架。更具体地说，我们提出了一个三维的实例方向图作为中间表示和两个互补的距离变换图作为最终表示的预测，提供独特的实例表示的全景分割。我们在硬化和新鲜混凝土的两个具有挑战性的数据集上测试了我们的方法，后者是作者在本文中提出的，证明了我们方法的有效性，优于最先进的半监督分割方法所取得的结果。特别是，我们能够证明，通过在我们的半监督方法中利用完全未标记的数据，与仅使用标记数据的完全监督训练相比，实现的总体准确度（OA）提高了5%。此外，我们超过了最先进的半监督方法所实现的OA高达1.5%。
2022-04-10 cs.CV
Instance-specific and Model-adaptive Supervision for Semi-supervised Semantic Segmentation
University of Sydney（悉尼大学）；Baidu VIS（百度视觉技术部）；Jilin University（吉林大学）
最近，半监督语义分割已经取得了很好的性能与一小部分的标记数据。然而，大多数现有的研究都平等对待所有未标记的数据，几乎没有考虑到未标记的实例之间的差异和训练困难。区分未标记的实例可以促进特定于实例的监督以动态地适应模型的演化。在本文中，我们强调的实例差异的重要性，并提出了一个特定的实例和模型自适应的监督半监督语义分割，命名为iMAS。依赖于模型的性能，iMAS采用类加权对称交-并来评估每个未标记实例的定量硬度，并以模型自适应的方式监督对未标记数据的训练。具体来说，iMAS通过根据评估的硬度加权其相应的一致性损失来逐步从未标记的实例中进行学习。此外，iMAS动态地调整每个实例的增强，使得增强实例的失真程度在整个训练过程中适应模型的泛化能力。不集成额外的损失和训练过程，iMAS可以获得显着的性能增益对当前最先进的方法在不同的半监督分割协议下的分割基准。
2022-11-21 cs.CV
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割，提出上下文感知条件交叉伪监督方法C$^3$PS，通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量，训练后期可聚焦难分割器官，在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Semi-Supervised and Self-Supervised Collaborative Learning for Prostate 3D MR Image Segmentation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；University of Gezira（杰济拉大学）
磁共振（MR）图像分割在许多临床应用中起着重要的作用。深度学习（DL）最近在各种图像分割任务上实现了最先进的甚至是人类水平的性能。然而，手动注释用于DL模型训练的体积MR图像是劳动力耗尽且耗时的。在这项工作中，我们的目标是训练一个用于前列腺3D MR图像分割的半监督和自监督协作学习框架，同时使用极其稀疏的注释，其中仅为每个体积MR图像的中心切片提供地面实况注释。具体地，使用半监督学习和自监督学习方法来生成两个独立的伪标签集合。然后通过布尔运算融合这些伪标签，以提取更可信的伪标签集。然后使用具有手动或网络自生成标签的图像来训练用于目标体积提取的分割模型。公开的前列腺MR图像数据集上的实验结果表明，虽然需要显着更少的注释工作，我们的框架生成非常令人鼓舞的分割结果。当难以获得具有密集注释的训练数据时，所提出的框架在临床应用中非常有用。
2022-11-16 cs.CV
