Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon(里斯本大学高等技术学院)
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络(CNN)。在本文中,我们考虑弱监督分割图像中的火灾,其中只有图像标签被用来训练网络。我们表明,在火灾分割的情况下,这是一个二进制分割问题,在中间层的分类CNN的特征的平均值可以比传统的类激活映射(CAM)方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明,明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Discriminative Localization in CNNs for Weakly-Supervised Segmentation of Pulmonary Nodules
Columbia University(哥伦比亚大学);Imperial College(帝国理工学院)
在肺部计算机断层扫描(CT)扫描上自动检测和分割肺结节可以促进早期肺癌诊断。用于CT扫描上的自动结节分割的现有监督方法需要用于训练的基于体素的注释,这是耗费人力和时间的。在这项工作中,我们提出了一种弱监督方法,该方法仅使用图像级标签进行训练,生成准确的体素级结节分割。通过调整为图像分类训练的卷积神经网络(CNN),我们所提出的方法从不同尺度的卷积单元的激活图中学习有区别的区域,并使用新的候选筛选框架来识别真正的结节位置。在公共LIDC-IDRI数据集上的实验结果表明,与基于CNN的全监督分割方法相比,我们的弱监督结节分割框架具有竞争力的性能。
2018-02-22 cs.CV
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督和域自适应语义分割,这是增强了自我监督的单眼深度估计(ESTA)只训练未标记的图像序列。特别地,我们在整个学习框架中全面地利用标注作为辅助任务:首先,基于标注和语义分割之间的样本多样性和难度的相关性,我们自动选择最有用的样本进行语义分割。其次,我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三,通过迁移和多任务学习,将学习到的特征知识迁移到语义分割中。第四,我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据,从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型,其中所有四个贡献都表现出显着的性能增益,并实现了半监督语义分割和半监督领域自适应的最新结果。特别是,只有1/30的Cityscapes标签,我们的方法实现了92%的完全监督基线性能,甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University(华南农业大学);Mechanization Research Office of national citrus industry technology system(国家柑橘产业技术体系机械化研究室);Guangdong Agricultural Information Monitoring Engineering Technology Research Center(广东省农业信息监测工程技术研究中心)
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果,但是这些基于监督学习的方法需要大量的注释数据,并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中,我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式,它可以大致预测柑橘的位置从每帧。然后,我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势,我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明,两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度,优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比,该方法使用少量的监督数据和大量的非监督数据,同时学习像素级位置信息和柑橘变化的时间信息,增强分割效果。
2021-05-04 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology(大连理工大学)
现有的弱监督语义分割(WSSS)方法通常利用预先训练的显著性检测(SD)模型的结果,而没有明确地对两个任务之间的连接建模,这不是最有效的配置。在这里,我们提出了一个统一的多任务学习框架,使用单个网络,\ie显着性和分段网络(SSNet)联合解决WSSS和SD。SSNet由分割网络(SN)和显着性聚合模块(SAM)组成。对于输入图像,SN生成分割结果,SAM预测每个类别的显著性,并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明,我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Diversified Multi-prototype Representation for Semi-supervised Segmentation
ETS Montreal(蒙特利尔高等技术学院)
该工作将半监督分割视为基于原型向量相关性的密集预测问题,并提出了一种简单的方法来用多个原型表示每个分割类。为了避免退化的解决方案,两个正则化策略应用于未标记的图像。第一个利用互信息最大化来确保网络考虑所有原型向量。第二个显式强制原型正交最小化他们的余弦距离。两个基准的医学分割数据集上的实验结果表明,我们的方法在提高分割性能的有效性时,很少有注释的图像。
2021-11-16 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释,我们提出了一种新的方法,不需要修改的分割训练过程。我们表明,当从给定的边界框中仔细设计输入标签时,即使是一轮训练也足以改善先前报告的弱监督结果。总的来说,我们的弱监督方法达到了完全监督模型质量的95%,无论是语义标记还是实例分割。
2016-11-23 cs.CV
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
在过去的几年里,用于语义医学图像分割的有监督深度学习方法越来越流行。然而,在资源受限的情况下,获取大量带注释的图像非常困难,因为它主要需要专家,成本高且耗时。半监督分割是一种有吸引力的解决方案,其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里,监督和半监督方法之间的差距已经大大缩小,但在分割方法方面仍然存在较大的差距。在这项工作中,我们采用了最先进的半监督分类方法FixMatch的语义分割任务,引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估:心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时,我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);University of Bonn(波恩大学);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督语义分割,这是增强了自监督单目深度估计从未标记的图像序列。特别是,我们提出三个关键贡献:(1)我们将知识从自监督深度估计期间学习的特征转移到语义分割,(2)我们通过使用场景的几何形状混合图像和标签来实现强数据增强,以及(3)我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型,其中所有三个模块都表现出显着的性能增益,并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Revisiting CycleGAN for semi-supervised segmentation
IIT Kharagpur(印度理工学院卡拉格普尔分校);IIT Roorkee(印度理工学院鲁尔基分校);ETS Montreal(蒙特利尔工程技术学院)
在这项工作中,我们研究了仅使用一小部分注释图像来训练深度网络进行语义图像分割的问题,这可能会显着减少人类注释工作。特别是,我们提出了一种策略,利用CycleGAN在半监督分割中的不成对图像风格传输能力。与最近使用对抗学习进行半监督分割的作品不同,我们强制循环一致性来学习未配对图像和分割掩码之间的双向映射。这增加了一个无监督的正则化效果,当注释数据有限时,可以提高分割性能。在PASCAL VOC 2012、Cityscapes和ACDC三个不同的公共分割基准上的实验证明了该方法的有效性。该模型相对于基线实现了2-4%的改进,并且在此任务中优于最近的方法,特别是在低标记数据状态下。
2019-08-30 cs.CV
Semi-supervised Segmentation Fusion of Multi-spectral and Aerial Images
University of Birmingham(伯明翰大学)
提出了一种基于一致性和分布式学习的半监督分割融合算法。无监督分割融合(Unsupervised Segmentation Fusion,USF)的目的是通过计算NP问题的近似解,以较低的计算复杂性,在不同分割算法得到的不同分割结果之间达成一致。半监督被纳入USF使用一种新的算法称为半监督分割融合(SSSF)。在SSSF中,边信息的共同出现的像素在相同或不同的部分被制定为一个凸优化问题的约束。人工和真实世界的基准多光谱和航空图像的实验结果表明,所提出的算法比个别国家的最先进的分割算法的性能更好。
2015-02-26 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH(浦项科技大学)
我们提出了一种新的深度神经网络架构,用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反,我们的算法将分类和分割合并,并为每个任务学习一个单独的网络。在这种架构中,与图像相关联的标签由分类网络识别,并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比,我们的算法表现出出色的性能,即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督语义分割以其低标注成本的优势,近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则,扩大和限制的种子区域从类激活图(CAM)。众所周知,传统的CAM往往是不完整的或过度激活,由于监管不力。幸运的是,我们发现语义分割具有空间变换等变性,可以形成一些自我监督,以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点,制定了一个自监督规模等变网络(SSENet)。具体地说,一种新的尺度等变正则化精心设计,以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明,该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);School of Computer and Control Engineering, Yantai University(烟台大学计算机与控制工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在基于模式识别的标签融合框架下,将半监督标签传播方法和监督随机森林方法相结合,提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观,并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地,使用随机森林方法来训练回归模型,所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果,以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明,该方法具有较好的分割效果。
2017-12-31 cs.CV
Transformation Consistent Self-ensembling Model for Semi-supervised Medical Image Segmentation
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学)
深度卷积神经网络在各种医学图像计算任务上取得了显著进展。将监督式深度学习方法应用于医学图像时的一个常见问题是缺乏标记数据,这是非常昂贵且耗时的。在本文中,我们提出了一种新的半监督方法的医学图像分割,其中网络是优化的加权组合的一个共同的监督损失标记输入和标记和未标记的数据的正则化损失。为了利用未标记的数据,我们的方法鼓励训练中的网络在不同的正则化下对相同的输入进行一致的预测。针对半监督分割问题,我们在自集成模型中引入了一种包括旋转和翻转在内的一致性变换方案,增强了正则化对像素级预测的效果。针对半监督分割任务,我们在自集成模型中引入了变换一致性策略,以增强像素级预测的正则化效果。我们已经在三个典型但具有挑战性的医学图像分割任务上广泛验证了所提出的半监督方法:(i)来自国际皮肤成像协作(ISIC)2017数据集上的皮肤镜检查图像的皮肤病变分割,以及(iii)来自肝脏肿瘤分割挑战(LiTS)数据集上的体积CT扫描的肝脏分割。与现有技术相比,我们提出的方法在具有挑战性的2D/3D医学图像上显示出优越的分割性能,证明了我们的半监督方法用于医学图像分割的有效性。
2020-05-08 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology(哈尔滨工业大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而,1)这些工作不能以端到端的方式处理通用分割,以及2)全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中,我们提出了视觉语言全监督分割(VLOSS)。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力,我们利用全监督数据(即,全景分割数据、目标检测数据和图像-文本对数据)进行训练,从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率,充分释放全监督数据的力量,我们提出了几种先进的技术,即,FPN风格的编码器,可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术,VLOSS可以应用于各种开放世界的分割任务,而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是,在参数较少的情况下,我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经体积表示已经表明,多层感知机(MLP)可以通过多视图校准图像进行优化,以表示场景几何形状和外观,而无需显式3D监督。基于学习的辐射场,对象分割可以丰富许多下游应用。然而,引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的,因为它需要每个视图注释。针对复杂的真实场景,利用NeRF进行了自监督学习的目标分割探索。我们的框架,称为NeRF与自监督对象分割NeRF-SOS,耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失,NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型,这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线,并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情:https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford(牛津大学)
本文研究无监督实例分割中的自监督特征,发现不同SSL方法的实例感知水平存在差异,DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong(香港中文大学)
为了克服数据饥饿的挑战,我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先,为了使模型能够以半监督的方式运行,提出了基于置信度的对比学习方法,以显式的方式实现实例判别,并使低置信度的低质量特征与高置信度的特征相匹配。此外,针对裂缝分割和道路成分提取中的类不平衡问题,提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后,我们还提出了一种有效的多级融合网络结构,以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果,即使只有3.5%的标记数据。
2022-11-28 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford(牛津大学)
我们提出了一个弱监督模型,共同执行语义和实例分割-一个特别相关的问题,因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比,我们的方法不预测任何重叠的实例。此外,我们能够分割“东西”和“东西”类,从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督,而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果,无论是完全监督还是弱监督(实现了约95%的完全监督性能)。此外,我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后,我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系,这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Fully and Weakly Supervised Referring Expression Segmentation with End-to-End Learning
指称表达式分割(RES)是根据给定的语言表达式对目标进行定位和分割的一种方法,受到了越来越多的关注。现有的方法共同考虑定位和分割步骤,这两个步骤依赖于融合的视觉和语言特征。我们认为,识别对象和生成掩码的目的之间的冲突限制了RES的性能。为了解决这个问题,我们提出了一个并行的位置内核分割流水线,以更好地隔离,然后互动的定位和分割步骤。在我们的管道中,语言信息不会直接污染分割的视觉特征。具体地,定位步骤基于所述参考表达式定位图像中的目标对象,然后从定位步骤获得的视觉核指导分割步骤。该管道还使我们能够以弱监督的方式训练RES,其中像素级分割标签被中心和角点上的点击注释所取代。位置头是完全监督的,并以点击注释作为监督来训练,而分割头是以弱监督的分割损失来训练的。为了在弱监督环境下验证我们的框架,我们用点击注释注释了三个RES基准数据集(RefCOCO,RefCOCO+和RefCOCOg)。我们的方法简单但令人惊讶的有效性,在完全和弱监督环境下的性能大大优于所有以前最先进的RES方法。将发布基准代码和数据集。
2022-12-17 cs.CV
Uncertainty guided semi-supervised segmentation of retinal layers in OCT images
IBM Research - Australia(IBM澳大利亚研究院);NYU Langone Eye Center(纽约大学兰贡眼科中心);NYU School of Medicine(纽约大学医学院)
深度卷积神经网络在医学图像分割任务中表现出出色的性能。训练监督式深度学习方法时的常见问题是缺乏标记数据,这是耗时且成本高昂的。在本文中,我们提出了一种新的不确定性指导的半监督学习的基础上的学生-教师的方法训练的分割网络使用有限的标记样本和大量的未标记的图像。首先,使用贝叶斯深度学习从标记样本训练教师分割模型。训练后的模型用于为未标记的集合生成软分割标签和不确定性图。然后,使用软分割样本和使用新设计的损失函数从教师模型的不确定性估计的分割质量的相应逐像素置信度来更新学生模型。视网膜层分割任务的实验结果表明,该方法提高了分割性能相比,完全监督的方法,并与专家注释。所提出的半监督分割框架是一个关键的贡献,适用于各种成像方式的生物医学图像分割,其中访问带注释的医学图像是具有挑战性的
2021-03-02 cs.CV
Semi-Supervised and Self-Supervised Collaborative Learning for Prostate 3D MR Image Segmentation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);University of Gezira(杰济拉大学)
磁共振(MR)图像分割在许多临床应用中起着重要的作用。深度学习(DL)最近在各种图像分割任务上实现了最先进的甚至是人类水平的性能。然而,手动注释用于DL模型训练的体积MR图像是劳动力耗尽且耗时的。在这项工作中,我们的目标是训练一个用于前列腺3D MR图像分割的半监督和自监督协作学习框架,同时使用极其稀疏的注释,其中仅为每个体积MR图像的中心切片提供地面实况注释。具体地,使用半监督学习和自监督学习方法来生成两个独立的伪标签集合。然后通过布尔运算融合这些伪标签,以提取更可信的伪标签集。然后使用具有手动或网络自生成标签的图像来训练用于目标体积提取的分割模型。公开的前列腺MR图像数据集上的实验结果表明,虽然需要显着更少的注释工作,我们的框架生成非常令人鼓舞的分割结果。当难以获得具有密集注释的训练数据时,所提出的框架在临床应用中非常有用。
2022-11-16 cs.CV
ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles
Leibniz University Hannover(汉诺威莱布尼茨大学)
我们提出了一个半监督的方法,全景分割的基础上ConsInstancy正则化,一种新的策略,半监督学习。它通过在训练期间强制执行预测实例表示和语义分割之间的一致性来利用完全未标记的数据,以提高分割性能。为此,我们还提出了新类型的实例表示,可以通过一个简单的前向路径通过全卷积网络(FCN)进行预测,为全景分割提供一个方便和简单的训练框架。更具体地说,我们提出了一个三维的实例方向图作为中间表示和两个互补的距离变换图作为最终表示的预测,提供独特的实例表示的全景分割。我们在硬化和新鲜混凝土的两个具有挑战性的数据集上测试了我们的方法,后者是作者在本文中提出的,证明了我们方法的有效性,优于最先进的半监督分割方法所取得的结果。特别是,我们能够证明,通过在我们的半监督方法中利用完全未标记的数据,与仅使用标记数据的完全监督训练相比,实现的总体准确度(OA)提高了5%。此外,我们超过了最先进的半监督方法所实现的OA高达1.5%。
2022-04-10 cs.CV
SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network
Nanjing University of Science and Technology(南京理工大学)
点云语义分割是三维场景理解中的一项重要任务。现有的方法主要集中在采用大量的注释标签的监督语义分割。尽管如此,手动标记这样大的点云的监督分割任务是耗时的。为了减少标注标签的数量,我们提出了一个半监督语义点云分割网络,命名为SSPC-Net,其中我们通过从少量标注的3D点推断未标注点的标签来训练语义分割网络。在我们的方法中,我们首先将整个点云划分成超点,并建立超点图来挖掘点云中的长程依赖关系。基于构造的超点图,我们开发了一种动态标签传播方法来生成无监督超点的伪标签。特别地,我们采用超点丢弃策略来动态地选择生成的伪标签。为了充分利用生成的伪标签的无监督的叠加点,我们还提出了一个耦合的注意力机制的叠加点特征嵌入。最后,我们采用交叉熵损失训练的语义分割网络与监督的超点的标签和伪标签的无监督的超点。在各种数据集上的实验表明,我们的半监督分割方法可以实现更好的性能比目前的半监督分割方法与更少的注释3D点。我们的代码可在https://github.com/MMCheng/SSPC-Net上获得。
2021-05-24 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学学院)
文本分割是一项具有挑战性的视觉任务,有许多下游应用。目前的文本分割方法需要像素级的标注,人工成本昂贵,应用场景有限。在本文中,我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是,文本识别方法提供每个文本实例的精确注意位置,并且注意位置可以馈送到文本自适应细化头(TAR)和文本分割头。具体而言,建议TAR生成伪标签,通过执行两阶段的迭代细化操作的注意位置,以适应相应的文本实例的准确边界。同时,文本分割头采用粗略的注意力位置来预测分割模板,这些模板由上述伪标签监督。此外,我们设计了一个掩码增强的对比学习,将我们的分割结果作为输入文本图像的增强版本,从而提高了视觉表示,并进一步提高了识别和分割的性能。实验结果表明,该方法在ICDAR 13-FST($\%$改进18.95)和TextSeg($\%$改进17.80)上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe(SoftServe公司);Ukrainian Catholic University(乌克兰天主教大学)
我们提出了一种新的方法,弱监督语义分割,其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模,然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题:类不平衡和缺少标签。仅使用图像级注释作为监督,我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU,在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong(香港大学)
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation,其依赖更少、使用更简便且性能优于MMSegmentation,并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester(罗切斯特大学);Google Inc.(谷歌公司);ByteDance AI Lab(字节跳动人工智能实验室);Vaitl Inc.(维特尔公司)
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能,但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比,大量的弱标签(如姿势和全身遮罩)已经存在并包含相关信息。出于使用现有弱标签的可能性,我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签(如关键点)转换为身体部位掩模的初始估计,然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签,我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法(63.6% mIoU)相当的性能(62.0% mIoU)。此外,在扩展的半监督设置,所提出的框架优于国家的最先进的方法。此外,我们将我们提出的框架扩展到其他关键点监督的部分分割任务,如人脸解析。
2020-10-30 cs.CV
Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance
Institute of Building Materials Science, Leibniz University Hannover(莱布尼茨汉诺威大学建筑材料科学研究所);Institute of Photogrammetry and GeoInformation, Leibniz University Hannover(莱布尼茨汉诺威大学摄影测量与地理信息研究所)
为了利用和利用未标记的数据,基于一致性训练的语义分割的半监督框架已被证明是显着提高纯监督分割学习性能的强大工具。然而,一致性训练背后的共识原则至少有一个缺点,我们在本文中发现:数据中的标签分布不平衡。为了克服标准一致性训练的局限性,我们提出了一种新的半监督框架语义分割,引入额外的损失的基础上先验知识。具体来说,我们提出了一个轻量级的架构,由一个共享的编码器和一个主解码器,这是在监督的方式训练。一个辅助解码器被添加为额外的分支,以便利用基于共识训练的未标记数据,并且我们添加了从类分布和自动编码器正则化的先验信息中导出的额外约束。在本文提出的“混凝土聚合数据集”上进行的实验证明了所提出的方法的有效性,优于纯监督分割和标准一致性训练所取得的分割结果。
2021-04-22 cs.CV
Sparse Point-Guided Fusion of Supervised and Self-Supervised Learning Model for Seaweed Segmentation
Fujitsu Limited(富士通株式会社)
提出一种两阶段海藻分割方法,结合监督与自监督学习,利用稀疏点引导自监督学习实现精细分割,并通过MaskFusion融合实例掩码,在蓝碳量化中提升小海藻分割精度0.068 mIoU。
2026-06-23 cs.CV
On Evaluating Weakly Supervised Action Segmentation Methods
University of Bonn(波恩大学);Toyota Motor Europe(丰田汽车欧洲公司)
动作分割是在时间上分割未修剪视频的每一帧的任务。弱监督的动作分割方法,特别是从成绩单一直相当感兴趣的计算机视觉社区。在这项工作中,我们专注于弱监督动作分割方法的使用和评估的两个方面,这两个方面经常被忽视:多个训练运行的性能差异和选择特征提取器对这项任务的影响。为了解决第一个问题,我们在Breakfast数据集上对每个方法进行了5次训练,并提供了结果的平均值和标准差。我们的实验表明,这些重复的标准偏差在1和2.5%之间,并显着影响不同方法之间的比较。此外,我们对特征提取的研究表明,对于所研究的弱监督动作分割方法,更高级别的I3D特征比经典的IDT特征表现更差。
2021-10-21 cs.CV
Iterative Contrast-Classify For Semi-supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
时间动作分割是对长视频序列中每一帧的动作进行分类。由于逐帧标记的成本很高,我们提出了第一个半监督的时间动作分割方法。我们的方法取决于无监督的表示学习,这对于时间动作分割来说是一个独特的挑战。未修剪视频中的动作长度各不相同,并且具有未知的标签和开始/结束时间。跨视频的动作的顺序也可能不同。我们提出了一种新的方法来学习从时间卷积网络(TCN)的逐帧表示通过聚类输入功能添加时间接近条件和多分辨率相似性。通过将表示学习与传统的监督学习相结合,我们提出了一种“迭代-对比-分类(ICC)”的半监督学习方案。随着更多的标记数据,ICC的性能逐渐提高; ICC半监督学习,40%的标记视频,表现类似于完全监督的同行。对于100%标记的视频,我们的ICC在早餐、50份沙拉和GTEA上分别将MoF提高{+1.8,+5.6,+2.5}%。
2021-12-08 cs.CV
Supervised Texture Segmentation: A Comparative Study
University of Jordan(约旦大学)
本文的目的是比较四种不同类型的特征提取方法的纹理分割。用于分割的特征提取方法有Gabor滤波器(GF)、高斯马尔可夫随机场(GMRF)、游程矩阵(RLM)和共生矩阵(GLCM)。结果表明,GF执行最好的分割质量,而灰度共生矩阵本地化的纹理边界更好地相比,其他方法。
2016-01-02 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Semi-supervised semantic segmentation needs strong, varied perturbations
NVIDIA(英伟达公司)
一致性正则化描述了一类在半监督分类问题中取得突破性成果的方法。先前的工作已经建立了集群假设-在此假设下,数据分布由低密度区域分隔的样本的均匀类集群组成-对其成功至关重要。我们分析了语义分割的问题,发现它的分布并没有表现出低密度区域分离类,并提供这作为解释为什么半监督分割是一个具有挑战性的问题,只有少数报告的成功。然后,我们确定选择增强作为关键,以获得可靠的性能,没有这样的低密度区域。我们发现,最近提出的CutOut和CutMix增强技术的适应变体在标准数据集中产生最先进的半监督语义分割结果。此外,鉴于其具有挑战性的性质,我们建议语义分割作为一个有效的酸测试评估半监督正则化。执行网址:https://github.com/Britefury/cutmix-semisup-seg。
2020-08-11 cs.CV
Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们研究了半监督语义分割问题,通过探索标记数据和额外的未标记数据。我们提出了一种新的一致性正则化方法,称为交叉伪监督(CPS)。我们的方法对同一输入图像的不同初始化扰动的两个分割网络的一致性。从一个扰动的分割网络输出的伪独热标签映射被用于以标准交叉熵损失来监督另一个分割网络,反之亦然。CPS一致性有两个作用:鼓励两个扰动网络对同一输入图像的预测之间的高度相似性,以及通过使用具有伪标签的未标记数据来扩展训练数据。实验结果表明,该方法在Cityscapes和PASCAL VOC 2012上实现了最先进的半监督分割性能。代码可在https://git.io/CPS上获得。
2021-06-04 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学)
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别,例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈,并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性,它们容易产生累积错误。本文针对现有的弱监督语义分割方法,通过引入两条反馈链,提出了一种通用的自适应机制,从而构成一个闭环系统。具体地,第一链通过合并跨图像结构信息来迭代地产生动态种子,而第二链通过定制的随机游走过程来进一步扩展种子区域,以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明,我们的网络比最先进的方法性能更好,计算和内存负担更少。
2019-05-29 cs.CV
C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
时间动作分割为包含序列中的多个动作的输入未修剪视频中的每个帧标记动作标签。对于时间动作分割的任务,我们提出了一个编码器-解码器风格的架构命名为C2F-TCN具有“粗到细”的整体解码器输出。C2F-TCN框架增强了一种新的模型不可知的时间特征增强策略,该策略由计算成本低廉的随机最大池化段策略形成。它在三个基准动作分割数据集上产生更准确和校准良好的监督结果。我们表明,该架构是灵活的监督和表示学习。根据这一点,我们提出了一种新的无监督的方法来学习C2F-TCN的逐帧表示。我们的无监督学习方法取决于输入特征的聚类能力和从解码器的隐式结构形成多分辨率特征。此外,我们通过将表示学习与传统的监督学习相结合,提供了第一个半监督的时间动作分割结果。我们的半监督学习方案,称为"迭代-对比-分类(ICC分类)“,通过更多的标记数据逐步提高性能。C2F-TCN中的ICC半监督学习,具有40%的标记视频,与完全监督的同行表现相似。
2022-12-20 cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University(路德维希-马克西米利安大学);Hensoldt Analytics(亨索尔特分析公司)
视频对象分割(VOS)已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果,但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而,自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷,但尚未被用于视频域。在这项工作中,我们提出了一个框监督的视频对象分割建议网络,它利用了固有的视频属性。我们的方法采用了以下方式的对象运动:首先,运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次,我们引入了一种新的运动感知的亲和力损失,鼓励网络预测积极的像素对,如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法,而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融,证明了我们方法的稳健性。
2022-02-16 cs.CV
ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning
Chalmers University of Technology(查尔姆斯理工大学);Volvo Cars(沃尔沃汽车)
语义分割的最新技术水平在性能上稳步提高,从而在许多不同的应用中实现更精确和可靠的分割。然而,进展受到生成用于训练的标签的成本的限制,这有时需要为单个图像进行数小时的手工劳动。正因为如此,半监督方法已被应用于这项任务,并取得了不同程度的成功。一个关键的挑战是,在半监督分类中使用的常见的增强是不太有效的语义分割。我们提出了一种新的数据增强机制称为ClassMix,它通过混合未标记的样本来生成增强,通过利用网络的预测来尊重对象边界。我们在两个常见的半监督语义分割基准上评估了这种增强技术,表明它达到了最先进的结果。最后,我们还提供了广泛的消融研究,比较不同的设计决策和培训制度。
2020-11-29 cs.CV
A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation
Alibaba DAMO Academy(阿里巴巴达摩院);The University of Adelaide(阿德莱德大学)
近年来,语义分割取得了重大进展。然而,监督语义分割的成功通常依赖于大量的标记数据,这是耗时和昂贵的获得。受半监督学习方法在图像分类中的成功启发,本文提出了一种简单有效的用于语义分割的半监督学习框架。我们证明,魔鬼在细节中:一组简单的设计和训练技术可以共同提高半监督语义分割的性能显着。以前的作品[3,27]未能有效地在伪标签学习中使用强增强,因为强增强引起的大分布变化会损害批量归一化统计。我们设计了一个新的批处理规范化,即分布特定的批处理规范化(DSBN)来解决这个问题,并证明了强大的增强语义分割的重要性。此外,我们还设计了一个自校正损耗,它在抗噪声方面是有效的。我们进行了一系列的消融研究,以显示每个组件的有效性。我们的方法在Cityscapes和Pascal VOC数据集的半监督设置中获得了最先进的结果。
2021-08-25 cs.CV
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research(迪士尼研究院);University of Waterloo(滑铁卢大学)
最新的语义分割方法训练深度卷积神经网络,具有完全注释的掩码,需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理,从部分输入(例如,涂鸦或种子)生成完整的掩码。但是,由于标准损失函数(例如交叉熵)不能将种子与潜在的错误标记的其他像素区分开,因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发,我们通过一种新的原则性损失函数来评估网络输出,并以"浅"分割为标准,如归一化割,来解决这些问题。与之前的工作不同,我们损失的交叉熵部分仅评估标签已知的种子,而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失,其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院)
本文提出SemiSAM策略,利用SAM生成的伪标签作为额外监督,在标注极少时显著提升半监督医学图像分割性能,并具备即插即用效率。
2024-10-23 cs.CV
Flow-guided Semi-supervised Video Object Segmentation
提出了一种基于光流的半监督视频对象分割方法。光流通常被用作无监督视频对象分割中的附加指导信息。然而,它在半监督视频对象分割的相关性还没有得到充分的探讨。在这项工作中,我们遵循编码器-解码器的方法来解决分割任务。提出了一种从光流和图像中提取组合信息的模型,然后将其用作目标模型和解码器网络的输入。不同于以往的方法,拼接使用的图像数据和光流的信息集成,一个简单而有效的注意力机制是利用在我们的工作。在DAVIS 2017和YouTube-VOS 2019上的实验表明,通过将从光流中提取的信息整合到原始图像分支中,可以获得很强的性能增益,并且我们的方法达到了最先进的性能。
2023-01-25 cs.CV
Self-supervised Segmentation via Background Inpainting
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);The University of British Columbia(不列颠哥伦比亚大学);Balgrist University Hospital(巴尔格里斯特大学医院);University of Zurich(苏黎世大学)
虽然有监督的目标检测和分割方法实现了令人印象深刻的准确性,他们推广不良的图像,其外观显着不同的数据,他们已经trainedon.To解决这个问题时,注释数据是昂贵的,我们引入了一个自我监督的检测和分割方法,可以与潜在的移动摄像机捕获的单个图像。在我们的方法的核心在于观察对象分割和背景重建是相互关联的任务,并且,对于结构化场景,背景区域可以从周围环境中重新合成,而描绘移动对象的区域则不能。我们将这种直觉编码成一个自我监督的损失函数,我们利用它来训练一个基于建议的分割网络。考虑到提案的离散性,我们开发了一种基于蒙特卡洛的训练策略,该策略允许算法探索对象提案的大空间。我们将我们的方法应用于图像中的人体检测和分割,这些图像在视觉上偏离标准基准,并且优于现有的自监督方法。
2020-11-11 cs.CV
Self-supervised Training of Proposal-based Segmentation via Background Prediction
EPFL(洛桑联邦理工学院);Balgrist University Hospital, University of Zurich(苏黎世大学巴尔格里斯特大学医院)
虽然监督的目标检测方法实现了令人印象深刻的准确性,他们推广不良的图像,其外观显着不同的数据,他们已经trainedon.To解决这个问题的情况下,注释数据是昂贵的,我们引入了一个自我监督的方法来目标检测和分割,能够与单目图像捕获的移动相机。我们的方法的核心在于观察分割和背景重建是相互关联的任务,以及这样的想法,因为我们观察到一个结构化的场景,背景区域可以从周围环境中重新合成,而描绘对象的区域则不能。因此,我们将这种直觉编码为一个自我监督的损失函数,我们利用它来训练一个基于建议的分割网络。考虑到对象提案的离散性,我们开发了一种基于蒙特卡洛的训练策略,使我们能够探索对象提案的大空间。我们的实验表明,我们的方法在图像中产生准确的检测和分割,这些图像在视觉上偏离标准基准,优于现有的自监督方法,并接近利用大型注释数据集的弱监督方法。
2019-07-18 cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University(南京大学);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Shandong Women’s University(山东女子学院);Southeast University(东南大学)
在半监督医学图像分割中,大多数以前的工作都基于一个共同的假设,即较高的熵意味着较高的不确定性。在本文中,我们研究了一种新的方法来估计不确定性。我们观察到,当在一定程度上分配不同的误分类成本时,如果像素的分割结果变得不一致,则该像素在其分割中表现出相对的不确定性。因此,我们提出了一种新的半监督分割模型,即基于我们的不确定性估计和单独的自训练策略的保守-激进网络(CoraNet)。特别是,我们的CoraNet模型由三个主要组件组成:保守-激进模块(CRM),特定区域分割网络(C-SN)和不确定区域分割网络(UC-SN),它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集,包括CT胰腺,MR内镜,和MR多结构分割的ACDC数据集。与目前的技术水平相比,我们的CoraNet表现出了卓越的性能。此外,我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
Semi-Supervised Medical Image Segmentation via Dual Networks
AIPM, School of Artificial Intelligence, Guilin University of Electronic Technology(桂林电子科技大学人工智能学院AIPM);College of Computer Science and Engineering, Jeddah University(吉达大学计算机科学与工程学院)
提出一种基于双网络架构和自监督对比学习的半监督三维医学图像分割方法,减少对标注数据依赖,提升伪标签可靠性,在临床MRI上优于现有技术。
2025-05-23 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London(帝国理工学院)
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而,大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时,特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题,该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此,我们提出三个想法来解决这个问题,更具体地说,我们的贡献是:1)抑制假阳性并改进弱监督训练的新的稀疏前景损失,2)利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失,3)可变形的Transformer编码器颈部,用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点,优于一些最先进的全监督模型。此外,我们的框架可以用于微调在自然图像分割数据集上训练的模型,从而大大提高其息肉分割的性能,并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Self-Supervised Learning for Segmentation
IIIT-Hyderabad(海得拉巴国际信息技术学院)
自监督学习正在成为大型数据集迁移学习的有效替代。在这项工作中,我们使用肾脏分割来探索这一想法。利用肾脏的解剖不对称性,通过自监督学习定义肾脏分割的有效代理任务。使用连体卷积神经网络(CNN)将来自CT体积的给定的一对肾脏切片分类为相同侧或不同侧的肾脏。然后,使用另一个深CNN,使用连体CNN的一个分支作为分割网络的编码器,来传递该知识以用于肾脏的分割。对包含腹部区域计算机断层扫描(CT)扫描的公开数据集的评估结果表明,相对于传统从头开始训练的网络,可以提高性能和快速收敛。这是值得注意的,因为在训练中没有使用额外的数据/昂贵的注释或增强。
2021-01-14 cs.CV
Semi-supervised 3D shape segmentation with multilevel consistency and part substitution
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
缺乏细粒度的3D形状分割数据是发展基于学习的3D分割技术的主要障碍。我们提出了一种有效的半监督方法,用于从一些标记的3D形状和大量未标记的3D数据中学习3D分割。对于未标记的数据,我们提出了一种新的多级一致性损失,以执行在多个级别(点级,部分级和层次级)的3D形状的扰动副本之间的网络预测的一致性。对于标记的数据,我们开发了一个简单而有效的部分替换方案,以增加标记的3D形状与更多的结构变化,以增强训练。我们的方法已被广泛验证的PartNet和ShapeNetPart上的三维对象语义分割的任务,和室内场景语义分割的ScanNet。它表现出优于现有的半监督和无监督预训练3D方法的性能。我们的代码和训练模型可在www.example.com上公开获取。
2022-04-20 cs.CV