ATARS: An Aerial Traffic Atomic Activity Recognition and Temporal Segmentation Dataset
National Chengchi University（国立政治大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有交通原子活动数据集视角受限、仅含视频级标注的问题，该研究推出首个航拍多标签ATARS数据集，提出多标签时间原子活动识别新任务，实验验证了数据集的独特挑战并给出未来研究方向。
2025-03-24 cs.CV
Elucidating Meta-Structures of Noisy Labels in Semantic Segmentation by Deep Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
通过噪声标签对深度神经网络（DNN）进行监督训练在图像分类中得到了广泛的研究，但在图像分割中研究得很少。我们对由噪声分割标签训练的DNN的学习行为的理解仍然有限。我们解决这一不足，在生物显微镜图像的二进制分割和自然图像的多类分割。我们根据它们的噪声转移矩阵（NTM）对分割标签进行分类，并比较不同类型标签训练的DNN的性能。当我们随机抽取一小部分（例如，10%）或翻转大部分（例如，90%）的地面实况标签来训练DNN，它们的分割性能基本保持不变。这表明DNN在语义分割的监督训练中学习隐藏在标签中的结构，而不是像素级标签本身。我们称这些隐藏的结构为元结构。当使用对元结构具有不同扰动的标签来训练DNN时，它们在特征提取和分割中的性能一致地降低。相比之下，元结构信息的添加实质上提高了无监督模型在二进制语义分割中的性能。我们用数学方法将元结构表示为空间密度分布。我们从理论上和实验上展示了这种提法如何解释DNN的关键观察到的学习行为。
2022-10-08 cs.CV
A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
图像分割是计算机视觉的基本任务之一，随着深度学习的迅速发展，图像分割取得了很大的进展。然而，目前的分割算法大多依赖于像素级标注的可用性，这往往是昂贵的，繁琐的，费力的。为了减轻这一负担，过去几年人们越来越关注构建标签高效、基于深度学习的图像分割算法。本文提供了一个全面的审查标签有效的图像分割方法。为此，我们首先开发了一个分类法来组织这些方法，根据不同类型的弱标签（包括无监督，不精确监督，不完全监督和不准确监督）提供的监督，并辅以分割问题的类型（包括语义分割，实例分割和全景分割）。接下来，我们从一个统一的角度总结了现有的标签有效的图像分割方法，讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距-目前的方法大多是基于启发式先验知识，如跨像素相似性，跨标签约束，跨视图一致性，跨图像关系。最后，我们分享了我们对标签高效深度图像分割未来研究方向的看法。
2023-02-15 cs.CV
Learning random-walk label propagation for weakly-supervised semantic segmentation
NEC Laboratories America（美国电气股份有限公司实验室）
相对于其他视觉任务，针对语义分割的大规模训练是具有挑战性的，这是由于获得用于该任务的训练数据的费用。我们提出了一种新的训练方法来解决这个困难。给定廉价获得的稀疏图像标签，我们传播的稀疏标签，以产生猜测密集的标签。一个标准的基于CNN的分割网络被训练来模仿这些标记。标签传播过程是通过随机游走命中概率定义的，这导致了一个可微的参数化，其中包含了我们的损失中的不确定性估计。我们表明，通过学习标签传播与分割预测器，我们能够有效地学习语义边缘没有直接的边缘监督。实验还表明，以这种方式训练分割网络的性能优于朴素方法。
2018-02-01 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
由于难以获得高质量的标注，从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割，往往产生噪声预测周围的对象边界。为了解决这个问题，我们采用了超像素表示，并开发了一种强大的迭代学习策略，该策略结合了分割网络的噪声感知训练和噪声标签细化，两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束，并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明，我们的方法优于最近的国家的最先进的方法，并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Scribble2Label: Scribble-Supervised Cell Segmentation via Self-Generating Pseudo-Labels with Consistency
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Korea University（高丽大学）
图像分割是显微细胞图像分析的基础。随着深度学习的最新进展，更准确和高通量的细胞分割已经变得可行。然而，大多数现有的基于深度学习的细胞分割算法需要完全注释的真实细胞标签，这是耗时且劳动密集型的。在本文中，我们介绍了Scribble2Label，这是一种新的弱监督细胞分割框架，它只利用少数涂鸦注释，而没有完整的分割标签。其核心思想是结合伪标签和标签过滤，从弱监督中生成可靠的标签。为此，我们通过迭代平均预测来利用预测的一致性来改进伪标签。我们通过将Scribble2Label与具有各种细胞图像模式（包括明场、荧光和电子显微镜）的几种最先进的细胞分割方法进行比较，展示了Scribble2Label的性能。我们还表明，我们的方法在不同级别的涂鸦细节上都能稳健地执行，这证实了在实际用例中只需要很少的涂鸦注释。
2020-06-24 cs.CV
Contextual Relationship-based Activity Segmentation on an Event Stream in the IoT Environment with Multi-user Activities
Korea Advanced Institute of Science and Technology（韩国科学技术院）
物联网环境中的人类活动识别在环境辅助生活中起着核心作用，其中人类活动可以表示为从各种智能对象生成的级联事件流。从串联的事件流中，每个活动都应该被单独区分，以便进行人类活动识别，从而提供用户可能需要的服务。在这方面，准确地分割整个流在每个活动的精确边界是必不可少的高优先级的任务，以实现活动识别。物联网环境中的多种人类活动会产生不同的事件流模式，这些模式的不可预测性使它们包含冗余或丢失的事件。在处理这个复杂的分割问题时，我们发现动态和混乱的模式会导致主要问题，原因是：包含事件流，冗余事件和共享事件。为了解决这些问题，我们利用了与活动状态相关的上下文关系，无论是正在进行的还是已终止/已开始的。为了发现流中事件之间的内在关系，我们利用LSTM模型进行活动分割。然后，我们的验证算法进行了修改，推断的边界位移位的边界。我们的实验显示了令人惊讶的结果，在我们自己的测试平台上，各种智能对象的准确率高达95%以上。这优于先前的作品，甚至不假设多用户活动的环境，在他们的测试环境中，他们的准确率略高于80%。这证明了我们的工作是可行的，足以应用于物联网环境。
2016-09-20 cs.CV
Deep Mutual Learning among Partially Labeled Datasets for Multi-Organ Segmentation
Digital Medical Research Center, School of Basic Medical Science, Fudan University（复旦大学基础医学院数字医学研究中心）；Shanghai Key Lab of Medical Image Computing and Computer Assisted Intervention（上海市医学影像计算与计算机辅助介入重点实验室）
针对部分标注数据集利用不足的问题，提出两阶段互学习方法，通过伪标签生成与特征共享互补信息，在九个数据集上实现多器官分割SOTA性能。
2024-07-17 cs.CV
Coarse-to-fine Semantic Segmentation from Image-level Labels
The City University of New York（纽约市立大学）；Northwestern Polytechnical University（西北工业大学）；The City College of New York（纽约市立学院）
基于深度神经网络的语义分割通常需要大规模成本扩展的注释用于训练以获得更好的性能。为了避免大多数方法所需的逐像素分割注释，最近一些研究人员尝试使用对象级标签（例如边界框）或图像级标签（例如图像类别）。在本文中，我们提出了一种新的递归粗到细语义分割框架的基础上，只有图像级的类别标签。对于每幅图像，首先通过基于卷积神经网络的无监督前景分割模型生成初始粗掩模，然后通过图模型增强。将增强的粗掩模馈送到全卷积神经网络以递归地细化。与现有的图像级基于标签的语义分割方法不同，该框架只需要为每幅图像标注一个标签，就可以处理包含多类对象的图像。仅在ImageNet上训练，我们的框架在PASCAL VOC数据集上实现了与其他基于图像级标签的最先进的语义分割相当的性能。此外，我们的框架可以很容易地扩展到前景对象分割任务，并实现了与互联网对象数据集上最先进的监督方法相当的性能。
2018-12-28 cs.CV
Learning Multi-level Region Consistency with Dense Multi-label Networks for Semantic Segmentation
The University of Adelaide（阿德莱德大学）
图像语义分割是图像理解中的一项基本任务。图像的每像素语义标记极大地受益于考虑局部和全局区域一致性的能力。然而，许多基于全卷积网络的方法并没有施加这种一致性，这可能会导致噪声和不可信的预测。我们通过提出一个密集的多标签网络模块来解决这个问题，该模块能够鼓励不同级别的区域一致性。这个简单但有效的模块可以很容易地集成到任何语义分割系统中。实验结果表明，密集多标签算法能够有效地去除不可信标签，消除混淆，从而提高语义分割系统的性能。
2017-01-25 cs.CV
Active Label Refinement for Semantic Segmentation of Satellite Images
University of Kassel（卡塞尔大学）；German Aerospace Center（德国航空航天中心）
本文提出一种两步走的卫星图像语义分割标签优化方法：先利用众包或预训练网络等低成本手段获取初始标签，再通过主动学习策略高效修正错误标签，实验证明该方法有效提升了分割网络的性能。
2023-09-12 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；School of Computer and Control Engineering, Yantai University（烟台大学计算机与控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在基于模式识别的标签融合框架下，将半监督标签传播方法和监督随机森林方法相结合，提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观，并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地，使用随机森林方法来训练回归模型，所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果，以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明，该方法具有较好的分割效果。
2017-12-31 cs.CV
CompareNet: Anatomical Segmentation Network with Deep Non-local Label Fusion
University of California, Los Angeles（加州大学洛杉矶分校）；RedNova Health
标签传播是一种流行的解剖分割技术。在这项工作中，我们提出了一种新的基于非本地标签融合的标签传播深度框架。我们的框架，名为CompareNet，结合了两个提取区别特征，并学习相似性度量，从而导致准确的分割。我们还引入了体素分类作为一个一元的潜在的标签融合功能，以减轻搜索失败的问题，现有的非本地融合策略。此外，CompareNet是端到端可训练的，所有参数都是一起学习的，以获得最佳性能。通过在两个公共数据集IBSRv2和MICCAI 2012上评估CompareNet的脑分割，我们发现它在准确性方面优于最先进的方法，同时对病理具有鲁棒性。
2019-10-10 cs.CV
Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation
Zhejiang University（浙江大学）；Nankai University（南开大学）
针对弱监督语义分割的不适定问题，本研究挖掘类别无关大模型segment-anything的“提示生成掩码”潜力，以弱标签为提示生成精确类别掩码，再用其制作伪标签训练分割网络，在PASCAL VOC 2012上验证了该方法的有效性，代码将开源。
2023-05-02 cs.CV
Superpixel-Guided Label Softening for Medical Image Segmentation
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯嘉里斯实验室）
感兴趣目标的分割是医学图像分析的核心任务之一，是定量分析不可缺少的环节。在开发基于机器学习的自动分割方法时，手动注释通常用作模型学习模仿的基础事实。虽然分割目标的大体积部分相对容易标记，但由于边界模糊和部分体积效应等，外围区域通常难以处理，并且很可能被贴上不确定性的标签。标记中的这种不确定性可能反过来导致训练模型的性能不令人满意。在本文中，我们提出了基于超像素的标签软化来解决上述问题。通过无监督的过分割生成，每个超像素预计代表局部均匀区域。如果超像素与注释边界相交，则我们认为该区域内的不确定标记的概率很高。在这种直觉的驱使下，我们根据到注释边界的有符号距离来软化该区域中的标签，并将[0，1]内的概率值分配给它们，与原始的“硬”二进制标签0或1相比。然后使用软化标签与硬标签一起训练分割模型。在脑MRI数据集和光学相干断层扫描数据集上的实验结果表明，这种概念简单且易于实现的方法对于3D和2D医学图像都实现了优于基线和比较方法的整体分割性能。
2020-07-17 cs.CV
SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network
Nanjing University of Science and Technology（南京理工大学）
点云语义分割是三维场景理解中的一项重要任务。现有的方法主要集中在采用大量的注释标签的监督语义分割。尽管如此，手动标记这样大的点云的监督分割任务是耗时的。为了减少标注标签的数量，我们提出了一个半监督语义点云分割网络，命名为SSPC-Net，其中我们通过从少量标注的3D点推断未标注点的标签来训练语义分割网络。在我们的方法中，我们首先将整个点云划分成超点，并建立超点图来挖掘点云中的长程依赖关系。基于构造的超点图，我们开发了一种动态标签传播方法来生成无监督超点的伪标签。特别地，我们采用超点丢弃策略来动态地选择生成的伪标签。为了充分利用生成的伪标签的无监督的叠加点，我们还提出了一个耦合的注意力机制的叠加点特征嵌入。最后，我们采用交叉熵损失训练的语义分割网络与监督的超点的标签和伪标签的无监督的超点。在各种数据集上的实验表明，我们的半监督分割方法可以实现更好的性能比目前的半监督分割方法与更少的注释3D点。我们的代码可在https://github.com/MMCheng/SSPC-Net上获得。
2021-05-24 cs.CV
Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels
A-STAR（新加坡科技研究局）；National University of Singapore（新加坡国立大学）
点云分析是近年来研究的热点问题之一，而点云分割是其中的重要内容。现有方法的成功归因于深度网络设计和大量的标记训练数据，其中后者被假设为总是可用的。然而，获得3D点云分割标签在实践中通常是非常昂贵的。在这项工作中，我们提出了一个弱监督点云分割方法，只需要一小部分的点被标记在训练阶段。这是通过学习梯度近似和利用额外的空间和颜色平滑度约束。在三个不同弱监督程度的公开数据集上进行了实验。特别是，我们提出的方法可以产生的结果是接近，有时甚至比它的完全监督的同行与10 $\times$少标签。
2020-04-08 cs.CV
Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
虽然自训练具有先进的半监督语义分割，但它严重遭受真实世界语义分割数据集上的长尾类分布，这使得伪标记数据偏向于大多数类。在本文中，我们提出了一个简单而有效的分布对齐和随机抽样（DARS）方法，以产生无偏的伪标签，匹配从标记数据估计的真实类分布。此外，我们还提供了一个渐进的数据增强和标记策略，以促进模型训练与伪标记数据。在Cityscapes和PASCAL VOC 2012数据集上的实验证明了该方法的有效性。虽然简单，我们的方法表现良好，与国家的最先进的方法相比。代码将在https://github.com/CVMI-Lab/DARS上提供。
2021-07-26 cs.CV
RePL: Pseudo-label Refinement for Semi-supervised LiDAR Semantic Segmentation
Dept. of CSE, POSTECH（浦项科技大学计算机科学与工程系）；GSAI, POSTECH（浦项科技大学人工智能研究生院）
RePL通过掩码重建识别并纠正伪标签中的潜在错误，提升伪标签质量，从而在激光雷达语义分割中取得最优性能。
2026-08-26 cs.CV
PseudoSeg: Designing Pseudo Labels for Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）；Google Cloud AI（谷歌云AI）；Google Brain（谷歌大脑）
半监督学习（SSL）的最新进展表明，一致性正则化和伪标记相结合可以有效地提高低数据状态下图像分类的准确率。与分类相比，语义分割任务需要更密集的标记成本。因此，这些任务极大地受益于数据高效的训练方法。然而，分割中的结构化输出带来了特殊的困难（例如，设计伪标记和增强）以应用现有的SSL策略。为了解决这个问题，我们提出了一种简单而新颖的伪标签重新设计，以生成经过良好校准的结构化伪标签，用于使用未标记或弱标记数据进行训练。我们提出的伪标签策略是网络结构不可知的，适用于一个阶段的一致性训练框架。我们证明了所提出的伪标签策略在低数据和高数据制度的有效性。大量的实验已经证明，通过明智地融合不同的源和强大的数据增强产生的伪标签是至关重要的一致性训练分割。源代码可在https://github.com/googleinterns/wss上获得。
2021-03-30 cs.CV
Hybrid Forests for Left Ventricle Segmentation using only the first slice label
Moulay Ismail University（穆莱伊斯梅尔大学）
机器学习模型在许多MRI图像分割中产生最先进的结果。然而，大多数这些模型都是在非常大的数据集上训练的，这些数据集来自专家手动标记。这个贴标签的过程非常耗时，并且花费专家的工作。因此，找到一种降低成本的方法是非常必要的。在本文中，我们提出了一种分割方法，利用MRI图像的序列结构，几乎放弃了这个标记任务。只有第一个切片需要手动标记训练模型，然后推断下一个切片的分割。推理结果作为再次训练模型的另一个数据。然后，更新后的模型推断第三个切片，并执行相同的过程，直到最后一个切片。该模型是一个组合的两个随机森林算法：经典的一个和最近的一个，即蒙德里安森林。我们应用我们的方法对人类左心室分割和结果是非常有前途的。此方法也可用于生成标签。
2018-04-30 cs.CV
Data-Efficient Semantic Segmentation of 3D Point Clouds via Open-Vocabulary Image Segmentation-based Pseudo-Labeling
University of Yamanashi（山梨大学）
本文提出PLOVIS算法，利用开放词汇图像分割模型生成伪标签，解决3D点云分割中训练数据不足的问题，通过两阶段过滤和类平衡内存银行提升训练效果，实验表明在数据稀缺条件下优于现有方法。
2026-10-22 cs.CV
Points2Polygons: Context-Based Segmentation from Weak Labels Using Adversarial Networks
Esri（环境系统研究所公司）；SeerAI
在应用的图像分割任务中，为训练提供大量精确标签的能力对于推理时模型的准确性至关重要。然而，这种开销往往被忽视，最近提出的分割架构严重依赖于地面真值标签的可用性和保真度，以实现最先进的精度。如果不承认创建足够的基础事实的困难，可能会导致过度依赖预先训练的模型，或者在现实世界的应用中缺乏采用。我们介绍点2 Polyclonal（P2P），一个模型，它利用上下文度量学习技术，直接解决这个问题。尽管使用轻量级分割模型（带有ResNet 18主干的U-Net）并且只能访问对象质心形式的弱标签，并且没有预训练，但Points 2 Polyclock在现有的完全监督分割基线上表现良好，训练数据有限。我们在几个不同的小型但非平凡的数据集上证明了这一点。我们表明，使用上下文数据的度量学习为一般的自我监督任务提供了关键的见解，并允许分割模型在计算机视觉中轻松地推广到传统的标签密集型领域。
2021-06-05 cs.CV
Multi-label Cloud Segmentation Using a Deep Network
Trinity College Dublin（都柏林大学三一学院）；Nanyang Technological University (NTU)（南洋理工大学）；National University of Singapore (NUS)（新加坡国立大学）
不同的经验模型已被开发用于云检测。人们越来越有兴趣为此目的使用地面天空/云图像。存在执行云的二进制分割的若干方法。在本文中，我们提出使用深度学习架构（U-Net）来执行多标签天空/云图像分割。所提出的方法优于最近的文献的大幅度。
2019-03-15 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义，如像素的标签校正，但忽略了成对的方式。事实上，我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察，我们提出了一个新的观点，通过合并像素明智的和成对的方式，其中监督来自嘈杂的类和亲和标签，分别噪声缓解。统一像素方式和成对方式，我们提出了一个强大的联合类亲和分割（JCAS）框架，以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性，设计了一个差分亲和力推理（DAR）模块，通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力，设计了类亲和损失校正（CALC）策略，通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时，CALC策略通过理论推导的一致性正则化，将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性，其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Label-efficient Segmentation via Affinity Propagation
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；The Hong Kong Polytechnical University（香港理工大学）
本文提出基于亲和力传播的局部与全局成对亲和力建模，生成软伪标签，高效插入现有分割网络，在框、点/涂鸦及CLIP引导分割任务中表现优越。
2023-10-17 cs.CV
Image Labeling and Segmentation using Hierarchical Conditional Random Field Model
RTMN University（RTMN大学）
利用分层条件随机场模型处理图像的标注问题。在标记新图像时，选择最近的聚类并使用相关的CRF模型来标记该图像。当输入图像时，首先使用CRF模型得到初始像素标签，然后找到具有最相似图像的聚类。最后用与该聚类相关的CRF模型对输入图像进行重新标记。本文提出了一种对具有正确信息的特定图像进行标记和分割的方法。
2012-01-16 cs.CV
PCAMs: Weakly Supervised Semantic Segmentation Using Point Supervision
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
用于生成语义分割的现有技术的方法严重依赖于大的图像集合，所述图像集合具有用感兴趣的标签或背景的类别标记的每个像素。提出这样的标签，特别是在需要专家做注释的领域，需要付出巨大的时间和金钱代价。几种方法已经表明，我们可以从更便宜的图像级标签中学习语义分割，但是点级标签的有效性，即所有像素标记和没有标记之间的健康折衷，仍然在很大程度上未被探索。本文提出了一种新的程序，产生语义分割的图像给出了一些点的水平注释。该方法包括在卷积神经网络（CNN）的训练中的点注释，用于产生改进的定位和类激活图。然后，我们使用另一个CNN来预测语义相似度，以便传播粗糙的类标签并创建伪语义分割标签。最后，我们建议使用我们的伪标签代替地面真值标签来训练一个通常完全监督的CNN，这进一步提高了性能，并通过在推理过程中只需要一个CNN而不是两个来简化推理过程。我们的方法在PASCAL VOC 2012数据集\cite{everingham2010pascal}上实现了点监督语义分割的最新结果，甚至优于最新方法，以实现更强的限界框和曲线监督。
2020-07-10 cs.CV
Zero-Shot Pseudo Labels Generation Using SAM and CLIP for Semi-Supervised Semantic Segmentation
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）
针对语义分割标注成本高的问题，本文提出利用 SAM 和 CLIP 进行零样本伪标签生成，并结合 UniMatch 提升伪标签质量以训练模型，在 PASCAL 和 MS COCO 数据集上验证了有效性。
2025-05-29 cs.CV
Self-Supervised Vision Transformers Are Efficient Segmentation Learners for Imperfect Labels
Yonsei University（延世大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出冻结自监督 vision transformer 主干并训练轻量分割头，以低成本利用涂鸦、点级、图像级及零样本视觉语言模型标签，在所有不完美标签设置下超越基线，最高提升 11.5%p。
2024-01-23 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment
School of Computer Science, University of Sydney（悉尼大学计算机学院）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算、工程与数学科学学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
针对2D和3D标签高效分割中伪标签噪声导致的预测差异问题，提出ERDA学习策略，通过熵正则化和分布对齐损失优化伪标签生成与分割模型，实现跨模态的高效分割。
2024-08-29 cs.CV
Do Instance Priors Help Weakly Supervised Semantic Segmentation?
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出SeSAM框架，利用SAM模型和弱标签（粗掩码、涂鸦、点）实现语义分割，通过分解类掩码、采样点提示、选择弱标签覆盖区域并迭代优化伪标签，提升分割质量。
2026-04-13 cs.CV
VoteNet: A Deep Learning Label Fusion Method for Multi-Atlas Segmentation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
深度学习（DL）方法是许多医学图像分割任务的最新技术。它们提供了许多优点：可以针对特定任务进行训练，测试时计算速度快，分割质量通常很高。相比之下，以前流行的多图谱分割（MAS）方法相对较慢（因为它们依赖于昂贵的配准），即使已经提出了复杂的标签融合策略，DL方法通常优于MAS。在这项工作中，我们提出了一种基于DL的标签融合策略（VoteNet），它在本地选择一组可靠的地图集，然后通过多个投票融合标签。对3D脑MRI数据的实验表明，通过选择一个良好的初始图谱集MAS与VoteNet显着优于其他一些标签融合策略，以及直接DL分割方法。我们还提供了一个实验分析的性能上限可实现我们的方法。虽然在实践中不太可能实现，但这一界限表明有进一步改进性能的空间。最后，为了解决标准MAS的运行时的缺点，我们所有的结果都使用了一个快速DL注册方法。
2019-05-31 cs.CV
Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation
Malong Technologies（码隆科技）；Shenzhen Malong Artificial Intelligence Research Center（深圳码隆人工智能研究中心）；The University of Hong Kong（香港大学）
弱监督实例分割的目标是在只给出图像级标签的情况下精确地检测和分割对象实例。与以前由多个离线阶段组成的方法不同，我们提出了顺序标签传播和增强网络（称为Label-PEnet），它以从粗到细的方式逐步将图像级标签转换为像素级标签。本文设计了多标签分类、目标检测、实例精化和实例分割四个级联模块，通过共享同一主干依次实现。级联的流水线交替地用课程学习策略来训练，该策略以增加的精度逐渐将标签从高级图像概括到低级像素。此外，我们还设计了一个建议校准模块，以探索分类网络找到识别对象部分的关键像素的能力，这是一个以相反顺序运行的后验证策略。我们评估了Label-PEnet在标准基准上挖掘实例掩码的效率：PASCAL VOC 2007和2012。实验结果表明，Label-PEnet的性能明显优于最先进的算法，即使与完全监督的方法也能获得相当的性能。
2020-04-24 cs.CV
Label Filling via Mixed Supervision for Medical Image Segmentation from Noisy Annotations
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出LF-Net标签填充框架，通过可信像素子集监督和软标签与标注者特征标签两种混合辅助监督，在仅使用噪声标注的情况下提升医学图像分割精度，并在多个数据集上取得优于现有方法的性能。
2024-10-21 cs.CV
Task Specific Pretraining with Noisy Labels for Remote Sensing Image Segmentation
Helmholtz Association（亥姆霍兹联合会）；German Federal Ministry of Education and Research（德国联邦教育与研究部）
本文提出利用带噪语义分割图进行任务特定预训练，通过实验分析各网络层鲁棒性及迁移学习效果，在两个数据集上验证了该方法能有效提升遥感图像分割精度。
2024-06-07 cs.CV
Imperfect Segmentation Labels: How Much Do They Matter?
University of Minnesota – Twin Cities（明尼苏达大学双城分校）
用于语义分割的标记数据集是不完美的，特别是在边界通常很微妙或定义不清的医学成像中。很少有工作已经做了分析的效果，标签错误的分割方法的性能。在这里，我们提出了一个大规模的研究模型的性能存在不同类型和程度的错误的训练数据。我们多次训练U-Net、SegNet和FCN 32，使用10种不同的地面真实扰动模式进行肝脏分割。我们的研究结果表明，对于每种架构，性能随着边界局部化错误而稳步下降，然而，U-Net对锯齿状边界错误的鲁棒性明显高于其他架构。我们还发现，每种架构对非边界本地化错误都非常鲁棒，这表明边界本地化错误与分类设置中的随机标签错误有本质的不同，并且更具挑战性。
2018-09-24 cs.CV
Incremental Learning in Semantic Segmentation from Image Labels
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）
虽然现有的语义分割方法取得了令人印象深刻的结果，他们仍然很难更新他们的模型逐渐发现新的类别。此外，逐像素的注释是昂贵且耗时的。本文提出了一种新的框架弱增量学习语义分割，旨在学习分割新的类，从廉价和大量可用的图像级标签。与需要离线生成伪标签的现有方法相反，我们使用辅助分类器，使用图像级标签进行训练并通过分割模型进行正则化，以在线获得伪监督并增量更新模型。我们处理的过程中固有的噪声，通过使用软标签产生的辅助分类器。我们在Pascal VOC和COCO数据集上证明了我们方法的有效性，优于离线弱监督方法，并获得了与完全监督的增量学习方法相当的结果。代码可以在https://github.com/fcdl94/WILSON上找到。
2022-03-31 cs.CV
Weakly-Supervised Semantic Segmentation by Learning Label Uncertainty
KU Leuven（鲁汶大学）；ESAT-PSI（ESAT-PSI（鲁汶大学电子工程系信号处理与多媒体研究部））
自深度学习兴起以来，许多计算机视觉任务都取得了重大进展。然而，深度学习的缺点是它非常需要数据。特别是对于分割问题，训练深度神经网络需要以像素完美的图像标签形式进行密集监督，这是非常昂贵的。在本文中，我们提出了一个新的损失函数训练分割网络，只有一个小的子集的像素完美的标签，但利用弱注释的训练样本的形式廉价的边界框标签。与最近使用框到掩码建议生成器的作品不同，我们的损失训练网络学习边界框内的标签不确定性，可以利用它来执行在线引导（即将框转换为分割掩码），同时训练网络。我们评估了我们的方法对二进制分割任务，以及多类分割任务（城市景观车辆和人）。我们在一个只有18%像素完美和82%边界框标签的数据集上训练了每个任务，并将结果与在一个完全像素完美的数据集上训练的基线模型进行了比较。对于二进制分割任务，我们的方法实现了与基线模型一样好的IoU得分~98.33%，而对于多类任务，我们的方法与基线模型一样好（77.5 vs. 79.8 mIoU）。
2021-10-12 cs.CV
RankSeg: Adaptive Pixel Classification with Image Category Ranking for Segmentation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；UC Berkeley（加州大学伯克利分校）
分割任务传统上被制定为完整标签像素分类任务，以从所有图像或视频共享的固定数量的预定义语义类别中预测每个像素的类别。然而，在这种表述之后，标准架构将不可避免地在更现实的设置下遇到各种挑战，其中类别的范围扩大（例如，超过1 K的水平）。另一方面，在典型的图像或视频中，只有少数类别，即，存在完整标签的一个小子集。出于这种直觉，在本文中，我们提出将分割分解为两个子问题：（i）图像级或视频级多标签分类和（ii）像素级秩自适应选择标签分类。给定一个输入图像或视频，我们的框架首先对完整的标签进行多标签分类，然后对完整的标签进行排序，并根据它们的类置信度得分选择一个小子集。然后，我们使用秩自适应像素分类器仅对选定的标签执行逐像素分类，该分类器使用一组面向秩的可学习温度参数来调整像素分类分数。我们的方法在概念上是通用的，并且可以通过简单地使用轻量级的多标签分类头和秩自适应像素分类器来改进各种现有的分割框架。我们证明了我们的框架的有效性与竞争力的实验结果在四个任务，包括图像语义分割，图像全景分割，视频实例分割，视频语义分割。特别是，通过我们的RankSeg，Mask 2Former在ADE 20 K全景分割/YouTubeVIS 2019视频实例分割/VSPW视频语义分割基准测试中分别获得了+0.8%/+0.7%/+0.7%的收益。
2022-07-20 cs.CV
Semantic Segmentation of highly class imbalanced fully labelled 3D volumetric biomedical images and unsupervised Domain Adaptation of the pre-trained Segmentation Network to segment another fully unlabelled Biomedical 3D Image stack
Indian Institute of Science（印度科学学院）
我们工作的目标是对三维生物医学体数据进行像素标签语义分割。对于大型的生物医学数据集，人工标注一直是一个难题。因此，我们考虑两种情况，其中一个数据集是完全标记的，另一个数据集假设是完全未标记的。我们首先对完全标记的各向同性生物医学源数据（FIBSEM）执行语义分割，并尝试将训练模型用于分割目标未标记数据集（SNEMI3D），该数据集在不同类型的细胞体和其他细胞成分的背景下与源数据集具有一些相似性。虽然，细胞成分的大小和形状各不相同。因此，在本文中，我们提出了一种新的方法，在无监督的领域自适应的上下文中，同时分类到细胞边界和细胞体的目标体数据的每个像素。此外，我们提出了一种新的方法，给予非均匀的权重，以不同的像素在训练图像中，同时执行像素级的语义分割的存在下，相应的像素明智的标签地图以及在源域中的训练原始图像。我们已经使用了熵图或距离变换矩阵从给定的地面真值标签图检索，这有助于克服医学图像数据中的类不平衡问题，其中细胞边界非常薄，因此非常容易被误分类为非边界。
2020-03-13 cs.CV
Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carl Zeiss AG（卡尔蔡司公司）；University of Applied Sciences Berlin（柏林应用科学大学）
像素分割是我们领域中最需要数据和注释的任务之一。提供代表性和准确的注释通常是关键任务，特别是对于具有挑战性的医疗应用。在本文中，我们提出了一个半弱监督分割算法，以克服这一障碍。我们的方法是基于一个新的配方的深度监督和学生-教师模型，并允许不同的监督信号的轻松集成。与以前的工作相比，我们表明，必须注意如何在较低层中集成深度监管，我们将多标签深度监管作为成功的最重要秘密因素。通过我们新颖的分割训练机制，灵活地利用完全标记的图像，标记有边界框，只是全局标签，或者根本没有，我们能够将昂贵标签的要求降低94.22% -将最佳完全监督基线的差距缩小到只有5%的平均IoU。我们的方法通过对视网膜流体分割的广泛实验进行了验证，我们对每种注释类型在提高分割性能方面的预期效果进行了深入分析。
2021-04-27 cs.CV
Automatic Neuronal Activity Segmentation in Fast Four Dimensional Spatio-Temporal Fluorescence Imaging using Bayesian Approach
Department of Radiology（放射科）；Department of Neuroscience Washington University in St Louis School of Medicine（神经科学系 华盛顿大学圣路易斯医学院）
本文提出一种贝叶斯深度学习框架，用于自动分割四维空间时间荧光成像中的神经元活动，提高检测精度和泛化能力。
2025-12-22 cs.CV
Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels
University of Copenhagen（哥本哈根大学）；Royal Danish Academy（丹麦皇家科学院）
针对图像与标签不对齐影响分割模型性能的问题，提出AnS方法，基于空间变换器模块，利用仿射变换转换标签，通过自监督正则化损失防止捷径学习，无需黄金标签，可同时实现高质量建筑物分割与精确标签-图像对齐。
2026-07-14 cs.CV
Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；ETH Zürich（苏黎世联邦理工学院）
本文提出Scribbles for All算法及基准，为多个流行分割数据集自动生成涂鸦标签，并证明基于其合成标签训练的模型性能可与人工标签媲美，推动了弱监督分割研究。
2024-08-22 cs.CV
Use square root affinity to regress labels in semantic segmentation
语义分割是计算机视觉中一项基本而重要的任务。许多以前的工作集中在利用亲和模式，以提高分割网络。这些研究大多采用亲和矩阵作为特征融合权值，作为注意力模型、非局部模型等嵌入网络模块的一部分。在本文中，我们将亲和矩阵与标签相关联，以监督的方式利用亲和度。具体来说，我们利用标签生成一个多尺度标签亲和矩阵作为结构监督，我们使用平方根核计算输出层上的非局部亲和矩阵。有了这两个亲和力，我们定义了一个新的损失称为亲和力回归损失（AR损失），这可以是一个辅助损失提供成对的相似性惩罚。我们的模型很容易训练，并增加了很少的计算负担，没有运行时的推理。在NYUv2数据集和Cityscapes数据集上的实验表明，该方法能够有效地提高语义分割网络的性能.
2021-03-07 cs.CV
Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels
Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Microsoft（微软）
Segment3D利用2D分割基础模型自动生成训练标签，实现无需人工标注的类不可知3D场景分割，生成高质量细粒度掩码，并支持新数据持续提升性能。
2023-12-28 cs.CV
Semi-Supervised Semantic Segmentation via Derivative Label Propagation
本文提出DerProp半监督语义分割框架，通过导数标签传播修正伪标签，缓解相似度歧义，提升分割性能。
2025-08-04 cs.CV
A Closer Look at Self-training for Zero-Label Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
能够分割在训练期间未观察到的不可见类是深度学习中的一个重要技术挑战，因为它有可能减少语义分割所需的昂贵注释。先前的零标签语义分割工作通过学习视觉语义嵌入或生成模型来实现这一任务。然而，它们容易在所看到的类上过拟合，因为没有训练信号。在本文中，我们研究了具有挑战性的广义零标签语义分割任务，模型在测试时必须分割可见和不可见的类。我们假设训练图像中可能存在不可见类的像素，但没有进行注释。我们的想法是通过对未标记的像素使用自制的伪标签来监督模型，从而捕获未看到的类的潜在信息。我们提出了一个一致性正则化过滤出嘈杂的伪标签，通过采取从同一图像的不同增强生成的伪标签的交集。我们的框架生成伪标签，然后使用人工注释和伪标签数据重新训练模型。此过程重复几次迭代。因此，我们的方法在具有挑战性的广义零标签语义分割设置中在PascalVOC 12和COCO-stuff数据集上实现了新的最先进技术，超越了其他现有的方法，这些方法采用更复杂的策略来解决这一任务。
2021-04-21 cs.CV
COSST: Multi-organ Segmentation with Partially Labeled Datasets Using Comprehensive Supervisions and Self-training
Siemens Healthineers（西门子医疗）；Vanderbilt University（范德堡大学）
针对医学影像多器官分割中数据集仅部分标注的问题，提出COSST两阶段框架，融合真值与伪标签监督并通过潜在空间离群点过滤自训练，在12个CT数据集上显著优于现有方法。
2023-11-01 cs.CV
Label-Efficient Cross-Modality Generalization for Liver Segmentation in Multi-Phase MRI
Ho Chi Minh University of Science（胡志明科技大学）；National Central University（国立中央大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Houston（休斯顿大学）；Northwestern University（西北大学）
本文提出一种高效标注的分割方法，通过基础模型适应和协同伪监督，实现多模态和多厂商MRI下的肝脏分割，克服标注数据稀缺和分布不均的问题。
2026-04-14 cs.CV
Multi-level Contrast Network for Wearables-based Joint Activity Segmentation and Recognition
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
可穿戴设备的人类活动识别（HAR）是一项很有前途的研究，可以广泛应用于许多智能医疗应用。近年来，基于深度学习的HAR模型取得了令人瞩目的识别性能。然而，大多数HAR算法容易受到多类窗口问题的影响，这是必不可少的，但很少利用。在本文中，我们建议通过将分割技术引入HAR，产生联合活动分割和识别来缓解这个具有挑战性的问题。特别地，我们引入了用于样本级活动预测的多阶段时间卷积网络（MS-TCN）结构来联合分割和识别活动序列。此外，为了增强HAR对类间相似性和类内异质性的鲁棒性，提出了一种包含样本级和片段级对比度的多级对比度损失，以学习结构良好的嵌入空间，从而获得更好的活动分割和识别性能。最后，在两个公开的HAR数据集上通过综合实验验证了该方法的有效性，在各个评价指标上都取得了显著的改善。
2022-08-16 cs.AI cs.CV
Deep Self-Cleansing for Medical Image Segmentation with Noisy Labels
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学部生物医学工程学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州研究院）；Army Medical University (Third Military Medical University)（中国人民解放军陆军军医大学（第三军医大学））；The First Affiliated Hospital, College of Medicine, Zhejiang University（浙江大学医学院附属第一医院）；College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院）；University of Science and Technology of China（中国科学技术大学）
提出一种深度自清洗分割框架，通过高斯混合模型过滤噪声标签并生成伪标签，有效抑制噪声干扰，提升医学图像分割性能。
2024-09-26 cs.CV
