Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon（里斯本大学高等技术学院）
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络（CNN）。在本文中，我们考虑弱监督分割图像中的火灾，其中只有图像标签被用来训练网络。我们表明，在火灾分割的情况下，这是一个二进制分割问题，在中间层的分类CNN的特征的平均值可以比传统的类激活映射（CAM）方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明，明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation
Google, Inc.（谷歌公司）；UCLA（加州大学洛杉矶分校）
深度卷积神经网络（DCNN）在大量具有强像素级注释的图像上训练，最近显着推动了语义图像分割的最新技术。我们研究了从（1）弱注释的训练数据（如边界框或图像级标签）或（2）来自一个或多个数据集的少数强标记和许多弱标记图像的组合中学习DCNN进行语义图像分割的更具挑战性的问题。我们开发了期望最大化（EM）方法，用于在这些弱监督和半监督设置下进行语义图像分割模型训练。广泛的实验评估表明，所提出的技术可以学习模型提供具有挑战性的PASCAL VOC 2012图像分割基准的竞争力的结果，同时需要显着减少注释工作。我们在https://bitbucket.org/deeplab/deeplab-public上共享实现所提出的系统的源代码。
2015-10-05 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释，我们提出了一种新的方法，不需要修改的分割训练过程。我们表明，当从给定的边界框中仔细设计输入标签时，即使是一轮训练也足以改善先前报告的弱监督结果。总的来说，我们的弱监督方法达到了完全监督模型质量的95%，无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Content-aware Token Sharing for Efficient Semantic Segmentation with Vision Transformers
Eindhoven University of Technology（埃因霍温理工大学）
针对 ViT 语义分割中的 token 冗余，提出 CTS，通过类别无关策略网络让同类图像块共享 token，在多数据集、主干和解码器上最多减少 44% token 且保持分割质量。
2023-06-03 cs.CV
Dynamic Token-Pass Transformers for Semantic Segmentation
East China Normal University（华东师范大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
本文提出动态令牌传递视觉Transformer（DoViT）用于语义分割，通过自适应停止简单令牌的自注意力计算降低推理成本，在减少40%~60% FLOPs的同时mIoU下降不超0.8%，Cityscapes上ViT-L/B推理速度超2倍提升。
2023-08-03 cs.CV
Tokenizing Semantic Segmentation with Run Length Encoding
Department of Computing Science（计算科学系）；University of Alberta（阿尔伯塔大学）；Edmonton（埃德蒙顿）；Canada（加拿大）
本文提出了一种新的统一方法，通过语言模型输出分割掩码序列来实现图像和视频的语义分割。采用运行长度编码对分割掩码进行离散化，并改进Pix2Seq框架以学习自回归模型。提出新的分词策略以压缩序列长度，使该方法适用于视频。同时展示如何将实例信息整合到分词过程中以实现全景分割。
2026-04-15 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology（华中科技大学）；VIVO Inc.（维沃移动通信有限公司）
人类具有很强的类无关对象分割能力，能够精确地勾画出未知对象的边界，这促使我们提出了一种基于框监督类无关对象分割（BoxCaseg）的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码，作为代理地面实况，以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像，弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当，并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
ClustViT: Clustering-based Token Merging for Semantic Segmentation
Department of Electrical and Photonics Engineering, DTU - Technical University of Denmark（电气与光子工程系，丹麦技术大学）
ClustViT通过聚类模块和再生模块优化视觉Transformer，减少计算量并提升分割性能，实现更高效的语义分割。
2026-05-01 cs.CV
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation
IST Austria（奥地利科学技术学院）
我们引入了一个新的损失函数的语义图像分割模型的弱监督训练的基础上的三个指导原则：种子与弱本地化线索，扩大对象的基础上的信息，哪些类可以出现在图像中，并限制分割，以符合对象的边界。我们通过实验证明，使用所提出的损失函数训练深度卷积神经网络，在具有挑战性的PASCAL VOC 2012数据集上，比以前最先进的方法得到了更好的分割。此外，我们深入了解我们的方法的工作机制，详细的实验研究，说明了如何分割质量的影响所提出的损失函数，以及它们的组合。
2016-08-06 cs.CV
Dynamic Token Pruning in Plain Vision Transformers for Semantic Segmentation
CSIRO（联邦科学与工业研究组织）；South China University of Technology（华南理工大学）；The University of Adelaide（阿德莱德大学）
针对普通 Vision Transformer 语义分割计算量高的问题，提出按 token 难度提前退出并保留每类高置信度 token 的 DToP 动态剪枝方法，在不降低精度下减少 20%–35% 计算成本。
2023-09-28 cs.CV
Weakly Supervised Instance Segmentation for Videos with Temporal Mask Consistency
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
弱监督实例分割降低了训练模型所需的注释成本。然而，现有的方法，只依赖于图像级的类标签主要遭受错误，由于（a）部分分割的对象和（b）丢失的对象预测。我们表明，这些问题可以通过使用弱标记视频而不是图像进行训练来更好地解决。在视频中，跨帧的预测的运动和时间一致性提供了可以帮助分割的互补信号。我们是第一个探索使用这些视频信号来解决弱监督实例分割。我们提出了两种方法来利用我们的模型中的这些信息。首先，我们调整像素间关系网络（IRN），以有效地将运动信息在训练过程中。其次，我们引入了一个新的MaskConsistt模块，它通过在训练过程中在相邻帧之间传输稳定的预测来解决丢失对象实例的问题。我们证明了这两种方法共同提高了实例分割度量$AP_{50}$对两个数据集的视频帧：Youtube-VIS和Cityscapes分别由$5\%$和$3\%$。
2021-03-23 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications（电气通信大学人工智能探索研究中心）
为了最小化与语义分割模型训练相关的标注成本，研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中，最广泛采用的方法是基于可视化的。然而，可视化结果并不等于语义分割。因此，为了在弱监督条件下执行精确的语义分割，需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数，通常使用条件随机场和使用分割模型的输出的迭代再训练。然而，这些方法并不总是保证精度的提高;因此，如果我们多次迭代地应用这些映射函数，最终精度不会提高或会降低。为了充分利用这类映射函数，本文假设映射函数的结果中含有噪声，通过去除噪声来提高精度。为了实现我们的目标，我们提出了自我监督的差异检测模块，它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验，验证了该方法的有效性，在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
文本分割是一项具有挑战性的视觉任务，有许多下游应用。目前的文本分割方法需要像素级的标注，人工成本昂贵，应用场景有限。在本文中，我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是，文本识别方法提供每个文本实例的精确注意位置，并且注意位置可以馈送到文本自适应细化头（TAR）和文本分割头。具体而言，建议TAR生成伪标签，通过执行两阶段的迭代细化操作的注意位置，以适应相应的文本实例的准确边界。同时，文本分割头采用粗略的注意力位置来预测分割模板，这些模板由上述伪标签监督。此外，我们设计了一个掩码增强的对比学习，将我们的分割结果作为输入文本图像的增强版本，从而提高了视觉表示，并进一步提高了识别和分割的性能。实验结果表明，该方法在ICDAR 13-FST（$\%$改进18.95）和TextSeg（$\%$改进17.80）上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Weakly Supervised Instance Segmentation by Deep Community Learning
Seoul National University（首尔大学）；ETRI（韩国电子通信研究院）
提出了一种基于多任务深度社区学习的弱监督实例分割算法。该任务被制定为弱监督目标检测和语义分割的组合，其中同一类的单个对象被分别识别和分割。我们通过设计一个统一的深度神经网络架构来解决这个问题，该架构具有正反馈的目标检测循环，包括限界框回归、实例掩码生成、实例分割和特征提取。网络的每个组件都与其他组件进行积极的交互以提高准确性，我们模型的端到端可训练性使我们的结果更加强大和可重复。所提出的算法在弱监督设置中实现了最先进的性能，而无需在标准基准数据集上进行任何额外的训练，例如Fast R-CNN和Mask R-CNN。我们的算法的实现可在项目网页上获得：https://cv.snu.ac.kr/research/WSIS_CL。
2020-11-18 cs.CV
Weakly Supervised Semantic Segmentation Based on Web Image Co-segmentation
The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）
训练用于语义分割的全卷积网络（FCN）需要大量具有像素级标记的掩模，这涉及大量的人工劳动和注释时间。相比之下，Web图像及其图像级标签更容易获得，也更便宜。在这项工作中，我们提出了一种新的方法弱监督语义分割，只有图像级标签。该方法利用互联网检索大量的图像，并使用一个大规模的共同分割框架，以产生掩模检索到的图像。我们首先从搜索引擎中检索图像，例如Flickr和Google，使用语义类名作为查询，例如数据集PASCAL VOC 2012中的类名。然后，我们使用高质量的掩模产生的共同分割的检索图像以及目标数据集图像与图像级别的标签训练分割网络。在PASCAL VOC 2012的测试集上，我们获得了56.9的IoU得分，达到了最先进的性能。
2017-08-06 cs.CV
Weakly Supervised Instance Segmentation using Motion Information via Optical Flow
The University of Tokyo（东京大学）
弱监督的实例分割已经得到普及，因为它减少了模型训练所需的像素级掩模的高注释成本。最近的弱监督实例分割方法使用从静态图像获得的外观信息来检测和分割对象。然而，它提出了识别具有非歧视性外观的物体的挑战。在这项研究中，我们解决这个问题，通过使用从图像序列的运动信息。我们提出了一个双流编码器，利用从图像和光流中提取的外观和运动特征。此外，我们提出了一种新的成对损失，同时考虑外观和运动信息来监督分割。我们对YouTube-VIS 2019基准数据集进行了广泛的评估。我们的结果表明，该方法提高了平均精度的国家的最先进的方法由3.1。
2022-02-25 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University（首尔大学）；ASRI（先进技术研究中心）；INMC（纳米材料与技术研究所）；ISRC（智能系统研究中心）；Institute of Engineering Research（工程研究院）
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器，其对图像固有的低级别信息进行操作。在这项工作中，我们利用更高层次的信息，从一个训练有素的对象检测器的行为，通过寻找图像的最小区域，从对象检测器产生几乎相同的结果，因为它从整个图像。这些区域构成了边界框属性图（BBAM），其在其限界框中识别目标对象，从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外，我们还提供了对我们方法的详细分析，从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
TM-UNet: Token-Memory Enhanced Sequential Modeling for Efficient Medical Image Segmentation
Dalian University of Technology（大连理工大学）；University of Lincoln（林肯大学）；University of Nottingham（诺丁汉大学）；Waseda University（早稻田大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）；Yale University（耶鲁大学）
针对基于Transformer的医学图像分割方法计算成本高的问题，提出轻量级框架TM-UNet，通过多尺度令牌-记忆块实现线性复杂度的长程依赖捕获，在降低计算成本的同时优于现有方法。
2025-11-15 cs.CV
Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation
本文提出一种端到端弱监督语义分割方法，通过双向监督机制和分支间交互操作，使分类分支与分割分支平等互促，从而提升分割性能。
2023-08-09 cs.CV
Weakly-Supervised Lung Nodule Segmentation via Training-Free Guidance of 3D Rectified Flow
Chalmers University of Technology, Gothenburg, Sweden（楚德大学技术学院，哥德堡，瑞典）
本文提出一种无监督分割方法，结合预训练的校正流和预测器模型，通过无需训练的指导生成高质量肺结节分割结果，实验表明在LUNA16数据集上优于基线方法。
2026-04-20 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Università di Napoli Parthenope（那不勒斯帕泰诺佩大学）；La Rochelle Université（拉罗谢尔大学）
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割，并取得了出色的效果。然而，这些模型需要大量密集注释的图像。为了解决这个问题，我们提出了一种新的算法，使用超图卷积网络弱监督语义分割（HyperGCN-WSS）。我们的算法从数据集中的图像构造空间和k-最近邻（k-NN）图来生成超图。然后，我们训练一个专门的超图卷积网络（HyperGCN）架构，使用一些微弱的信号。HyperGCN的输出被命名为伪标签，稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估，使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research（迪士尼研究院）；University of Waterloo（滑铁卢大学）
最新的语义分割方法训练深度卷积神经网络，具有完全注释的掩码，需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理，从部分输入（例如，涂鸦或种子）生成完整的掩码。但是，由于标准损失函数（例如交叉熵）不能将种子与潜在的错误标记的其他像素区分开，因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发，我们通过一种新的原则性损失函数来评估网络输出，并以"浅"分割为标准，如归一化割，来解决这些问题。与之前的工作不同，我们损失的交叉熵部分仅评估标签已知的种子，而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失，其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
Know Your Attention Maps: Class-specific Token Masking for Weakly Supervised Semantic Segmentation
University of St.Gallen（圣加伦大学）
提出一种端到端方法，利用带多个类别特定[CLS]令牌的稀疏ViT的注意力图生成伪分割掩码，在多个基准上优于现有方法，并减少对细粒度标注的需求。
2025-07-09 cs.CV
Fully Using Classifiers for Weakly Supervised Semantic Segmentation with Modified Cues
Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的仅使用图像级标签的弱监督语义分割方法。来自良好训练的分类器的类特异性激活图被用作训练分割网络的线索。这些线索的众所周知的缺陷是粗糙和不完整。我们使用超像素来细化它们，并融合从彩色图像训练分类器和灰度图像训练分类器中提取的线索，以补偿它们的不完整性。条件随机场适用于调节训练过程并进一步细化输出。除了初始化分割网络之外，先前训练的分类器还用于测试阶段以抑制不存在的类。在PASCAL VOC 2012数据集上的实验结果表明了该方法的有效性。
2019-06-14 cs.CV
Weakly Labeling the Antarctic: The Penguin Colony Case
Stony Brook University（石溪大学）
南极企鹅是重要的生态指标，特别是在气候变化的情况下。在这项工作中，我们提出了一个基于深度学习的模型，用于在高分辨率卫星图像中对阿德利企鹅群进行语义分割。为了训练我们的分割模型，我们利用了企鹅殖民地数据集：一个独特的数据集，包含来自南极洲193个阿德利企鹅殖民地的2044个地理参考裁剪图像。面对像素级注释掩码的稀缺性，我们提出了一个弱监督框架，以有效地从弱标签中学习分割模型。我们使用分类网络来过滤不适合分割网络的数据。该分割网络基于平均激活，使用特定的损失函数进行训练，以有效地从具有弱注释标签的数据中学习。我们的实验表明，添加弱注释的训练样本显著提高了分割性能，在企鹅殖民地数据集上将平均Intersection-over-Union从42.3%提高到60.0%。
2019-05-19 cs.CV
A Comprehensive Analysis of Weakly-Supervised Semantic Segmentation in Different Image Domains
University of Toronto（多伦多大学）
最近提出的弱监督语义分割方法在预测像素类方面取得了令人印象深刻的性能，尽管只使用缺乏位置信息的图像标签进行训练。由于图像注释更便宜，生成速度更快，因此弱监督比训练分割算法的完全监督更实用。这些方法主要用于解决自然场景图像的背景分离和部分分割问题，目前还不清楚它们是否可以简单地转移到其他具有不同特征的领域，如组织病理学和卫星图像，并且仍然表现良好。本文评估了最先进的弱监督语义分割方法对自然场景，组织病理学和卫星图像数据集，并分析了如何确定哪种方法是最适合于给定的数据集。我们的实验表明，组织病理学和卫星图像提出了一套不同的问题，弱监督语义分割比自然场景图像，如模糊的边界和类同现。方法在它们开发的数据集上表现良好，但在其他数据集上往往表现不佳。我们提出了一些实用的技术，这些方法看不见的数据集，并认为需要更多的工作，一个可推广的方法，弱监督语义分割。我们的完整代码实现可在GitHub上获得：https://github.com/lyndonchan/wsss-analysis。
2020-10-17 cs.CV
Prior to Segment: Foreground Cues for Weakly Annotated Classes in Partially Supervised Instance Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom（通腾导航科技公司）
实例分割方法需要具有昂贵且因此有限的实例级掩码标签的大型数据集。部分监督实例分割的目的是通过利用更丰富的弱盒标签来改进具有有限掩码标签的掩码预测。在这项工作中，我们表明，一个类不可知的面具头，通常用于部分监督实例分割，有困难的学习前景的一般概念弱注释类只使用框监督。为了解决这个问题，我们引入了对象掩模先验（OMP），它为掩模头提供了由框分类头在所有类的监督下隐式学习的前景的一般概念。这有助于类不可知掩码头集中在感兴趣区域（ROI）中的主要对象上，并改进了对弱注释类的泛化。我们在COCO数据集上使用强监督类和弱监督类的不同分割来测试我们的方法。我们的方法在Mask R-CNN基线上有了显着改进，并获得了最先进的竞争性能，同时提供了一个更简单的架构。
2021-04-10 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab（Facebook连接实验室）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Core Data Science（Facebook核心数据科学）
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一，特别是对于图像语义分割等任务，其中标记是极其昂贵和主观的。在本文中，我们提出了一种新的神经网络架构，通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明，该算法取得了优越的性能和效率相比，各种基线模型。
2016-12-08 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London（帝国理工学院）
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而，大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时，特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题，该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此，我们提出三个想法来解决这个问题，更具体地说，我们的贡献是：1）抑制假阳性并改进弱监督训练的新的稀疏前景损失，2）利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失，3）可变形的Transformer编码器颈部，用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点，优于一些最先进的全监督模型。此外，我们的框架可以用于微调在自然图像分割数据集上训练的模型，从而大大提高其息肉分割的性能，并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Harvesting Information from Captions for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）
由于获取逐像素注释以训练用于语义图像分割的卷积神经网络是耗时的，因此已经提出了仅需要类标签的弱监督方法。在这项工作中，我们提出了另一种形式的监督，即图像标题，因为它们可以在互联网上找到。这些标题有两个优点。它们不需要额外的策展，因为它是当前弱监督方法使用的干净类标签的情况，并且它们为图像中存在的类提供文本上下文。为了利用这样的文本上下文，我们部署了一个多模态网络，该网络学习图像的视觉表示和标题的文本表示的联合嵌入。该网络估计类名以及复合概念（即名词及其属性的组合）的文本激活图（TAM）。描述感兴趣类别的复合概念的TAM实质上提高了估计的类别激活图的质量，然后将其用于训练用于语义分割的网络。我们在COCO数据集上评估了我们的方法，在那里它实现了弱监督图像分割的最新结果。
2019-05-16 cs.CV
Weakly-supervised Semantic Segmentation in Cityscape via Hyperspectral Image
Nanjing University（南京大学）；Beijing Institute of Technology（北京理工大学）；University of Amsterdam（阿姆斯特丹大学）
高分辨率高光谱图像包含了每个像元在不同光谱波段的响应，可以有效区分复杂场景中的各种地物。虽然HSI相机已经变得低成本，但基于它的算法还没有得到很好的利用。在本文中，我们专注于一个新的主题，弱监督语义分割在城市景观通过HSI。它是基于这样的想法，高分辨率的HSI在城市场景中包含丰富的光谱信息，它可以很容易地关联到语义，而无需手动标记。因此，它能够在复杂场景中实现低成本、高可靠性的语义分割。具体来说，在本文中，我们从理论上分析了HSI，并介绍了一个弱监督HSI语义分割框架，它利用光谱信息，以改善粗糙的标签到一个更精细的程度。实验结果表明，我们的方法可以获得高度竞争的标签，甚至有更高的边缘精细度比人工精细标签在某些类别。同时，实验结果也表明，细化后的标签能够有效地提高语义分割的效果。HSI和语义分割的结合证明了HSI在高级视觉任务中具有巨大的潜力。
2021-07-20 cs.CV
Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation
Zhejiang University（浙江大学）；Nankai University（南开大学）
针对弱监督语义分割的不适定问题，本研究挖掘类别无关大模型segment-anything的“提示生成掩码”潜力，以弱标签为提示生成精确类别掩码，再用其制作伪标签训练分割网络，在PASCAL VOC 2012上验证了该方法的有效性，代码将开源。
2023-05-02 cs.CV
Weakly Supervised Semantic Segmentation Using Constrained Dominant Sets
Ca' Foscari University of Venice（威尼斯卡福斯卡里大学）；Ege University（爱琴海大学）
大规模数据集的可用性是基于深度学习的语义分割方案的基本先决条件。由于获取像素级标签的成本非常昂贵，近年来，使用低成本弱注释来监督深度语义分割网络一直是一个有吸引力的研究问题。在这项工作中，我们探索了约束主导集（CDS）的潜力，用于生成多标记的全掩码预测，以训练用于语义分割的全卷积网络（FCN）。我们的实验结果表明，使用CDS的产量更高质量的掩模预测相比，已在文献中采用的方法，用于相同的目的。
2019-09-20 cs.CV
Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；NUS（新加坡国立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI Lab（腾讯人工智能实验室）
尽管取得了显着的进步，弱监督分割方法仍然不如完全监督的方法。我们观察到性能差距主要来自于它们在学习从图像级监督产生高质量密集对象定位图方面的限制。为了弥补这一差距，我们重新审视了扩张卷积[1]，并揭示了如何以一种新的方式利用它来有效地克服弱监督分割方法的这一关键限制。具体来说，我们发现不同的膨胀率可以有效地扩大卷积核的感受野，更重要的是将周围的判别信息转移到非判别对象区域，促进这些区域在对象定位图中的出现。然后，我们设计了一个通用的分类网络，配备了不同膨胀率的卷积块。它可以产生密集和可靠的目标定位图，并有效地有利于弱监督和半监督语义分割。尽管表面上的简单，我们提出的方法获得了优越的性能超过国家的最先进的。特别是，它在Pascal VOC 2012测试集上实现了60.8%和67.6%的mIoU分数，在弱（仅图像级标签可用）和半（1，464个分割掩码可用）监督设置中，这是最新的最先进技术。
2018-05-28 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales（新南威尔士大学）
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题，提出基于原型的图像提示框架，利用聚类原型与对比匹配损失提升CAM质量，并在四个数据集上取得新基准。
2025-03-15 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH（浦项科技大学）；University of Michigan（密歇根大学）
提出了一种基于深度卷积神经网络（DCNN）的弱监督语义分割算法。与现有的弱监督方法相反，我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性，我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中，该模型使用注意力模型生成图像中呈现的每个类别的空间高光，随后使用解码器为每个高光区域生成前景分割。结合注意力模型，我们表明，在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时，与挑战PASCAL VOC 2012数据集的最新弱监督技术相比，该算法表现出显着提高的性能。
2015-12-24 cs.CV
ACCL: Adversarial constrained-CNN loss for weakly supervised medical image segmentation
Beijing Institute of Technology（北京理工大学）
我们提出了对抗性约束CNN损失，约束CNN损失方法的一个新范例，用于弱监督医学图像分割。在新的范例中，先验知识被编码和描述的参考掩码，并进一步采用通过对抗学习与参考掩码的分割输出施加约束。与用于弱监督分割的伪标签方法不同，这样的参考掩模用于训练神经元而不是分割网络，因此不需要与特定图像配对。我们的新范式不仅大大方便了对网络输出施加先验知识，而且还提供了更强和更高阶的约束，即，分布近似，通过对抗学习。广泛的实验涉及不同的医疗方式，不同的解剖结构，不同的拓扑结构的感兴趣的对象，不同水平的先验知识和弱监督注释与不同的注释比率进行评估我们的ACCL方法。实验结果表明，该方法的分割效果优于CNN损失法，部分分割结果接近全监督的分割结果，充分验证了该方法的有效性和推广性。具体而言，我们报告了75.4%的平均Dice分数，平均注释率为0.65%，超过了现有技术，即，尺寸受限的CNN损失方法，大幅度提高了11.4%。我们的代码可在https://github.com/PengyiZhang/ACCL上公开获取。
2020-05-01 cs.CV
Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation
Shenzhen University（深圳大学）；Carleton University（卡尔顿大学）
由于为训练点云的语义分割网络准备标记数据是一个耗时的过程，因此已经引入了弱监督方法来仅从一小部分数据中学习。这些方法通常基于具有对比损失的学习，同时从用户注释的标签的稀疏集合自动导出每点伪标签。在本文中，我们的主要观察结果是，选择要注释的样本与如何使用这些样本进行训练一样重要。因此，我们介绍了一种弱监督分割的3D场景，结合自我训练与主动学习的方法。主动学习选择可能导致训练模型性能改进的注释点，而自训练有效地使用用户提供的标签来学习模型。我们证明，我们的方法导致一个有效的方法，提供了改进的场景分割在以前的作品和基线，同时只需要少量的用户注释。
2022-09-15 cs.CV
Robust Trust Region for Weakly Supervised Segmentation
University of Waterloo（滑铁卢大学）
如果要求标记每个像素，则获取用于标准语义分割的训练数据是昂贵的。然而，当前的方法在弱监督设置中显著恶化，例如，其中一部分像素被标记或者当仅图像级标签可用时。已经证明，正则化损失-最初是为无监督的低级别分割开发的，并在像素标签上表示几何先验-可以大大提高弱监督训练的质量。然而，许多常见的先验需要比梯度下降更强的优化。因此，这种正则化器在深度学习中具有有限的适用性。我们提出了一个新的鲁棒的信赖域方法的正则化损失，提高了国家的最先进的结果。我们的方法可以被看作是一个高阶推广的经典链规则。它允许神经网络优化为相应的正则化器（包括离散正则化器）使用强大的低级求解器。
2021-09-01 cs.CV
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
Few-Shot语义分割解决了学习任务，其中只有少数具有地面实况像素级标签的图像可用于感兴趣的新类别。通常需要收集大量数据（即，基类），然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，弱监督Few-Shot语义分割被认为是更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，它预测伪像素级分割掩码从有限的数据量和它们的语义标签。更重要的是，我们的学习方案进一步利用产生的像素级信息，用于具有分割保证的查询图像输入。因此，我们提出的学习模型可以被看作是一个像素级的元学习者。通过对基准数据集的广泛实验，我们表明，我们的模型在完全监督设置下实现了令人满意的性能，但在弱监督设置下对最先进的方法表现良好。
2021-11-02 cs.CV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime（商汤科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
大多数弱监督语义分割（WSSS）方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而，我们发现了一些与伪掩码相关的问题，包括从类激活映射（CAM）生成高质量的伪掩码，以及使用噪声伪掩码监督进行训练。对于这些问题，我们提出了以下设计来将性能提升到新的最新水平：（i）变异系数平滑，以自适应地平滑CAM;（ii）比例伪掩模生成，将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标，而不是从二进制分类器训练的分数。(iii)伪欠拟合策略，以抑制噪声在伪掩模中的影响;（iv）循环伪掩模，以在全监督语义分割（FSSS）的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果，在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester（罗切斯特大学）；Google Inc.（谷歌公司）；ByteDance AI Lab（字节跳动人工智能实验室）；Vaitl Inc.（维特尔公司）
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能，但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比，大量的弱标签（如姿势和全身遮罩）已经存在并包含相关信息。出于使用现有弱标签的可能性，我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签（如关键点）转换为身体部位掩模的初始估计，然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签，我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法（63.6% mIoU）相当的性能（62.0% mIoU）。此外，在扩展的半监督设置，所提出的框架优于国家的最先进的方法。此外，我们将我们提出的框架扩展到其他关键点监督的部分分割任务，如人脸解析。
2020-10-30 cs.CV
Semantic-Transferable Weakly-Supervised Endoscopic Lesions Segmentation
University of Chinese Academy of Sciences（中国科学院大学）
图像级标签监督下的弱监督学习已广泛应用于医学病变区域的语义分割。然而，1）大多数现有模型依赖于有效的约束来探索病变的内部表示，这仅产生不准确和粗糙的病变区域; 2）它们忽略了靶病变数据集之间的强概率依赖性（例如，肠镜图像）和井到注释源疾病数据集（例如，胃镜图像）。为了更好地利用这些依赖关系，我们提出了一种新的语义病变表示转移模型的弱监督内镜病变分割，它可以利用有用的知识，从相关的完全标记的疾病分割任务，以提高目标弱标记病变分割任务的性能。更具体地说，提出了一种伪标签生成器，通过结合类平衡和超像素空间先验，利用种子信息来生成高置信度的伪像素标签。它可以迭代地从弱标记的目标数据集中包含更多难以转移的样本到训练集中。然后，通过累积先前学习的特征，在不同数据集之间动态搜索同一类的特征质心。同时，本文还采用了对抗学习，以缩小输出空间中不同数据集之间的病变之间的差距。最后，我们建立了一个新的医疗内窥镜数据集，其中包含从1100多名志愿者中收集的3659张图像。在我们收集的数据集和几个基准数据集上的大量实验验证了我们的模型的有效性。
2019-08-22 cs.CV
Learning to Exploit the Prior Network Knowledge for Weakly-Supervised Semantic Segmentation
University of Alcalá（阿尔卡拉大学）
训练用于语义分割的卷积神经网络（CNN）通常需要收集大量准确的像素级注释，这是一项困难且昂贵的任务。相比之下，简单的图像标签更容易收集。在本文中，我们介绍了一种新的弱监督语义分割模型，能够从图像标签学习，只是图像标签。我们的模型使用的图像识别训练的网络的先验知识，采用这些图像注释作为注意力机制，以确定图像中的语义区域。然后，我们提出了一种方法，建立准确的类特定的分割掩模从这些地区，既不需要外部对象，也不需要显着性算法。我们描述了如何将这种掩码生成策略整合到一个完全端到端的可训练过程中，在这个过程中，网络联合学习对图像进行分类和分割。我们在PASCAL VOC 2012数据集上的实验表明，利用这些生成的特定于类的掩码与我们新颖的端到端学习过程相结合，优于最近几种仅使用图像标签的弱监督语义分割方法，甚至优于一些利用额外监督或训练数据的模型。
2019-02-22 cs.CV
Token Contrast for Weakly-Supervised Semantic Segmentation
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）
使用图像级标签的弱监督语义分割（WSSS）通常利用类激活图（CAM）来生成伪标签。受CNN局部结构感知能力的限制，CAM通常不能识别完整的目标区域。虽然最近的视觉Transformer（ViT）可以弥补这个缺陷，我们观察到它也带来了过度平滑的问题，\ie，最终补丁令牌倾向于均匀。在这项工作中，我们提出了令牌对比（ToCo）来解决这个问题，并进一步探讨了WSSS的ViT的优点。首先，出于观察，在ViT的中间层仍然可以保持语义的多样性，我们设计了一个补丁令牌对比模块（PTC）。PTC利用从中间层导出的伪令牌关系来监督最终的补丁令牌，允许它们对齐语义区域，从而产生更准确的CAM。其次，为了进一步区分CAM中的低置信度区域，我们设计了一个类令牌对比模块（CTC），这是受到ViT中的类令牌可以捕获高级语义的启发。CTC通过对比局部区域和全局对象的类标记，促进了局部区域和全局对象之间表示的一致性。PASCAL VOC和MS COCO数据集上的实验表明，所提出的ToCo可以显着优于其他单阶段的竞争对手，并实现与最先进的多阶段方法相当的性能。代码可在https://github.com/rulixiang/ToCo上获得。
2023-03-02 cs.CV
