Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
图像级弱监督语义分割是近年来得到深入研究的一个具有挑战性的问题。大多数高级解决方案利用类激活图(CAM)。然而,由于完全监督和弱监督之间的差距,CAM很难作为对象掩码。在本文中,我们提出了一个自我监督的同变注意力机制(SEAM),发现额外的监督和缩小差距。我们的方法是基于这样的观察,即等方差是全监督语义分割中的隐式约束,其像素级标签在数据增强期间与输入图像进行相同的空间变换。然而,这种约束在通过图像级监督训练的CAM上丢失。因此,我们提出了一致性正则化预测CAM从各种变换的图像,为网络学习提供自我监督。此外,我们提出了一个像素相关性模块(PCM),它利用上下文外观信息和细化预测当前像素的相似邻居,导致进一步提高CAM一致性。在PASCAL VOC 2012数据集上进行的大量实验表明,我们的方法在使用相同监督级别的情况下优于最先进的方法。代码已在线发布。
2020-04-09 cs.CV
Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation
弱监督语义分割,只有图像级标签的目的是减少分割任务的注释成本。现有的方法通常利用类激活图(CAM)来定位用于伪标签生成的对象区域。然而,CAM只能发现对象的最有区别的部分,从而导致劣质像素级伪标签。为了解决这个问题,我们提出了一个显着性指导的类间和类内关系约束(I $^2$ CRC)框架,以协助扩大激活的对象区域CAM。具体来说,我们提出了一个显着性指导类不可知的距离模块,拉类内的功能更接近对齐功能,他们的类原型。此外,我们提出了一个类特定的距离模块,以推动类间的功能分开,并鼓励对象区域具有比背景更高的激活。除了加强分类网络的能力,以激活CAM中更多完整的对象区域外,我们还引入了一个对象引导的标签细化模块,以充分利用分割预测和初始标签来获得更好的伪标签。在PASCAL VOC 2012和COCO数据集上进行的大量实验证明了I $^2$ CRC优于其他最先进的CRC的有效性。源代码、模型和数据已在\url{https://github.com/NUST-Machine-Intelligence-Laboratory/I2CRC}上提供。
2022-06-20 cs.CV
Weakly supervised segmentation with cross-modality equivariant constraints
École de Technologie Supérieure(高等技术学院);Purdue University(普渡大学)
弱监督学习已经成为一种有吸引力的替代方案,以减轻语义分割中对大型标记数据集的需求。目前大多数方法利用类激活图(CAM),它可以从图像级注释生成。然而,由此产生的地图已被证明是高度判别,未能作为最佳的代理像素级标签。我们提出了一种新的学习策略,利用自我监督的多模态图像的情况下,显着提高原始CAM。特别是,所提出的方法是基于两个观察。首先,全监督分割网络的学习通过数据增强隐含地施加等方差,而这种隐含的约束在使用图像标签生成的CAM上消失。第二,图像模态之间的共性可以用作有效的自我监督信号,校正跨多个模态获得的CAM所示的不一致性。为了有效地训练我们的模型,我们集成了一个新的损失函数,其中包括一个模态内和跨模态等变项,明确施加这些约束在训练过程中。此外,我们在类预测分布上添加了KL发散,以促进模态之间的信息交换,与等变正则化器相结合,进一步提高了我们模型的性能。在流行的多模态BRATS数据集上的详尽实验表明,在相同的学习条件下,我们的方法优于最近的相关文献。
2022-01-14 cs.CV
Complementary Patch for Weakly Supervised Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Northwestern Polytechnical University(西北工业大学)
基于图像级标签的弱监督语义分割(Weakly Supervised Semantic Segmentation,WSSS)是利用类激活图(Class Activation Map,CAM)的输出生成伪标签进行语义分割的一种新方法。然而,CAM仅从少量区域中发现种子,这可能不足以用作语义分割的伪掩码。在本文中,我们制定的CAM对象区域的扩展作为信息的增加。从信息论的角度出发,提出了一种新的互补补丁(CP)表示,并证明了一对具有互补隐藏(补丁)部分的输入图像的CAM之和(CP对)的信息大于或等于基线CAM的信息.因此,可以通过缩小CP对生成的CAM的总和与原始CAM之间的差距来获得具有更多与对象种子相关的信息的CAM。我们提出了一个由三重网络和三个正则化函数实现的CP网络(CPN)。为了进一步提高CAM的质量,我们提出了一个像素区域相关模块(PRCM),通过使用特征图和CAM之间的对象区域关系来增强上下文信息。在PASCAL VOC 2012数据集上的实验结果表明,我们提出的方法在WSSS中达到了新的最先进水平,验证了我们的CP表示和CPN的有效性。
2021-08-09 cs.CV
High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation
Husqvarna Group(富世华集团);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学);Linköping University(林雪平大学)
本文提出一种基于二项式后验重新表述重要性采样和特征相似性损失的附加方法,以生成高保真伪标签,可普遍提升图像级弱监督语义分割方法的区域相似性与轮廓质量。
2024-02-09 cs.CV cs.LG eess.IV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime(商汤科技);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
大多数弱监督语义分割(WSSS)方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而,我们发现了一些与伪掩码相关的问题,包括从类激活映射(CAM)生成高质量的伪掩码,以及使用噪声伪掩码监督进行训练。对于这些问题,我们提出了以下设计来将性能提升到新的最新水平:(i)变异系数平滑,以自适应地平滑CAM;(ii)比例伪掩模生成,将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标,而不是从二进制分类器训练的分数。(iii)伪欠拟合策略,以抑制噪声在伪掩模中的影响;(iv)循环伪掩模,以在全监督语义分割(FSSS)的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果,在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
ISIM: Iterative Self-Improved Model for Weakly Supervised Segmentation
Adevinta(阿德温塔);Bahcesehir University(巴赫切谢希尔大学)
弱监督语义分割(WSSS)是一个具有挑战性的任务,旨在从类级别的标签学习分割标签。在文献中,利用类激活图(CAMs)获得的信息被广泛用于WSSS研究。然而,由于CAM是从分类网络中获得的,因此它们对对象的最有区别的部分感兴趣,从而产生用于分割任务的不完整先验信息。在这项研究中,为了获得更连贯的CAM与分割标签,我们提出了一个框架,采用迭代方法在修改后的编码器-解码器为基础的分割模型,同时支持分类和分割任务。由于没有给出真实的分割标签,同一模型还在密集条件随机场(dCRF)的帮助下生成伪分割标签。因此,所提出的框架成为一个迭代的自我改进的模型。使用DeepLabv 3和UNet模型进行的实验显示Pascal VOC 12数据集有显著的增益,DeepLabv 3应用程序将当前最先进的指标提高了%2.5。与实验相关的实现可以在https://github.com/cenkbircanoglu/isim上找到。
2022-11-23 cs.CV
CRF Loss is How Networks Should Learn Boundaries in Weakly Supervised Segmentation
Cheriton School of Computer Science(切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
针对弱监督语义分割中边界精度不足问题,提出DS-CRF框架,将软伪标签与SAM边界解耦为不同监督信号,在MS COCO上达到56.5% mIoU的新纪录。
2026-11-18 cs.CV
Exploring Weakly Supervised Semantic Segmentation Ensembles for Medical Imaging Systems
Institute of Computer Engineering, Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien)计算机工程研究所);Division of Engineering, New York University Abu Dhabi(纽约大学阿布扎比分校工程系)
使用最先进的语义分割网络对图像中的某些医疗状况进行可靠的分类和检测需要大量的逐像素注释。然而,这些数据集的公开可用性很低。因此,图像级标签的语义分割提出了一个有前途的替代方案,这个问题。然而,很少有工作集中在评估这种技术及其适用于医疗部门。由于它们的复杂性和医学数据集中的训练样本数量很少,基于分类器的弱监督网络(如类激活映射(CAM))很难从中提取有用的信息。然而,大多数最先进的方法依赖于它们来实现其改进。因此,我们提出了一个框架,仍然可以利用复杂数据集的低质量CAM预测,以提高我们的结果的准确性。我们的框架首先利用较低阈值的CAM以高确定性覆盖目标对象;其次,通过组合多个低阈值CAM,在突出显示目标对象的同时消除它们的错误。我们对流行的多模态BRATS和前列腺DECATHLON分割挑战数据集进行了详尽的实验。使用所提出的框架,我们已经证明了一个改进的骰子得分高达8%的BRATS和6%的DECATHLON数据集相比,以前的国家的最先进的。
2023-03-16 cs.CV
Boosting Weakly-Supervised Image Segmentation via Representation, Transform, and Compensator
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);The Hong Kong University of Science and Technology(香港科技大学)
提出一种单阶段弱监督图像分割方法,利用孪生网络、对比学习、跨表示精炼和跨变换正则化提升CAM质量,在PASCAL VOC 2012上取得SOTA性能。
2023-09-02 cs.CV
Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch
School of Computer Science, Hangzhou Dianzi University(杭州电子科技大学计算机学院);Hangzhou Institute of Technology, Xidian University(西安电子科技大学杭州研究院);University of Yamanashi(山梨大学);Department of Electronic Engineering, School of Information Science and Engineering, Fudan University(复旦大学信息科学与工程学院电子工程系);Ruian People’s Hospital(瑞安市人民医院);School of Software, Shandong University(山东大学软件学院)
针对弱监督体积分割中CAM不可靠问题,提出无训练无原型框架,利用VRAA抑制噪声放大信号,用BER机制校正不合理激活,该方法与模型无关,集成方便,实验显示相比现有方法有显著提升,减少推理时间。
2026-07-23 cs.CV
Precision matters: Precision-aware ensemble for weakly supervised semantic segmentation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出ORANDNet,通过集成ResNet-50与ViT等不同分类器的类激活图并结合课程学习提升伪掩码精度,显著改善弱监督语义分割性能,可作为WSSS模型的通用附加模块。
2024-06-28 cs.AI cs.CV
Deep Weakly-Supervised Learning Methods for Classification and Localization in Histology Images: A Survey
École de technologie supérieure(高等技术学院);McGill University(麦吉尔大学)
本文综述了深度弱监督目标定位(WSOL)方法在组织学图像分类与定位中的应用,提出自底向上和自顶向下的分类法,并在两个数据集上评估代表性方法,揭示了CAMs激活不足、阈值敏感性和模型选择等四大关键挑战。
2023-03-03 cs.CV cs.LG eess.IV
Shallow Feature Matters for Weakly Supervised Object Localization
Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学)
弱监督对象定位(WSOL)的目标是只利用图像级标签来定位对象。类激活映射(CAM)是实现WSOL的常用功能。然而,以前的CAM为基础的方法没有充分利用浅的功能,尽管他们的重要性WSOL。因为传统的融合方法很容易将浅层特征淹没在背景噪声中。在本文中,我们提出了一个简单而有效的浅层特征感知伪监督对象定位(SPOL)模型准确的WSOL,这使得最大限度地嵌入在浅层的低级别的功能。在实践中,我们的SPOL模型首先通过一种新颖的浅特征图和深特征图的逐元素乘法来生成CAM,该方法过滤了背景噪声并鲁棒地生成更清晰的边界。此外,我们进一步提出了一个通用的类无关的分割模型,以实现准确的对象掩模,只使用初始CAM作为伪标签,没有任何额外的注释。最后,将限界框提取器应用于对象遮罩以定位目标。实验证明,我们的SPOL在CUB-200和ImageNet-1 K基准测试中的表现优于最先进的技术,分别达到93.44%和67.15%(即,3.93%和2.13%的改善)前5名的定位精度。
2021-08-02 cs.CV
Leveraging Swin Transformer for Local-to-Global Weakly Supervised Semantic Segmentation
Sharif University of Technology(谢里夫理工大学)
针对弱监督语义分割中CAMs仅关注物体局部判别区域的问题,提出融合局部与全局视野的SWTformer系列模型,在PascalVOC 2012数据集上显著提升了初始种子CAMs的定位精度。
2024-03-11 cs.AI cs.CV
Deep Active Learning for Joint Classification & Segmentation with Weak Annotator
École de technologie supérieure(高等技术学院)
CNN可视化和解释方法,如类激活图(CAM),通常用于突出显示与类预测相关的图像区域。这些模型允许同时对图像进行分类并提取依赖于类别的显著性图,而不需要昂贵的像素级注释。然而,它们通常产生具有高假阳性率的分割,因此,粗糙的可视化,在处理具有挑战性的图像时更是如此,如在组织学中遇到的。为了缓解这个问题,我们提出了一个主动学习(AL)框架,它在训练过程中逐步集成像素级注释。给定具有全局图像级标签的训练数据,我们的深度弱监督学习模型联合执行监督图像级分类和用于分割的主动学习,通过oracle集成像素注释。与专注于样本选择的标准AL方法不同,我们还通过伪分割(即,在像素级别上的自学习),并在训练期间将它们与Oracle注释的样本相结合。我们报告了两个具有挑战性的基准-高分辨率医学图像(结肠癌的组织学GlaS数据)和自然图像(鸟类的CUB-200-2011)的广泛实验。我们的研究结果表明,通过简单地使用随机样本选择,所提出的方法可以显着优于国家的最先进的CAM和AL方法,具有相同的甲骨文监督预算。我们的代码是公开的。
2020-11-14 cs.CV cs.LG
Seg4Reg+: Consistency Learning between Spine Segmentation and Cobb Angle Regression
Tencent Jarvis Lab(腾讯Jarvis实验室)
Cobb角的自动估计方法对于脊柱侧凸评估有很高的要求。现有方法通常从地标估计计算Cobb角,或者简单地将低级任务(例如,界标检测和脊柱分割)与Cobb角回归任务,而没有充分探索彼此的益处。在这项研究中,我们提出了一种新的多任务框架,名为Seg4Reg+,它联合优化了分割和回归网络。我们彻底调查本地和全球的一致性以及彼此之间的知识转移。具体来说,我们提出了一个注意力正则化模块,利用图像分割对中的类激活图(CAM)来发现回归网络中的额外监督,CAM可以作为感兴趣区域的增强门来促进分割任务。同时,我们设计了一种新的三角一致性学习训练两个网络的全局优化。在公共AASCE挑战数据集上进行的评估证明了每个模块的有效性以及我们模型的卓越性能。
2022-08-26 cs.CV
WP-CrackNet: A Collaborative Adversarial Learning Framework for End-to-End Weakly-Supervised Road Crack Detection
College of Electronic and Information Engineering, Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(电子信息工程学院,智能自主系统上海研究院,同济大学);School of Internet of Things Engineering, Jiangnan University(物联网工程学院,江南大学);School of Electrical and Electronic Engineering, Nanyang Technological University(电气电子工程学院,南洋理工大学)
针对道路裂缝像素级标注成本高的问题,提出仅用图像级标签的端到端弱监督 WP-CrackNet,通过协同对抗学习、PAAM 与 CECCM 提升检测性能。
2025-10-20 cs.CV
Weakly-Supervised Semantic Segmentation with Visual Words Learning and Hybrid Pooling
Wuhan University(武汉大学);JD Explore Academy, JD.com(京东探索研究院)
具有图像级标签的弱监督语义分割(WSSS)方法通常训练分类网络以生成类激活图(CAM)作为初始粗分割标签。然而,目前的WSSS方法仍然远远不能令人满意地执行,因为它们所采用的CAM 1)通常集中在部分可区分的对象区域和2)通常包含无用的背景区域。这两个问题归因于训练分类网络时的唯一图像级监督和全局信息的聚合。在这项工作中,我们提出了视觉词汇学习模块和混合池化方法,并将它们纳入分类网络中,以缓解上述问题。在视觉词学习模块中,我们通过强制分类网络学习细粒度的视觉词标签来解决第一个问题,以便可以发现更多的对象范围。具体地说,视觉词汇学习与码本,它可以通过两个建议的策略,即基于学习的策略和记忆库策略更新。CAM的第二个缺点是缓解与建议的混合池,它结合了全球平均值和本地判别信息,同时确保对象的完整性和减少背景区域。我们在PASCAL VOC 2012和MS COCO 2014数据集上评估了我们的方法。在没有任何额外显著性的情况下,我们的方法在PASCAL VOC数据集的$val$和$test$集上分别实现了70.6%和70.7%的mIoU,在MS COCO数据集的$val$集上实现了36.2%的mIoU,这显著超过了最先进的WSSS方法的性能。
2022-02-10 cs.CV
Weak-shot Semantic Segmentation by Transferring Semantic Affinity and Boundary
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院)
为了减轻传统分割任务中的标注负担,基于图像级标签的弱监督语义分割(WSSS)得到了广泛的研究。在本文中,我们表明现有的完全注释的基础类别可以帮助分割仅具有图像级标签的新颖类别的对象,即使基础类别和新颖类别没有重叠。我们将此任务称为弱射语义分割,它也可以被视为具有辅助全注释类别的WSSS。目前先进的WSSS方法通常获得类激活图(CAM),并通过亲和传播来细化它们。基于语义亲和力和边界是类不可知的观察,我们提出了一种方法下的WSSS框架转移语义亲和力和边界从基础到新的类别。因此,我们发现基本类别的像素级注释可以促进亲和学习和传播,从而获得更高质量的新类别CAM。在PASCAL VOC 2012数据集上进行的大量实验证明,我们的方法在新类别上的性能显着优于WSSS基线。
2022-10-16 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales(新南威尔士大学)
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题,提出基于原型的图像提示框架,利用聚类原型与对比匹配损失提升CAM质量,并在四个数据集上取得新基准。
2025-03-15 cs.CV
Weakly Supervised Co-training with Swapping Assignments for Semantic Segmentation
Lancaster University(兰卡斯特大学);University of Oxford(牛津大学)
针对弱监督语义分割中CAM存在误差、现有离线优化方式限制单阶段方法性能的问题,提出带交换分配的协同训练方法CoSA,通过双流框架与三项技术实现端到端在线优化,性能超越现有多阶段方法。
2024-07-09 cs.CV
Discrepancy-based Active Learning for Weakly Supervised Bleeding Segmentation in Wireless Capsule Endoscopy Images
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
本文提出基于差异的主动学习方法DEAL,通过差异解码器和CAMPUS准则弥合弱监督CAM标签与真实标签的差距,在仅标注10%数据时达到与全监督相当的性能。
2023-08-09 cs.CV
Exploiting Shape Cues for Weakly Supervised Semantic Segmentation
Yonsei University(延世大学);LG Uplus
弱监督语义分割(WSSS)的目的是产生像素级的类预测,只有图像级的标签进行训练。为此,以前的方法采用通用管道:它们从类激活映射(CAM)生成伪掩码,并使用这些掩码来监督分割网络。然而,由于CAM的局部属性,即,它们倾向于仅仅关注小的可辨别的对象部分。在本文中,我们将CAM的局部性与卷积神经网络(CNN)的纹理偏置属性联系起来。因此,我们建议利用形状信息来补充纹理偏向的CNN特征,从而鼓励掩模预测不仅全面,而且与对象边界保持良好的一致。我们进一步细化预测在一个在线的时尚与一个新的细化方法,考虑到类和颜色的亲和力,以生成可靠的伪掩模来监督模型。重要的是,我们的模型是在单阶段框架内进行端到端培训的,因此在培训成本方面是有效的。通过在PASCAL VOC 2012上的大量实验,我们验证了我们的方法在产生精确和形状对齐的分割结果方面的有效性。具体来说,我们的模型超过了现有的国家的最先进的单阶段的方法,大幅度。更重要的是,它还实现了一个新的国家的最先进的性能超过多阶段的方法,当采用在一个简单的两阶段管道没有花里胡哨。
2022-08-08 cs.AI cs.CV
Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation
School of Computer and Information Science, Hefei University of Technology(合肥工业大学计算机与信息科学学院);Key Laboratory of Intelligent Perception and Image Understanding of the Ministry of Education, School of Artificial Intelligence, Xidian University(教育部智能感知与图像理解重点实验室,西安电子科技大学人工智能学院);Brain and Artificial Intelligence Laboratory, School of Automation, Northwestern Polytechnical University(脑与人工智能实验室,西北工业大学自动化学院)
针对Transformer中深层注意力过度平滑导致CAM背景噪声的问题,提出自适应重新激活机制AReAM,利用浅层亲和度熵感知引导深层收敛,有效抑制噪声并重新激活关键语义区域,显著提升WSSS性能。
2025-05-29 cs.CV
F-CAM: Full Resolution Class Activation Maps via Guided Parametric Upscaling
École de technologie supérieure(高等技术学院);Ericsson(爱立信);McGill University(麦吉尔大学)
类激活映射(CAM)方法最近得到了很多关注弱监督对象定位(WSOL)任务。它们允许CNN可视化和解释,而无需在完全注释的图像数据集上进行训练。CAM方法通常集成在现成的CNN骨干中,例如ResNet 50。由于卷积和池化操作,这些主干产生低分辨率CAM,其缩小因子高达32,导致定位不准确。恢复全尺寸CAM需要插值,但它不考虑对象的统计特性,如颜色和纹理,导致激活边界不一致,定位不准确。作为一种替代方案,我们引入了一种通用的方法参数升级的CAM,可以构建准确的全分辨率CAM(F-CAM)。特别是,我们提出了一种可训练的解码架构,可以连接到任何CNN分类器以产生高度准确的CAM定位。给定原始低分辨率CAM,前景和背景像素被随机采样以微调解码器。额外的先验信息,如图像统计和大小约束,也被认为是扩大和细化对象的边界。在CUB-200-2011和OpenImages数据集上的三个CNN主干和六个WSOL基线上进行的广泛实验表明,我们的F-CAM方法在CAM定位精度方面有显着提高。F-CAM的性能与最先进的WSOL方法相比具有竞争力,但它在推理过程中需要更少的计算。
2021-10-21 cs.CV cs.LG
Mixed-UNet: Refined Class Activation Mapping for Weakly-Supervised Semantic Segmentation with Multi-scale Inference
Shandong University(山东大学);Institute of Tsinghua-Berkeley Shenzhen, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院清华-伯克利深圳学院);Hangzhou Dianzi University(杭州电子科技大学);Shenzhen ZNV Technology Co., Ltd(深圳中兴网信科技有限公司);Shenzhen Graduate School of Harbin Institute of Technology(哈尔滨工业大学深圳研究生院);Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院生物医药与健康工程研究院)
深度学习技术在医学图像处理中显示出巨大的潜力,特别是通过对磁共振成像(MRI)扫描或计算机断层扫描(CT)扫描进行准确可靠的图像分割,从而实现病变的定位和诊断。然而,训练这些分割模型需要大量的手动注释的像素级标签,这是耗时和劳动密集型的,相比之下,更容易获得的图像级标签。必须通过使用图像级标签作为监督的弱监督语义分割模型来解决这个问题,因为它可以显着减少人工注释工作。大多数高级解决方案都利用了类激活映射(CAM)。然而,原始CAM很少捕获病变的精确边界。在这项研究中,我们提出了多尺度推理的策略,通过减少单尺度推理中的细节损失来细化CAM。对于分割,我们开发了一种名为Mixed-UNet的新模型,该模型在解码阶段有两个并行分支。将两个分支提取的特征进行融合后得到结果。我们在从当地医院和公共数据集收集的数据集上评估了设计的Mixed-UNet与几种流行的基于深度学习的分割方法。验证结果表明,我们的模型优于现有的方法在相同的监督水平下,在分割的各种病变的脑成像。
2022-05-06 cs.CV eess.IV
Dynamic Pseudo Label Optimization in Point-Supervised Nuclei Segmentation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);School of Science, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)理学院)
针对点监督细胞核分割中伪掩码与真实标注差异导致模型性能不佳的问题,提出DoNuSeg框架,通过动态选择CAM、CAM引导对比及任务解耦结构优化伪标签,性能超越现有点监督方法。
2024-06-24 cs.AI cs.CV
Towards Single Stage Weakly Supervised Semantic Segmentation
Rutgers University(罗格斯大学)
获取语义分割标签的昂贵过程已经推动了对弱监督语义分割(WSSS)方法的研究,该方法仅使用图像级、点或框标签。缺乏密集的场景表示需要增加复杂性的方法来获得关于场景的额外语义信息,通常通过多个阶段的训练和细化来完成。当前最先进的(SOTA)模型利用图像级标签来产生类激活图(CAM),这些CAM在被阈值化以制作用于监督的伪掩码之前经历多个细化阶段。多阶段的方法是计算上昂贵的,并且依赖于用于CAM生成的图像级标签缺乏对更复杂场景的通用性。相反,我们的方法提供了一种可推广到任意数据集的单阶段方法,可以从头开始训练,而不依赖于预先训练的骨干,分类或单独的细化任务。我们利用点注释来生成可靠的,在飞行中的伪面具,通过细化和过滤功能。虽然我们的方法需要点注释,只是比图像级注释稍微贵一点,但我们要在基准数据集上证明SOTA性能(PascalVOC 2012),以及在最近的真实世界数据集上显著优于其他SOTA WSSS方法(CRAID,CityPersons,IAD)。
2021-06-28 cs.AI cs.CV
TCAM: Temporal Class Activation Maps for Object Localization in Weakly-Labeled Unconstrained Videos
ÉTS(蒙特利尔高等工程技术学院)
弱监督视频对象定位(WSVOL)允许仅使用全局视频标记(如对象类)定位视频中的对象。最先进的方法依赖于多个独立的阶段,其中使用视觉和运动线索生成初始时空建议,然后识别和细化突出对象。定位是通过解决一个或多个视频的优化问题来完成的,视频标签通常用于视频聚类。这需要每个视频或每个类别的模型,以进行昂贵的推理。此外,局部区域不一定是判别性的,因为无监督的运动方法,如光流,或因为视频标签从优化中被丢弃。在本文中,我们利用成功的类激活映射(CAM)的方法,设计用于基于静止图像的WSOL。介绍了一种新的时间CAM(TCAM)方法,用于训练判别式深度学习(DL)模型,以在连续CAM上使用称为CAM-时间最大池化(CAM-TMP)的聚合机制来利用视频中的时空信息。特别地,从由预训练的CNN分类器产生的CAM收集感兴趣区域(ROI)的激活,以构建用于训练DL模型的逐像素伪标签。此外,全局无监督的大小约束,和局部约束,如CRF被用来产生更准确的CAM。对单个独立帧的推断允许帧剪辑的并行处理和实时定位。在两个具有挑战性的YouTube-Objects数据集上进行的无约束视频的广泛实验表明,CAM方法(在独立帧上训练)可以产生不错的定位精度。我们提出的TCAM方法在WSVOL精度方面达到了新的最先进水平,视觉结果表明它可以适用于后续任务,如视觉对象跟踪和检测。代码是公开的。
2022-10-22 cs.CV
Activation Modulation and Recalibration Scheme for Weakly Supervised Semantic Segmentation
Bytedance Inc.(字节跳动)
图像级弱监督语义分割(WSSS)是一个基本而又具有挑战性的计算机视觉任务,有助于场景理解和自动驾驶。大多数现有的方法都采用基于分类的类激活图(CAM)作为初始伪标签,这些伪标签往往集中在有区别的图像区域上,并且缺乏用于分割任务的自定义特征。为了缓解这个问题,我们提出了一种新的激活调制和重新校准(AMR)方案,它利用聚光灯分支和补偿分支来获得加权CAM,可以提供重新校准监督和特定于任务的概念。具体而言,注意调制模块(AMM)被用来重新安排的通道空间顺序的角度来看,这有助于明确建模通道的相互依赖性和空间编码的特征重要性的分布,以适应性地调制面向分割的激活响应。此外,我们引入了一个交叉伪监督的双分支,它可以被看作是一个语义相似的正则化,以相互细化两个分支。大量的实验表明,AMR在PASCAL VOC 2012数据集上建立了一个新的最先进的性能,不仅超过了当前使用图像级监督训练的方法,而且超过了一些依赖于更强监督的方法,如显着性标签。实验还表明,我们的计划是即插即用,可以与其他方法,以提高其性能。
2021-12-16 cs.CV
Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学)
本文提出端到端MDBA模型,通过多粒度噪声过滤与检测、输入输出双向分布对齐,解决显著图伪标签噪声及单类到多类场景泛化问题。
2023-05-09 cs.CV
Contrastive Learning with Diffusion Features for Weakly Supervised Medical Image Segmentation
University of Notre Dame(诺丁汉大学);National Tsing Hua University(国立清华大学);Guangdong Provincial People’s Hospital(广东省人民医院)
提出CLDF方法,利用对比学习训练像素解码器映射冻结CDM的扩散特征至低维空间,结合梯度图与CAM减少假阳性/假阴性,在医学图像弱监督分割任务中显著超越基线。
2025-06-30 cs.CV
Auto-Prompting SAM for Weakly Supervised Landslide Extraction
School of Information Science and Engineering, Wuhan University of Science and Technology(武汉科技大学信息科学与工程学院);School of Science and Engineering, The Chinese University of Hong Kong(香港中文大学(深圳)理学院);Chair of Data Science in Earth Observation, Technical University of Munich (TUM)(慕尼黑技术大学地球观测数据科学教授职位);Helmholtz-Zentrum Dresden-Rossendorf(德累斯顿-罗斯托克亥姆霍兹研究中心);Lancaster Environment Centre, Lancaster University(兰卡斯特大学环境研究中心)
针对弱监督滑坡提取中边界不精确的问题,提出APSAM方法,通过自适应生成框和点提示自动提示SAM,无需伪标签或微调,在高分辨率遥感数据集上F1提升至少3.0%,IoU提升3.69%。
2025-05-22 cs.CV
Weakly Supervised Localization Using Background Images
University of Rochester(罗切斯特大学)
弱监督对象定位(WSOL)方法通常依赖于完全卷积网络来获得目标标签的类激活映射(CAM)。然而,这些网络总是突出最有区别的部分来执行任务,定位的区域比整个目标对象小得多。在这项工作中,我们提出了一个新的端到端模型,以扩大从分类模型生成的CAM,它可以定位目标对象更精确。详细地说,我们在传统的分类网络中增加了一个额外的模块,从图像中提取前景对象的建议,而不将它们分类到特定的类别。然后,我们将这些归一化区域设置为不受限制的像素级掩码监督,用于以下分类任务。我们从互联网上收集了一组定义为背景图像集的图像。它们的数量比目标数据集少得多,但令人惊讶的是,它们很好地支持了从不同图片中提取前景区域的方法,所提取的区域与分类任务无关,其中每幅图像中提取的区域几乎覆盖了整个对象,而不仅仅是显著的一部分。因此,这些区域可以作为掩模来监督从分类模型生成的响应图变得更大和更精确。该方法在CUB-200-2011上取得了Top-1和Top-5定位误差的最佳结果,在ILSVRC 2016上取得了与其他方法相当的结果。
2019-09-11 cs.CV
Entropy Guided Adversarial Model for Weakly Supervised Object Localization
Harbin Institute of Technology(哈尔滨工业大学);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Shenzhen University(深圳大学)
由于缺少限界框注释,弱监督对象定位具有挑战性。以前的工作倾向于生成一个类激活图,即CAM来定位对象。不幸的是,网络只激活区分对象的特征,而不会激活整个对象。一些方法倾向于删除对象的某些部分,以迫使CNN检测其他特征,而另一些方法则改变网络结构,从模型的不同级别生成多个CAM。在这篇文章中,我们建议利用网络的泛化能力,并使用干净的例子和对抗性的例子来训练模型,以定位整个对象。对抗性示例通常用于训练鲁棒模型,并且是添加了扰动的图像。为了获得良好的分类精度,使用对抗性示例训练的CNN被迫检测更多区分对象的特征。我们进一步建议将香农熵应用于网络生成的CAM上,以在训练过程中指导它。我们的方法不会删除图像的任何部分,也不会改变网络架构,并且大量的实验表明,我们的熵引导对抗模型(EGA模型)在定位和分类精度方面都提高了最先进的基准性能。
2020-08-04 cs.CV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.(达美微科技公司);Shenzhen SiBright Co. Ltd.(深圳硅基仿生科技有限公司)
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略,以辅助松散包围盒作为监督的图像分割。在该策略中,引入加权平滑最大值近似,以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Weakly supervised semantic segmentation of tomographic images in the diagnosis of stroke
Novosibirsk State University(新西伯利亚国立大学);International Tomography Center SB RAS(俄罗斯科学院西伯利亚分院国际断层成像中心);Sobolev Institute of Mathematics SB RAS(俄罗斯科学院西伯利亚分院索博列夫数学研究所)
本文提出了一种自动分割算法的影响,由急性中风的非对比度计算机断层扫描脑图像。所提出的算法被设计为在弱监督的情况下学习,当一些图像被准确地标记,而一些图像被不准确地标记。由于放射科医师在计算机断层扫描图像的手动注释过程中的不准确性,会出现错误的标签。我们提出的方法来解决分割问题的情况下,不准确标记的训练数据。我们使用U-Net神经网络架构,并进行了一些修改。对实际CT扫描图像的实验表明,该方法提高了分割精度。
2021-09-04 cs.CV cs.LG eess.IV
Spatial Structure Constraints for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);Jilin University(吉林大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出空间结构约束SSC,通过CAM驱动重建与激活自调制抑制弱监督语义分割中的对象过度激活,并在PASCAL VOC 2012和COCO上取得优异mIoU。
2024-01-20 cs.CV
CAMEL: A Weakly Supervised Learning Framework for Histopathology Image Segmentation
Tsinghua University(清华大学);The Chinese PLA General Hospital(中国人民解放军总医院);Thorough Images;Fudan University(复旦大学)
组织学图像分析在癌症诊断和治疗中起着至关重要的作用。为了自动分割癌变区域,完全监督分割算法需要在像素级进行劳动密集型和耗时的标记。在这项研究中,我们提出了CAMEL,一个弱监督学习框架的组织病理学图像分割只使用图像级标签。使用基于多实例学习(MIL)的标签丰富,CAMEL将图像拆分为网格实例并自动生成实例级标签。在标签丰富之后,实例级标签被进一步分配给相应的像素,产生近似的像素级标签,并使分割模型的完全监督训练成为可能。CAMEL在CAMELYON 16和结直肠腺瘤数据集上的实例级分类和像素级分割方面与完全监督方法具有相当的性能。此外,自动标记方法的通用性可能有利于未来的弱监督学习研究的组织病理学图像分析。
2019-08-28 cs.CV cs.LG eess.IV
Leveraging Uncertainty for Deep Interpretable Classification and Weakly-Supervised Segmentation of Histology Images
ÉTS(蒙特利尔高等技术学院)
仅使用图像类标签进行训练,深度弱监督方法允许图像分类和ROI分割以实现可解释性。尽管他们在自然图像上取得了成功,但他们在组织学数据上面临着一些挑战,其中ROI在视觉上与背景相似,使得模型容易受到高像素误报的影响。这些方法缺乏明确的非歧视性区域建模机制,这会提高假阳性率。我们提出了新的正则化项,使模型能够同时寻求非歧视性和歧视性区域,同时阻止不平衡分割和仅使用图像类标签。我们的方法由两个网络组成:产生分割掩码的定位器,然后是分类器。训练损失推动定位器构建一个分割掩模,该掩模在对背景区域建模的同时保持大多数区分区域。在两个组织学数据集上的综合实验表明,该方法在减少假阳性和准确分割ROI方面具有优势。
2022-05-12 cs.CV cs.LG eess.IV
Puzzle-CAM: Improved localization via matching partial and full features
KAIST(韩国科学技术院);GYNetworks
弱监督语义分割(WSSS)被引入到缩小语义分割性能的差距,从像素级监督到图像级监督。最先进的方法是基于类别激活图(CAM)来生成伪标签以训练分割网络。WSSS的主要局限性在于,从使用图像分类器的CAM生成伪标签的过程主要集中在对象的最有区别的部分。为了解决这个问题,我们提出了Puzzle-CAM,这是一个最大限度地减少来自单独补丁和整个图像的特征之间差异的过程。我们的方法包括一个拼图模块和两个正则化项,以发现对象中最完整的区域。Puzzle-CAM可以使用图像级监控激活对象的整个区域,而无需额外的参数。%在实验中,Puzzle-CAM优于使用相同标签对PASCAL VOC 2012测试数据集进行监督的先前最先进的方法。在实验中,Puzzle-CAM在PASCAL VOC 2012数据集上使用相同的标签进行监督,其性能优于以前的最先进方法。与我们的实验相关的代码可在https://github.com/OFRIN/PuzzleCAM上获得。
2021-09-23 cs.AI cs.CV
Weakly supervised pan-cancer segmentation tool
Paris-Saclay University(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Gustave Roussy(古斯塔夫·鲁西研究所);Inserm(法国国家健康与医学研究院)
绝大多数语义分割方法依赖于像素级注释,这是繁琐和耗时的,以获得和遭受显着的专家间和专家内的变化。为了解决这些问题,最近的方法已经在幻灯片级别利用了分类注释,这通常会受到鲁棒性和泛化的影响。在本文中,我们提出了一种新的弱监督多实例学习方法,破译定量幻灯片级注释,这是快速获得和定期出现在临床常规。所提出的方法的极端潜力证明了实体癌亚型的肿瘤分割。所提出的方法实现了优越的性能,在分布外,外的位置,和域外的测试集。
2021-05-10 cs.CV cs.LG eess.IV
Leveraging CAM Algorithms for Explaining Medical Semantic Segmentation
TU Darmstadt(达姆施塔特工业大学);Fraunhofer Institute for Computer Graphics Research (IGD)(弗劳恩霍夫计算机图形研究所)
本文针对医学语义分割中CNN可解释性不足的问题,提出将分类任务的HiRes CAM迁移到分割任务中,构建Seg-HiRes-Grad CAM方法,以提升分割结果解释的细节和一致性。
2024-09-30 cs.CV cs.LG eess.IV
Weakly-Supervised 3D Medical Image Segmentation using Geometric Prior and Contrastive Similarity
City University of Hong Kong(香港城市大学);Beihang University(北京航空航天大学)
针对三维医学图像弱监督分割,本文提出融合点云几何先验与对比相似性损失的框架,以增强边界框监督并区分低对比度组织,在三个公开数据集上优于现有方法。
2023-02-04 cs.CV cs.LG eess.IV
GASNet: Weakly-supervised Framework for COVID-19 Lesion Segmentation
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学)
胸部CT容积中感染区域的分割对于COVID-19患者的进一步诊断和治疗具有重要意义。由于病变形状复杂、外观多变,通常需要大量的体素级标记样本来训练病变分割网络,这是发展基于深度学习的医学图像分割算法的主要瓶颈。在本文中,我们提出了一个弱监督的病变分割框架,将生成对抗训练过程嵌入到分割网络中,称为GASNet。GASNet经过优化,可通过分割器分割COVID-19 CT的病变区域,并通过生成器将异常外观替换为生成的正常外观,因此恢复的CT体积无法通过重建器与健康CT体积区分开来。GASNet由许多健康和COVID-19受试者的胸部CT体积监督,没有体素级注释。在三个公共数据库上的实验表明,当使用少至一个体素级标记样本时,GASNet的性能与在数十个体素级标记样本上训练的全监督分割算法相当。
2020-10-19 cs.CV cs.LG eess.IV
Weakly supervised multiple instance learning histopathological tumor segmentation
Paris-Saclay University(巴黎萨克雷大学);Gustave Roussy;CentraleSupélec(中央理工高等电力学院);Inserm(法国国家健康与医学研究院);Pathology Department(病理科);TheraPanacea
组织学图像分割是医学影像学中一个具有挑战性和重要性的课题,在临床实践中具有巨大的潜在影响。现有技术的方法依赖于手工制作的注释,这阻碍了临床翻译,因为组织学在癌症表型之间存在显著差异。在本文中,我们提出了一个弱监督的框架,整个幻灯片成像分割,依赖于标准的临床注释,在大多数医疗系统。特别是,我们利用多实例学习计划的训练模型。该框架已在来自癌症基因组图谱和PatchCamelyon数据集的多地点和多中心公共数据上进行了评估。与专家的注释相比,令人鼓舞的结果证明了所提出的方法的潜力。完整的框架,包括$6481$生成的肿瘤图和数据处理,可在https://github.com/marvinler/tcga_segmentation上获得。
2021-05-11 cs.CV cs.LG eess.IV
Weakly supervised segmentation with point annotations for histopathology images via contrast-based variational model
University of Nottingham(诺丁汉大学);University of Liverpool(利物浦大学)
针对组织病理学图像标注成本高的问题,提出基于对比的变分模型,利用点标注生成可靠补充监督以端到端训练深度分割模型,生成更平滑一致且鲁棒的分割结果。
2023-04-07 cs.CV cs.LG eess.IV
P-NOC: adversarial training of CAM generating networks for robust weakly supervised semantic segmentation priors
Institute of Computer Science(计算机科学研究所);University of Campinas(坎皮纳斯大学)
该研究分析现有弱监督语义分割技术特性,提出P-NOC对抗训练框架及CCAM-H方法,结合二者生成的先验优化随机游走过程,得到高质量伪分割掩码,性能比肩当前最优水平。
2024-03-11 cs.CV cs.LG
USAGE: A Unified Seed Area Generation Paradigm for Weakly Supervised Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Xidian University(西安电子科技大学);Huawei Inc.(华为技术有限公司)
提出统一种子区域生成范式USAGE,通过生成损失与正则化损失优化,同时改善CNN和Transformer的CAM生成,在PASCAL VOC和MS COCO上取得最先进性能。
2023-08-31 cs.CV
Weakly Supervised Multi-Task Learning for Cell Detection and Segmentation
Roche Tissue Diagnostics(罗氏组织诊断部);Carnegie Mellon University(卡内基梅隆大学)
细胞检测和分割是数字病理图像所有下游分析的基础。然而,获得用于单细胞分割的像素级基础事实是极其劳动密集型的。为了克服这一挑战,我们开发了一种端到端的深度学习算法,仅使用点标签来执行单细胞检测和分割。这是通过结合不同的面向任务的点标签编码方法和用于训练的多任务调度器来实现的。我们应用并验证我们的算法PMS2染色的结肠直肠癌和扁桃体组织图像。与现有技术相比,我们的算法在不增加注释工作的情况下,在细胞检测和分割方面表现出显着的改进。
2019-10-27 cs.CV cs.LG eess.IV
Weakly-Supervised Universal Lesion Segmentation with Regional Level Set Loss
PAII Inc.(PAII公司);Ping An Technology(平安科技);Beijing United Family Hospital(北京和睦家医院);Chang Gung Memorial Hospital(长庚纪念医院)
从全身计算机断层扫描(CT)扫描中准确分割各种具有临床意义的病变是精确肿瘤成像的关键任务,称为通用病变分割(ULS)。目前的临床实践主要采用手工标注,耗时长,且肿瘤纵向评价不一致。有效地训练自动分割模型是可取的,但严重依赖于大量的逐像素标记的数据。现有的弱监督分割方法通常与病变边界附近的区域相斗争。在本文中,我们提出了一种新的弱监督的通用病变分割方法,通过建立一个基于高分辨率网络(HRNet)的注意力增强模型,命名为AHRNet,并提出了一个区域水平集(RLS)损失优化病变边界划定。AHRNet通过涉及解码器,双重注意力和尺度注意力机制提供高级高分辨率深度图像特征,这对于执行准确的病变分割至关重要。RLS可以以弱监督的方式可靠有效地优化模型,迫使分割接近病变边界。大量的实验结果表明,我们的方法在公开的大规模DeepLesion数据集和保持测试集上实现了最佳性能。
2021-05-03 cs.CV eess.IV
Fast Weakly Supervised Action Segmentation Using Mutual Consistency
University of Bonn(波恩大学);Toyota Motor Europe(丰田汽车欧洲公司)
动作分割是预测视频中每一帧动作的任务。由于获得用于动作分割的视频的完整注释是昂贵的,因此只能从成绩单中学习的弱监督方法很有吸引力。在本文中,我们提出了一种新的端到端的弱监督动作分割方法的基础上的两个分支神经网络。我们的网络的两个分支预测了两个冗余但不同的动作分割表示,我们提出了一种新的相互一致性(MuCon)损失,以加强两个冗余表示的一致性。使用MuCon损失以及用于转录预测的损失,我们提出的方法实现了最先进方法的准确性,同时$14$在训练和推理期间快$20$倍。即使在完全监督的环境中,MuCon损失也是有益的。
2021-06-10 cs.CV cs.LG
Weakly Supervised Learning of Foreground-Background Segmentation using Masked RBMs
University of Edinburgh(爱丁堡大学);INRIA(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
我们提出了一个扩展的限制玻尔兹曼机(RBM),允许联合形状和外观的前景物体在杂乱的图像独立的背景进行建模。我们提出了一个学习方案,学习这种表示直接从杂乱的图像,只有非常弱的监督。该模型生成合理的样本,并执行前景-背景分割。我们证明,独立于背景表示前景对象可以是有益的识别任务。
2011-07-19 cs.CV cs.LG