Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释,我们提出了一种新的方法,不需要修改的分割训练过程。我们表明,当从给定的边界框中仔细设计输入标签时,即使是一轮训练也足以改善先前报告的弱监督结果。总的来说,我们的弱监督方法达到了完全监督模型质量的95%,无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford(牛津大学)
我们提出了一个弱监督模型,共同执行语义和实例分割-一个特别相关的问题,因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比,我们的方法不预测任何重叠的实例。此外,我们能够分割“东西”和“东西”类,从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督,而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果,无论是完全监督还是弱监督(实现了约95%的完全监督性能)。此外,我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后,我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系,这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学)
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别,例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈,并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性,它们容易产生累积错误。本文针对现有的弱监督语义分割方法,通过引入两条反馈链,提出了一种通用的自适应机制,从而构成一个闭环系统。具体地,第一链通过合并跨图像结构信息来迭代地产生动态种子,而第二链通过定制的随机游走过程来进一步扩展种子区域,以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明,我们的网络比最先进的方法性能更好,计算和内存负担更少。
2019-05-29 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology(华中科技大学);VIVO Inc.(维沃移动通信有限公司)
人类具有很强的类无关对象分割能力,能够精确地勾画出未知对象的边界,这促使我们提出了一种基于框监督类无关对象分割(BoxCaseg)的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码,作为代理地面实况,以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像,弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当,并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation
IST Austria(奥地利科学技术学院)
我们引入了一个新的损失函数的语义图像分割模型的弱监督训练的基础上的三个指导原则:种子与弱本地化线索,扩大对象的基础上的信息,哪些类可以出现在图像中,并限制分割,以符合对象的边界。我们通过实验证明,使用所提出的损失函数训练深度卷积神经网络,在具有挑战性的PASCAL VOC 2012数据集上,比以前最先进的方法得到了更好的分割。此外,我们深入了解我们的方法的工作机制,详细的实验研究,说明了如何分割质量的影响所提出的损失函数,以及它们的组合。
2016-08-06 cs.CV
Weakly Supervised Instance Segmentation for Videos with Temporal Mask Consistency
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook(脸书)
弱监督实例分割降低了训练模型所需的注释成本。然而,现有的方法,只依赖于图像级的类标签主要遭受错误,由于(a)部分分割的对象和(b)丢失的对象预测。我们表明,这些问题可以通过使用弱标记视频而不是图像进行训练来更好地解决。在视频中,跨帧的预测的运动和时间一致性提供了可以帮助分割的互补信号。我们是第一个探索使用这些视频信号来解决弱监督实例分割。我们提出了两种方法来利用我们的模型中的这些信息。首先,我们调整像素间关系网络(IRN),以有效地将运动信息在训练过程中。其次,我们引入了一个新的MaskConsistt模块,它通过在训练过程中在相邻帧之间传输稳定的预测来解决丢失对象实例的问题。我们证明了这两种方法共同提高了实例分割度量$AP_{50}$对两个数据集的视频帧:Youtube-VIS和Cityscapes分别由$5\%$和$3\%$。
2021-03-23 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications(电气通信大学人工智能探索研究中心)
为了最小化与语义分割模型训练相关的标注成本,研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中,最广泛采用的方法是基于可视化的。然而,可视化结果并不等于语义分割。因此,为了在弱监督条件下执行精确的语义分割,需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数,通常使用条件随机场和使用分割模型的输出的迭代再训练。然而,这些方法并不总是保证精度的提高;因此,如果我们多次迭代地应用这些映射函数,最终精度不会提高或会降低。为了充分利用这类映射函数,本文假设映射函数的结果中含有噪声,通过去除噪声来提高精度。为了实现我们的目标,我们提出了自我监督的差异检测模块,它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验,验证了该方法的有效性,在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Weakly-Supervised Text Instance Segmentation
Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学学院)
文本分割是一项具有挑战性的视觉任务,有许多下游应用。目前的文本分割方法需要像素级的标注,人工成本昂贵,应用场景有限。在本文中,我们首次尝试进行弱监督文本实例分割的桥梁文本识别和文本分割。洞察是,文本识别方法提供每个文本实例的精确注意位置,并且注意位置可以馈送到文本自适应细化头(TAR)和文本分割头。具体而言,建议TAR生成伪标签,通过执行两阶段的迭代细化操作的注意位置,以适应相应的文本实例的准确边界。同时,文本分割头采用粗略的注意力位置来预测分割模板,这些模板由上述伪标签监督。此外,我们设计了一个掩码增强的对比学习,将我们的分割结果作为输入文本图像的增强版本,从而提高了视觉表示,并进一步提高了识别和分割的性能。实验结果表明,该方法在ICDAR 13-FST($\%$改进18.95)和TextSeg($\%$改进17.80)上的性能明显优于弱监督的实例分割方法.
2023-03-23 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH(浦项工科大学);DGIST(大邱庆北科学技术院);University of Michigan(密歇根大学)
我们提出了一种新的算法,弱监督语义分割的基础上,图像级的类标签。在弱监督设置中,通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制,没有额外的人为干预,检索视频相关的目标类别标签从网络存储库,并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中,我们利用图像分类与歧视性定位技术,以拒绝在检索到的视频中的假警报,并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督,但从视频中获得的分割注释足够强大,可以学习语义分割的模型。所提出的算法大大优于现有的方法,基于相同的监督水平,甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Weakly Supervised Instance Segmentation by Deep Community Learning
Seoul National University(首尔大学);ETRI(韩国电子通信研究院)
提出了一种基于多任务深度社区学习的弱监督实例分割算法。该任务被制定为弱监督目标检测和语义分割的组合,其中同一类的单个对象被分别识别和分割。我们通过设计一个统一的深度神经网络架构来解决这个问题,该架构具有正反馈的目标检测循环,包括限界框回归、实例掩码生成、实例分割和特征提取。网络的每个组件都与其他组件进行积极的交互以提高准确性,我们模型的端到端可训练性使我们的结果更加强大和可重复。所提出的算法在弱监督设置中实现了最先进的性能,而无需在标准基准数据集上进行任何额外的训练,例如Fast R-CNN和Mask R-CNN。我们的算法的实现可在项目网页上获得:https://cv.snu.ac.kr/research/WSIS_CL。
2020-11-18 cs.CV
Weakly Supervised Semantic Segmentation Based on Web Image Co-segmentation
The University of Adelaide(阿德莱德大学);Nanyang Technological University(南洋理工大学)
训练用于语义分割的全卷积网络(FCN)需要大量具有像素级标记的掩模,这涉及大量的人工劳动和注释时间。相比之下,Web图像及其图像级标签更容易获得,也更便宜。在这项工作中,我们提出了一种新的方法弱监督语义分割,只有图像级标签。该方法利用互联网检索大量的图像,并使用一个大规模的共同分割框架,以产生掩模检索到的图像。我们首先从搜索引擎中检索图像,例如Flickr和Google,使用语义类名作为查询,例如数据集PASCAL VOC 2012中的类名。然后,我们使用高质量的掩模产生的共同分割的检索图像以及目标数据集图像与图像级别的标签训练分割网络。在PASCAL VOC 2012的测试集上,我们获得了56.9的IoU得分,达到了最先进的性能。
2017-08-06 cs.CV
Weakly Supervised Instance Segmentation using Motion Information via Optical Flow
The University of Tokyo(东京大学)
弱监督的实例分割已经得到普及,因为它减少了模型训练所需的像素级掩模的高注释成本。最近的弱监督实例分割方法使用从静态图像获得的外观信息来检测和分割对象。然而,它提出了识别具有非歧视性外观的物体的挑战。在这项研究中,我们解决这个问题,通过使用从图像序列的运动信息。我们提出了一个双流编码器,利用从图像和光流中提取的外观和运动特征。此外,我们提出了一种新的成对损失,同时考虑外观和运动信息来监督分割。我们对YouTube-VIS 2019基准数据集进行了广泛的评估。我们的结果表明,该方法提高了平均精度的国家的最先进的方法由3.1。
2022-02-25 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督语义分割以其低标注成本的优势,近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则,扩大和限制的种子区域从类激活图(CAM)。众所周知,传统的CAM往往是不完整的或过度激活,由于监管不力。幸运的是,我们发现语义分割具有空间变换等变性,可以形成一些自我监督,以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点,制定了一个自监督规模等变网络(SSENet)。具体地说,一种新的尺度等变正则化精心设计,以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明,该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University(首尔大学);ASRI(先进技术研究中心);INMC(纳米材料与技术研究所);ISRC(智能系统研究中心);Institute of Engineering Research(工程研究院)
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器,其对图像固有的低级别信息进行操作。在这项工作中,我们利用更高层次的信息,从一个训练有素的对象检测器的行为,通过寻找图像的最小区域,从对象检测器产生几乎相同的结果,因为它从整个图像。这些区域构成了边界框属性图(BBAM),其在其限界框中识别目标对象,从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外,我们还提供了对我们方法的详细分析,从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation
本文提出一种端到端弱监督语义分割方法,通过双向监督机制和分支间交互操作,使分类分支与分割分支平等互促,从而提升分割性能。
2023-08-09 cs.CV
Weakly-Supervised Lung Nodule Segmentation via Training-Free Guidance of 3D Rectified Flow
Chalmers University of Technology, Gothenburg, Sweden(楚德大学技术学院,哥德堡,瑞典)
本文提出一种无监督分割方法,结合预训练的校正流和预测器模型,通过无需训练的指导生成高质量肺结节分割结果,实验表明在LUNA16数据集上优于基线方法。
2026-04-20 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Università di Napoli Parthenope(那不勒斯帕泰诺佩大学);La Rochelle Université(拉罗谢尔大学)
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割,并取得了出色的效果。然而,这些模型需要大量密集注释的图像。为了解决这个问题,我们提出了一种新的算法,使用超图卷积网络弱监督语义分割(HyperGCN-WSS)。我们的算法从数据集中的图像构造空间和k-最近邻(k-NN)图来生成超图。然后,我们训练一个专门的超图卷积网络(HyperGCN)架构,使用一些微弱的信号。HyperGCN的输出被命名为伪标签,稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估,使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research(迪士尼研究院);University of Waterloo(滑铁卢大学)
最新的语义分割方法训练深度卷积神经网络,具有完全注释的掩码,需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理,从部分输入(例如,涂鸦或种子)生成完整的掩码。但是,由于标准损失函数(例如交叉熵)不能将种子与潜在的错误标记的其他像素区分开,因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发,我们通过一种新的原则性损失函数来评估网络输出,并以"浅"分割为标准,如归一化割,来解决这些问题。与之前的工作不同,我们损失的交叉熵部分仅评估标签已知的种子,而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失,其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
Fully Using Classifiers for Weakly Supervised Semantic Segmentation with Modified Cues
Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的仅使用图像级标签的弱监督语义分割方法。来自良好训练的分类器的类特异性激活图被用作训练分割网络的线索。这些线索的众所周知的缺陷是粗糙和不完整。我们使用超像素来细化它们,并融合从彩色图像训练分类器和灰度图像训练分类器中提取的线索,以补偿它们的不完整性。条件随机场适用于调节训练过程并进一步细化输出。除了初始化分割网络之外,先前训练的分类器还用于测试阶段以抑制不存在的类。在PASCAL VOC 2012数据集上的实验结果表明了该方法的有效性。
2019-06-14 cs.CV
Weakly Labeling the Antarctic: The Penguin Colony Case
Stony Brook University(石溪大学)
南极企鹅是重要的生态指标,特别是在气候变化的情况下。在这项工作中,我们提出了一个基于深度学习的模型,用于在高分辨率卫星图像中对阿德利企鹅群进行语义分割。为了训练我们的分割模型,我们利用了企鹅殖民地数据集:一个独特的数据集,包含来自南极洲193个阿德利企鹅殖民地的2044个地理参考裁剪图像。面对像素级注释掩码的稀缺性,我们提出了一个弱监督框架,以有效地从弱标签中学习分割模型。我们使用分类网络来过滤不适合分割网络的数据。该分割网络基于平均激活,使用特定的损失函数进行训练,以有效地从具有弱注释标签的数据中学习。我们的实验表明,添加弱注释的训练样本显著提高了分割性能,在企鹅殖民地数据集上将平均Intersection-over-Union从42.3%提高到60.0%。
2019-05-19 cs.CV
A Comprehensive Analysis of Weakly-Supervised Semantic Segmentation in Different Image Domains
University of Toronto(多伦多大学)
最近提出的弱监督语义分割方法在预测像素类方面取得了令人印象深刻的性能,尽管只使用缺乏位置信息的图像标签进行训练。由于图像注释更便宜,生成速度更快,因此弱监督比训练分割算法的完全监督更实用。这些方法主要用于解决自然场景图像的背景分离和部分分割问题,目前还不清楚它们是否可以简单地转移到其他具有不同特征的领域,如组织病理学和卫星图像,并且仍然表现良好。本文评估了最先进的弱监督语义分割方法对自然场景,组织病理学和卫星图像数据集,并分析了如何确定哪种方法是最适合于给定的数据集。我们的实验表明,组织病理学和卫星图像提出了一套不同的问题,弱监督语义分割比自然场景图像,如模糊的边界和类同现。方法在它们开发的数据集上表现良好,但在其他数据集上往往表现不佳。我们提出了一些实用的技术,这些方法看不见的数据集,并认为需要更多的工作,一个可推广的方法,弱监督语义分割。我们的完整代码实现可在GitHub上获得:https://github.com/lyndonchan/wsss-analysis。
2020-10-17 cs.CV
Prior to Segment: Foreground Cues for Weakly Annotated Classes in Partially Supervised Instance Segmentation
University of Amsterdam(阿姆斯特丹大学);TomTom(通腾导航科技公司)
实例分割方法需要具有昂贵且因此有限的实例级掩码标签的大型数据集。部分监督实例分割的目的是通过利用更丰富的弱盒标签来改进具有有限掩码标签的掩码预测。在这项工作中,我们表明,一个类不可知的面具头,通常用于部分监督实例分割,有困难的学习前景的一般概念弱注释类只使用框监督。为了解决这个问题,我们引入了对象掩模先验(OMP),它为掩模头提供了由框分类头在所有类的监督下隐式学习的前景的一般概念。这有助于类不可知掩码头集中在感兴趣区域(ROI)中的主要对象上,并改进了对弱注释类的泛化。我们在COCO数据集上使用强监督类和弱监督类的不同分割来测试我们的方法。我们的方法在Mask R-CNN基线上有了显着改进,并获得了最先进的竞争性能,同时提供了一个更简单的架构。
2021-04-10 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University(延世大学)
我们解决的问题,弱监督语义分割(WSSS)使用限界框注释。虽然对象边界框是分割相应对象的良好指示器,但它们不指定对象边界,使得难以训练卷积神经网络(CNN)进行语义分割。我们发现,背景区域在图像中部分是感知一致的,这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法,我们提出了一种新的池化方法,称为背景感知池化(BAP),它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割,但标签仍然包含噪声,特别是在对象边界处。为了解决这个问题,我们还引入了噪声感知损失(NAL),使网络不太容易受到错误标签的影响。实验结果表明,在PASCAL VOC 2012数据集上,使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法,NAL进一步提高了性能。
2021-04-02 cs.CV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab(Facebook连接实验室);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Facebook Core Data Science(Facebook核心数据科学)
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一,特别是对于图像语义分割等任务,其中标记是极其昂贵和主观的。在本文中,我们提出了一种新的神经网络架构,通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明,该算法取得了优越的性能和效率相比,各种基线模型。
2016-12-08 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London(帝国理工学院)
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而,大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时,特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题,该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此,我们提出三个想法来解决这个问题,更具体地说,我们的贡献是:1)抑制假阳性并改进弱监督训练的新的稀疏前景损失,2)利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失,3)可变形的Transformer编码器颈部,用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点,优于一些最先进的全监督模型。此外,我们的框架可以用于微调在自然图像分割数据集上训练的模型,从而大大提高其息肉分割的性能,并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Harvesting Information from Captions for Weakly Supervised Semantic Segmentation
University of Bonn(波恩大学)
由于获取逐像素注释以训练用于语义图像分割的卷积神经网络是耗时的,因此已经提出了仅需要类标签的弱监督方法。在这项工作中,我们提出了另一种形式的监督,即图像标题,因为它们可以在互联网上找到。这些标题有两个优点。它们不需要额外的策展,因为它是当前弱监督方法使用的干净类标签的情况,并且它们为图像中存在的类提供文本上下文。为了利用这样的文本上下文,我们部署了一个多模态网络,该网络学习图像的视觉表示和标题的文本表示的联合嵌入。该网络估计类名以及复合概念(即名词及其属性的组合)的文本激活图(TAM)。描述感兴趣类别的复合概念的TAM实质上提高了估计的类别激活图的质量,然后将其用于训练用于语义分割的网络。我们在COCO数据集上评估了我们的方法,在那里它实现了弱监督图像分割的最新结果。
2019-05-16 cs.CV
Weakly-supervised Semantic Segmentation in Cityscape via Hyperspectral Image
Nanjing University(南京大学);Beijing Institute of Technology(北京理工大学);University of Amsterdam(阿姆斯特丹大学)
高分辨率高光谱图像包含了每个像元在不同光谱波段的响应,可以有效区分复杂场景中的各种地物。虽然HSI相机已经变得低成本,但基于它的算法还没有得到很好的利用。在本文中,我们专注于一个新的主题,弱监督语义分割在城市景观通过HSI。它是基于这样的想法,高分辨率的HSI在城市场景中包含丰富的光谱信息,它可以很容易地关联到语义,而无需手动标记。因此,它能够在复杂场景中实现低成本、高可靠性的语义分割。具体来说,在本文中,我们从理论上分析了HSI,并介绍了一个弱监督HSI语义分割框架,它利用光谱信息,以改善粗糙的标签到一个更精细的程度。实验结果表明,我们的方法可以获得高度竞争的标签,甚至有更高的边缘精细度比人工精细标签在某些类别。同时,实验结果也表明,细化后的标签能够有效地提高语义分割的效果。HSI和语义分割的结合证明了HSI在高级视觉任务中具有巨大的潜力。
2021-07-20 cs.CV
Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation
Zhejiang University(浙江大学);Nankai University(南开大学)
针对弱监督语义分割的不适定问题,本研究挖掘类别无关大模型segment-anything的“提示生成掩码”潜力,以弱标签为提示生成精确类别掩码,再用其制作伪标签训练分割网络,在PASCAL VOC 2012上验证了该方法的有效性,代码将开源。
2023-05-02 cs.CV
Weakly Supervised Semantic Segmentation Using Constrained Dominant Sets
Ca' Foscari University of Venice(威尼斯卡福斯卡里大学);Ege University(爱琴海大学)
大规模数据集的可用性是基于深度学习的语义分割方案的基本先决条件。由于获取像素级标签的成本非常昂贵,近年来,使用低成本弱注释来监督深度语义分割网络一直是一个有吸引力的研究问题。在这项工作中,我们探索了约束主导集(CDS)的潜力,用于生成多标记的全掩码预测,以训练用于语义分割的全卷积网络(FCN)。我们的实验结果表明,使用CDS的产量更高质量的掩模预测相比,已在文献中采用的方法,用于相同的目的。
2019-09-20 cs.CV
Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
UIUC(伊利诺伊大学厄巴纳-香槟分校);NUS(新加坡国立大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Tencent AI Lab(腾讯人工智能实验室)
尽管取得了显着的进步,弱监督分割方法仍然不如完全监督的方法。我们观察到性能差距主要来自于它们在学习从图像级监督产生高质量密集对象定位图方面的限制。为了弥补这一差距,我们重新审视了扩张卷积[1],并揭示了如何以一种新的方式利用它来有效地克服弱监督分割方法的这一关键限制。具体来说,我们发现不同的膨胀率可以有效地扩大卷积核的感受野,更重要的是将周围的判别信息转移到非判别对象区域,促进这些区域在对象定位图中的出现。然后,我们设计了一个通用的分类网络,配备了不同膨胀率的卷积块。它可以产生密集和可靠的目标定位图,并有效地有利于弱监督和半监督语义分割。尽管表面上的简单,我们提出的方法获得了优越的性能超过国家的最先进的。特别是,它在Pascal VOC 2012测试集上实现了60.8%和67.6%的mIoU分数,在弱(仅图像级标签可用)和半(1,464个分割掩码可用)监督设置中,这是最新的最先进技术。
2018-05-28 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales(新南威尔士大学)
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题,提出基于原型的图像提示框架,利用聚类原型与对比匹配损失提升CAM质量,并在四个数据集上取得新基准。
2025-03-15 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University(吉林大学)
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法,可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的,使得它们不能为图像分割提供有效的信息。在本文中,我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图,并通过种子区域生长方法将位置线索作为种子进行生长,以扩展像素级标签的范围。在种子的生长过程中,我们使用显著性值来加权像素之间的相似性,以控制生长。因此,显著性信息可以帮助生成有区别的对象区域,并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH(浦项科技大学);University of Michigan(密歇根大学)
提出了一种基于深度卷积神经网络(DCNN)的弱监督语义分割算法。与现有的弱监督方法相反,我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性,我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中,该模型使用注意力模型生成图像中呈现的每个类别的空间高光,随后使用解码器为每个高光区域生成前景分割。结合注意力模型,我们表明,在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时,与挑战PASCAL VOC 2012数据集的最新弱监督技术相比,该算法表现出显着提高的性能。
2015-12-24 cs.CV
ACCL: Adversarial constrained-CNN loss for weakly supervised medical image segmentation
Beijing Institute of Technology(北京理工大学)
我们提出了对抗性约束CNN损失,约束CNN损失方法的一个新范例,用于弱监督医学图像分割。在新的范例中,先验知识被编码和描述的参考掩码,并进一步采用通过对抗学习与参考掩码的分割输出施加约束。与用于弱监督分割的伪标签方法不同,这样的参考掩模用于训练神经元而不是分割网络,因此不需要与特定图像配对。我们的新范式不仅大大方便了对网络输出施加先验知识,而且还提供了更强和更高阶的约束,即,分布近似,通过对抗学习。广泛的实验涉及不同的医疗方式,不同的解剖结构,不同的拓扑结构的感兴趣的对象,不同水平的先验知识和弱监督注释与不同的注释比率进行评估我们的ACCL方法。实验结果表明,该方法的分割效果优于CNN损失法,部分分割结果接近全监督的分割结果,充分验证了该方法的有效性和推广性。具体而言,我们报告了75.4%的平均Dice分数,平均注释率为0.65%,超过了现有技术,即,尺寸受限的CNN损失方法,大幅度提高了11.4%。我们的代码可在https://github.com/PengyiZhang/ACCL上公开获取。
2020-05-01 cs.CV
Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation
Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
由于为训练点云的语义分割网络准备标记数据是一个耗时的过程,因此已经引入了弱监督方法来仅从一小部分数据中学习。这些方法通常基于具有对比损失的学习,同时从用户注释的标签的稀疏集合自动导出每点伪标签。在本文中,我们的主要观察结果是,选择要注释的样本与如何使用这些样本进行训练一样重要。因此,我们介绍了一种弱监督分割的3D场景,结合自我训练与主动学习的方法。主动学习选择可能导致训练模型性能改进的注释点,而自训练有效地使用用户提供的标签来学习模型。我们证明,我们的方法导致一个有效的方法,提供了改进的场景分割在以前的作品和基线,同时只需要少量的用户注释。
2022-09-15 cs.CV
Robust Trust Region for Weakly Supervised Segmentation
University of Waterloo(滑铁卢大学)
如果要求标记每个像素,则获取用于标准语义分割的训练数据是昂贵的。然而,当前的方法在弱监督设置中显著恶化,例如,其中一部分像素被标记或者当仅图像级标签可用时。已经证明,正则化损失-最初是为无监督的低级别分割开发的,并在像素标签上表示几何先验-可以大大提高弱监督训练的质量。然而,许多常见的先验需要比梯度下降更强的优化。因此,这种正则化器在深度学习中具有有限的适用性。我们提出了一个新的鲁棒的信赖域方法的正则化损失,提高了国家的最先进的结果。我们的方法可以被看作是一个高阶推广的经典链规则。它允许神经网络优化为相应的正则化器(包括离散正则化器)使用强大的低级求解器。
2021-09-01 cs.CV
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
Few-Shot语义分割解决了学习任务,其中只有少数具有地面实况像素级标签的图像可用于感兴趣的新类别。通常需要收集大量数据(即,基类),然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时,弱监督Few-Shot语义分割被认为是更具挑战性的任务。为了解决这个问题,我们提出了一种新的元学习框架,它预测伪像素级分割掩码从有限的数据量和它们的语义标签。更重要的是,我们的学习方案进一步利用产生的像素级信息,用于具有分割保证的查询图像输入。因此,我们提出的学习模型可以被看作是一个像素级的元学习者。通过对基准数据集的广泛实验,我们表明,我们的模型在完全监督设置下实现了令人满意的性能,但在弱监督设置下对最先进的方法表现良好。
2021-11-02 cs.CV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime(商汤科技);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
大多数弱监督语义分割(WSSS)方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而,我们发现了一些与伪掩码相关的问题,包括从类激活映射(CAM)生成高质量的伪掩码,以及使用噪声伪掩码监督进行训练。对于这些问题,我们提出了以下设计来将性能提升到新的最新水平:(i)变异系数平滑,以自适应地平滑CAM;(ii)比例伪掩模生成,将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标,而不是从二进制分类器训练的分数。(iii)伪欠拟合策略,以抑制噪声在伪掩模中的影响;(iv)循环伪掩模,以在全监督语义分割(FSSS)的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果,在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester(罗切斯特大学);Google Inc.(谷歌公司);ByteDance AI Lab(字节跳动人工智能实验室);Vaitl Inc.(维特尔公司)
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能,但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比,大量的弱标签(如姿势和全身遮罩)已经存在并包含相关信息。出于使用现有弱标签的可能性,我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签(如关键点)转换为身体部位掩模的初始估计,然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签,我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法(63.6% mIoU)相当的性能(62.0% mIoU)。此外,在扩展的半监督设置,所提出的框架优于国家的最先进的方法。此外,我们将我们提出的框架扩展到其他关键点监督的部分分割任务,如人脸解析。
2020-10-30 cs.CV
Semantic-Transferable Weakly-Supervised Endoscopic Lesions Segmentation
University of Chinese Academy of Sciences(中国科学院大学)
图像级标签监督下的弱监督学习已广泛应用于医学病变区域的语义分割。然而,1)大多数现有模型依赖于有效的约束来探索病变的内部表示,这仅产生不准确和粗糙的病变区域; 2)它们忽略了靶病变数据集之间的强概率依赖性(例如,肠镜图像)和井到注释源疾病数据集(例如,胃镜图像)。为了更好地利用这些依赖关系,我们提出了一种新的语义病变表示转移模型的弱监督内镜病变分割,它可以利用有用的知识,从相关的完全标记的疾病分割任务,以提高目标弱标记病变分割任务的性能。更具体地说,提出了一种伪标签生成器,通过结合类平衡和超像素空间先验,利用种子信息来生成高置信度的伪像素标签。它可以迭代地从弱标记的目标数据集中包含更多难以转移的样本到训练集中。然后,通过累积先前学习的特征,在不同数据集之间动态搜索同一类的特征质心。同时,本文还采用了对抗学习,以缩小输出空间中不同数据集之间的病变之间的差距。最后,我们建立了一个新的医疗内窥镜数据集,其中包含从1100多名志愿者中收集的3659张图像。在我们收集的数据集和几个基准数据集上的大量实验验证了我们的模型的有效性。
2019-08-22 cs.CV
Learning to Exploit the Prior Network Knowledge for Weakly-Supervised Semantic Segmentation
University of Alcalá(阿尔卡拉大学)
训练用于语义分割的卷积神经网络(CNN)通常需要收集大量准确的像素级注释,这是一项困难且昂贵的任务。相比之下,简单的图像标签更容易收集。在本文中,我们介绍了一种新的弱监督语义分割模型,能够从图像标签学习,只是图像标签。我们的模型使用的图像识别训练的网络的先验知识,采用这些图像注释作为注意力机制,以确定图像中的语义区域。然后,我们提出了一种方法,建立准确的类特定的分割掩模从这些地区,既不需要外部对象,也不需要显着性算法。我们描述了如何将这种掩码生成策略整合到一个完全端到端的可训练过程中,在这个过程中,网络联合学习对图像进行分类和分割。我们在PASCAL VOC 2012数据集上的实验表明,利用这些生成的特定于类的掩码与我们新颖的端到端学习过程相结合,优于最近几种仅使用图像标签的弱监督语义分割方法,甚至优于一些利用额外监督或训练数据的模型。
2019-02-22 cs.CV
Scribble2D5: Weakly-Supervised Volumetric Image Segmentation via Scribble Annotations
Shanghai Jiao Tong University(上海交通大学)
最近,使用弱注释(如涂鸦)的弱监督图像分割得到了极大的关注,因为与像素/体素级别的耗时和标签密集型标记相比,这种注释更容易获得。然而,由于涂鸦缺乏感兴趣区域(ROI)的结构信息,现有的基于涂鸦的方法受到边界定位差。此外,大多数当前的方法被设计用于2D图像分割,如果直接应用于图像切片,则不能充分利用体积信息。在本文中,我们提出了一个基于涂鸦的体积图像分割,Scribble 2D 5,它解决了3D各向异性图像分割,提高了边界预测。为了实现这一目标,我们增加了一个2.5D注意UNet与建议的标签传播模块,以扩展从涂鸦和静态和主动边界预测的组合语义信息,学习ROI的边界和规则化其形状。在三个公共数据集上进行的大量实验表明,Scribble 2D 5的性能明显优于当前基于涂鸦的方法,并接近完全监督方法的性能。我们的代码可在线获取。
2022-07-01 cs.CV
EM-Paste: EM-guided Cut-Paste with DALL-E Augmentation for Image-level Weakly Supervised Instance Segmentation
University of Southern California(南加州大学);Microsoft Research(微软研究院)
我们建议EM-PASTE:期望最大化(EM)引导的剪切-粘贴组合数据集增强方法,用于仅使用图像级监督的弱监督实例分割。所提出的方法包括三个主要组成部分。第一个组件生成高质量的前景对象遮罩。为此,提出了一种类似EM的方法,该方法迭代地细化由通用区域建议方法生成的初始对象掩模建议集。接下来,在第二部分中,使用文本到图像合成方法(如DALL-E)生成高质量的上下文感知背景图像。最后,第三组件通过将前景对象遮罩合成到原始和生成的背景图像上来创建大规模伪标记的实例分割训练数据集。该方法通过仅使用图像级弱标签信息,在PASCAL VOC 2012和MS COCO数据集上实现了最先进的弱监督实例分割结果。特别是,它在PASCAL和COCO上分别比最佳基线高出+7.4和+2.8 mAP 0.50。此外,该方法提供了一种新的解决方案,长尾弱监督实例分割问题(当许多类可能只有很少的训练样本),通过选择性地增加代表不足的类。
2022-12-15 cs.CV
Superpixel Boundary Correction for Weakly-Supervised Semantic Segmentation on Histopathology Images
University of Science and Technology of China(中国科学技术大学)
针对组织病理图像 WSSS 中 CAM 分辨率低、边界模糊的问题,提出结合超像素聚类与泛洪填充的多级超像素边界校正算法,在乳腺癌分割数据集上以 71.08% mIoU 提升肿瘤微环境边界刻画。
2025-01-07 cs.CV
Weakly Supervised Object Detection with Segmentation Collaboration
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督目标检测的目标是在给定图像类别标签的情况下学习精确的目标检测器。在最近流行的工作中,这个问题通常被公式化为一个由图像分类损失引导的多实例学习模块。假设对象限界框是所有建议中对分类贡献最大的一个。然而,贡献最大的区域也可能是对象的关键部分或支持上下文。为了获得更准确的检测器,在这项工作中,我们提出了一种新的端到端弱监督检测方法,其中新引入的生成对抗分割模块与传统的检测模块在协作循环中进行交互。该协作机制充分利用了弱监督定位任务(即检测和分割任务)的互补解释,形成了一个更全面的解决方案。因此,我们的方法获得更精确的对象边界框,而不是零件或不相关的环境。预计,该方法实现了51.0%的准确率在PASCAL VOC 2007数据集上,优于国家的最先进的,并证明其优越性弱监督目标检测。
2019-04-01 cs.CV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联,我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习,给定一个图像,我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题,包括识别场景中的对象(自动对象注释),使用它们的属性描述对象(属性预测和关联),以及定位和描绘对象(目标检测和语义分割)。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程(WS-MRF-SIBP)来实现的,该过程将对象和属性建模为潜在因素,并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明,我们的弱监督模型显着优于弱监督的替代品,并经常与现有的强监督模型的各种任务,包括语义分割,自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University(浙江大学)
弱监督语义分割(WSSS)只使用图像级标签可以大大降低标注成本,因此吸引了相当大的研究兴趣。然而,其性能仍然不如完全监督的同行。为了缓解性能差距,我们提出了一个显着性引导的自我注意力网络(SGAN)来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息,但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作,我们将类不可知的显着性先验集成到自我注意力机制中,并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索,从而提高分割性能。此外,通过简单地用部分标记的地面实况替换额外的监督,SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明,我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Inter Extreme Points Geodesics for End-to-End Weakly Supervised Image Segmentation
King’s College London(伦敦国王学院)
我们介绍了$\textit{InExtremIS}$,这是一种弱监督的3D方法,可以使用特别弱的训练时间注释来训练深度图像分割网络:在感兴趣对象的边界上只有6个极端点击。我们的全自动方法是端到端训练的,不需要任何测试时注释。从极端点,3D边界框提取周围的感兴趣的对象。然后,生成连接极值点的深测地线以增加边界框内的“注释”体素的量。最后,一个弱监督正则化的损失来自条件随机场制定的是用来鼓励均匀区域的预测一致性。在一个大型开放数据集上进行了大量的实验,用于前庭神经鞘瘤分割。$\textit{InExtremIS}$获得了有竞争力的性能,接近完全监督,并显着优于其他弱监督技术的基础上边界框。此外,给定固定的注释时间预算,$\textit{InExtremIS}$优于完全监督。我们的代码和数据可在线获取。
2021-11-04 cs.CV
Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
图像级弱监督语义分割(WSSS)以类激活图(CAMs)为基础,取得了很大的进展,但分类和分割之间的监督差距仍然阻碍了模型生成更完整、更精确的伪模板进行分割。在这项研究中,我们提出了弱监督像素原型对比,可以提供像素级的监督信号,以缩小差距。在两个直观先验的指导下,我们的方法在不同的视图和图像的每个视图内执行,旨在施加跨视图特征语义一致性正则化,并促进特征空间的类内(间)紧凑性(分散性)。我们的方法可以无缝地纳入现有的WSSS模型,而无需对基础网络进行任何更改,并且不会产生任何额外的推理负担。大量的实验表明,我们的方法一致地提高了两个强基线的大幅度,证明了有效性。具体来说,建立在SEAM之上,我们将PASCAL VOC 2012上的初始种子mIoU从55.4%提高到61.5%。此外,我们的方法,我们增加了分割mIoU的EPS从70.8%到73.6%,实现了新的国家的最先进的。
2022-03-14 cs.CV
Weakly Supervised Instance Segmentation Using Hybrid Network
Chongqing University of Posts and Telecommunications(重庆邮电大学);NTT Media Intelligence Laboratories(NTT媒体情报实验室);Georgia Institute of Technology(佐治亚理工学院)
弱监督实例分割由于可以大大节省像素模板标注的人力和时间成本,近年来受到越来越多的关注。常用的流水线首先利用传统的图像分割方法自动生成初始掩码,然后使用它们以迭代的方式训练现成的分割网络。然而,初始生成的面具通常包含一个显着比例的无效面具,主要是由小对象实例造成的。直接用这些初始模板来训练分割模型对分割效果不利。为了解决这个问题,本文提出了一种混合网络。在我们的架构中,有一个原则分割网络,用于处理正常样本与有效的生成的面具。此外,添加了一个互补分支来处理没有有效遮罩的小而暗淡的对象。实验结果表明,该方法在小对象实例和大对象实例上都能取得显著的性能提升,优于现有的所有方法。
2018-12-12 cs.CV
Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation
The University of Sydney(悉尼大学);Murdoch University(莫道克大学);Hong Kong University of Sciences and Technology(香港科技大学);The University of Western Australia(西澳大学)
在没有密集标记数据的情况下,语义分割是一项具有挑战性的任务。仅依赖于具有图像级标签的类激活图(CAM)提供了不足的分割监督。因此,先前的工作考虑预先训练的模型来产生粗糙的显着性图,以指导伪分割标签的生成。然而,常用的离线启发式生成过程不能充分利用这些粗糙的显着性图的好处。由于任务间的显著相关性,我们提出了一种新的弱监督多任务框架,称为SegNet,利用显着性检测和多标签图像分类作为辅助任务,以改善仅使用图像级地面真实标签的语义分割的主要任务。受其相似的结构化语义的启发,我们还建议从显着性和分割表示中学习跨任务的全局像素级亲和力图。所学习的跨任务亲和度可用于细化显著性预测并传播CAM图,以为两个任务提供改进的伪标签。伪标签更新和跨任务亲和学习之间的相互促进使得分割性能得到迭代改进。大量的实验证明了所提出的辅助学习网络结构和跨任务亲和学习方法的有效性。该方法在具有挑战性的PASCAL VOC 2012和MS COCO基准测试中实现了最先进的弱监督分割性能。
2021-07-27 cs.CV
GaIA: Graphical Information Gain based Attention Network for Weakly Supervised Point Cloud Semantic Segmentation
Korea University(高丽大学)
虽然点云语义分割是三维场景理解中的一项重要任务,但该任务需要一个耗时的完全注释标签的过程。为了解决这个问题,最近的研究采用了稀疏注释下的弱监督学习方法。与现有研究不同的是,本研究旨在减少由熵度量的认知不确定性,以实现精确的语义分割。我们提出了基于图形信息增益的注意力网络称为GaIA,它基于可靠的信息来计算每个点的熵。图信息增益利用目标点与邻域之间的相对熵来判别可靠点。我们进一步介绍了基于锚点的附加角余量损失,ArcPoint。ArcPoint算法将含有高熵的未标记点优化为超球空间上标记点的语义相似类。在S3 DIS和ScanNet-v2数据集上的实验结果表明,我们的框架优于现有的弱监督方法。我们在https://github.com/Karel911/GaIA上发布了GaIA。
2022-10-02 cs.CV
CIAN: Cross-Image Affinity Net for Weakly Supervised Semantic Segmentation
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
仅使用图像级标签的弱监督语义分割节省了大量的人力来注释像素级标签。最先进的方法依赖于各种创新的约束和启发式规则来生成每个图像的掩码。虽然这些方法已经取得了很大的进展,他们对待每个图像独立,并没有考虑到不同的图像之间的关系。然而,在本文中,我们认为,跨图像的关系是至关重要的弱监督分割。因为它连接了图像中的相关区域,可以传播补充表示以获得更一致和完整的区域。为了利用这些信息,我们提出了一个端到端的跨图像亲和力模块,它利用像素级的跨图像的关系,只有图像级的标签。通过这种方式,我们的方法在Pascal VOC 2012验证集和测试集上分别实现了64.3%和65.3%的mIoU,这是一个新的最先进的结果,仅使用图像级标签进行弱监督语义分割,证明了我们的方法的优越性。
2020-01-30 cs.CV