Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation
Shenzhen University（深圳大学）；Wenzhou-Kean University（温州肯恩大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳市人工智能与机器人研究院）
虽然由图像分类网络生成的类激活图（CAM）已被广泛用于弱监督对象定位（WSOL）和语义分割（WSSS），但此类分类器通常集中于可区分的对象区域。在本文中，我们提出了对比学习类不可知激活地图（C $^2$ AM）生成只使用未标记的图像数据，而不涉及图像级的监督。核心思想来自以下观察：i）前景对象的语义信息通常与其背景不同; ii）具有相似外观的前景对象或具有相似颜色/纹理的背景在特征空间中具有相似的表示。我们基于上述关系形成正对和负对，并使用一种新的对比损失，迫使网络使用类不可知的激活图来解开前景和背景。当引导网络区分跨图像前景-背景时，通过我们的方法学习的类别不可知激活映射会生成更完整的对象区域。我们成功地从C $^2$ AM中提取了与类别无关的对象边界框，用于对象定位和背景线索，以改进由分类网络生成的CAM，用于语义分割。在CUB-200-2011、ImageNet-1 K和PASCAL VOC 2012数据集上的大量实验表明，WSOL和WSSS都可以从所提出的C $^2$ AM中受益。
2022-12-22 cs.CV
Activation Modulation and Recalibration Scheme for Weakly Supervised Semantic Segmentation
Bytedance Inc.（字节跳动）
图像级弱监督语义分割（WSSS）是一个基本而又具有挑战性的计算机视觉任务，有助于场景理解和自动驾驶。大多数现有的方法都采用基于分类的类激活图（CAM）作为初始伪标签，这些伪标签往往集中在有区别的图像区域上，并且缺乏用于分割任务的自定义特征。为了缓解这个问题，我们提出了一种新的激活调制和重新校准（AMR）方案，它利用聚光灯分支和补偿分支来获得加权CAM，可以提供重新校准监督和特定于任务的概念。具体而言，注意调制模块（AMM）被用来重新安排的通道空间顺序的角度来看，这有助于明确建模通道的相互依赖性和空间编码的特征重要性的分布，以适应性地调制面向分割的激活响应。此外，我们引入了一个交叉伪监督的双分支，它可以被看作是一个语义相似的正则化，以相互细化两个分支。大量的实验表明，AMR在PASCAL VOC 2012数据集上建立了一个新的最先进的性能，不仅超过了当前使用图像级监督训练的方法，而且超过了一些依赖于更强监督的方法，如显着性标签。实验还表明，我们的计划是即插即用，可以与其他方法，以提高其性能。
2021-12-16 cs.CV
Attention-based Class Activation Diffusion for Weakly-Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Singapore Management University（新加坡管理大学）
提取类激活图是弱监督语义分割的关键步骤。卷积神经网络的CAM无法捕获对图像的长距离特征依赖性，并且导致仅覆盖前景对象部分，即，很多假阴性。一个直观的解决方案是将CAM与视觉Transformers（ViT）的远程注意力矩阵“耦合”。我们发现，直接"耦合“，例如，注意力和激活的逐像素倍增实现了更全局的覆盖（在前景上），但不幸的是伴随着假阳性的大量增加，即，错误地包括背景像素。本文旨在解决这一问题。提出了一种将CAM和注意力矩阵以概率扩散方式耦合的新方法，称之为AD-CAM。直觉上，它以保守和令人信服的方式整合了ViT注意力和CAM激活。保守性是通过基于一对像素对共同邻居的相应关注度来细化它们之间的关注度来实现的，其中直觉是具有非常不同的邻域的两个像素很少依赖，即，他们的注意力应该减少。说服是通过扩散一个像素的激活到它的邻居（在CAM上）成比例的相应的关注（在AM上）。在实验中，我们在两个具有挑战性的WSSS基准PASCAL VOC和MS~COCO上的结果表明，AD-CAM作为伪标签可以产生比CAM的最新变体更强的WSSS模型。
2022-11-20 cs.CV
Discriminative Region Suppression for Weakly-Supervised Semantic Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
使用图像级标签的弱监督语义分割（WSSS）最近因降低标注成本而受到广泛关注。现有的WSSS方法利用来自分类网络的定位图来生成伪分割标签。然而，由于从分类器获得的定位图只集中在稀疏的判别对象区域，很难生成高质量的分割标签。为了解决这个问题，我们引入了区分区域抑制（DRS）模块，这是一种简单而有效的方法来扩展对象激活区域。DRS抑制了对区分区域的注意，并将其传播到相邻的非区分区域，生成密集的定位图。DRS只需要很少或不需要额外的参数，并且可以插入任何网络。此外，我们引入了一个额外的学习策略，以提供一个自我增强的本地化地图，命名为本地化地图细化学习。受益于这种细化学习，定位地图通过恢复一些丢失的部分或去除噪声本身来细化和增强。由于其简单性和有效性，我们的方法仅使用图像级标签在PASCAL VOC 2012分割基准上实现了mIoU 71.4%。大量的实验证明了我们方法的有效性。该代码可在https://github.com/qjadud1994/DRS上获得。
2021-04-05 cs.CV
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University（澳大利亚国立大学）；SenseTime（商汤科技）
弱监督语义分割（WSSS）是具有挑战性的，特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距，通常生成类激活图（CAM）以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响，即只有最具辨别力的区域被激活。另一方面，基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效，从而潜在地减轻“部分激活”问题。在本文中，我们提出了第一个基于Transformer的WSSS方法，并介绍了梯度加权元素的Transformer注意力地图（GETAM）。GETAM显示所有特征图元素的精细缩放激活，显示对象跨Transformer层的不同部分。此外，我们提出了一个激活感知标签完成模块，以生成高质量的伪标签。最后，我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明，我们的结果明显优于最先进的端到端方法，并且优于大多数多阶段方法。
2022-05-10 cs.CV
Background-aware Classification Activation Map for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University Health Science Center, Peking University（北京大学医学部医学技术研究院）；Department of Biomedical Engineering, Peking University（北京大学生物医学工程系）；Institute of Biomedical Engineering, Shenzhen Bay Laboratory（深圳湾实验室生物医学工程研究所）；Institute of Biomedical Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）；ByteDance AI Lab, ByteDance（字节跳动人工智能实验室）；Key Laboratory of Carcinogenesis and Translational Research (Ministry of Education), Peking University Cancer Hospital & Institute（北京大学肿瘤医院暨研究所，恶性肿瘤发生与转化研究教育部重点实验室）
弱监督目标定位（WSOL）通过使用图像级分类掩码来监督其学习过程，从而放松了目标定位对密集注释的要求。然而，目前的WSOL方法遭受过度激活的背景位置，需要后处理，以获得本地化掩模。本文将这些问题归因于对背景线索的不了解，并提出了背景感知分类激活图（B-CAM），以仅使用图像级标签同时学习对象和背景的定位分数。在我们的B-CAM中，两个图像级的功能，潜在的背景和对象位置的像素级功能聚合，被用来净化对象的功能，从对象相关的背景和代表的纯背景样本的功能，分别。然后基于这两个特征，学习目标分类器和背景分类器，以确定二值目标定位掩模。我们的B-CAM可以训练在端到端的方式的基础上提出的交错分类损失，这不仅提高了对象的定位，但也抑制了背景激活。在CUB-200、OpenImages和VOC 2012数据集上的实验表明，B-CAM的性能优于单阶段WSOL方法.
2021-12-29 cs.CV
Bagging Regional Classification Activation Maps for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University（北京大学医学技术研究院）；Peking University（北京大学）；Institute of Biomedical Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）
分类激活图（CAM）利用分类结构生成逐像素定位图，是弱监督目标定位（WSOL）的关键机制。然而，CAM直接使用在图像级特征上训练的分类器来定位对象，使得它更喜欢辨别全局判别因素而不是区域对象线索。因此，当将像素级特征馈送到该分类器中时，仅激活有区别的位置。为了解决这个问题，本文阐述了一种称为BagCAMs的即插即用机制，以便在不细化或重新训练基线结构的情况下，更好地为本地化任务设计一个训练有素的分类器。我们的BagCAMs采用了建议的区域定位器生成（RLG）策略来定义一组区域定位器，然后从一个训练有素的分类器中导出它们。这些区域定位器可以被看作是基础学习器，它只识别用于定位任务的区域对象因素，它们的结果可以被我们的BagCAMs有效地加权以形成最终的定位图。实验表明，采用我们提出的BagCAMs可以在很大程度上提高基线WSOL方法的性能，并在三个WSOL基准测试中获得了最先进的性能。代码发布于https://github.com/zh460045050/BagCAMs。
2022-07-16 cs.CV
BroadCAM: Outcome-agnostic Class Activation Mapping for Small-scale Weakly Supervised Applications
South China University of Technology（华南理工大学）；Guangdong Provincial People’s Hospital (Guangdong Academy of Medical Sciences)（广东省人民医院（广东省医学科学院））；Southern Medical University（南方医科大学）；The Chinese University of Hong Kong（香港中文大学）
提出结果无关的类激活映射方法BroadCAM，利用宽学习系统避免小规模数据下不可靠模型结果对权重的影响，在小规模弱监督任务中优于现有方法并在大规模数据下达到SOTA。
2023-09-07 cs.CV
Inferring the Class Conditional Response Map for Weakly Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）
图像级弱监督语义分割（WSSS）依赖于类激活图（CAM）的伪标签生成。由于CAM仅突出对象的最有区别的区域，因此生成的伪标签通常不能令人满意地直接用作监督。为了解决这个问题，大多数现有的方法遵循多训练流水线来细化CAM以获得更好的伪标签，其包括：1）重新训练分类模型以生成CAM; 2）后处理CAM以获得伪标签;以及3）用所获得的伪标签训练语义分割模型。然而，这种多训练管道需要复杂的调整和额外的时间。为了解决这个问题，我们提出了一个类条件推理策略和激活感知掩码细化损失函数，以生成更好的伪标签，而无需重新训练分类器。提出了类条件推理时间方法，以单独和迭代地揭示分类网络的隐藏对象激活，以生成更完整的响应图。此外，我们的激活感知掩模细化损失函数引入了一种新的方法，在分割训练期间利用显著性图，并在不抑制背景对象的情况下细化前景对象掩模。我们的方法实现了优越的WSSS结果，而不需要重新训练的分类器。
2021-10-27 cs.CV
Spatial Structure Constraints for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；Jilin University（吉林大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出空间结构约束SSC，通过CAM驱动重建与激活自调制抑制弱监督语义分割中的对象过度激活，并在PASCAL VOC 2012和COCO上取得优异mIoU。
2024-01-20 cs.CV
Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）
提取类激活图（CAM）可以说是为弱监督语义分割（WSSS）生成伪掩码的最标准步骤。然而，我们发现，不令人满意的伪掩模的关键是二进制交叉熵损失（BCE）广泛使用的CAM。具体地，由于BCE的类上求和池化性质，CAM中的每个像素可以响应于在同一感受野中共同出现的多个类。因此，给定一个类，其热CAM像素可能错误地侵入属于其他类的区域，或者非热CAM像素可能实际上是该类的一部分。为此，我们引入了一个非常简单但非常有效的方法：通过使用softmax交叉熵损失（SCE）重新激活收敛的CAM，称为\textbf{ReCAM}。给定一幅图像，我们使用CAM提取每个类的特征像素，并使用它们与类标签一起使用SCE学习另一个全连接层（骨干之后）。一旦收敛，我们以与CAM中相同的方式提取ReCAM。由于SCE的对比性质，像素响应被分解为不同的类别，因此预期较少的掩模模糊性。对PASCAL VOC和MS~COCO的评估表明，ReCAM不仅可以生成高质量的掩码，而且可以在任何CAM变体中以很小的开销支持即插即用。
2022-03-02 cs.CV
CREAM: Weakly Supervised Object Localization via Class RE-Activation Mapping
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Deakin University（迪肯大学）
弱监督对象定位（WSOL）旨在通过图像级监督来定位对象。现有的工作主要依赖于类激活映射（CAM）来自分类模型。然而，基于CAM的方法通常集中在对象的最有区别的部分（即，不完全定位问题）。在本文中，我们经验证明，这个问题是与混淆的激活值之间的歧视前景区域和背景。为了解决这个问题，我们提出了类再激活映射（CREAM），一种新的基于聚类的方法来提高积分对象区域的激活值。为此，我们引入类特定的前景和背景上下文嵌入集群质心。提出了一种CAM引导的动量保持策略，用于在训练过程中学习上下文嵌入。在推理阶段，将重新激活映射问题转化为高斯混合模型下的参数估计问题，通过推导基于期望最大化的无监督软聚类算法来解决该问题。通过简单地将CREAM集成到各种WSOL方法中，我们的方法显着提高了它们的性能。CREAM在CUB、ILSVRC和OpenImages基准数据集上实现了最先进的性能。代码将在https://github.com/Jazzcharles/CREAM上提供。
2022-05-27 cs.AI cs.CV
Semantic-Constraint Matching Transformer for Weakly Supervised Object Localization
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Pazhou Lab（琶洲实验室）
针对弱监督目标定位中CNN部分激活和Transformer发散激活问题，提出语义约束匹配网络SCMN，通过局部补丁洗牌构建图像对并匹配类激活图来校准网络，在CUB-200-2011和ILSVRC上取得最先进性能。
2023-09-04 cs.CV
Knowledge Transfer with Simulated Inter-Image Erasing for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；Horizon Robotics（Horizon Robotics（地平线机器人））
本文提出KTSE方法，通过模拟图像间擦除引入额外目标信息并迁移知识，结合自监督正则化和多粒度对齐，缓解弱监督语义分割中的欠激活与过度扩张问题。
2024-07-03 cs.CV
SSR: Semantic and Spatial Rectification for CLIP-based Weakly Supervised Segmentation
本文提出SSR方法，通过语义与空间校正提升CLIP在弱监督分割中的性能，实现更高的mIoU分数。
2025-12-20 cs.CV
Question-Answer Cross Language Image Matching for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
本文提出QA-CLIMS框架，通过VQA提示生成前景与背景语料，并以区域图像文本对比学习增强CAM，在WSSS两个基准上达到最先进性能。
2024-01-18 cs.CV
Cross-Image Region Mining with Region Prototypical Network for Weakly Supervised Segmentation
Nanyang Technological University（南洋理工大学）；Ant Group（蚂蚁集团）；Delta Research Center（台达研究中心）
用图像级标签训练的弱监督图像分割通常在生成伪地面实况期间遭受对象区域的不准确覆盖。这是因为对象激活图是用分类目标训练的，缺乏泛化能力。为了提高目标激活图的通用性，我们提出了一个区域原型网络RPNet来探索训练集的跨图像对象多样性。通过区域特征比较来识别图像中的相似对象部分。对象置信度在区域之间传播以发现新的对象区域，同时背景区域被抑制。实验结果表明，该方法生成的伪目标模板更加完整、准确，在PASCAL VOC 2012和MS COCO上的性能达到了最先进水平。此外，我们调查的鲁棒性所提出的方法减少训练集。
2022-06-29 cs.CV
Two-Phase Learning for Weakly Supervised Object Localization
KAIST（韩国科学技术院）；Lunit Inc.（Lunit 公司）
弱监督的语义分割和定位具有仅关注图像的最重要部分的问题，因为它们仅使用图像级注释。在本文中，我们通过两阶段学习从根本上解决了这个问题。我们的网络分为两步进行训练。在第一步中，训练传统的全卷积网络（FCN）来找到图像中最具鉴别力的部分。在第二步中，通过推理条件反馈抑制最显著部分上的激活，然后执行第二次学习以找到下一个最重要部分的区域。通过组合两个阶段的激活，可以捕获目标对象的整个部分。我们提出的训练方案是新颖的，可以用于设计良好的技术，弱监督语义分割，显著区域检测和对象位置预测。详细的实验证明了我们的两阶段学习在每个任务中的有效性。
2017-08-16 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
弱监督目标定位的目的是在给定图像中找到一个目标对象区域，只有弱监督，如图像级标签。大多数现有的方法使用类激活图（CAM）来生成定位图;然而，CAM仅识别目标对象的最有区别的部分，而不是整个对象区域。在这项工作中，我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明，错位抑制CAM的激活，在地区是歧视性的，但属于目标对象。为了弥补这一差距，我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
Harvesting Information from Captions for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）
由于获取逐像素注释以训练用于语义图像分割的卷积神经网络是耗时的，因此已经提出了仅需要类标签的弱监督方法。在这项工作中，我们提出了另一种形式的监督，即图像标题，因为它们可以在互联网上找到。这些标题有两个优点。它们不需要额外的策展，因为它是当前弱监督方法使用的干净类标签的情况，并且它们为图像中存在的类提供文本上下文。为了利用这样的文本上下文，我们部署了一个多模态网络，该网络学习图像的视觉表示和标题的文本表示的联合嵌入。该网络估计类名以及复合概念（即名词及其属性的组合）的文本激活图（TAM）。描述感兴趣类别的复合概念的TAM实质上提高了估计的类别激活图的质量，然后将其用于训练用于语义分割的网络。我们在COCO数据集上评估了我们的方法，在那里它实现了弱监督图像分割的最新结果。
2019-05-16 cs.CV
Rethinking Class Activation Maps for Segmentation: Revealing Semantic Information in Shallow Layers by Reducing Noise
Harbin Institute of Technology（哈尔滨工业大学）
针对卷积神经网络最后一层特征图分辨率低的问题，本文重新思考浅层特征图属性，发现其含细粒度特征且混有噪声，提出截断正梯度的去噪方法，提升类激活图质量并促进弱监督分割。
2023-08-04 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
All-pairs Consistency Learning for Weakly Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）；OpenNLPLab（开放自然语言处理实验室）；Shanghai AI Lab（上海人工智能实验室）；OPPO Research Institute（OPPO研究院）；Xiamen University（厦门大学）
本文提出全对一致性正则化ACR，利用视觉Transformer的自注意力机制同时保持增强视图间激活强度和视图内区域亲和性一致，并引入基于类标记梯度的类别级定位方法，显著提升弱监督语义分割性能。
2023-09-24 cs.CV
Weakly-Supervised Image Semantic Segmentation Using Graph Convolutional Networks
National Yang Ming Chiao Tung University（台湾阳明交通大学）
本文提出了一种基于图像级类别标签的弱监督图像语义分割方法。该任务的一种常见方法是使用随机游走机制传播类激活图（CAM）的激活分数，以便达到用于以完全监督的方式训练语义分割网络的完整伪标签。然而，随机游走的前馈性质不会对所得到的完整伪标签的质量施加正则化。为了克服这个问题，我们提出了一个基于图卷积网络（GCN）的特征传播框架。我们将完整伪标签的生成公式化为一个半监督学习任务，并通过反向传播拉普拉斯算子和熵正则化损失来分别为每个训练图像学习2层GCN。PASCAL VOC 2012数据集上的实验结果证实了我们的方案优于几个最先进的基线。我们的代码可在https://github.com/Xavier-Pan/WSGCN上获得。
2021-04-01 cs.CV
TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Youtu Lab, Tencent（腾讯优图实验室）；NLPR, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Huawei Cloud AI（华为云AI）；The Chinese University of Hong Kong（香港中文大学）
弱监督目标定位（WSOL）是一个具有挑战性的问题，当给定的图像类别标签，但需要学习目标定位模型。优化卷积神经网络（CNN）进行分类往往会激活局部区分区域，而忽略完整的对象范围，从而导致部分激活问题。在本文中，我们认为部分激活是由CNN的内在特性引起的，其中卷积操作产生局部感受野，并且难以捕获像素之间的长程特征依赖性。我们引入标记语义耦合注意图（TS-CAM），充分利用视觉Transformer中的自注意力机制进行长距离依赖提取。TS-CAM首先将图像分割成一系列用于空间嵌入的补丁标记，这些标记产生长距离视觉依赖的注意力图，以避免部分激活。TS-CAM然后为补丁标记重新分配与类别相关的语义，使每个标记都能够知道对象类别。TS-CAM最终将补丁标记与语义无关的注意力图耦合，以实现语义感知的本地化。在ILSVRC/CUB-200-2011数据集上的实验表明，TS-CAM在WSOL上的性能比CNN-CAM高7.1%/27.1%，达到了最先进的性能。
2021-08-04 cs.CV
Dual Progressive Transformations for Weakly Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；Nanyang Technological University（南洋理工大学）；Pazhou Lab（琶洲实验室）
弱监督语义分割（WSSS）是计算机视觉中一个具有挑战性的任务，其目的是仅仅使用类级别的标签来挖掘目标区域。目前基于CNN的方法通常采用类激活图（CAM）来突出对象的潜在区域，但是它们可能会受到部分激活问题的影响。为此，我们在WSSS任务中尝试探索视觉Transformer的全局特征注意力机制。然而，由于Transformer缺乏CNN模型中的电感偏置，因此它不能直接提高性能，并且可能产生过激活问题。为了解决这些问题，本文提出了一种卷积神经网络改进的Transformer（CRT）来挖掘全局完整和局部精确的类激活映射。为了验证该方法的有效性，在PASCAL VOC 2012和CUB-200-2011数据集上进行了大量实验。实验评估表明，我们提出的CRT实现了新的国家的最先进的性能上的弱监督语义分割任务的弱监督对象定位任务，其中优于他人的大幅度提高。
2022-09-30 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
弱监督目标定位是一项具有挑战性的任务，其目的是定位具有粗糙注释的目标，如图像类别。现有的深度网络方法主要基于类激活图，其侧重于突出有区别的局部区域而忽略整个对象。此外，新兴的基于transformer的技术不断强调背景，这阻碍了识别完整对象的能力。为了解决这些问题，我们提出了一个重新注意力机制，称为令牌细化Transformer（TRT），捕捉对象级的语义，以指导本地化。具体而言，TRT引入了一个新的模块，称为令牌优先级评分模块（TPSM），以抑制背景噪声的影响，同时专注于目标对象。然后，我们将类激活图作为语义感知输入，以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
Unveiling the Potential of Structure Preserving for Weakly Supervised Object Localization
Tencent（腾讯）；Jilin University（吉林大学）；NLPR Institute of Automation CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence UCAS（中国科学院大学人工智能学院）；CASIA-LLVision Joint Lab（中国科学院自动化研究所-联影智能联合实验室）
弱监督目标定位（WSOL）仍然是一个开放的问题，使用分类网络发现对象的范围信息的不足。虽然先前的工作努力通过各种空间正则化策略定位对象，但我们认为，如何从训练的分类网络中提取对象结构信息被忽略了。在本文中，我们提出了一种两阶段的方法，称为结构保留激活（SPA），以充分利用WSOL的卷积特征中包含的结构信息。首先，一个受限制的激活模块（RAM）的设计，以减轻结构缺失的问题所造成的分类网络的基础上观察到的无界分类地图和全球平均池层驱动网络只关注对象部分。其次，我们设计了一个后处理的方法，称为自相关映射生成（SCG）模块，以获得结构保留的本地化地图的基础上，从第一阶段获得的激活地图。具体来说，我们利用高阶自相关（HSC）来提取学习模型中保留的固有结构信息，然后聚合多个点的HSC以进行精确的对象定位。在CUB-200-2011和ILSVRC两个公开的基准测试上进行的大量实验表明，与基线方法相比，所提出的SPA实现了实质性和一致的性能增益。https://github.com/Panxjia/SPA_CVPR2021
2021-03-30 cs.CV
Constrained Sampling for Class-Agnostic Weakly Supervised Object Localization
ÉTS（高等工程技术学院）；Ericsson（爱立信）
自监督视觉Transformer可以生成图像中对象的精确定位图。然而，由于它们将场景分解为包含各种对象的多个地图，并且它们不依赖于任何显式的监督信号，因此它们无法区分感兴趣的对象与其他对象，如弱监督对象定位（WSOL）所需。为了解决这个问题，我们建议利用由不同的Transformer头生成的多个映射来获取伪标签以训练WSOL模型。特别地，引入了一种新的判别建议采样方法，该方法依赖于预训练的CNN分类器来识别判别区域。然后，从这些区域中采样前景和背景像素，以便训练WSOL模型，用于生成激活图，该激活图可以准确地定位属于特定类别的对象。在具有挑战性的CUB基准数据集上的实证结果表明，我们提出的方法可以在很宽的阈值范围内优于最先进的方法。我们的方法提供了类激活地图与更好的覆盖前景对象区域w.r.t.后台
2022-09-09 cs.CV
Counterfactual Co-occurring Learning for Bias Mitigation in Weakly-supervised Object Localization
Zhejiang University（浙江大学）；FinVolution Group（FinVolution集团）；University of Nevada, Reno（内华达大学雷诺分校）；Huazhong University of Science and Technology（华中科技大学）
针对弱监督目标定位中存在的共现背景引发的偏差激活问题，提出反事实共现学习范式与Counterfactual-CAM架构，通过解耦前景与共现背景生成反事实表征来训练模型，有效缓解偏差激活，为该方向首次探索。
2024-03-09 cs.CV
Localized Region Guidance for Class Activation Mapping in WSSS
University of Wyoming（怀俄明大学）
IG-CAM通过实例引导和多尺度边界增强，实现更精确的弱监督语义分割，mIoU达86.6%
2025-11-20 cs.CV
Sparse Instance Activation for Real-Time Instance Segmentation
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在本文中，我们提出了一个概念新颖，高效，完全卷积的实时的【形】实例分割框架。以前，大多数实例分割方法严重依赖于目标检测，并基于边界框或密集中心执行掩模预测。相比之下，我们提出了一个稀疏的实例激活图，作为一个新的对象表示，突出信息区域为每个前景对象。然后根据高亮区域进行特征聚合得到实例级特征，用于识别和分割。此外，基于二分匹配，实例激活映射可以以一对一的方式预测对象，从而避免后处理中的非最大抑制（NMS）。由于使用实例激活图的简单而有效的设计，SparseInst具有极快的推理速度，在COCO基准测试中达到40 FPS和37.9 AP，在速度和准确性方面明显优于同行。代码和模型可在https://github.com/hustvl/SparseInst上获得。
2022-03-24 cs.CV
Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation
School of Computer and Information Science, Hefei University of Technology（合肥工业大学计算机与信息科学学院）；Key Laboratory of Intelligent Perception and Image Understanding of the Ministry of Education, School of Artificial Intelligence, Xidian University（教育部智能感知与图像理解重点实验室，西安电子科技大学人工智能学院）；Brain and Artificial Intelligence Laboratory, School of Automation, Northwestern Polytechnical University（脑与人工智能实验室，西北工业大学自动化学院）
针对Transformer中深层注意力过度平滑导致CAM背景噪声的问题，提出自适应重新激活机制AReAM，利用浅层亲和度熵感知引导深层收敛，有效抑制噪声并重新激活关键语义区域，显著提升WSSS性能。
2025-05-29 cs.CV
TransCAM: Transformer Attention-based CAM Refinement for Weakly Supervised Semantic Segmentation
University of Toronto（多伦多大学）；Optimy AI（Optimy人工智能公司）；LG AI Research（LG人工智能研究院）
只有图像级监督的弱监督语义分割是一项具有挑战性的任务。大多数现有的方法利用类激活图（CAM）生成像素级的伪标签进行监督训练。然而，由于卷积神经网络（CNN）的局部感受野，应用于CNN的CAM通常会受到部分激活的影响-突出显示最具辨别力的部分，而不是整个对象区域。为了同时捕获局部特征和全局表示，已提出Conformer来将视觉Transformer分支与CNN分支相结合。在本文中，我们提出了TransCAM，一个基于Conformer的WSSS解决方案，明确利用Conformer的Transformer分支的注意力权重来细化从CNN分支生成的CAM。TransCAM的动机是我们的观察，从浅Transformer块的注意力权重能够捕获低级别的空间特征相似性，而从深Transformer块的注意力权重捕获高级别的语义上下文。尽管它的简单性，transCAM实现了一个新的国家的最先进的性能分别为69.3%和69.6%的PASCAL VOC 2012年验证和测试集，显示了Transformer注意力为基础的细化CAM的WSSS的有效性。
2022-03-14 cs.CV
ProCNS: Progressive Prototype Calibration and Noise Suppression for Weakly-Supervised Medical Image Segmentation
Southern University of Science and Technology（南方科技大学）；University of Hong Kong（香港大学）；Jiaxing Research Institute, Southern University of Science and Technology（南方科技大学嘉兴研究院）
提出弱监督医学图像分割方法ProCNS，通过PRSA损失最大化空间与语义亲和性并提供可靠指导，结合ANPM模块掩蔽噪声区域并生成软伪标签，在六项任务上显著优于现有方法。
2024-12-24 cs.CV cs.LG
Mixed-UNet: Refined Class Activation Mapping for Weakly-Supervised Semantic Segmentation with Multi-scale Inference
Shandong University（山东大学）；Institute of Tsinghua-Berkeley Shenzhen, Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院清华-伯克利深圳学院）；Hangzhou Dianzi University（杭州电子科技大学）；Shenzhen ZNV Technology Co., Ltd（深圳中兴网信科技有限公司）；Shenzhen Graduate School of Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）；Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院生物医药与健康工程研究院）
深度学习技术在医学图像处理中显示出巨大的潜力，特别是通过对磁共振成像（MRI）扫描或计算机断层扫描（CT）扫描进行准确可靠的图像分割，从而实现病变的定位和诊断。然而，训练这些分割模型需要大量的手动注释的像素级标签，这是耗时和劳动密集型的，相比之下，更容易获得的图像级标签。必须通过使用图像级标签作为监督的弱监督语义分割模型来解决这个问题，因为它可以显着减少人工注释工作。大多数高级解决方案都利用了类激活映射（CAM）。然而，原始CAM很少捕获病变的精确边界。在这项研究中，我们提出了多尺度推理的策略，通过减少单尺度推理中的细节损失来细化CAM。对于分割，我们开发了一种名为Mixed-UNet的新模型，该模型在解码阶段有两个并行分支。将两个分支提取的特征进行融合后得到结果。我们在从当地医院和公共数据集收集的数据集上评估了设计的Mixed-UNet与几种流行的基于深度学习的分割方法。验证结果表明，我们的模型优于现有的方法在相同的监督水平下，在分割的各种病变的脑成像。
2022-05-06 cs.CV eess.IV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab（Facebook连接实验室）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Core Data Science（Facebook核心数据科学）
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一，特别是对于图像语义分割等任务，其中标记是极其昂贵和主观的。在本文中，我们提出了一种新的神经网络架构，通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明，该算法取得了优越的性能和效率相比，各种基线模型。
2016-12-08 cs.CV
Separate and Conquer: Decoupling Co-occurrence via Decomposition and Representation for Weakly Supervised Semantic Segmentation
Academy for Engineering and Technology, Fudan University（复旦大学工程技术学院）；Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学研究中心）；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东计算中心（国家济南超级计算中心））
本文提出SeCo方案，通过图像分解分离共现物体并利用多粒度知识对比增强语义表示，端到端解决弱监督语义分割中的共现问题，在PASCAL VOC和MS COCO上表现优越。
2024-03-21 cs.CV
Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation
弱监督语义分割，只有图像级标签的目的是减少分割任务的注释成本。现有的方法通常利用类激活图（CAM）来定位用于伪标签生成的对象区域。然而，CAM只能发现对象的最有区别的部分，从而导致劣质像素级伪标签。为了解决这个问题，我们提出了一个显着性指导的类间和类内关系约束（I $^2$ CRC）框架，以协助扩大激活的对象区域CAM。具体来说，我们提出了一个显着性指导类不可知的距离模块，拉类内的功能更接近对齐功能，他们的类原型。此外，我们提出了一个类特定的距离模块，以推动类间的功能分开，并鼓励对象区域具有比背景更高的激活。除了加强分类网络的能力，以激活CAM中更多完整的对象区域外，我们还引入了一个对象引导的标签细化模块，以充分利用分割预测和初始标签来获得更好的伪标签。在PASCAL VOC 2012和COCO数据集上进行的大量实验证明了I $^2$ CRC优于其他最先进的CRC的有效性。源代码、模型和数据已在\url{https://github.com/NUST-Machine-Intelligence-Laboratory/I2CRC}上提供。
2022-06-20 cs.CV
Weakly Supervised Salient Object Detection Using Image Labels
Sun Yat-sen University（中山大学）；SenseTime Group Limited（商汤集团有限公司）
基于深度学习的显著目标检测最近取得了巨大的成功，其性能大大优于任何其他无监督方法。然而，注释每像素显著性掩模是一个繁琐且低效的过程。在本文中，我们注意到，优越的显着目标检测，可以通过迭代挖掘和纠正标记模糊显着图从传统的无监督方法。我们建议使用来自分类网络的粗糙显著对象激活图和从无监督方法生成的显著性图作为像素级注释的组合，并开发一种简单但非常有效的算法来训练完全卷积网络，用于由这些噪声注释监督的显著目标检测。我们的算法基于交替利用图形模型和训练用于模型更新的全卷积网络。图形模型通过空间一致性和结构保持来纠正内部标记模糊性，而全卷积网络有助于纠正交叉图像语义模糊性，同时更新下一次迭代的粗略激活图。实验结果表明，我们提出的方法大大优于所有最先进的无监督显着性检测方法，并且可以与当前最好的强监督方法相媲美，这些方法在所有公共基准上使用数千个像素级显着性图注释进行训练。
2018-03-17 cs.CV
Contrastive Learning with Diffusion Features for Weakly Supervised Medical Image Segmentation
University of Notre Dame（诺丁汉大学）；National Tsing Hua University（国立清华大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
提出CLDF方法，利用对比学习训练像素解码器映射冻结CDM的扩散特征至低维空间，结合梯度图与CAM减少假阳性/假阴性，在医学图像弱监督分割任务中显著超越基线。
2025-06-30 cs.CV
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University（首尔大学）
弱监督的语义分割从类标签产生像素级定位;然而，在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象：由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈，因此，只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点，然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外，我们引入了一种新的池化方法，进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明，这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量，为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得：https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon（里斯本大学高等技术学院）
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络（CNN）。在本文中，我们考虑弱监督分割图像中的火灾，其中只有图像标签被用来训练网络。我们表明，在火灾分割的情况下，这是一个二进制分割问题，在中间层的分类CNN的特征的平均值可以比传统的类激活映射（CAM）方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明，明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Threshold Matters in WSSS: Manipulating the Activation for the Robust and Accurate Segmentation Model Against Thresholds
Yonsei University（延世大学）
弱监督语义分割（WSSS）最近得到了广泛的关注，因为它承诺只使用图像级标签训练分割模型。现有的WSSS方法普遍认为，稀疏覆盖的CAM导致WSSS的性能瓶颈。本文提供了分析和经验证据表明，实际的瓶颈可能不是稀疏覆盖，但一个全球性的阈值后CAM计划。然后，我们证明了这个问题可以通过满足两个条件来缓解：1）减少前景激活的不平衡，2）增加前景和背景激活之间的差距。基于这些发现，我们提出了一种新的激活操作网络，具有每像素分类损失和标签调节模块。逐像素分类自然地在激活图中引起两级激活，这可以惩罚最有区别的部分，促进较少区别的部分，并使背景区域失活。标签条件化要求伪掩码的输出标签应该是任何真实的图像级标签;它惩罚分配给非目标类的错误激活。基于广泛的分析和评估，我们证明了每个组件有助于产生准确的伪掩模，实现对全局阈值的选择的鲁棒性。最后，我们的模型在PASCAL VOC 2012和MS COCO 2014数据集上都达到了最先进的记录。
2022-03-30 cs.CV
Weakly Supervised Object Localization via Transformer with Implicit Spatial Calibration
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese Univeristy of Hong Kong (Shenzhen)（香港中文大学（深圳））
弱监督对象定位（Weakly Supervised Object Localization，WSOL）是一种仅使用图像级标注来定位对象的方法，由于其在实际应用中标注成本低而受到广泛关注。最近的研究利用了视觉Transformer中自我注意的优势，对反应性语义区域进行长距离依赖，旨在避免传统类别激活映射（CAM）中的部分激活。然而，Transformer中的长距离建模忽略了对象固有的空间一致性，通常会将语义感知区域扩散到远离对象边界的地方，使得定位结果明显变大或变小。为了解决这个问题，我们引入了一个简单而有效的空间校准模块（SCM）准确的WSOL，将语义相似的补丁令牌和它们的空间关系到一个统一的扩散模型。具体来说，我们引入了一个可学习的参数来动态调整语义相关性和空间上下文强度，以实现有效的信息传播。在实际应用中，SCM被设计为Transformer的外部模块，在推理过程中可以将其移除，以减少计算量。通过在训练阶段的优化，对象敏感的定位能力被隐式地嵌入到Transformer编码器中。它使生成的注意力地图捕捉更清晰的对象边界和过滤对象无关的背景区域。大量的实验结果证明了所提出的方法的有效性，在CUB-200和ImageNet-1 K基准测试中的性能明显优于其对应的TS-CAM。该代码可在https://github.com/164140757/SCM上获得。
2023-03-10 cs.CV
SFC: Shared Feature Calibration in Weakly Supervised Semantic Segmentation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；Metavisioncn
针对弱监督语义分割中长尾分布导致CAM对头尾类激活失衡的问题，提出共享特征校准方法SFC，利用类原型和多尺度分布加权一致性损失校准分类器权重中的共享特征，显著改善CAM边界并取得新SOTA。
2024-01-22 cs.AI cs.CV
Weakly Labeling the Antarctic: The Penguin Colony Case
Stony Brook University（石溪大学）
南极企鹅是重要的生态指标，特别是在气候变化的情况下。在这项工作中，我们提出了一个基于深度学习的模型，用于在高分辨率卫星图像中对阿德利企鹅群进行语义分割。为了训练我们的分割模型，我们利用了企鹅殖民地数据集：一个独特的数据集，包含来自南极洲193个阿德利企鹅殖民地的2044个地理参考裁剪图像。面对像素级注释掩码的稀缺性，我们提出了一个弱监督框架，以有效地从弱标签中学习分割模型。我们使用分类网络来过滤不适合分割网络的数据。该分割网络基于平均激活，使用特定的损失函数进行训练，以有效地从具有弱注释标签的数据中学习。我们的实验表明，添加弱注释的训练样本显著提高了分割性能，在企鹅殖民地数据集上将平均Intersection-over-Union从42.3%提高到60.0%。
2019-05-19 cs.CV
Fully Using Classifiers for Weakly Supervised Semantic Segmentation with Modified Cues
Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的仅使用图像级标签的弱监督语义分割方法。来自良好训练的分类器的类特异性激活图被用作训练分割网络的线索。这些线索的众所周知的缺陷是粗糙和不完整。我们使用超像素来细化它们，并融合从彩色图像训练分类器和灰度图像训练分类器中提取的线索，以补偿它们的不完整性。条件随机场适用于调节训练过程并进一步细化输出。除了初始化分割网络之外，先前训练的分类器还用于测试阶段以抑制不存在的类。在PASCAL VOC 2012数据集上的实验结果表明了该方法的有效性。
2019-06-14 cs.CV
DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation
Chung-Ang University（中央大学）；Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University（中央大学高级影像科学、多媒体与电影研究生院）；Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系）
针对弱监督语义分割中CAMs难以捕获全局上下文的问题，提出DALNet，通过双层级图文对齐与跨对比学习增强对象理解与定位，在PASCAL VOC和MS COCO上显著优于现有方法。
2024-09-24 cs.CV
AME-CAM: Attentive Multiple-Exit CAM for Weakly Supervised Segmentation on MRI Brain Tumor
National Tsing Hua University（国立清华大学）；University of Notre Dame（圣母大学）；The Chinese University of Hong Kong（香港中文大学）
针对MRI脑肿瘤弱监督分割中CAM分辨率低的问题，本文提出注意力多出口CAM（AME-CAM），通过多分辨率激活图分层聚合提升预测精度，并在BraTS 2021数据集上取得优于现有方法的性能。
2023-12-01 cs.AI cs.CV
Exploit CAM by itself: Complementary Learning System for Weakly Supervised Semantic Segmentation
Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）
基于图像级标签的弱监督语义分割（WSSS）一直受到类激活图（CAM）导致的对象区域不完整的困扰，CAM无法生成用于语义分割的细粒度掩模。为了指导CAM发现更多的非歧视性对象模式，本文转向一个有趣的工作机制，在代理学习互补学习系统（CLS）。CLS认为，新皮层建立了一种一般知识的感觉，而海马体专门学习特定的细节，完成了学习的模式。受这种简单但有效的学习模式的启发，我们提出了一种通用特定的学习机制（GSLM）来显式地驱动粗粒度的CAM到细粒度的伪掩码。具体来说，GSLM开发了通用学习模块（GLM）和特定学习模块（SLM）。GLM通过图像级监督进行训练，以从CAM中提取粗略和一般的定位表示。基于GLM中的一般知识，SLM逐步利用来自本地化表示的特定空间知识，以显式方式扩展CAM。为此，我们提出了种子重新激活，以帮助SLM重新激活非歧视性的地区，通过设置一个边界的激活值，它连续识别更多的CAM区域。在没有额外的细化过程的情况下，我们的方法能够在PASCAL VOC 2012上实现超过20.0% mIoU的CAM突破性改进，在MS COCO 2014数据集上实现10.0% mIoU，这代表了现有WSSS方法中的最新技术水平。
2023-03-04 cs.CV
HisynSeg: Weakly-Supervised Histopathological Image Segmentation via Image-Mixing Synthesis and Consistency Regularization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Science, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）理学院）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
HisynSeg通过图像混合合成与自监督一致性正则化，将组织病理图像的弱监督分割转化为全监督问题，在三个数据集上取得最先进性能。
2024-12-30 cs.AI cs.CV
Cross Language Image Matching for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳人工智能与机器人社会研究院）
CAM（Class Activation Map）通常只激活具有区别性的目标区域，并错误地包含大量与目标相关的背景。由于WSSS（弱监督语义分割）模型只能使用一组固定的图像级对象标签，因此很难抑制由开集对象组成的各种背景区域。在本文中，我们提出了一种新的跨语言图像匹配（CLIMS）框架，最近推出的对比图像预训练（CLIP）模型的基础上，WSSS。我们的框架的核心思想是引入自然语言监督，以激活更完整的对象区域和抑制密切相关的开放背景区域。特别是，我们设计了对象，背景区域和文本标签匹配损失，以指导模型激发更合理的对象区域CAM的每一个类别。此外，我们设计了一个共同出现的背景抑制损失，以防止模型激活密切相关的背景区域，与预定义的一组类相关的背景文本描述。这些设计使得所提出的CLIMS能够为目标对象生成更完整和紧凑的激活图。在PASCAL VOC2012数据集上的大量实验表明，我们的CLIMS显着优于以前的最先进的方法。
2022-03-25 cs.CL cs.CV
Convolutional STN for Weakly Supervised Object Localization
École de Technologie Superieure, Université du Québec（魁北克大学高等技术学院）
弱监督目标定位是一项具有挑战性的任务，其中感兴趣的目标应该在学习其外观的同时进行定位。最先进的方法通过使用最后一层的激活图来定位对象来回收标准CNN的架构。虽然这种方法很简单并且工作得相对较好，但对象定位依赖于与分类不同的特征，因此，在训练期间需要专门的定位机制来提高性能。在本文中，我们提出了一个卷积的多尺度空间定位网络，为感兴趣的对象提供准确的定位。在CUB-200-2011和ImageNet数据集上的实验结果表明，我们提出的方法为弱监督定位提供了有竞争力的性能。
2020-12-01 cs.CV cs.LG
