Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation
Shenzhen University（深圳大学）
针对PCL中原型跨域不一致及类间原型相似导致的特征对齐难题，本文提出CDPCL，通过UPCL不确定性校准与HPCL硬加权校准双模块学习域不变特征，在域泛化语义分割上取得领先性能。
2023-09-25 cs.CV
Diverse Normal Prototypes-Guided Contrastive Reconstruction for Medical Anomaly Detection
School of Mathematics, Shandong University（山东大学数学学院）；Department of Interventional Medicine and Minimally Invasive Oncology, The Second Qilu Hospital of Shandong University（山东大学第二齐鲁医院介入医学与微创肿瘤科）；Department of Neurosurgery, The Second Qilu Hospital of Shandong University（山东大学第二齐鲁医院神经外科）
针对医学图像异常检测中注释有限和领域差距问题，提出DNP-ConFormer框架，集成可训练编码器、原型引导重建和多样性感知对齐损失，提升表征质量和异常定位能力。
2026-07-07 cs.CV
Bi-directional Contrastive Learning for Domain Adaptive Semantic Segmentation
Yonsei University（延世大学）
我们提出了一种新的无监督领域自适应方法的语义分割，概括了一个模型训练的源图像和相应的地面实况标签的目标域。领域自适应语义分割的关键是在没有目标真实标签的情况下学习领域不变和区分性特征。为此，我们提出了一个双向的像素原型对比学习框架，最大限度地减少同一对象类的类内变化的功能，同时最大限度地提高不同的类间变化，无论域。具体来说，我们的框架将像素级特征与目标和源图像中相同对象类的原型（即，正对），分别将它们分开用于不同的类（即，负对），并利用源图像中的像素级特征和目标图像中的原型朝另一方向执行对准和分离过程。跨域匹配鼓励域不变特征表示，而双向像素原型对应聚合相同对象类的特征，提供区分性特征。为了建立用于对比学习的训练对，我们提出使用非参数标签转移来生成目标图像的动态伪标签，即跨不同域的像素原型对应。我们还提出了一种校准方法，在训练过程中逐渐补偿原型的类域偏差。
2022-07-22 cs.CV
SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning
Beijing Institute of Technology（北京理工大学）
虽然有监督的语义分割取得了重大进展，但由于领域偏见，将分割模型部署到看不见的领域仍然具有挑战性。在这方面，领域自适应可以通过将知识从标记的源域转移到未标记的目标域来提供帮助。以往的方法通常尝试对全局特征进行自适应，然而，通常忽略了特征空间中每个像素的局部语义隶属关系，导致可区分性降低。为了解决这个问题，我们提出了一种新的语义原型为基础的对比学习框架细粒度的类对齐。具体地说，语义原型为每像素的判别式表示学习提供监督信号，并且要求特征空间中的源域和目标域的每个像素反映相应语义原型的内容。通过这种方式，我们的框架能够显式地使类内像素表示更接近，类间像素表示更远，以提高分割模型的鲁棒性，并减轻域偏移问题。我们的方法是很容易实现，并取得了优异的结果相比，国家的最先进的方法，与一些实验证明。该代码可在www.example.com上公开获取。
2022-04-30 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT（麻省理工学院）；CIIRC CTU（捷克理工大学计算机科学与人工智能研究所）；Adobe（奥多比）
我们介绍了弱监督学习的任务，用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战，因为系统不知道视频中存在什么类型的人与物体的交互，也不知道人与物体的实际时空位置。为了解决这些挑战，我们引入了一种对比性弱监督训练损失，旨在将视频中的时空区域与动作和对象词汇相关联，并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型，我们引入了一个数据集，该数据集包括超过6.5k个带有人机交互注释的视频，这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能，这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
MuSCLe: A Multi-Strategy Contrastive Learning Framework for Weakly Supervised Semantic Segmentation
Loughborough University（拉夫堡大学）；Cardiff University（卡迪夫大学）；Central South University（中南大学）
弱监督语义分割（WSSS）已经获得了显着的普及，因为它只依赖于弱标签，如图像级注释，而不是像素级注释所需的监督语义分割（SSS）方法。尽管注释成本大大降低，但从WSSS学习的典型特征表示仅代表对象的一些突出部分，并且由于训练期间的弱指导，与SSS相比不太可靠。在本文中，我们提出了一种新的多策略对比学习（MuSCLe）框架，以获得增强的特征表示，并通过利用图像，区域，像素和对象边界级别的对比样本对的相似性和不相似性，提高WSSS性能。大量的实验证明了我们的方法的有效性，并表明MuSCLe在广泛使用的PASCAL VOC 2012数据集上的性能优于当前最先进的技术。
2022-01-18 cs.CV
TranSG: Transformer-Based Skeleton Graph Prototype Contrastive Learning with Structure-Trajectory Prompted Reconstruction for Person Re-Identification
LILY Research Center, Nanyang Technological University（南洋理工大学LILY研究中心）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
提出TranSG方法，通过骨架图Transformer、图原型对比学习及结构-轨迹提示重建机制，充分捕获骨架关系与时空语义，显著提升了行人重识别性能并具备强通用性。
2023-07-31 cs.CV
DomCLP: Domain-wise Contrastive Learning with Prototype Mixup for Unsupervised Domain Generalization
Sungkyunkwan University（成均馆大学）
针对现有自监督域泛化方法难提取域无关特征、特征对齐假设强的问题，提出结合逐域对比学习和原型混合学习的DomCLP方法，在多数据集不同标签比例下性能优于SOTA。
2024-12-12 cs.CV
Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；National University of Singapore（新加坡国立大学）
我们研究了一个实际的领域自适应任务，称为无源无监督领域自适应（UDA）问题，其中我们不能访问源域数据，由于数据隐私问题，但只有一个预训练的源模型和未标记的目标数据是可用的。然而，由于一个关键挑战，这项任务非常困难：缺乏源数据和目标域标签使得模型自适应非常具有挑战性。为了解决这个问题，我们提出挖掘源模型中隐藏的知识，并利用它来生成源化身原型（即，每个源类别的代表性特征）以及用于域对齐的目标伪标签。为此，我们提出了一个对比原型生成和适应（CPGA）的方法。具体来说，CPGA包括两个阶段：（1）原型生成：通过探索源模型的分类边界信息，我们训练一个原型生成器，通过对比学习生成化身原型。(2)原型改编：基于生成的源原型和目标伪标签，我们开发了一种新的鲁棒的对比原型适配策略，以将每个伪标签目标数据与对应的源原型对齐。在三个UDA基准数据集上的实验证明了该方法的有效性和优越性。
2021-06-18 cs.CV
Contrastive Enhancement Using Latent Prototype for Few-Shot Segmentation
Few-Shot分割使模型能够用很少的注释示例识别看不见的类。现有的方法大多采用原型学习架构，支持原型向量扩展并与查询特征连接以执行条件分割。然而，这样的框架潜在地更关注查询特征，而可能忽略支持和查询特征之间的相似性。本文提出了一种基于潜在原型的对比增强方法，以充分利用潜在类，提高原型与查询特征之间相似性信息的利用率。具体地说，提出了一个潜在原型采样模块，以生成伪掩码和基于特征相似性的新原型。该模块方便地进行端到端学习，并且不像基于聚类的方法那样对聚类数有很强的依赖性。此外，开发了一个对比增强模块，以驱动模型提供不同的预测相同的查询功能。我们的方法可以作为一个辅助模块，灵活地集成到其他基线，以获得更好的分割性能。大量的实验表明，我们的方法显着提高了最先进的方法的性能为1杆和5杆分割，特别是超过基线的5.9%和7.3%的Pascal-5^i和COCO-20^i上的5杆任务。源代码可在https://github.com/zhaoxiaoyu1995/CELP-Pytorch上获得
2022-03-08 cs.AI cs.CV
Source-Free Domain Adaptation for Medical Image Segmentation via Prototype-Anchored Feature Alignment and Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；VoxelCloud, Inc.（体素科技公司）
针对医学场景源数据因隐私不可用的问题，提出两阶段SFDA框架，通过原型锚定特征对齐与对比学习实现医学图像分割，在大域差异下性能优于现有方法。
2023-07-19 cs.CV
Object Discovery via Contrastive Learning for Weakly Supervised Object Detection
Pohang University of Science and Technology（浦项科技大学）；University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
弱监督目标检测（WSOD）是一种使用仅在图像级注释上训练的模型来检测图像中的对象的任务。当前最先进的模型受益于自我监督的实例级监督，但由于弱监督不包括计数或位置信息，最常见的“argmax”标记方法通常会忽略许多对象实例。为了缓解这个问题，我们提出了一种新的多实例标记方法，称为对象发现。我们进一步介绍了一种新的对比损失弱监督下，没有实例级信息可用于采样，称为弱监督对比损失（WSCL）。WSCL的目标是构建一个可信的相似性阈值的对象发现，利用一致的特征嵌入向量在同一个类。因此，我们在MS-COCO 2014和2017以及PASCAL VOC 2012上取得了最新的成果，并在PASCAL VOC 2007上取得了具有竞争力的成果。
2022-09-02 cs.CV
MGFN: Magnitude-Contrastive Glance-and-Focus Network for Weakly-Supervised Video Anomaly Detection
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
监控视频中的弱监督异常检测是一项具有挑战性的任务。超越现有的作品，有缺陷的能力来定位长视频中的异常，我们提出了一种新的扫视和焦点网络，有效地整合时空信息，准确的异常检测。此外，我们根据经验发现，现有的方法，使用特征幅度来表示异常的程度通常忽略了场景变化的影响，并因此导致次优性能，由于跨场景的特征幅度的不一致性。为了解决这个问题，我们提出了特征放大机制和幅度对比损失，以提高特征幅度检测异常的区分度。两个大规模的基准UCF-Crime和XD-Violence的实验结果表明，我们的方法优于国家的最先进的方法。
2022-11-28 cs.CV
Contrastive Prompt Clustering for Weakly Supervised Semantic Segmentation
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Liverpool（利物浦大学）；Microsoft（微软）；Zhejiang University（浙江大学）
针对现有弱监督语义分割方法忽略相关类别共享语义、细粒度区分不足的问题，提出对比提示聚类框架，结合大语言模型生成的类别聚类与类别感知补丁级对比损失，提升了分割性能。
2025-09-01 cs.CV
Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization
本文提出子动作原型学习框架SPL-Loc，通过子动作原型聚类和有序原型对齐生成高质量伪标签，解决点级弱监督时序动作定位中标签稀疏和子动作结构被忽略的问题，在三个基准上显著超越现有方法。
2023-09-16 cs.CV
Equilibrium contrastive learning for imbalanced image classification
Sungkyunkwan University（成均馆大学）；Samsung Medical Center（三星医疗中心）；Institute for Basic Science（基础科学研究院）
本文提出均衡对比学习（ECL），通过促进表示空间的几何均衡，解决传统对比学习在不平衡数据集中的性能问题，提升分类器与类中心的对齐效果。
2026-10-14 cs.CV
Deep Intra-Image Contrastive Learning for Weakly Supervised One-Step Person Search
Tianjin University（天津大学）；University of Warwick（华威大学）；Northwestern Polytechnical University（西北工业大学）
本文提出基于Siamese network的深度图像内对比学习方法，通过空间不变对比和遮挡不变对比模块解决空间级与遮挡级方差问题，在CUHK-SYSU和PRW数据集上实现了弱监督单步人员搜索的最先进性能。
2023-02-09 cs.CV
Negative Prototypes Guided Contrastive Learning for WSOD
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对弱监督目标检测忽略实例间图像关系的问题，提出负原型引导对比学习架构，通过构建全局特征库存储正负原型并结合伪标签采样模块优化特征表示，在VOC数据集上达到最先进性能。
2024-06-04 cs.AI cs.CV
SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；University College London（伦敦大学学院）
Few-Shot语义分割的目标是在查询图像中分割新类别的对象，而支持图像中只有少量带注释的示例。大多数高级解决方案都利用了一个度量学习框架，该框架通过将每个像素与学习到的前景原型相匹配来执行分割。然而，这个框架遭受偏见的分类，由于不完整的建设的样本对前景原型。为了解决这个问题，在本文中，我们引入了一个互补的自我对比任务到Few-Shot语义分割。我们的新模型能够将区域中的像素与该区域的原型相关联，无论它们是在前景还是背景中。为此，我们直接从查询图像中生成自对比背景原型，从而构建完整的样本对，从而完成补充和辅助分割任务，以实现更好的分割模型的训练。在PASCAL-5 $^i$和COCO-20 $^i$上的大量实验清楚地证明了我们的建议的优越性。在不牺牲推理效率的情况下，我们的模型实现了Few-Shot语义分割的1次和5次设置的结果。
2021-04-28 cs.AI cs.CV
Towards Efficient and Effective Deep Clustering with Dynamic Grouping and Prototype Aggregation
针对现有对比深度聚类忽略组内成员关系且难以批处理更新组分配的问题，提出端到端深度聚类框架DigPro，通过动态分组和原型聚合结合期望最大化框架，在六个图像基准上实现了优于现有技术的性能。
2024-09-20 cs.CV
Weakly Supervised Contrastive Learning
University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
无监督视觉表示学习由于对比学习近年来取得的成就而受到计算机视觉界的广泛关注。现有的对比学习框架大多采用实例判别作为前提任务，将每一个实例作为一个不同的类来处理。然而，这样的方法将不可避免地导致类冲突问题，这损害了学习表示的质量。出于这一观察的动机，我们引入了一个弱监督的对比学习框架（WCL）来解决这个问题。具体来说，我们提出的框架是基于两个投影头，其中一个将执行常规的实例判别任务。另一个头将使用基于图的方法来探索相似的样本并生成弱标签，然后基于弱标签执行有监督的对比学习任务，以将相似的图像拉近。我们进一步引入了一个基于K-近邻的多作物策略来扩大阳性样本的数量。大量的实验结果表明，WCL提高了跨不同数据集的自监督表示的质量。值得注意的是，我们得到了半监督学习的一个新的最先进的结果。只有1\%和10\%的标记示例，WCL使用ResNet 50实现了65\%和72\%的ImageNet Top-1准确度，甚至高于使用ResNet 101的SimCLRv 2。
2021-10-10 cs.CV
CSPCL: Category Semantic Prior Contrastive Learning for Deformable DETR-Based Prohibited Item Detectors
College of Information Science and Engineering, Northeastern University（信息科学与工程学院，东北大学）；State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University（过程工业综合自动化国家重点实验室，东北大学）
针对X射线图像违禁物品检测中前景-背景特征耦合导致通用检测器性能差的问题，提出类别语义先验对比学习机制，通过特定对比损失增强模型对前景特征的敏感性，在多个数据集上显著提升性能且不增加推理复杂度。
2025-11-11 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales（新南威尔士大学）
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题，提出基于原型的图像提示框架，利用聚类原型与对比匹配损失提升CAM质量，并在四个数据集上取得新基准。
2025-03-15 cs.CV
Learning Representation for Clustering via Prototype Scattering and Positive Sampling
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
现有的深度聚类方法依赖于用于下游聚类任务的对比或非对比表示学习。基于对比的方法由于负对学习聚类的统一表示，其中负对，然而，可能不可避免地导致类冲突问题，从而损害聚类性能。另一方面，基于非对比度的方法避免了类冲突问题，但由此产生的非均匀表示可能导致聚类崩溃。为了享受这两个世界的优势，本文提出了一种新的端到端的深度聚类方法与原型散射和正采样，称为ProPos。具体来说，我们首先最大化原型表示之间的距离，命名为原型散射损失，这提高了表示的均匀性。其次，我们将实例的一个增强视图与另一个视图的采样邻居对齐-假设在嵌入空间中是真正的正对-以提高集群内的紧凑性，称为正采样对齐。ProPos的优点是可避免的类冲突问题，统一表示，良好分离的集群和集群内的紧凑性。通过在端到端的期望最大化框架中优化ProPos，大量的实验结果表明，ProPos在中等规模的聚类基准数据集上实现了竞争性能，并在大规模数据集上建立了新的最先进的性能。源代码可从\url{https://github.com/Hzzone/ProPos}获得。
2022-10-19 cs.CV
Weakly-Supervised Text-driven Contrastive Learning for Facial Behavior Understanding
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Rice University（莱斯大学）
针对面部行为对比学习中正负对构建受身份干扰的问题，提出两阶段文本嵌入对比学习框架CLEF，利用粗粒度活动描述构建正负对并结合文本标签训练，在多类基准数据集上取得SOTA性能。
2023-08-25 cs.CV
PCLMix: Weakly Supervised Medical Image Segmentation via Pixel-Level Contrastive Learning and Dynamic Mix Augmentation
College of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对弱监督医学图像分割中监督信号传播易过度扩散的问题，提出含动态混合增强、像素级对比学习与双一致性正则化的PCLMix框架，在ACDC数据集上缩小了与全监督方法的性能差距。
2024-05-18 cs.CV
ContraCluster: Learning to Classify without Labels by Contrastive Self-Supervision and Prototype-Based Semi-Supervision
Samsung SDS（三星SDS）
ContraCluster 提出一种结合对比自监督预训练、对比原型采样和基于原型的半监督微调三阶段的无监督图像分类方法，在 CIFAR-10 等基准上以 90.8% 准确率显著超越现有方法，逼近监督学习性能。
2023-04-19 cs.CV cs.LG
Causality-based Dual-Contrastive Learning Framework for Domain Generalization
领域泛化（DG）本质上是分布外泛化的一个子分支，它从多个源域训练模型并泛化到看不见的目标域。近年来，出现了一些领域泛化算法，但大多数算法都是采用不可转移的复杂体系结构设计的。此外，对比学习已经成为一个有前途的解决方案，在DG的简单性和效率。然而，现有的对比学习忽略了域的变化，造成严重的模型混乱。在本文中，我们提出了一个双重对比学习（DCL）模块的特征和原型的对比。此外，我们设计了一个新的因果融合注意力（CFA）模块，融合不同的意见，一个单一的图像，以获得原型。此外，我们引入了一个基于相似性的硬对挖掘（SHM）策略，利用多样性变化的信息。大量的实验表明，我们的方法优于国家的最先进的算法在三个DG数据集。所提出的算法也可以作为一个即插即用的模块，而不使用域标签。
2023-03-22 cs.CV
WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training
Department of Electrical and Computer Engineering, University of Utah, Salt Lake City, UT, USA（电气与计算机工程系，犹他大学）；Scientific Computing and Imaging Institute, University of Utah, SLC, UT, USA（科学计算与成像研究所，犹他大学）；Department of Pathology, University of Utah, SLC, UT, USA（病理学系，犹他大学）
针对弱监督MIL中特征表示学习被忽视的问题，提出利用包级标签的WeakSupCon方法，通过多任务学习为不同标签样本设不同对比损失，在有限算力下于三个数据集上显著提升MIL分类性能。
2025-07-30 cs.CV
Weakly-supervised ROI extraction method based on contrastive learning for remote sensing images
Beijing Foreign Studies University（北京外国语大学）
针对遥感图像ROI提取中地形复杂、标注昂贵且弱监督方法精度不足的问题，提出基于对比学习的两步法，利用多尺度Grad-CAM生成伪标注并对比学习分离前景背景，实验验证其优越性。
2023-05-10 cs.CV
ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation
University of Virginia（弗吉尼亚大学）；Cardiovascular Research Center, University of Virginia（弗吉尼亚大学心血管研究中心）；School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）
针对域适应语义分割中忽略数据分布的问题，提出ProtoGMM模型，利用高斯混合模型估计多原型源分布并结合多原型对比学习，有效实现类内聚合、类间分离与域对齐。
2024-06-27 cs.CV
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
Universal Weakly Supervised Segmentation by Pixel-to-Segment Contrastive Learning
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
弱监督分割需要基于带有部分注释的训练实例为每个像素分配标签，例如图像级标签，对象边界框，标记点和涂鸦。这项任务是具有挑战性的，因为粗糙的注释（标签，框）缺乏精确的像素定位，而稀疏的注释（点，涂鸦）缺乏广泛的区域覆盖。现有的方法以不同的方式处理这两种类型的弱监督：类激活映射用于定位粗糙标签并迭代地细化分割模型，而条件随机场用于将稀疏标签传播到整个图像。我们将弱监督分割制定为半监督度量学习问题，其中相同（不同）语义的像素需要映射到相同（独特）特征。我们提出了特征空间中像素和片段之间的4种类型的对比关系，捕获低级别的图像相似性，语义注释，共现和特征亲和力它们作为先验;像素特征可以从训练图像中以数据驱动的方式学习任何部分注释。特别是，训练图像中的未标记像素不仅参与每个图像内的数据驱动分组，而且还参与图像内和图像间的区分特征学习。我们提供了一个通用的弱监督分割器，在Pascal VOC和DensePose上有显著的收益。我们的代码可在https://github.com/twke18/SPML上公开获取。
2021-05-11 cs.CV
Class Prototypes based Contrastive Learning for Classifying Multi-Label and Fine-Grained Educational Videos
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）；SRI International（SRI国际）
本文提出一种基于类原型的监督对比学习与多模态transformer方法，解决教育视频细粒度多标签分类问题，并构建了专家标注数据集APPROVE，在多个基准上取得优于基线的表现。
2025-10-13 cs.CV
Top-K Pooling with Patch Contrastive Learning for Weakly-Supervised Semantic Segmentation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；The University of Liverpool（利物浦大学）；University of Aberdeen（阿伯丁大学）
提出TKP-PCL方法，用Top-K池化替代最大池化并引入补丁对比误差，在PASCAL VOC 2012上超越现有弱监督语义分割方法。
2023-12-27 cs.CV
Contrastive Learning with Diffusion Features for Weakly Supervised Medical Image Segmentation
University of Notre Dame（诺丁汉大学）；National Tsing Hua University（国立清华大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
提出CLDF方法，利用对比学习训练像素解码器映射冻结CDM的扩散特征至低维空间，结合梯度图与CAM减少假阳性/假阴性，在医学图像弱监督分割任务中显著超越基线。
2025-06-30 cs.CV
Weakly Supervised Contrastive Adversarial Training for Learning Robust Features from Semi-supervised Data
School of Computer Science, Sichuan University（四川大学计算机学院）
针对现有对抗训练扰动不完整、鲁棒特征学习效果不佳，且完全扰动受特征区分难、标记数据少限制的问题，提出基于信息论的弱监督对比对抗训练方法，通过半监督数据上的完全对抗样本扰动提升鲁棒特征学习效果，经理论与实验验证有效。
2025-03-20 cs.CV
CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval
本文提出CPCL方法，通过引入CLIP模型、原型多模态记忆模块和离群伪标签挖掘模块，利用跨模态原型对比学习解决弱监督文本行人检索中的类内差异问题，并在多个基准上验证了其有效性和泛化性。
2025-08-18 cs.CV
State and Scene Enhanced Prototypes for Weakly Supervised Open-Vocabulary Object Detection
National Institute of Health Data Science Peking University（健康数据科学国家研究院 北京大学）
本文提出状态增强和场景增强原型方法，用于提升弱监督开放词汇目标检测中语义原型的丰富性和视觉-文本对齐能力。
2025-11-22 cs.CV
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation
Shenzhen University（深圳大学）；Wenzhou-Kean University（温州肯恩大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳市人工智能与机器人研究院）
虽然由图像分类网络生成的类激活图（CAM）已被广泛用于弱监督对象定位（WSOL）和语义分割（WSSS），但此类分类器通常集中于可区分的对象区域。在本文中，我们提出了对比学习类不可知激活地图（C $^2$ AM）生成只使用未标记的图像数据，而不涉及图像级的监督。核心思想来自以下观察：i）前景对象的语义信息通常与其背景不同; ii）具有相似外观的前景对象或具有相似颜色/纹理的背景在特征空间中具有相似的表示。我们基于上述关系形成正对和负对，并使用一种新的对比损失，迫使网络使用类不可知的激活图来解开前景和背景。当引导网络区分跨图像前景-背景时，通过我们的方法学习的类别不可知激活映射会生成更完整的对象区域。我们成功地从C $^2$ AM中提取了与类别无关的对象边界框，用于对象定位和背景线索，以改进由分类网络生成的CAM，用于语义分割。在CUB-200-2011、ImageNet-1 K和PASCAL VOC 2012数据集上的大量实验表明，WSOL和WSSS都可以从所提出的C $^2$ AM中受益。
2022-12-22 cs.CV
FCL-COD: Weakly Supervised Camouflaged Object Detection with Frequency-aware and Contrastive Learning
Tsinghua University（清华大学）；Soochow University（苏州大学）
提出频率感知低秩适应（FoRA）和梯度感知对比学习，解决弱监督伪装目标检测中非伪装响应、局部/极端响应及边界模糊问题，在三个基准上超越现有弱监督和部分全监督方法。
2026-07-02 cs.CV
Semantic-Aware Dual Contrastive Learning for Multi-label Image Classification
Anhui University（安徽大学）；Nanjing University of Science and Technology（南京理工大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对多标签图像分类中复杂语义关系与 CAM 噪声问题，提出融合 SSCL 和 PSCL 的语义感知双对比学习框架，在五个大规模数据集上优于现有方法。
2023-09-25 cs.CV
Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
先前的动作表示学习工作集中在短视频片段的全局表示。相比之下，许多实际应用，如视频对齐，强烈要求学习长视频的密集表示。在本文中，我们引入了一个新的对比动作表示学习（CARL）框架，以自监督或弱监督的方式学习逐帧动作表示，特别是对于长视频。具体来说，我们引入了一个简单但有效的视频编码器，它通过结合卷积和Transformer来考虑空间和时间上下文。受最近自监督学习取得的巨大进展的启发，我们提出了一种新的序列对比度损失（SCL）适用于两个相关的意见，通过扩大一系列的时空数据在两个版本。一种是自监督版本，通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。另一种是弱监督版本，通过动态时间包裹（DTW）使用视频级标签在视频之间构建更多的样本对。FineGym，PennAction和Pouring数据集上的实验表明，我们的方法在下游细粒度动作分类和更快的推理方面比以前的最先进方法有很大的优势。令人惊讶的是，虽然没有像以前的作品那样对配对视频进行训练，但我们的自监督版本在视频对齐和细粒度帧检索任务中也表现出出色的性能。
2023-03-02 cs.CV
Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心）；Nanyang Technological University（南洋理工大学）
通过3D骨架的人重新识别（re-ID）是一个重要的新兴课题，具有许多优点。现有的解决方案很少探索骨骼结构或运动中有价值的身体-部件关系，并且它们通常缺乏使用未标记的骨骼数据来学习用于人的重新识别的一般表示的能力。本文提出了一种通用的无监督骨架原型对比学习范式与多层次图关系学习（SPC-MGR），以从未标记的骨骼中学习有效的表示来执行人的重新识别。具体地，我们首先构造统一的多级骨架图，以完全建模骨架内的身体结构。然后，我们提出了一个多头结构关系层，全面捕捉物理连接的身体组件节点的关系图。利用一个全层次的协作关系层来推断与运动相关的身体部位之间的协作，从而捕获丰富的身体特征和可识别的行走模式。最后，我们提出了一个骨架原型对比学习方案，该方案对未标记图表示的特征相关实例进行聚类，并将它们的固有相似性与代表性骨架特征进行对比（“骨架原型”）来学习用于人re-ID的区别性骨架表示。经验评估表明，SPC-MGR显著优于几种最先进的基于骨架的方法，并且对于更一般的场景，它还实现了具有高度竞争力的人员重新识别性能。
2022-08-25 cs.AI cs.CV
Weakly Supervised Contrastive Learning for Histopathology Patch Embeddings
Department of Electrical and Computer Engineering, University of Utah（电气与计算机工程系，犹他大学）；Scientific Computing and Imaging Institute, University of Utah（科学计算与成像研究所，犹他大学）；Department of Pathology, University of Utah（病理学系，犹他大学）
本文提出弱监督对比学习方法，通过结合袋级标签信息提升病理切片嵌入的下游MIL性能。
2026-02-12 cs.CV
Contrastive Proposal Extension with LSTM Network for Weakly Supervised Object Detection
Zhengzhou University（郑州大学）
弱监督目标检测（WSOD）由于只使用图像级的标记，可以节省大量的标注开销而受到越来越多的关注。大多数WSOD方法以多实例学习（MIL）为基本框架，将其视为实例分类问题。然而，这些方法的基础上MIL往往只收敛于最有区别的区域的不同的情况下，而不是其相应的完整的区域，即不够完整。受人类观察事物的习惯的启发，我们提出了一种新的方法，通过比较初始建议和扩展的，以优化这些初始建议。具体来说，我们提出了一种新的WSOD策略，涉及对比建议扩展（CPE），它由多个定向对比建议扩展（D-CPE）组成，每个D-CPE包含基于LSTM网络的编码器和相应的解码器。首先，根据设计好的顺序，将MIL中初始建议的边界扩展到不同的位置。然后，CPE通过编码器提取扩展提案和初始提案的特征语义，对扩展提案和初始提案进行比较，计算初始提案的完整性，优化初始提案的评分。这些对比的上下文语义将指导基本的WSOD，以抑制坏的建议，提高好的分数。此外，设计了一个简单的双流网络作为解码器，以约束LSTM的时间编码，进一步提高WSOD的性能。在PASCAL VOC 2007、VOC 2012和MS-COCO数据集上的实验表明，该方法取得了较好的效果。
2022-10-19 cs.CV
Contrastive Transformer-based Multiple Instance Learning for Weakly Supervised Polyp Frame Detection
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）；Singapore Management University（新加坡管理大学）
目前来自结肠镜检查视频的息肉检测方法仅使用正常（即，健康的）训练图像，其i）忽略连续视频帧中的时间信息的重要性，以及ii）缺乏关于息肉的知识。因此，它们通常具有高检测误差，特别是在具有挑战性的息肉病例（例如，小的、扁平的或部分可见的息肉）。在这项工作中，我们制定息肉检测作为一个弱监督的异常检测任务，使用视频级标记的训练数据来检测帧级息肉。特别是，我们提出了一种新的基于卷积变换的多实例学习方法，旨在识别异常帧（即，具有息肉的帧）来自异常视频（即，包含至少一个具有息肉的帧的视频）。在我们的方法中，本地和全局时间依赖性被无缝捕获，同时我们优化视频和片段级异常分数。还提出了一种对比片段挖掘方法，以实现具有挑战性的息肉病例的有效建模。由此产生的方法实现了检测精度，大大优于目前最先进的方法在这项工作中引入的新的大规模结肠镜检查视频数据集。
2022-05-18 cs.CV
CoLA: Weakly-Supervised Temporal Action Localization with Snippet Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
弱监督时间动作定位（WS-TAL）的目的是定位动作在未经修剪的视频只有视频级的标签。大多数现有的模型遵循“分类定位”的过程：定位对视频级分类贡献最大的时间区域。通常，他们单独处理每个片段（或帧），从而忽略了富有成效的时间上下文关系。这里出现了单个片段欺骗问题：“硬”片段太模糊，无法分类。在本文中，我们认为，通过比较学习有助于识别这些硬片段，我们建议利用片段对比学习本地化动作，简称CoLA。具体来说，我们提出了一种SniCoIntrast（SniCo）Loss来细化特征空间中的硬片段表示，从而引导网络感知精确的时间边界并避免时间间隔中断。此外，由于访问帧级注释是不可行的，我们引入了硬片段挖掘算法来定位潜在的硬片段。大量的分析表明，这种挖掘策略有效地捕获了硬片段和SniCo损失导致更多的信息特征表示。大量的实验表明，CoLA在THUMOS'14和ActivityNet v1.2数据集上实现了最先进的结果。CoLA代码可在https://github.com/zhang-can/CoLA上公开获得。
2021-07-28 cs.CV
Weakly Supervised Face Naming with Symmetry-Enhanced Contrastive Loss
KU Leuven（鲁汶大学）
我们重新审视了弱监督的跨模态脸名对齐任务;也就是说，给定一幅图像和一个标题，我们用标题中出现的名字来标记图像中的脸。鉴于过去的方法已经学会了潜在的对齐名称和面孔之间的不确定性推理的一组图像和它们各自的标题，在本文中，我们依靠适当的损失函数学习对齐神经网络设置，并提出SECLA和SECLA-B。SECLA是一种基于对称增强对比学习的对齐模型，可以以弱监督的方式有效地最大化对应人脸和姓名之间的相似性得分。该模型的一个变体SECLA-B学习像人类一样对齐名字和面孔，也就是说，从简单到困难的情况学习，以进一步提高SECLA的性能。更具体地说，SECLA-B应用了一个两阶段的学习框架：（1）在一个简单的子集上训练模型，每个图像-标题对中有几个名字和面孔。(2)利用简单案例中已知的姓名和面孔对，使用具有额外损失的自举策略来防止遗忘，同时学习新的对齐。我们在Wild数据集和Celebrity Together数据集中实现了增强的Labeled Faces的最新结果。此外，我们相信我们的方法可以适用于其他多模式新闻理解任务。
2022-10-17 cs.CV
Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
我们的目标是弱监督动作定位（WSAL）任务，在模型训练期间只有视频级别的动作标签可用。尽管最近的进展，现有的方法主要包括一个本地化的分类范式，并忽略了富有成效的细粒度的视频序列之间的时间区别，从而遭受严重的模糊性，在分类学习和分类到本地化的适应。本文认为，学习的上下文比较序列序列的区别提供了一个重要的归纳偏差WSAL，并有助于确定连贯的行动实例。具体而言，在可微动态规划公式下，设计了两个互补的对比目标，包括细粒度序列距离（FSD）对比和最长公共子序列（LCS）对比，其中第一个目标通过使用匹配、插入和删除操作来考虑各种动作/背景提议的关系，第二个目标挖掘两个视频之间的最长公共连续性。这两个对比模块可以相互增强，共同享有的区别性动作背景分离和分类和定位之间的任务差距缩小的优点。大量的实验表明，我们的方法在两个流行的基准测试中达到了最先进的性能。我们的代码可在www.example.com上获得。
2022-03-31 cs.CV
Weakly-supervised Contrastive Learning with Quantity Prompts for Moving Infrared Small Target Detection
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出弱监督对比学习方法，利用数量提示进行移动红外小目标检测，通过对比学习提升伪标签可靠性，实验表明其性能接近最先进方法。
2026-02-01 cs.CV
Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
图像级弱监督语义分割（WSSS）以类激活图（CAMs）为基础，取得了很大的进展，但分类和分割之间的监督差距仍然阻碍了模型生成更完整、更精确的伪模板进行分割。在这项研究中，我们提出了弱监督像素原型对比，可以提供像素级的监督信号，以缩小差距。在两个直观先验的指导下，我们的方法在不同的视图和图像的每个视图内执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的类内（间）紧凑性（分散性）。我们的方法可以无缝地纳入现有的WSSS模型，而无需对基础网络进行任何更改，并且不会产生任何额外的推理负担。大量的实验表明，我们的方法一致地提高了两个强基线的大幅度，证明了有效性。具体来说，建立在SEAM之上，我们将PASCAL VOC 2012上的初始种子mIoU从55.4%提高到61.5%。此外，我们的方法，我们增加了分割mIoU的EPS从70.8%到73.6%，实现了新的国家的最先进的。
2022-03-14 cs.CV
Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information
针对弱监督语义分割忽视跨图像语义信息的问题，提出 DSCNet 端到端框架，通过 PGCL、SGCL 与 DSCL 联合建模像素级和语义级上下文，并在 PASCAL VOC、MS COCO 上优于 SOTA。
2024-05-08 cs.CV
