Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation
Shenzhen University（深圳大学）
针对PCL中原型跨域不一致及类间原型相似导致的特征对齐难题，本文提出CDPCL，通过UPCL不确定性校准与HPCL硬加权校准双模块学习域不变特征，在域泛化语义分割上取得领先性能。
2023-09-25 cs.CV
Bi-directional Contrastive Learning for Domain Adaptive Semantic Segmentation
Yonsei University（延世大学）
我们提出了一种新的无监督领域自适应方法的语义分割，概括了一个模型训练的源图像和相应的地面实况标签的目标域。领域自适应语义分割的关键是在没有目标真实标签的情况下学习领域不变和区分性特征。为此，我们提出了一个双向的像素原型对比学习框架，最大限度地减少同一对象类的类内变化的功能，同时最大限度地提高不同的类间变化，无论域。具体来说，我们的框架将像素级特征与目标和源图像中相同对象类的原型（即，正对），分别将它们分开用于不同的类（即，负对），并利用源图像中的像素级特征和目标图像中的原型朝另一方向执行对准和分离过程。跨域匹配鼓励域不变特征表示，而双向像素原型对应聚合相同对象类的特征，提供区分性特征。为了建立用于对比学习的训练对，我们提出使用非参数标签转移来生成目标图像的动态伪标签，即跨不同域的像素原型对应。我们还提出了一种校准方法，在训练过程中逐渐补偿原型的类域偏差。
2022-07-22 cs.CV
SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning
Beijing Institute of Technology（北京理工大学）
虽然有监督的语义分割取得了重大进展，但由于领域偏见，将分割模型部署到看不见的领域仍然具有挑战性。在这方面，领域自适应可以通过将知识从标记的源域转移到未标记的目标域来提供帮助。以往的方法通常尝试对全局特征进行自适应，然而，通常忽略了特征空间中每个像素的局部语义隶属关系，导致可区分性降低。为了解决这个问题，我们提出了一种新的语义原型为基础的对比学习框架细粒度的类对齐。具体地说，语义原型为每像素的判别式表示学习提供监督信号，并且要求特征空间中的源域和目标域的每个像素反映相应语义原型的内容。通过这种方式，我们的框架能够显式地使类内像素表示更接近，类间像素表示更远，以提高分割模型的鲁棒性，并减轻域偏移问题。我们的方法是很容易实现，并取得了优异的结果相比，国家的最先进的方法，与一些实验证明。该代码可在www.example.com上公开获取。
2022-04-30 cs.CV
MP-FedCL: Multiprototype Federated Contrastive Learning for Edge Intelligence
Kyung Hee University（庆熙大学）；Old Dominion University（奥多明尼昂大学）
针对联邦学习边缘智能中非独立同分布数据导致模型性能下降的问题，提出多原型联邦对比学习方法MP-FedCL，利用k-means多原型聚合与对比学习提升性能，在多个数据集上平均准确率提升4.6%至10.4%。
2023-10-11 cs.AI cs.CV cs.DC
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification
Nanyang Technological University（南洋理工大学）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心（LILY））
基于骨架的人重新识别（re-ID）的最新进展通过手工制作的骨架描述符或具有深度学习范例的骨架表示学习获得令人印象深刻的性能。然而，它们通常需要骨架预建模和标签信息用于训练，这导致这些方法的适用性有限。在本文中，我们专注于无监督的基于骨架的人重新识别，并提出了一个通用的简单掩蔽对比学习（SimMC）框架，从未标记的3D骨架中学习有效的表示，用于人重新识别。具体来说，为了充分利用每个骨架序列中的骨架特征，我们首先设计了一个屏蔽原型对比学习（MPC）方案来聚类最典型的骨架特征（骨架原型），并对比骨架特征和不同原型之间的固有相似性，以在不使用任何标签的情况下学习有区别的骨架表示。然后，考虑到同一序列中的不同连续性通常由于运动连续性的性质而具有强相关性，我们提出了掩蔽序列内对比学习（MIC）来捕获连续性之间的序列内模式一致性，以鼓励学习更有效的骨架表示的人重新识别。大量的实验验证，建议SimMC优于大多数国家的最先进的骨架-基于方法。我们进一步展示了它的可扩展性和效率，提高现有模型的性能。我们的代码可在https://github.com/Kali-Hac/SimMC上获得。
2022-06-19 cs.AI cs.CV
Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
对比自监督学习（CSL）与原型正则化已被引入到学习有意义的表示，下游的任务，需要强语义信息。然而，为了优化CSL，损失会积极地执行原型正则化，例如，ProtoNCE丢失可能会导致嵌入空间中的示例的“凝结”。也就是说，样本的原型内多样性崩溃为平凡的解决方案，因为它们的原型与其他样本分离得很好。受以前工作的启发，我们建议通过对齐，均匀性和相关性（PAUC）学习原型表示来减轻这种现象。具体而言，普通ProtoNCE损失被修改为：（1）将正原型的嵌入拉到一起的对齐损失;（2）均匀分布原型级别特征的均匀性损失;（3）增加原型级别特征之间的多样性和可区分性的相关性损失。我们在各种基准上进行了广泛的实验，结果证明了我们的方法在提高原型对比表示质量方面的有效性。特别是，在使用线性探针的分类下游任务中，在相同的批量大小和时期设置下，我们提出的方法在ImageNet-100数据集上的性能优于最先进的实例和原型对比学习方法2.96%，在ImageNet-1 K数据集上的性能优于2.46%。
2022-10-18 cs.AI cs.CV cs.LG
Source-Free Domain Adaptation for Medical Image Segmentation via Prototype-Anchored Feature Alignment and Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；VoxelCloud, Inc.（体素科技公司）
针对医学场景源数据因隐私不可用的问题，提出两阶段SFDA框架，通过原型锚定特征对齐与对比学习实现医学图像分割，在大域差异下性能优于现有方法。
2023-07-19 cs.CV
Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP)
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute of Discovery（威斯康星发现研究院）
针对对比学习中的神经坍缩问题，该研究分析大学习率对余弦对比损失的影响并推导缓解界，提出聚焦子空间分离的半监督损失CLOP，实验证明其可提升性能与稳定性。
2024-10-07 cs.AI cs.LG
Space Engage: Collaborative Space Supervision for Contrastive-based Semi-Supervised Semantic Segmentation
Northeastern University（东北大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong（香港中文大学）
针对基于对比学习的半监督语义分割仅依赖logit空间监督的不足，提出协同利用logit与表征空间监督的方法，以表征相似度优化低效表征训练，在两个公开基准上取得了比肩当前最优方法的性能。
2023-07-19 cs.AI cs.CV
ProtoECGNet: Case-Based Interpretable Deep Learning for Multi-Label ECG Classification with Contrastive Learning
ProtoECGNet提出基于原型的可解释多标签心电图分类模型，通过多分支架构和对比损失，在PTB-XL上达到竞争性能，提供忠实案例解释。
2025-08-12 cs.AI cs.LG
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）；Google DeepMind（谷歌DeepMind）
本文提出对比原型提示（CPP）方法，通过任务特定提示微调和对比学习解决持续学习中的语义漂移与原型干扰，在四个类增量基准上超越现有方法4%至6%，且无需重放缓冲区。
2023-11-12 cs.AI cs.CV cs.LG
Multimodal Prototype Alignment for Semi-supervised Pathology Image Segmentation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出 MPAMatch，通过图像与文本原型的双重像素级对比学习，首次将文本原型监督引入半监督病理图像分割，并结合病理预训练基础模型 Uni 重构 TransUNet，在多个病理数据集上取得领先性能。
2025-08-27 cs.AI cs.CV
Siamese Prototypical Contrastive Learning
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
对比自监督学习（CSL）是一种实用的解决方案，它以无监督的方式从海量数据中学习有意义的视觉表示。通常的CSL是将从神经网络中提取的特征嵌入到特定的拓扑结构中。在训练过程中，对比损失将同一输入的不同视图拉在一起，同时将来自不同输入的嵌入分开。CSL的缺点之一是损失项需要大量的负样本来提供理想的更好的互信息界。然而，通过更大的运行批量来增加阴性样本的数量也会增强假阴性的影响：语义相似的样本被推离锚点，从而降低下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是采用连体式的度量损失匹配原型内的功能，同时增加原型间的功能之间的距离。我们在各种基准上进行了广泛的实验，结果证明了我们的方法对提高视觉表示质量的有效性。具体来说，我们的无监督预训练ResNet-50和线性探针在ImageNet-1 K数据集上的性能优于完全监督训练版本。
2022-08-18 cs.AI cs.CV cs.LG
Federated Learning from Pre-Trained Models: A Contrastive Learning Approach
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
联邦学习（FL）是一种机器学习范式，允许分散的客户端在不共享其私有数据的情况下进行协作学习。然而，过多的计算和通信需求对当前FL框架提出了挑战，特别是在训练大规模模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻量级的框架，客户端可以共同学习融合多个固定的预训练模型生成的表示，而不是从头开始训练大规模模型。通过考虑如何从预先训练的模型中捕获更多客户特定和类相关的信息，并共同提高每个客户利用这些现成模型的能力，这将我们引向一个更实际的FL问题。在这项工作中，我们设计了一个联邦原型明智的对比学习（FedPCL）的方法，通过他们的类原型，并建立客户端特定的表示在一个原型明智的对比方式共享知识。共享原型而不是可学习的模型参数允许每个客户端以个性化的方式融合表示，同时将共享知识保持在紧凑的形式中，以实现高效的通信。我们在轻量级框架中对所提出的FedPCL进行了全面的评估，测量并可视化了其在流行的FL数据集上融合各种预训练模型的能力。
2022-09-21 cs.AI cs.CR cs.LG
Adversarial Contrastive Learning by Permuting Cluster Assignments
Virginia Tech（弗吉尼亚理工大学）
对比学习作为一种有效的自监督表示学习技术已经得到普及。几个研究方向改进了传统的对比方法，例如，原型对比方法更好地捕捉实例之间的语义相似性，并通过考虑聚类原型或聚类分配来减少计算负担，而对抗性实例对比方法提高了对各种攻击的鲁棒性。据我们所知，没有以前的工作联合考虑鲁棒性，聚类语义相似性和计算效率。在这项工作中，我们提出了SwARo，一个对抗性的对比框架，它结合了集群分配排列来生成代表性的对抗性样本。我们在多个基准数据集上评估了SwARo，并针对各种白盒和黑盒攻击进行了评估，在最先进的基线上获得了一致的改进。
2022-04-21 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation via Similarity-based Prototypes for Cross-Modality Segmentation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（合作中位网创新中心，上海交通大学）
本文提出基于相似性原型的无监督域适应框架，通过嵌入空间类别原型与相似性约束，结合字典存储实现对比学习，有效提升跨模态分割性能。
2025-10-23 cs.AI cs.CV
Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University（北京交通大学先进信息科学与网络技术北京市重点实验室）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
在无监督领域自适应（UDA）中，为了弥补源域和目标域之间的差距，最常用的策略是通过对抗学习来匹配特征空间中的边缘分布。然而，这种类别不可知的全局对齐缺乏利用类级联合分布，导致对齐的分布歧视性较低。为了解决这个问题，本文提出了一种新的边缘保持自定步调的对比学习（MPSCL）模型的跨模态医学图像分割。与传统的对比学习中对比对的构造不同，该方法利用领域自适应范畴原型来构造正反样本对。在逐步细化语义原型的指导下，提出了一种新的边缘保持对比损失算法，以提高嵌入式表示空间的可区分性。为了加强对对比学习的监督，在目标域中以自定进度的方式生成更多信息的伪标签，从而有利于UDA的类别感知分布对齐。此外，通过两个域之间的联合对比学习来学习域不变表示。跨模态心脏分割任务的大量实验表明，MPSCL显着提高语义分割的性能，并优于各种各样的国家的最先进的方法的大幅度。
2022-01-16 cs.CV
DAUPNet: Domain-Aware Uncertainty Modeling for Reliable Prototype Discrimination in Cross-Domain Few-Shot Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）
针对跨域少样本语义分割中因域偏移致原型匹配不可靠的问题，提出DAUPNet框架，通过协调特征、概率表示原型及用不确定性调节优化，在四个标准目标域取得较好平均mIoU，为跨域少样本语义分割提供了可靠方法。
2026-11-02 cs.AI cs.CV
Contrast, Stylize and Adapt: Unsupervised Contrastive Learning Framework for Domain Adaptive Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；LTCI, Télécom-Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
针对现有无监督域自适应语义分割方法未结合像素与特征层面对齐的问题，提出CONFETI框架，通过类别原型关联像素级风格迁移对齐与特征级像素-原型对比对齐，在DeepLabV2设置下性能超越现有SOTA方法。
2023-06-15 cs.CV
Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation
School of Computer Science, East China Normal University（华东师范大学计算机科学学院）；School of Science, Zhejiang University of Technology（浙江工业大学理学院）
针对图对比学习推荐方法的采样偏差与维度坍塌问题，提出基于原型对齐与一致性的ProtoAU方法，无需随机采样对比对，在四个数据集的链接预测任务上性能优于现有代表性方法。
2024-02-03 cs.AI cs.IR
Proto-OOD: Enhancing OOD Object Detection with Prototype Feature Similarity
Beijing Institute of Control Engineering（北京控制工程研究所）
针对神经网络易误判分布外目标的问题，提出Proto-OOD网络，利用对比损失增强类别原型代表性，并通过输入特征与原型的相似性检测OOD数据，显著降低假阳性率并改进了评估协议。
2025-01-28 cs.AI cs.CV
Personalized Federated Learning for Spatio-Temporal Forecasting: A Dual Semantic Alignment-Based Contrastive Approach
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对时空预测中的时空异质性与联邦个性化难题，提出FUELS双重语义对齐对比学习方法，通过时间难负样本过滤和空间定制原型提升性能并降低约94%通信成本。
2024-04-04 cs.AI cs.LG
Source-Free Domain Adaptation via Multi-view Contrastive Learning
School of Computer engineering, Iran university of Science and Technology（伊朗科学技术大学计算机工程学院）；Department of Computer Engineering, SR.C, Islamic Azad university（伊斯兰 Azad 大学计算机工程系）
本文针对无源无监督域适应中原型质量低和伪标签错误问题，提出结合可靠样本记忆、多视图对比学习和噪声标签过滤的三阶段方法，在多个基准数据集上取得显著准确率提升。
2025-07-04 cs.AI cs.CV
Contrastive Retrospection: honing in on critical steps for rapid learning and generalization in RL
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；New York University（纽约大学）；McGill University（麦吉尔大学）；University of Toronto（多伦多大学）；SilicoLabs Incorporated（SilicoLabs公司）；CIFAR（加拿大高等研究院）
本文提出对比回溯算法ConSpec，通过离线对比学习识别任务关键步骤并给予内在奖励，以可解释方式改善信用分配，实现快速学习与分布外泛化。
2023-10-28 cs.AI cs.LG
Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
针对可穿戴活动识别中标注成本高的问题，提出仅需每段一个时间戳标注的联合分割与识别方法，结合对比学习与最优传输生成伪标签，在四个公开数据集上超越弱监督方法并接近全监督性能。
2023-10-13 cs.AI cs.CV
Exploring Feature Representation Learning for Semi-supervised Medical Image Segmentation
Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
本文提出一种用于半监督医学图像分割的两阶段框架，通过阶段自适应对比学习探索特征表示，并利用认知不确定性感知方法AUA生成高质量伪标签，在三个公共基准上取得最佳结果。
2023-07-30 cs.CV
Prototypical Graph Contrastive Learning
Sun Yat-sen University（中山大学）；Sea AI Lab（Sea人工智能实验室）；Tencent（腾讯）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
图级表示在各种现实世界的应用中至关重要，例如预测分子的性质。但在实践中，精确的图形注释通常非常昂贵和耗时。为了解决这个问题，图对比学习构造了实例判别任务，该任务将正对（同一图的增强对）拉到一起，并将负对（不同图的增强对）推开，用于无监督的表示学习。然而，由于对于一个查询，它的否定是从所有图中均匀采样的，因此现有方法受到临界采样偏差问题的影响，即，否定词可能与查询具有相同的语义结构，从而导致性能下降。为了缓解这种采样偏差问题，在本文中，我们提出了一个原型图对比学习（PGCL）的方法。具体而言，PGCL模型的图形数据的底层语义结构，通过聚类语义相似的图到同一组，同时鼓励聚类一致性为同一个图的不同增强。然后对查询进行负采样，通过绘制与查询聚类不同的聚类图，保证查询与其负采样之间的语义差异。此外，对于查询，PGCL进一步基于其原型（聚类质心）与查询原型之间的距离对其否定样本重新加权，使得具有中等原型距离的那些否定享有相对较大的权重。这种重新加权策略被证明是更有效的比均匀采样。在各种图基准上的实验结果证明了我们的PGCL的优势，国家的最先进的方法。代码可在https://github.com/ha-lins/PGCL上公开获取。
2022-07-24 cs.AI cs.LG
Cluster-Level Contrastive Learning for Emotion Recognition in Conversations
NaCTeM（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Umm Al-Qura University（乌姆·库拉大学）
会话中的情感识别（ERC）的一个关键挑战是区分语义相似的情感。一些作品利用监督对比学习（SCL），它使用类别情感标签作为监督信号，并在高维语义空间中进行对比。然而，分类标签无法提供情感之间的定量信息。ERC也不是平等地依赖于语义空间中的所有嵌入特征，这使得高维SCL效率低下。为了解决这些问题，我们提出了一种新的低维的监督的神经元级的对比学习（SCCL）方法，该方法首先减少了高维SCL空间到一个三维的情感表征空间效价-唤醒-优势（VAD），然后执行集群级的对比学习，以纳入可测量的情感原型。为了帮助建模对话和丰富上下文，我们利用预先训练的知识适配器来注入语言和事实知识。实验表明，我们的方法取得了新的国家的最先进的结果，69.81%的IEMOCAP，65.7%的MELD，和62.51%的DailyDialog数据集。分析还证明了VAD空间不仅适用于ERC，而且是可解释的，VAD原型提高了其性能并稳定了SCCL的训练。此外，预先训练的知识适配器有益于话语编码器和SCCL的性能。我们的代码可在：https://github.com/SteveKGYang/SCCL
2023-02-07 cs.AI cs.CL
PiPViT: Patch-based Visual Interpretable Prototypes for Retinal Image Analysis
Christian Doppler Laboratory for Artificial Intelligence in Retina（人工智能在视网膜领域的克里斯蒂安·多普勒实验室）；Institute of Artificial Intelligence（人工智能研究所）；Center for Medical Data Science（医学数据科学中心）；Medical University of Vienna（维也纳医学大学）
针对现有基于原型的医学图像分析方法可解释性不足的问题，提出结合ViT、对比学习和多分辨率处理的PiPViT模型，仅用图像级标签学习可解释原型，在四个视网膜OCT数据集上性能达SOTA水平且解释性更强。
2025-06-13 cs.AI cs.CV
CP-VoteNet: Contrastive Prototypical VoteNet for Few-Shot Point Cloud Object Detection
Shanghai Jiao Tong University（上海交通大学）
本文提出 CP-VoteNet，通过语义对比挖掘和基元级几何对比约束学习精细原型表示，在 FS-ScanNet 和 FS-SUNRGBD 上显著提升少样本点云三维目标检测性能。
2024-08-30 cs.CV
TCMM: Token Constraint and Multi-Scale Memory Bank of Contrastive Learning for Unsupervised Person Re-identification
National Chung Cheng University（中正大学）
针对无监督行人重识别中的块噪声、特征不一致及离群样本浪费问题，提出带Token约束与多尺度记忆库的TCMM方法，在常用基准上取得SOTA性能。
2025-01-15 cs.AI cs.CV
Unsupervised Cross-Domain Rumor Detection with Contrastive Learning and Cross-Attention
大量的谣言通常伴随着突发新闻或热门话题出现，严重阻碍了真相。现有的谣言检测方法大多集中在同一领域，因此，由于域转移的跨域场景的性能较差。在这项工作中，我们提出了一个端到端的实例和原型明智的对比学习模型与交叉注意力机制跨域谣言检测。该模型不仅执行跨域特征对齐，而且还强制目标样本与给定源域的相应原型对齐。由于目标域中的目标标签不可用，我们使用基于聚类的方法，通过一批源域样本仔细初始化中心来产生伪标签。此外，我们使用交叉注意力机制对一对源数据和目标数据具有相同的标签，学习域不变的表示。因为领域对中的样本倾向于表达相似的语义模式，特别是在人们的态度上（例如，支持或否认），则源域和目标域之间的差异会减小。我们在四组跨域数据集上进行了实验，结果表明我们提出的模型具有最先进的性能。
2023-03-20 cs.AI cs.CL cs.LG
Multimodal Adaptive Expert Selection with Text Routing and Ordinal Prototype Optimization for Sentiment Analysis
Jianghan University（江汉大学）
本研究针对多模态情感分析的静态计算图与忽略情感序数层级的问题，提出MAESTRO框架，通过文本引导的MoE机制与O-PCL实现动态多模态表征，在CMU-MOSI等基准上取得最优性能。
2026-09-01 cs.AI
Contrastive Enhancement Using Latent Prototype for Few-Shot Segmentation
Few-Shot分割使模型能够用很少的注释示例识别看不见的类。现有的方法大多采用原型学习架构，支持原型向量扩展并与查询特征连接以执行条件分割。然而，这样的框架潜在地更关注查询特征，而可能忽略支持和查询特征之间的相似性。本文提出了一种基于潜在原型的对比增强方法，以充分利用潜在类，提高原型与查询特征之间相似性信息的利用率。具体地说，提出了一个潜在原型采样模块，以生成伪掩码和基于特征相似性的新原型。该模块方便地进行端到端学习，并且不像基于聚类的方法那样对聚类数有很强的依赖性。此外，开发了一个对比增强模块，以驱动模型提供不同的预测相同的查询功能。我们的方法可以作为一个辅助模块，灵活地集成到其他基线，以获得更好的分割性能。大量的实验表明，我们的方法显着提高了最先进的方法的性能为1杆和5杆分割，特别是超过基线的5.9%和7.3%的Pascal-5^i和COCO-20^i上的5杆任务。源代码可在https://github.com/zhaoxiaoyu1995/CELP-Pytorch上获得
2022-03-08 cs.AI cs.CV
LaB-CL: Localized and Balanced Contrastive Learning for improving parking slot detection
Sungkyunkwan University（成均馆大学）；Institute for Basic Science (IBS)（基础科学研究院）
针对停车位检测中常被忽视的数据不平衡问题，提出首个监督对比学习框架LaB-CL，通过引入类原型和困难负样本采样方案提升分类性能，在基准数据集上优于现有方法。
2024-10-10 cs.AI cs.CV cs.RO
Query-aware Hub Prototype Learning for Few-Shot 3D Point Cloud Semantic Segmentation
本文提出面向查询的枢纽原型学习方法，通过建模支持集与查询集的语义相关性，提升少样本3D点云语义分割的性能。
2025-12-09 cs.CV
CoKe: Localized Contrastive Learning for Robust Keypoint Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Freiburg（弗莱堡大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在本文中，我们介绍了一个对比学习框架的关键点检测（CoKe）。关键点检测与其他应用了对比学习的视觉任务不同，因为输入是一组图像，其中注释了多个关键点。这需要扩展对比学习，使得关键点被独立地表示和检测，这使得对比损失能够使关键点特征彼此不同并且与背景不同。我们的方法有两个好处：它使我们能够利用对比学习进行关键点检测，并且通过独立检测每个关键点，与整体方法（例如堆叠沙漏网络）相比，检测变得对遮挡更加鲁棒，这些方法试图联合检测所有关键点。我们的CoKe框架引入了几项技术创新。特别是，我们介绍：（i）表示非关键点特征的杂波库;（ii）存储关键点的原型表示以近似关键点之间的对比度损失的关键点库;以及（iii）累积移动平均更新以在训练特征提取器的同时学习关键点原型。我们在一系列不同数据集（PASCAL 3D+，MPII，ObjectNet 3D）上的实验表明，我们的方法与其他关键点检测方法一样有效，甚至更好，即使是人类关键点，文献也很丰富。此外，我们观察到CoKe对部分遮挡和以前看不见的对象姿势非常鲁棒。
2022-12-05 cs.CV
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales（新南威尔士大学）
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题，提出基于原型的图像提示框架，利用聚类原型与对比匹配损失提升CAM质量，并在四个数据集上取得新基准。
2025-03-15 cs.CV
Memory-efficient Continual Learning with Neural Collapse Contrastive
INSA CVL（中央卢瓦尔河谷国立应用科学学院）；CY Cergy Paris University（塞尔吉-蓬图瓦兹大学）；ENSEA（法国高等电子与数字学院）；CNRS（法国国家科学研究中心）
针对持续学习中的灾难性遗忘与内存依赖问题，提出 FNC^2 平衡软硬关系，并结合 HSD 跨任务蒸馏知识，在无内存条件下仍可媲美基于回放的方法。
2024-12-06 cs.AI cs.CV cs.LG
Boosting Semi-Supervised Semantic Segmentation with Probabilistic Representations
Northeastern University（东北大学）；The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）
半监督语义分割的最新突破是通过对比学习实现的。在流行的逐像素对比学习解决方案中，模型将像素映射到确定性表示，并在潜在空间中将其正则化。然而，由于模型的认知能力有限，存在不准确的伪标签，将模糊的像素表示映射到错误的类。在本文中，我们定义了像素级表示从概率论的一个新的角度，并提出了一个概率表示对比学习（PRCL）框架，提高表示质量，考虑其概率。通过将从像素到表示的映射建模为经由多变量高斯分布的概率，我们可以调整模糊表示的贡献以容忍不准确的伪标签的风险。此外，我们定义的原型的形式分布，这表明一个类的信心，而点原型不能。此外，我们建议正则化的分布方差，以提高表示的可靠性。利用这些优点，可以在潜在空间中导出高质量的特征表示，从而可以进一步提高语义分割的性能。我们在Pascal VOC和CityScapes上进行了充分的实验来评估PRCL，以证明其优越性。该代码可在https://github.com/Haoyu-Xie/PRCL上获得。
2022-12-16 cs.CV
ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection
Wuhan University（武汉大学）；East China Normal University（华东师范大学）
针对少样本细粒度遥感目标检测，提出基于原型的检索增强框架ProtoRAG，通过判别性原型空间学习和不确定性引导推理，在多个基准上显著提升性能。
2026-09-09 cs.CV
Cross-domain Detection via Graph-induced Prototype Alignment
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
将在特定域上训练的对象检测器的知识直接应用到新的域上是有风险的，因为两个域之间的间隙会严重降低模型的性能。此外，由于在目标检测场景中，不同的实例通常包含不同的模态信息，因此难以实现源域和目标域的特征对齐。为了缓解这些问题，我们提出了一个图诱导的原型对齐（GPA）框架，通过精心设计的原型表示寻求类别级域对齐。简单地说，更精确的实例级特征是通过基于图的区域建议之间的信息传播，并在此基础上，每个类的原型表示派生类别级域对齐。此外，为了减轻类不平衡对领域自适应的负面影响，我们设计了一个类重加权对比损失来协调自适应训练过程。结合Faster R-CNN，该框架以两阶段的方式进行特征对齐。各种跨域检测任务的综合结果表明，我们的方法优于现有的方法具有显着的利润率。我们的代码可在https://github.com/ChrisAllenMing/GPA-detection上获得。
2020-03-28 cs.CV
APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation
Tsinghua University（清华大学）；Tencent YouTu Lab（腾讯优图实验室）；University College London（伦敦大学学院）
Few-Shot语义分割的目标是在给定的查询图像中分割新类别的对象，只有少数标记的支持图像。大多数高级解决方案都利用了一个度量学习框架，该框架通过将每个查询特征与学习到的特定于类的原型相匹配来执行分割。然而，这个框架遭受偏见的分类，由于不完整的功能比较。为了解决这个问题，我们提出了一个自适应的原型表示，通过引入类特定的和类不可知的原型，从而构建完整的样本对学习语义对齐查询功能。互补特征学习方式有效地丰富了特征比较，并有助于在Few-Shot设置中产生无偏分割模型。它是用双分支端到端网络（即，类特定分支和类不可知分支），其生成原型，然后组合查询特征以执行比较。此外，所提出的类不可知分支是简单而有效的。在实践中，它可以自适应地为查询图像生成多个类不可知的原型，并以自对比的方式学习特征对齐。在PASCAL-5 $^i$和COCO-20 $^i$上的实验证明了该方法的优越性。在不牺牲推理效率的情况下，我们的模型在语义分割的1次和5次设置中都实现了最先进的结果。
2023-01-17 cs.CV
Intelligently Augmented Contrastive Tensor Factorization: Empowering Multi-dimensional Time Series Classification in Low-Data Environments
Engineering Product Development Singapore University of Technology and Design（新加坡科技与设计大学工程产品开发学院）；School of Automation Chongqing University（重庆大学自动化学院）；Institute for Infocomm Research Agency for Science, Technology and Research（信息与通信研究所）；School of Electrical and Electronics Engineering Nanyang Technological University（南洋理工大学电子与电气工程学院）
针对低数据环境下多维时间序列分类中深度学习易过拟合的问题，提出ITA-CTF框架，通过智能增强模块生成有效增强样本结合带对比损失的张量分解学习表征，在5个任务上最高提升18.7%的性能。
2025-05-15 cs.AI cs.LG
Center-Oriented Prototype Contrastive Clustering
School of Computer Science（计算机科学学院）；Nanjing University of Information Science and Technology（信息科学与技术大学）；The State Key Laboratory of Tibetan Intelligence（藏族智能国家重点实验室）；Qinghai Normal University（青海师范大学）；Computer Science and Technology（计算机科学与技术）；Zhejiang Normal University（浙江师范大学）
本文提出面向中心的原型对比聚类框架，通过软原型对比和双一致性学习缓解类间冲突与原型漂移，在多个数据集上取得优于SOTA的聚类效果。
2025-08-21 cs.CV
Human-machine Interactive Tissue Prototype Learning for Label-efficient Histopathology Image Segmentation
Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；The Chinese University of Hong Kong（香港中文大学）
最近，深度神经网络极大地改进了组织病理学图像分割，但通常需要大量的注释数据。然而，由于整个载玻片图像的千兆像素规模和病理学家繁重的日常工作量，在临床实践中获得用于监督学习的像素级标签通常是不可行的。或者，弱监督分割方法已经被探索，具有较少费力的图像级标签，但由于缺乏密集监督，它们的性能不令人满意。受最近成功的自监督学习方法的启发，我们提出了一个标签高效的组织原型字典建设管道，并建议使用获得的原型来指导组织病理学图像分割。特别地，利用自监督对比学习，训练编码器以将未标记的组织病理学图像块投影到有区别的嵌入空间中，其中这些块被聚类以通过有效的病理学家的视觉检查来识别组织原型。然后，编码器被用来映射到嵌入空间的图像，并产生像素级的伪组织掩模通过查询组织原型字典。最后，使用伪掩码训练具有密集监督的分割网络，以获得更好的性能。在两个公开数据集上的实验表明，我们的人机交互组织原型学习方法可以实现与全监督基线相当的分割性能，并且注释负担更少，并且优于其他弱监督方法。代码将在发布时提供。
2023-03-10 cs.CV
Semi-Supervised Federated Learning via Dual Contrastive Learning and Soft Labeling for Intelligent Fault Diagnosis
School of Electronic and Optical Engineering, Nanjing University of Science and Technology（南京理工大学电子与光学工程学院）；School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）；Institute of Artificial Intelligence Research, Jiangsu Second Normal University（江苏第二师范学院人工智能研究所）；Digital Research Institute, ENN Group（ENN集团数字研究院）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算、工程与数学科学学院）；College of Science and Engineering, James Cook University（詹姆斯库克大学科学与工程学院）
本文提出半监督联邦学习框架SSFL-DCSL，通过双重对比损失、软标签和原型聚合解决分布式客户端标注数据稀缺与数据分布差异问题，在仅10%标注数据下较现有方法提升1.15%至7.85%准确率。
2025-07-12 cs.AI cs.LG
COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation
South China University of Technology（华南理工大学）；Inria（法国国家信息与自动化研究所）
大规模3D数据的注释是出了名的麻烦和昂贵。作为替代方案，弱监督学习通过将注释减少几个数量级来满足这种需要。我们提出了COARSE 3D，一种新的架构不可知的对比学习战略的3D分割。由于对比学习需要丰富多样的例子作为键和锚，我们利用一个原型存储体有效地捕获类全局数据集信息到少量的原型作为键。然后，熵驱动的采样技术允许我们从预测中选择好的像素作为锚点。在三个基于投影的主干上的实验表明，我们在三个具有挑战性的真实户外数据集上的表现优于基线，使用低至0.001%的注释。
2022-10-08 cs.CV
Exemplar Learning for Medical Image Segmentation
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
医学图像标注通常需要专业知识，因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担，我们提出了一种新的学习方案，范例学习（EL），探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割，其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务，我们提出了一个基于范例学习的合成网络（ELSNet）框架，用于医学图像分割，实现了创新的基于范例的数据合成，基于像素原型的对比嵌入学习，以及基于伪标签的未标记数据的利用。具体来说，ELSNet引入了两个新的模块用于图像分割：一个样本指导的合成模块，它通过从给定的样本合成注释样本来丰富和多样化训练集，以及一个基于像素原型的对比嵌入模块，它通过对比表示学习来增强基本分割模型的区分能力。此外，我们部署了一个两阶段的分割模型训练过程，该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架，我们对几个器官分割数据集进行了广泛的实验，并进行了深入的分析。实验结果表明，所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
Open-Set Object Detection Using Classification-free Object Proposal and Instance-level Contrastive Learning
Zhejiang University（浙江大学）
本文提出 Openset RCNN，通过无分类区域提议网络和原型学习网络分别解决物体与背景分离及开放集分类问题，并构建新基准验证其在机器人杂乱环境重排任务中的开放集感知能力。
2023-12-04 cs.CV cs.RO
Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京市大数据管理与分析方法重点实验室）
最近，图协同过滤方法已被提出作为一种有效的推荐方法，它可以捕捉用户的偏好，通过建模的用户项目交互图。为了降低数据稀疏性的影响，将对比学习引入到图协同过滤中以提高性能。然而，这些方法通常通过随机抽样来构造对比对，忽略了用户（或项目）之间的相邻关系，未能充分利用对比学习的潜力进行推荐。为了解决上述问题，我们提出了一种新的对比学习方法，命名为邻居丰富的对比学习，命名为NCL，显式地将潜在的邻居到对比对。具体来说，我们分别从图结构和语义空间引入用户（或项目）的邻居。对于交互图上的结构邻居，我们开发了一种新的结构对比目标，将用户（或项目）及其结构邻居视为正对比对。在实现中，用户（或项目）和邻居的表示对应于不同GNN层的输出。此外，为了挖掘语义空间中潜在的邻居关系，我们假设具有相似表征的用户都在语义邻居中，并将这些语义邻居纳入原型对比目标。提出的NCL可以用EM算法优化，并推广到图协同过滤方法。在5个公共数据集上的实验结果表明了该方法的有效性，在Yelp和Amazon-book数据集上的性能分别比基于竞争图的协同过滤模型提高了26%和17%。我们的代码可在https://github.com/RUCAIBox/NCL上获得。
2022-02-15 cs.AI cs.IR
Toward Modality Gap: Vision Prototype Learning for Weakly-supervised Semantic Segmentation with CLIP
Monash University（莫纳什大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Edinburgh（爱丁堡大学）
针对CLIP在弱监督语义分割中因模态差距导致文本原型与像素特征错位的问题，提出视觉原型学习框架，借助文本原型学习类别特定视觉原型并引入区域语义对比模块，在两个基准数据集上取得最先进性能。
2024-12-27 cs.CV cs.LG
Few-Shot Point Cloud Semantic Segmentation via Contrastive Self-Supervision and Multi-Resolution Attention
National University of Singapore（新加坡国立大学）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局制造技术研究所）
本文提出了一种有效的Few-Shot点云语义分割方法。现有的基于点云的Few-Shot分割方法严重依赖于大规模标注数据集的全监督预训练，这会导致学习到的特征提取偏向于那些预训练的类。然而，由于少样本学习的目的是处理未知/不可见的类，因此预训练中的这种类特定的特征提取对于推广到少样本学习的新类并不理想。此外，点云数据集几乎没有大量的类，由于注释的困难。为了解决这些问题，我们提出了一个对比自监督框架，用于少样本学习预训练，其目的是通过类不可知的对比监督来消除特征提取偏差。具体来说，我们实现了一种新的对比学习方法，具有可学习的增强器，用于3D点云，以实现逐点区分，从而通过自我监督来增强预训练与管理过拟合。此外，我们开发了一个多分辨率的注意力模块，使用最近和最远的点，以更有效地提取局部和全局点信息，并采用中心集中的多原型，以减轻类内稀疏。综合实验进行了评估所提出的方法，这表明我们的方法达到了最先进的性能。此外，一个实际的CAM/CAD分割的案例研究，以证明我们的方法在现实世界中的应用的有效性。
2023-02-21 cs.CV
