Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning
University of Oxford（牛津大学）；Meta AI
我们引入了补丁对齐对比学习（PACL），这是针对CLIP对比损失的修改后的兼容性函数，旨在训练视觉编码器的补丁令牌和文本编码器的CLS令牌之间的对齐。通过这样的对齐，模型可以识别与给定文本输入相对应的图像区域，并且因此无缝地转移到开放词汇语义分割的任务，而无需在训练期间进行任何分割注释。使用带有PACL的预训练CLIP编码器，我们能够在4个不同的分割基准上设置最先进的开放词汇zero-shot分割任务：Pascal VOC，Pascal Context，COCO Stuff和ADE 20 K。此外，我们还表明，PACL也适用于图像级预测，当与CLIP骨干一起使用时，与CLIP相比，PACL在一组12个图像分类数据集上提供了zero-shot分类精度的总体改善。
2022-12-09 cs.CV
Prototype Contrastive Consistency Learning for Semi-Supervised Medical Image Segmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Computer Vision Institute, College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院计算机视觉研究所）；Baoan Central Hospital of Shenzhen（深圳市宝安中心医院）
针对半监督医学图像分割中标记数据少且现有对比学习忽略未标记图像整体上下文的问题，提出PCCS方法，通过原型对比学习结合师生架构的原型更新机制与不确定性一致性损失，提升分割性能。
2025-02-10 cs.CV
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza（萨拉戈萨大学）；Magic Leap（Magic Leap公司）；Bitbrain（Bitbrain公司）
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块，该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点，我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中，来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应，在最具挑战性的场景上有更大的改进，即，更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning
EPFL（洛桑联邦理工学院）；Magic Leap；Amazon（亚马逊）
我们介绍了一种新的方法，无监督和半监督领域自适应语义分割。与许多早期依赖对抗学习进行特征对齐的方法不同，我们利用对比学习通过跨领域对齐结构相似的标签补丁的特征来弥合领域差距。因此，网络更易于训练并提供更好的性能。我们的方法在两个具有挑战性的域自适应分割任务上始终优于最先进的无监督和半监督方法，特别是在少量目标域注释的情况下。它也可以自然地扩展到弱监督的领域自适应，其中只有微小的准确性下降可以节省高达75%的注释成本。
2021-04-22 cs.CV
MuSCLe: A Multi-Strategy Contrastive Learning Framework for Weakly Supervised Semantic Segmentation
Loughborough University（拉夫堡大学）；Cardiff University（卡迪夫大学）；Central South University（中南大学）
弱监督语义分割（WSSS）已经获得了显着的普及，因为它只依赖于弱标签，如图像级注释，而不是像素级注释所需的监督语义分割（SSS）方法。尽管注释成本大大降低，但从WSSS学习的典型特征表示仅代表对象的一些突出部分，并且由于训练期间的弱指导，与SSS相比不太可靠。在本文中，我们提出了一种新的多策略对比学习（MuSCLe）框架，以获得增强的特征表示，并通过利用图像，区域，像素和对象边界级别的对比样本对的相似性和不相似性，提高WSSS性能。大量的实验证明了我们的方法的有效性，并表明MuSCLe在广泛使用的PASCAL VOC 2012数据集上的性能优于当前最先进的技术。
2022-01-18 cs.CV
Contrastive and Selective Hidden Embeddings for Medical Image Segmentation
Rutgers University（罗格斯大学）；Peking University（北京大学）；SenseTime Research（商汤科技研究院）；Rutgers（罗格斯大学）
医学图像分割已被广泛认为是临床诊断、分析和治疗计划的关键步骤。然而，费力和昂贵的注释过程拖慢了进一步发展的速度。基于对比学习的权重预训练通过利用未标记的数据来学习良好的表示提供了一种替代方案。在本文中，我们研究了对比学习如何有益于一般的监督医学分割任务。为此，提出了斑块-拉锯对比正则化（PDCR）来执行斑块级别的拖拽和排斥，其程度由连续的亲和力分数控制。设计了一种新的不确定性感知特征选择块（UAFS）结构来执行特征选择过程，该结构能够处理少数特征引起的学习目标偏移。通过将所提出的2个模块插入现有的分割架构中，我们在来自6个领域的8个公共数据集上实现了最先进的结果。新设计的模块将训练数据量进一步减少到四分之一，同时实现了相当的（如果不是更好的话）性能。从这个角度来看，我们采取了与原始自/无监督对比学习相反的方向，进一步挖掘标签中包含的信息。
2022-04-29 cs.CV
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习，这需要对闭集进行大量注释。在本文中，我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg，其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比，FreeSeg不需要任何注释掩码，并且它广泛预测类别不可知的无监督分割之外的类别。具体地，FreeSeg从可解释对比图像预训练（ICLIP）的图像-文本相似性图（ITSM）中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池，部分标签和像素分割策略。此外，FreeSeg非常简单，没有复杂的设计，如分组，聚类或检索。除了简单性之外，FreeSeg的性能在很大程度上超过了以前的最先进水平，例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
Contrastive Registration for Unsupervised Medical Image Segmentation
University of Cambridge（剑桥大学）
医学图像分割是一个相关的任务，因为它是许多诊断过程的第一步，因此在临床应用中是不可缺少的。虽然使用监督技术已经取得了重大成功，但它们假设了一个大型且具有代表性的标记集。这是医学领域的一个强有力的假设，在医学领域，注释是昂贵的，耗时的，并且是人类偏见所固有的。为了解决这个问题，文献中已经提出了无监督技术，但由于学习任何转换模式的困难，它仍然是一个开放的问题。在这项工作中，我们提出了一种新的优化模型框架到一个新的基于CNN的对比注册架构的无监督医学图像分割。我们的方法的核心是利用图像级配准和特征级的对比学习机制，执行基于配准的分割。首先，我们提出了一个架构，捕捉图像到图像的转换模式，通过注册的无监督医学图像分割。其次，我们在注册结构中嵌入了一个对比学习机制，以提高网络在特征层的识别能力。我们表明，我们提出的技术减轻了现有的无监督技术的主要缺点。我们通过数值和视觉实验证明，我们的技术在两个主要的医学图像数据集上的性能大大优于当前最先进的无监督分割方法。
2022-07-20 cs.CV
Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University（北京交通大学先进信息科学与网络技术北京市重点实验室）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
在无监督领域自适应（UDA）中，为了弥补源域和目标域之间的差距，最常用的策略是通过对抗学习来匹配特征空间中的边缘分布。然而，这种类别不可知的全局对齐缺乏利用类级联合分布，导致对齐的分布歧视性较低。为了解决这个问题，本文提出了一种新的边缘保持自定步调的对比学习（MPSCL）模型的跨模态医学图像分割。与传统的对比学习中对比对的构造不同，该方法利用领域自适应范畴原型来构造正反样本对。在逐步细化语义原型的指导下，提出了一种新的边缘保持对比损失算法，以提高嵌入式表示空间的可区分性。为了加强对对比学习的监督，在目标域中以自定进度的方式生成更多信息的伪标签，从而有利于UDA的类别感知分布对齐。此外，通过两个域之间的联合对比学习来学习域不变表示。跨模态心脏分割任务的大量实验表明，MPSCL显着提高语义分割的性能，并优于各种各样的国家的最先进的方法的大幅度。
2022-01-16 cs.CV
Unsupervised Feature Clustering Improves Contrastive Representation Learning for Medical Image Segmentation
University of Notre Dame（圣母大学）
自我监督的实例判别是一种有效的对比借口任务，以学习特征表示和解决有限的医学图像注释。这个想法是使相同图像的变换版本的特征相似，同时迫使所有其他增强图像的表示形成对比。然而，这种基于实例的对比学习无法最大化具有相似内容的图像之间的特征亲和力，同时适得其反地将它们的表示分开，从而使性能下降。最近对这一范例的改进（例如，利用多模态数据、纵向研究中的不同图像、空间对应关系）要么依赖于额外的视图，要么对数据属性作出严格的假设，这可能会牺牲普遍性和适用性。为了解决这一挑战，我们提出了一种新的自监督对比学习方法，该方法使用无监督特征聚类来更好地选择正面和负像样本。更具体地说，我们产生的伪类分层聚类的自动编码器在无监督的方式获得的功能，并防止破坏性的干扰，在对比学习，避免选择否定从相同的伪类。二维皮肤皮肤镜图像分割和三维多类全心脏CT分割的实验表明，我们的方法优于国家的最先进的自监督对比技术在这些任务。
2022-11-15 cs.CV
Copy-Pasting Coherent Depth Regions Improves Contrastive Learning for Urban-Scene Segmentation
Delft University of Technology（代尔夫特理工大学）
在这项工作中，我们利用估计的深度来提高自监督对比学习，用于城市场景的分割，其中未标记的视频很容易用于训练自监督深度估计。我们认为，在3D空间中的一组连贯的像素的语义是独立的和不变的上下文中，他们出现。我们组连贯的，语义相关的像素到连贯的深度区域，给出他们的估计深度和使用复制粘贴来综合地改变他们的上下文。通过这种方式，在对比学习中建立跨上下文对应关系，并学习上下文不变表示。对于城市场景的无监督语义分割，我们的方法在Cityscapes上的mIoU和KITTI上的mIoU分别超过了之前最先进的基线+7.14%和+6.65%。对于Cityscapes和KITTI分割的微调，我们的方法与现有模型相比具有竞争力，但我们不需要在ImageNet或COCO上进行预训练，而且我们的计算效率也更高。我们的代码可在https://github.com/LeungTsang/CPCDR上获得
2022-11-25 cs.CV
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
RCPS: Rectified Contrastive Pseudo Supervision for Semi-Supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Huashan Hospital（华山医院）；National Center for Neurological Disorders（国家神经疾病医学中心）；ShanghaiTech University（上海科技大学）
针对半监督医学图像分割中伪标签噪声大、特征类别可分性不足的问题，提出结合校正伪监督与双向体素对比学习的RCPS方法，经多数据集验证性能优于现有最优方法。
2023-10-09 cs.CV
STC: Spatio-Temporal Contrastive Learning for Video Instance Segmentation
Tencent Youtu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
视频实例分割（VIS）是同时需要视频中的分类、分割和实例关联的任务。最近的VIS方法依赖于复杂的管道来实现这一目标，包括ROI相关操作或3D卷积。相比之下，我们提出了一个简单而有效的单级VIS框架的基础上的实例分割方法CondInst通过添加一个额外的跟踪头。为了提高实例关联的准确性，提出了一种新的跨帧跟踪嵌入的双向时空对比学习策略。此外，一个实例的时间一致性计划被用来产生时间上一致的结果。在YouTube-VIS-2019、YouTube-VIS-2021和OVIS-2021数据集上进行的实验验证了该方法的有效性和效率。我们希望所提出的框架可以作为一个简单而强大的替代许多其他实例级视频关联任务。
2022-08-20 cs.CV
Contrastive Learning with Diffusion Features for Weakly Supervised Medical Image Segmentation
University of Notre Dame（诺丁汉大学）；National Tsing Hua University（国立清华大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
提出CLDF方法，利用对比学习训练像素解码器映射冻结CDM的扩散特征至低维空间，结合梯度图与CAM减少假阳性/假阴性，在医学图像弱监督分割任务中显著超越基线。
2025-06-30 cs.CV
Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images
University College London（伦敦大学学院）
人脸热图像的分割是一个具有挑战性的任务。这是因为面部特征通常由于高动态热范围场景和遮挡问题而缺乏显著性。来自无约束设置的数据集的有限可用性进一步限制了最先进的分割网络、损失函数和学习策略的使用，这些都是针对RGB图像构建和验证的。为了应对这一挑战，我们提出了自对抗多尺度对比学习（SAM-CL）框架作为一种新的训练策略，用于热图像分割。SAM-CL框架由SAM-CL损失函数和作为特定领域增强技术的热图像增强（TiAug）模块组成。我们使用热脸数据库来证明我们的方法的有效性。在现有的分割网络（UNET，Attention-UNET，DeepLabV 3和HRNetv 2）上进行的实验证明了SAM-CL框架的一致性能增益。此外，我们还对UBComfort和DeepBreath数据集进行了定性分析，以讨论我们提出的方法在处理无约束情况时的表现。
2022-10-07 cs.CV
Contrastive Multiview Coding with Electro-optics for SAR Semantic Segmentation
SI-Analytics
在深度学习模型的训练中，如何初始化模型参数极大地影响了模型性能、样本效率和收敛速度。用于模型初始化的表示学习是近年来遥感领域的一个研究热点。特别是合成孔径雷达（SAR）传感器获取的图像的外观特征与一般的光电（EO）图像有很大的不同，因此表示学习在遥感领域显得尤为重要。从对比多视图编码的启发，我们提出了多模态表示学习SAR语义分割。与以前的研究不同，我们的方法联合使用EO图像，SAR图像和标签掩模。实验结果表明，该方法在模型性能、样本效率和收敛速度等方面均优于现有方法。
2021-08-31 cs.CV
Boundary-aware Contrastive Learning for Semi-supervised Nuclei Instance Segmentation
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Science, Harbin Institute of Technology（哈尔滨工业大学理学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）
针对半监督细胞核分割中伪标签边界噪声问题，提出边界感知对比学习网络，包含低分辨率去噪与跨RoI对比学习模块，有效提升分割性能。
2024-02-07 cs.CV
Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Zhongguancun Academy & Zhongguancun Institute of Artificial Intelligence, Beijing, China（北京中关村学院及中关村人工智能研究院）；Department of Molecular Imaging, Royal Prince Alfred Hospital（皇家珀斯阿尔弗雷德医院分子成像部）
研究针对医学图像分割，提出目标感知多级对比对齐框架，通过引入目标敏感语义距离模块、多级对比对齐策略和语言引导目标增强模块，弥合图文模态差距，实现细粒度文本引导，实验证明性能优于现有方法。
2026-07-07 cs.CV
Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
3D语义分割的快速发展与深度网络模型的进步密不可分，深度网络模型高度依赖大规模注释数据进行训练。为了解决三维点云标注的高成本和挑战，提出了一种半监督点云语义分割方法，采用未标注的点云进行训练，以提高模型的性能。受最近自监督任务中的对比度损失的启发，我们提出了引导点对比度损失，以增强半监督环境中的特征表示和模型泛化能力。对未标记点云的语义预测在我们的损失中充当伪标签指导，以避免相同类别中的负对。此外，我们设计了置信度指导，以确保高质量的特征学习。此外，提出了一种类别平衡的抽样策略来收集正样本和负样本，以缓解类别不平衡问题。在三个数据集（ScanNet V2，S3DIS和SemanticKITTI）上的大量实验表明，我们的半监督方法可以有效地提高未标记数据的预测质量。
2021-10-15 cs.CV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Northwestern University（西北大学）
提出CISFA框架，结合单侧生成与逐块对比损失及自监督特征自适应，实现跨模态生物医学图像分割，显著优于现有方法。
2023-09-01 cs.CV
Positive-Negative Equal Contrastive Loss for Semantic Segmentation
University of Science and Technology Beijing（北京科技大学）
背景信息对于各种计算机视觉任务至关重要，以前的工作通常设计即插即用模块和结构损失来有效地提取和聚合全局背景。这些方法利用精细标记来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，其可以向硬像素引入优选分布（即，误分类像素）。受无监督模式下对比学习的启发，我们以监督的方式应用对比损失，并重新设计损失函数，以摆脱无监督学习的刻板印象（例如，正负不平衡，锚计算混乱）。为此，我们提出了正负相等对比损失（PNE损失），它增加了正嵌入对锚点的潜在影响，并平等对待正样本和负样本对。PNE损失可以直接插入到现有的语义分割框架中，并以可忽略的额外计算成本获得出色的性能。我们利用许多经典的分割方法（例如，DeepLabV 3、HRNetV 2、OCRNet、UperNet）和主干（例如，ResNet、HRNet、Swin Transformer）进行全面的实验，并在三个基准数据集（例如，Cityscapes、COCO-Stuff和ADE20K）。我们的代码将很快公开。
2023-02-23 cs.CV
Semi-supervised Contrastive Learning for Label-efficient Medical Image Segmentation
University of Notre Dame（圣母大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
深度学习方法在医学图像分割任务中的成功很大程度上取决于大量的标记数据来监督训练。另一方面，生物医学图像的注释需要领域知识并且可能是费力的。近年来，对比学习在学习图像的潜在表征方面显示出巨大的潜力，即使没有任何标签。现有的工作已经探索了其应用到生物医学图像分割，其中只有一小部分的数据被标记，通过预训练阶段的基础上自监督对比学习，而不使用任何标签，随后由一个监督微调阶段的标记部分的数据。在本文中，我们建立了通过在预训练阶段包括有限的标签信息，有可能提高对比学习的性能。我们提出了一个监督的局部对比度损失，利用有限的像素方式的注释，迫使具有相同标签的像素聚集在嵌入空间。这种损失需要逐像素计算，这对于大图像来说可能是昂贵的，我们进一步提出了两种策略，下采样和块划分，以解决这个问题。我们评估我们的方法对两个公共的不同形式的生物医学图像数据集。对于不同数量的标记数据，我们的方法始终优于最先进的基于对比度的方法和其他半监督学习技术。
2021-09-28 cs.CV
Domain Generalization of Pathological Image Segmentation by Patch-Level and WSI-Level Contrastive Learning
Kyushu Univ.（九州大学）；Nara Medical Univ.（奈良医学大学）；Kyoto Univ. Hosp.（京都大学医院）；The Univ. of Tokyo Hosp.（东京大学医院）
针对病理图像院内域偏移问题，提出通过聚类非肿瘤区域WSI级特征构建域，并采用WSI级和patch级两阶段对比学习来减少特征差距，实现无需多医院数据的领域泛化。
2025-08-11 cs.CV
Global and Local Contrastive Self-Supervised Learning for Semantic Segmentation of HR Remote Sensing Images
Central South University（中南大学）；Wuhan University（武汉大学）；Southwest Jiaotong University（西南交通大学）
用于语义分割的监督学习需要大量的标记样本，这在遥感领域是很难获得的。自监督学习（SSL）可以用来解决这样的问题，通过用大量未标记的图像预训练一个通用模型，然后用很少的标记样本在下游任务上对其进行微调。对比学习是SSL的一种典型方法，它可以学习一般的不变特征。然而，大多数现有的对比学习方法被设计用于分类任务以获得图像级表示，这对于需要像素级区分的语义分割任务来说可能是次优的。因此，我们提出了一种全局风格和局部匹配的对比学习网络（GLCNet）的遥感图像语义分割。具体而言，1）全局风格对比学习模块用于更好地学习图像级表示，因为我们认为风格特征可以更好地表示整体图像特征。2)局部特征匹配对比学习模块用于学习局部区域的表示方法，有利于语义分割。实验结果表明，我们的方法在很大程度上优于SOTA自监督方法和ImageNet预训练方法。具体来说，从原始数据集的1\ %的注释，我们的方法提高Kappa 6\ %的ISPRS波茨坦数据集相对于现有的基线。此外，我们的方法优于监督学习方法时，有上游任务和下游任务的数据集之间的一些差异。由于SSL可以直接从未标记的数据中学习数据的本质特征，这在遥感领域很容易获得，这对于全球制图等任务可能具有重要意义。源代码可在www.example.com上获得。
2022-01-29 cs.CV
Contrastive Prompt Clustering for Weakly Supervised Semantic Segmentation
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Liverpool（利物浦大学）；Microsoft（微软）；Zhejiang University（浙江大学）
针对现有弱监督语义分割方法忽略相关类别共享语义、细粒度区分不足的问题，提出对比提示聚类框架，结合大语言模型生成的类别聚类与类别感知补丁级对比损失，提升了分割性能。
2025-09-01 cs.CV
Contrastive Grouping with Transformer for Referring Image Segmentation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程研究中心）
本文提出CGFormer，一种基于对比分组与Transformer的掩码分类框架，通过令牌查询和分组策略捕获对象级信息，在指称图像分割中显著优于现有方法。
2023-09-02 cs.CV
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）
我们解决的问题，Few-Shot语义分割（FSS），其目的是分割新的类对象的目标图像与一些注释的样本。虽然最近的进展已经通过结合基于原型的度量学习，现有的方法仍然表现出有限的性能下极端的类内对象的变化和语义相似的类间对象，由于其穷人的功能表示。为了解决这个问题，我们提出了一个双原型对比学习的方法，适合于FSS的任务，有效地捕捉代表性的语义特征。其主要思想是通过在原型特征空间中增加类间距离同时减少类内距离来鼓励原型更具区分力。为此，我们首先提出了一个类特定的对比损失与动态原型字典，存储类感知的原型在训练过程中，从而使相同的类原型相似，不同的类原型是不相似的。此外，我们引入了一个类不可知的对比损失，以提高泛化能力，看不见的类，压缩每个情节内的语义类的特征分布。我们证明了所提出的双原型对比学习方法在PASCAL-5i和COCO-20 i数据集上的性能优于最先进的FSS方法。该代码可从以下网址获得：https://github.com/kwonjunn01/DPCL1。
2021-11-09 cs.CV
Domain Adaptive Semantic Segmentation via Regional Contrastive Consistency Regularization
Shanghai Jiao Tong University（上海交通大学）；Deakin University（迪肯大学）
无监督领域自适应（UDA）的语义分割是近年来研究的热点。然而，大多数现有的作品在很大程度上忽略了跨不同领域的本地区域一致性，并在户外环境的变化不太鲁棒。在本文中，我们提出了一种新的和完全端到端的可训练的方法，称为区域对比一致性正则化（RCCR）域自适应语义分割。我们的核心思想是从不同图像的同一位置提取相似的区域特征，即，使原始图像和增强图像更接近，同时将两幅图像不同位置的特征推离。我们创新性地提出了一种区域对比损失的两种采样策略，以实现有效的区域一致性。此外，我们提出了动量投影头，其中教师投影头是学生的指数移动平均。最后，一个存储体机制的设计，学习更强大的和稳定的区域范围内的功能，在不同的环境。在两个常见的UDA基准上进行了广泛的实验，GTAV到Cityscapes和SYNTHIA到Cityscapes，证明我们的方法优于最先进的方法。
2022-09-11 cs.CV
J-RAS: Mutual Adaptation for Medical Image Segmentation via Contrastive Retrieval-Augmented Joint Optimization
Laurier University（劳里尔大学）
提出J-RAS框架，通过交替对比学习和监督学习联合优化分割与检索模型，实现检索与分割的互适应，提升医学图像分割的边界描绘、鲁棒性和跨数据集泛化能力。
2026-08-17 cs.CV
PCLMix: Weakly Supervised Medical Image Segmentation via Pixel-Level Contrastive Learning and Dynamic Mix Augmentation
College of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对弱监督医学图像分割中监督信号传播易过度扩散的问题，提出含动态混合增强、像素级对比学习与双一致性正则化的PCLMix框架，在ACDC数据集上缩小了与全监督方法的性能差距。
2024-05-18 cs.CV
HAVANA: Hard negAtiVe sAmples aware self-supervised coNtrastive leArning for Airborne laser scanning point clouds semantic segmentation
School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院）
基于深度神经网络（DNN）的点云语义分割在大规模标注航空激光点云数据集上取得了显著的成果。然而，注释这种大规模的点云是耗时的。由于机载激光扫描（ALS）点云的密度变化和空间异质性，DNN缺乏泛化能力，因此导致没有希望的语义分割，因为在一个区域中训练的DNN在直接用于其他区域时表现不佳。然而，自监督学习（SSL）是解决这个问题的一种很有前途的方法，它利用未标记的样本预训练DNN模型，然后进行微调的下游任务，涉及非常有限的标签。因此，这项工作提出了一种硬负样本感知的自监督对比学习方法来预训练语义分割的模型。传统的点云对比学习仅依赖于学习过程中嵌入特征之间的距离来选择最难的负样本，可能会从相同的类中进化出一些负样本，从而降低对比学习的有效性。因此，我们设计了一个AbsPAN（绝对阳性和阴性样本）策略的基础上k-means聚类过滤可能的假阴性样本。在两个典型的ALS基准数据集上的实验表明，该方法比没有预训练的监督训练方案更具吸引力。特别是当标签严重不足（ISPRS训练集的10%）时，建议的HAVANA方法获得的结果仍然超过94%的全训练集的监督范式性能。
2022-10-19 cs.CV
Contrastive Learning for Automotive mmWave Radar Detection Points Based Instance Segmentation
Chalmers University of Technology（查尔姆斯理工大学）；James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）；Beihang University（北京航空航天大学）；Vitalent Consulting（Vitalent咨询公司）；Silo AI
汽车毫米波雷达在高级驾驶员辅助系统（ADAS）和自动驾驶中发挥着关键作用。基于深度学习的实例分割实现了从雷达检测点的实时对象识别。在常规训练过程中，准确标注是关键。然而，高质量的标注雷达探测点是具有挑战性的，由于其模糊性和稀疏性。为了解决这个问题，我们提出了一种对比学习的方法来实现基于雷达探测点的实例分割。我们根据地面实况标签定义正样本和负样本，首先将对比损失应用于训练模型，然后为后续的下游任务进行微调。此外，这两个步骤可以合并为一个，并可以为未标记的数据生成伪标签，以进一步提高性能。因此，我们的方法有四种不同的训练设置。实验表明，当地面实况信息仅适用于一小部分训练数据时，我们的方法仍然达到了与100%地面实况信息的监督方式训练的方法相当的性能。
2023-02-05 cs.CV
Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法，有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
DyCON: Dynamic Uncertainty-aware Consistency and Contrastive Learning for Semi-supervised Medical Image Segmentation
C2PS - Khalifa University of Science and Technology（C2PS - 哈利法塔科技大学）
本文提出DyCON框架，通过不确定性感知一致性损失和焦点熵感知对比损失，解决半监督医学图像分割中的类别不平衡与高不确定性问题，在多个数据集上取得优于SOTA的性能。
2025-04-06 cs.CV
Few-Shot Point Cloud Semantic Segmentation via Contrastive Self-Supervision and Multi-Resolution Attention
National University of Singapore（新加坡国立大学）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局制造技术研究所）
本文提出了一种有效的Few-Shot点云语义分割方法。现有的基于点云的Few-Shot分割方法严重依赖于大规模标注数据集的全监督预训练，这会导致学习到的特征提取偏向于那些预训练的类。然而，由于少样本学习的目的是处理未知/不可见的类，因此预训练中的这种类特定的特征提取对于推广到少样本学习的新类并不理想。此外，点云数据集几乎没有大量的类，由于注释的困难。为了解决这些问题，我们提出了一个对比自监督框架，用于少样本学习预训练，其目的是通过类不可知的对比监督来消除特征提取偏差。具体来说，我们实现了一种新的对比学习方法，具有可学习的增强器，用于3D点云，以实现逐点区分，从而通过自我监督来增强预训练与管理过拟合。此外，我们开发了一个多分辨率的注意力模块，使用最近和最远的点，以更有效地提取局部和全局点信息，并采用中心集中的多原型，以减轻类内稀疏。综合实验进行了评估所提出的方法，这表明我们的方法达到了最先进的性能。此外，一个实际的CAM/CAD分割的案例研究，以证明我们的方法在现实世界中的应用的有效性。
2023-02-21 cs.CV
Style Blind Domain Generalized Semantic Segmentation via Covariance Alignment and Semantic Consistence Contrastive Learning
Korea University（高丽大学）；Chonnam National University（全南大学）
针对语义分割模型在未见目标域因风格差异性能下降的问题，提出BlindNet方法，通过协方差对齐和语义一致性对比学习实现风格盲域泛化，在未见域上取得优于现有方法的鲁棒分割性能。
2024-03-10 cs.CV
Semantic Segmentation on VSPW Dataset through Contrastive Loss and Multi-dataset Training Approach
China Mobile Research Institute（中国移动研究院）；Xi’an Jiaotong University（西安交通大学）
本文提出 CVPR 2023 VSPW 挑战赛获胜方案，结合对比损失增强时空关联、基于标签映射的多数据集训练及模型输出聚合，在 VSPW 上达到 65.95% mIoU。
2023-06-06 cs.CV
Bi-directional Contrastive Learning for Domain Adaptive Semantic Segmentation
Yonsei University（延世大学）
我们提出了一种新的无监督领域自适应方法的语义分割，概括了一个模型训练的源图像和相应的地面实况标签的目标域。领域自适应语义分割的关键是在没有目标真实标签的情况下学习领域不变和区分性特征。为此，我们提出了一个双向的像素原型对比学习框架，最大限度地减少同一对象类的类内变化的功能，同时最大限度地提高不同的类间变化，无论域。具体来说，我们的框架将像素级特征与目标和源图像中相同对象类的原型（即，正对），分别将它们分开用于不同的类（即，负对），并利用源图像中的像素级特征和目标图像中的原型朝另一方向执行对准和分离过程。跨域匹配鼓励域不变特征表示，而双向像素原型对应聚合相同对象类的特征，提供区分性特征。为了建立用于对比学习的训练对，我们提出使用非参数标签转移来生成目标图像的动态伪标签，即跨不同域的像素原型对应。我们还提出了一种校准方法，在训练过程中逐渐补偿原型的类域偏差。
2022-07-22 cs.CV
Adaptive Margin Contrastive Learning for Ambiguity-aware 3D Semantic Segmentation
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
本文提出AMContrast3D，通过基于位置嵌入估计逐点歧义并自适应调整对比学习间隔，在保证低歧义点正确性的同时容忍高歧义点错误，在S3DIS和ScanNet上取得领先性能。
2025-02-06 cs.CV
Time-Contrastive Pretraining for In-Context Image and Video Segmentation
Department of Radiology（放射科部门）
提出时间对比预训练方法Temporal，将上下文学习重构为视频对象分割任务，通过自监督提示检索器选择上下文，在FLARE 2022上图像和视频分割Dice分别提升10.64%和14.88%。
2025-06-21 cs.CV
Contrast, Stylize and Adapt: Unsupervised Contrastive Learning Framework for Domain Adaptive Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；LTCI, Télécom-Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
针对现有无监督域自适应语义分割方法未结合像素与特征层面对齐的问题，提出CONFETI框架，通过类别原型关联像素级风格迁移对齐与特征级像素-原型对比对齐，在DeepLabV2设置下性能超越现有SOTA方法。
2023-06-15 cs.CV
Stronger is not better: Better Augmentations in Contrastive Learning for Medical Image Segmentation
Department of Computer Science（计算机科学系）
本文研究了医学图像分割中对比学习的增强方法，发现强数据增强不一定提升性能，并提出了改进的增强技术以提高分割效果。
2025-12-10 cs.CV eess.IV
Few-Shot Segmentation with Global and Local Contrastive Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Institute of Big Data, Fudan University（复旦大学大数据学院）；Cardiff University（卡迪夫大学）
本文提出一种独立于支持分支的查询信息提取方法，利用全局-局部对比学习学习先验并生成区域图指导交互，在PASCAL-5$^{i}$和COCO上达到SOTA。
2025-03-25 cs.CV
SynSeg: Feature Synergy for Multi-Category Contrastive Learning in End-to-End Open-Vocabulary Semantic Segmentation
Beijing Jiaotong University（北京交通大学）
提出SynSeg方法，通过多类别对比学习和特征协同结构，在弱监督下提升开放词汇语义分割的定位与判别能力，在多个基准上mIoU提升0.6%-8.9%。
2026-06-29 cs.CV
Devil is in Channels: Contrastive Single Domain Generalization for Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Research and Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对医学图像分割模型在新医疗中心部署时性能下降的问题，提出通道级对比单域泛化模型C²SDG，通过对比训练解耦风格与结构表示并仅基于结构进行分割，在多域视杯视盘分割基准上以较大优势优于六种竞争方法。
2023-06-24 cs.CV
Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；Inceptio Technology（嬴彻科技）
领域自适应语义分割指的是仅使用特定源领域的注释对特定目标领域进行预测。现有的研究表明，进行类别对齐可以合理地缓解领域转移。然而，它们主要是基于图像到图像的对抗训练，很少考虑图像之间对象的语义变化，无法捕捉不同类别的全面图片。这促使我们探索一个整体的代表，从源域中的每个类别的语义分布，以减轻上述问题。在本文中，我们提出了语义分布感知的对比自适应算法，使语义分布的指导下，逐像素表示对齐。具体来说，我们首先设计了一个像素明智的对比损失，通过考虑语义分布和像素明智的表示从两个域之间的对应关系。从本质上讲，来自同一类别的像素表示的集群应该聚集在一起，而来自不同类别的像素表示应该分散开来。接下来，这个公式的上限是通过学习无限多个（不）相似对而得出的，使其有效。最后，我们验证了SDCA与自监督学习相结合可以进一步提高分割精度。我们在多个基准上评估SDCA，与现有算法相比取得了相当大的改进。https://github.com/BIT-DA/SDCA
2021-05-11 cs.CV
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation
Shenzhen University（深圳大学）；Wenzhou-Kean University（温州肯恩大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳市人工智能与机器人研究院）
虽然由图像分类网络生成的类激活图（CAM）已被广泛用于弱监督对象定位（WSOL）和语义分割（WSSS），但此类分类器通常集中于可区分的对象区域。在本文中，我们提出了对比学习类不可知激活地图（C $^2$ AM）生成只使用未标记的图像数据，而不涉及图像级的监督。核心思想来自以下观察：i）前景对象的语义信息通常与其背景不同; ii）具有相似外观的前景对象或具有相似颜色/纹理的背景在特征空间中具有相似的表示。我们基于上述关系形成正对和负对，并使用一种新的对比损失，迫使网络使用类不可知的激活图来解开前景和背景。当引导网络区分跨图像前景-背景时，通过我们的方法学习的类别不可知激活映射会生成更完整的对象区域。我们成功地从C $^2$ AM中提取了与类别无关的对象边界框，用于对象定位和背景线索，以改进由分类网络生成的CAM，用于语义分割。在CUB-200-2011、ImageNet-1 K和PASCAL VOC 2012数据集上的大量实验表明，WSOL和WSSS都可以从所提出的C $^2$ AM中受益。
2022-12-22 cs.CV
SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining
Wenzhou-Kean University（温州肯恩大学）
深度学习算法最近在自然和合成的雨天数据集上都取得了有希望的去伪性能。作为一个必要的低级别预处理阶段，去训练网络应该清除雨条纹并保留精细的语义细节。然而，大多数现有的方法只考虑低级别的图像复原。这限制了他们在需要精确语义信息的高级任务中的表现。为了解决这个问题，在本文中，我们提出了一个分割感知渐进网络（SAPNet）的基础上对比学习单图像去重。我们开始我们的方法与一个轻量级的derain网络形成的渐进扩张单元（PDU）。PDU可以显着扩大的感受野和多尺度雨条纹的特征，而无需多尺度图像的繁重计算。这项工作的一个基本方面是使用ImageNet和高斯权重初始化的无监督背景分割（UBS）网络。该算法能够忠实地保留图像的语义信息，提高对未知照片的泛化能力。此外，我们引入了感知对比损失（PCL）和学习的感知图像相似性损失（LPISL）来调节模型学习。通过在VGG-16潜在空间中利用雨天图像和地面实况作为负样本和正样本，我们以完全约束的方式桥接了derained图像和地面实况之间的精细语义细节。综合实验的合成和真实世界的雨图像显示，我们的模型超越性能最好的方法和艾滋病的目标检测和语义分割具有相当的效率。Pytorch实现可在https://github.com/ShenZheng2000/SAPNet-for-image-deraining上获得。
2021-11-26 cs.CV
SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning
Beijing Institute of Technology（北京理工大学）
虽然有监督的语义分割取得了重大进展，但由于领域偏见，将分割模型部署到看不见的领域仍然具有挑战性。在这方面，领域自适应可以通过将知识从标记的源域转移到未标记的目标域来提供帮助。以往的方法通常尝试对全局特征进行自适应，然而，通常忽略了特征空间中每个像素的局部语义隶属关系，导致可区分性降低。为了解决这个问题，我们提出了一种新的语义原型为基础的对比学习框架细粒度的类对齐。具体地说，语义原型为每像素的判别式表示学习提供监督信号，并且要求特征空间中的源域和目标域的每个像素反映相应语义原型的内容。通过这种方式，我们的框架能够显式地使类内像素表示更接近，类间像素表示更远，以提高分割模型的鲁棒性，并减轻域偏移问题。我们的方法是很容易实现，并取得了优异的结果相比，国家的最先进的方法，与一些实验证明。该代码可在www.example.com上公开获取。
2022-04-30 cs.CV
ContrastMask: Contrastive Learning to Segment Every Thing
Tencent（腾讯）；Shanghai Jiao Tong University（上海交通大学）
部分监督的实例分割是一种通过对有限的已见类别进行学习，从而消除繁重的注释负担，从而从新的未见类别中分割对象的任务。解决这个问题的关键是建立一个有效的类无关掩码分割模型。与以前只在可见类别上学习这种模型的方法不同，在本文中，我们提出了一种新的方法，名为ContrastMask，它在统一的像素级对比学习框架下学习可见和不可见类别上的掩码分割模型。在这个框架中，已看到的类别的注释掩码和未看到的类别的伪掩码用作对比学习的先验，其中来自掩码区域（前景）的特征被拉在一起，并且与来自背景的特征进行对比，反之亦然。通过该框架，前景和背景之间的特征区分度得到了很大的提高，有利于学习与类别无关的掩模分割模型。COCO数据集上的详尽实验证明了我们的方法的优越性，它优于以前的最先进的。
2022-03-24 cs.CV
Test-Time Training for Semantic Segmentation with Output Contrastive Loss
Zhejiang University（浙江大学）；Westlake University（西湖大学）
针对语义分割测试时训练不稳定的问题，提出输出对比损失（OCL），在输出空间使用高温简化对比损失，稳定适应过程，并在多种评估场景及域适应预训练模型上验证了有效性。
2023-11-14 cs.CV
ClamNet: Using contrastive learning with variable depth Unets for medical image segmentation
Jadavpur University（贾达布尔大学）
Unet已经成为医学图像语义分割的标准方法，以及全卷积网络（FCN）。Unet++是Unet的一个变体，用于解决Unet和FCN面临的一些问题。Unet++为网络提供了可变深度Unet的集合，因此无需专业人员估计任务的最佳合适深度。虽然Unet及其所有变体（包括Unet++）旨在提供能够在不需要大量注释数据的情况下进行良好训练的网络，但它们都没有试图完全消除对像素注释数据的需求。获得每种待诊断疾病的此类数据的成本很高。因此，这类数据很少。在本文中，我们使用对比学习来训练Unet++，使用来自各种来源的医学图像（包括磁共振成像（MRI）和计算机断层扫描（CT））进行医学图像的语义分割，而不需要逐像素注释。在这里，我们描述了所提出的模型的架构和所使用的训练方法。这仍是一项正在进行的工作，因此我们放弃在本文中包括结果。结果和训练模型将在论文发表后或在arxiv上的后续版本中提供。
2022-06-10 cs.CV
Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information
针对弱监督语义分割忽视跨图像语义信息的问题，提出 DSCNet 端到端框架，通过 PGCL、SGCL 与 DSCL 联合建模像素级和语义级上下文，并在 PASCAL VOC、MS COCO 上优于 SOTA。
2024-05-08 cs.CV
