Unsupervised Feature Clustering Improves Contrastive Representation Learning for Medical Image Segmentation
University of Notre Dame（圣母大学）
自我监督的实例判别是一种有效的对比借口任务，以学习特征表示和解决有限的医学图像注释。这个想法是使相同图像的变换版本的特征相似，同时迫使所有其他增强图像的表示形成对比。然而，这种基于实例的对比学习无法最大化具有相似内容的图像之间的特征亲和力，同时适得其反地将它们的表示分开，从而使性能下降。最近对这一范例的改进（例如，利用多模态数据、纵向研究中的不同图像、空间对应关系）要么依赖于额外的视图，要么对数据属性作出严格的假设，这可能会牺牲普遍性和适用性。为了解决这一挑战，我们提出了一种新的自监督对比学习方法，该方法使用无监督特征聚类来更好地选择正面和负像样本。更具体地说，我们产生的伪类分层聚类的自动编码器在无监督的方式获得的功能，并防止破坏性的干扰，在对比学习，避免选择否定从相同的伪类。二维皮肤皮肤镜图像分割和三维多类全心脏CT分割的实验表明，我们的方法优于国家的最先进的自监督对比技术在这些任务。
2022-11-15 cs.CV
Multi-level Graph Subspace Contrastive Learning for Hyperspectral Image Clustering
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；School of Computer, National University of Defense Technology（国防科技大学计算机学院）
提出MLGSC框架，通过双视图图卷积子空间、注意力池化及图级与节点级多层对比学习增强HSI全局—局部表示，在四个数据集上显著提升聚类精度。
2024-04-08 cs.CV
Contrastive Fine-grained Class Clustering via Generative Adversarial Networks
NAVER AI Lab（NAVER人工智能实验室）；NAVER CLOVA
无监督细粒度类聚类是一个实际而又具有挑战性的任务，由于难以学习的微妙的对象细节的特征表示。我们介绍了C3-GAN，一种利用InfoGAN的分类推理能力和对比学习的方法。我们的目标是学习特征表示，鼓励数据集在嵌入空间中形成不同的聚类边界，同时最大限度地提高潜在代码及其图像观察之间的互信息。我们的方法是训练一个也用于推断聚类的搜索器，以优化对比度损失，其中最大化互信息的图像潜在对被认为是正对，其余的被认为是负对。具体来说，我们将从分类分布中采样的生成器的输入映射到嵌入空间，并让它们充当聚类质心。通过这种方式，C3-GAN成功地学习了一个聚类友好的嵌入空间，其中每个聚类都是可区分的。实验结果表明，C3-GAN在4个细粒度图像数据集上实现了最先进的聚类性能，同时也缓解了模式坍塌现象。代码可在https://github.com/naver-ai/c3-gan上获得。
2022-03-13 cs.CV
Decoupled Contrastive Multi-View Clustering with High-Order Random Walks
Sichuan University（四川大学）
针对多视图聚类中的假负例与假正例问题，提出DIVIDE，通过高阶随机游走全局识别数据对，并在不同嵌入空间进行视图间和视图内对比学习。
2024-01-18 cs.CV
Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images
School of Software Engineering, Southeast University（东南大学软件学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及交叉应用关键实验室（东南大学））；Department of Computing and Information Sciences, Saint Francis University（圣弗朗西斯大学计算机与信息科学系）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出超像素图对比聚类模型SPGCC，通过混合卷积预训练提取高光谱图像高阶空谱特征，并设计像素采样与模型权重两种语义不变增强，交替优化聚类与网络，在多个HSI数据集上优于现有方法。
2025-09-21 cs.CV
Center-Oriented Prototype Contrastive Clustering
School of Computer Science（计算机科学学院）；Nanjing University of Information Science and Technology（信息科学与技术大学）；The State Key Laboratory of Tibetan Intelligence（藏族智能国家重点实验室）；Qinghai Normal University（青海师范大学）；Computer Science and Technology（计算机科学与技术）；Zhejiang Normal University（浙江师范大学）
本文提出面向中心的原型对比聚类框架，通过软原型对比和双一致性学习缓解类间冲突与原型漂移，在多个数据集上取得优于SOTA的聚类效果。
2025-08-21 cs.CV
Improve Contrastive Clustering Performance by Multiple Fusing-Augmenting ViT Blocks
School of Mathematics and Statistics（数学与统计学学院）；Xidian University（西安电子科技大学）；General Education College of Xi’an Eurasia University（西安欧亚大学通识教育学院）
针对现有对比学习网络未充分利用正样本对互补性的问题，提出基于ViT的多融合增强ViT块（MFAVBs），通过多次融合增强正样本特征，结合CLIP预训练特征输入，在七个数据集上聚类性能优于现有技术。
2025-11-12 cs.CV
Hybrid Contrastive Learning with Cluster Ensemble for Unsupervised Person Re-identification
Beijing University of Posts and Telecommunications（北京邮电大学）
无监督人再识别（ReID）的目的是将行人的查询图像与图库集中没有监督标签的图像进行匹配。解决无监督人ReID的最流行方法通常是首先执行聚类算法以产生伪标签，然后利用伪标签来训练深度神经网络。然而，在聚类算法中，伪标签是噪声和敏感的超参数（S）。在本文中，我们提出了一种混合对比学习（HCL）的方法，无监督的人ReID，这是基于实例级和集群级对比损失函数之间的混合。提出了一种基于多粒度聚类集成的混合对比学习（MGCE-HCL）方法，该方法采用多粒度聚类集成策略挖掘伪正样本对之间的优先级信息，并定义了优先级加权的混合对比损失，以更好地容忍伪正样本中的噪声。我们在两个基准数据集Market-1501和DukeMTMC-reID上进行了广泛的实验。实验结果验证了我们的建议的有效性。
2022-04-14 cs.CV
Dual-Level Cross-Modal Contrastive Clustering
针对现有深度聚类方法忽略外部语义信息的问题，提出双层级跨模态对比聚类框架DXMC，利用预训练视觉-语言模型构建图像-文本对并进行跨模态对比学习，在五个基准数据集上验证了有效性。
2024-09-20 cs.CV
Contrastive Prompt Clustering for Weakly Supervised Semantic Segmentation
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Liverpool（利物浦大学）；Microsoft（微软）；Zhejiang University（浙江大学）
针对现有弱监督语义分割方法忽略相关类别共享语义、细粒度区分不足的问题，提出对比提示聚类框架，结合大语言模型生成的类别聚类与类别感知补丁级对比损失，提升了分割性能。
2025-09-01 cs.CV
Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
提出IcicleGCN，结合CNN与多尺度GCN及对比学习，实现统一表示与结构学习，在图像聚类中优于现有方法。
2023-10-17 cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University（吉林大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而，像素级正则化对来自具有不正确预测的像素的噪声敏感，并且像素级对比正则化具有O（pixel_num^2）的内存和计算成本。为了解决这些问题，我们提出了一种新的区域级对比和一致性学习框架（RC ^2L）的半监督语义分割。具体来说，我们首先提出了一个区域掩码对比（RMC）损失和区域特征对比（RFC）损失，以实现区域级的对比属性。此外，区域类一致性（RCC）损失和语义掩码一致性（SMC）损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化，我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架（RC ^2L），并在两个具有挑战性的基准测试（PASCAL VOC 2012和Cityscapes）上评估了我们的RC $^2$ L，性能优于最先进的。
2022-04-28 cs.CV
Incomplete Multi-view Clustering via Diffusion Contrastive Generation
针对不完整多视图聚类中数据恢复过度依赖成对数据且生成数据缺乏多样性的问题，提出扩散对比生成方法（DCG），利用扩散过程学习分布特征并结合对比学习与多级交互，实现了鲁棒的端到端聚类并优于现有方法。
2025-06-29 cs.CV
Generative Diffusion Contrastive Network for Multi-View Clustering
Zhejiang Lab（浙江实验室）；Hong Kong University of Science and Technology（香港科技大学）；University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出生成扩散对比网络GDCN，通过多重生成机制解决多视图聚类中的低质量数据问题，实现深度多视图聚类任务的最优性能。
2026-01-18 cs.CV
Trusted Mamba Contrastive Network for Multi-View Clustering
University of Science and Technology of China（中国科学技术大学）；China University of Geosciences（中国地质大学）；Zhejiang Lab（浙江大学实验室）
针对深度多视图聚类中的不可信融合问题，本文提出 TMCN，通过 TMFN 选择性可信融合与 AsCL 同聚类对比对齐，取得最先进性能。
2025-01-07 cs.CV
Vision Transformer for Contrastive Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
视觉Transformer（ViT）已显示出其优于卷积神经网络（CNN）的优势，其能够捕获全局长程依赖性以进行视觉表示学习。除了ViT之外，对比学习也是近年来研究的热点。虽然以前的对比学习工作大多基于CNN，但最近的一些研究试图将ViT和对比学习结合起来，以增强自监督学习。尽管取得了相当大的进展，但这些ViT和对比学习的组合大多集中在实例级对比度上，这往往忽视了全局对比度，并且也缺乏直接学习聚类结果的能力（例如，图像）。鉴于此，本文提出了一种新的深度聚类方法，称为对比聚类的视觉Transformer（VTCC），据我们所知，它首次将Transformer和对比学习结合起来用于图像聚类任务。具体来说，在每个图像上执行两个随机增强，我们利用具有两个权重共享视图的ViT编码器作为骨干。为了弥补ViT的潜在不稳定性，我们引入了一个卷积干，将每个增强的样本分割成一个补丁序列，它使用多个堆叠的小卷积，而不是补丁投影层中的大卷积。通过经由主干学习补丁序列的特征表示，进一步利用实例投影器和聚类投影器来分别执行实例级对比学习和全局聚类结构学习。在八个图像数据集上的实验证明了我们的VTCC方法的稳定性（从头开始训练期间）和优越性（聚类性能）。
2022-07-10 cs.CV cs.LG
Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning
Department of Electrical Engineering, Biostatistics（电气工程与生物统计学系）；Wisconsin Institute of Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出对比子空间聚类（CSC）方法，通过自监督对比学习处理不完整数据，实现鲁棒的子空间聚类。
2026-01-30 cs.AI cs.CV
Exploring Patch-wise Semantic Relation for Contrastive Learning in Image-to-Image Translation Tasks
KAIST（韩国科学技术院）
最近，已经提出了基于对比学习的图像翻译方法，其对比不同的空间位置以增强空间对应性。然而，这些方法往往忽略了图像内部的语义关系。为了解决这个问题，在这里，我们提出了一种新的语义关系一致性（SRC）正则化以及解耦的对比学习，它利用不同的语义集中在一个单一的图像块之间的异构语义。为了进一步提高性能，我们提出了一个硬否定挖掘利用语义关系。我们验证了我们的方法的三个任务：单模态和多模态图像翻译，和GAN压缩任务的图像翻译。实验结果证实了我们的方法在所有三个任务的最先进的性能。
2022-03-03 cs.CV
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）
对比学习是视觉表示学习最成功的方法之一，其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而，现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳，因为多数类压倒并扭曲少数类的损失，从而防止学习有意义的表示。出于这一动机，我们开发了一种新的联合聚类和对比学习框架，通过调整去偏对比损失，以避免不平衡数据集的少数类别的聚类不足。我们表明，我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
Strongly Augmented Contrastive Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
深度聚类由于其通过深度神经网络联合表示学习和聚类的能力，近年来引起了越来越多的关注。在其最新的发展中，对比学习已经成为一种有效的技术，以大大提高深度聚类性能。然而，现有的基于对比学习的深度聚类算法大多集中在一些精心设计的增强（通常通过有限的变换来保持结构），称为弱增强，但不能超越弱增强来探索更强增强中的更多机会（具有更积极的变换甚至严重的失真）。在本文中，我们提出了一种称为强增强对比聚类（SACC）的端到端深度聚类方法，该方法将传统的两个增强视图范式扩展到多个视图，并联合利用强增强和弱增强来加强深度聚类。特别是，我们利用一个骨干网络与triangle共享的权重，其中一个强增强的视图和两个弱增强的意见。基于由主干产生的表示，弱-弱视图对和强-弱视图对被同时用于实例级对比学习（经由实例投影仪）和集群级对比学习（经由集群投影仪），其与主干一起可以以纯无监督的方式联合优化。在五个具有挑战性的图像数据集上的实验结果表明，我们的SACC方法优于最先进的方法。代码可以在https://github.com/dengxiaozhi/SACC上找到。
2022-07-14 cs.CV cs.LG
Deep Contrastive Multi-view Clustering under Semantic Feature Guidance
Beijing Institute of technology（北京理工大学）
针对多视图聚类中对比学习正负样本构建忽略语义一致性导致假负对的问题，提出DCMCS框架，通过学习语义特征加权对比损失弱化假负对影响，性能优于现有最优方法。
2024-03-09 cs.CV cs.MM
MN-Pair Contrastive Damage Representation and Clustering for Prognostic Explanation
Yachiyo Engineering, Co.,Ltd. Research Institute for Infrastructure Paradigm Shift（八千代工程株式会社基础设施范式转换研究所）
对于基础设施检查，损坏表示并不总是与损坏等级的预定义类别相匹配，从而导致两个等级之间的重叠空间中的不可见损坏的详细聚类或更复杂的聚类。损伤表示具有基本复杂的特征;因此，并非所有损伤类别都可以完美地预定义。所提出的MN对对比学习方法有助于通过包括更详细的聚类来探索超出预定义类的嵌入损伤表示。它使用两个加权损失函数来最大化接近锚点的M-1个正图像的相似性和N-1个负像的相异性。它比使用一个正图像的N对算法学习得更快。我们提出了一个管道来获得损伤表示，并使用基于密度的聚类在2-D约简空间自动化更精细的聚类判别。我们还使用Grad-CAM对MN对损伤度量学习可视化了损伤特征的解释。我们在三项实验研究中证明了我们的方法：钢铁产品缺陷、混凝土裂缝以及我们方法的有效性，并讨论了未来的工作。
2023-03-26 cs.CV
Federated Momentum Contrastive Clustering
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了联邦动量对比聚类（FedMCC），一个学习框架，不仅可以在分布式本地数据中提取判别表示，而且还可以进行数据聚类。在FedMCC中，转换后的数据对同时通过在线和目标网络，从而产生四种表示，通过这些表示来确定损失。FedMCC生成的高质量表示可以优于几种现有的线性评估和半监督学习任务的自监督学习方法。FedMCC可以很容易地适应普通的集中式集群，通过我们所谓的动量对比集群（MCC）。我们证明了MCC在STL-10和ImageNet-10等特定数据集中实现了最先进的聚类精度结果。我们还提出了一种方法来减少我们的聚类方案的内存占用。
2022-06-10 cs.CV cs.LG stat.ML
Clustering based Contrastive Learning for Improving Face Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Daimler TSS（戴姆勒TSS公司）
一个好的聚类算法可以发现数据中的自然分组。这些分组，如果使用得当，为学习表征提供了一种弱监督形式。在这项工作中，我们提出了基于聚类的对比学习（CCL），一种新的基于聚类的表示学习方法，使用从聚类中获得的标签以及视频约束来学习区分人脸特征。我们展示了我们的方法对视频人脸聚类的学习表示的挑战性任务。通过几项消融研究，我们分析了从不同来源创建成对的阳性和阴性标签的影响。在BBT-0101、BF-0502和ACCIO三个具有挑战性的视频人脸聚类数据集上的实验表明，CCL在所有数据集上都达到了新的水平。
2020-04-05 cs.CV cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Self-Supervised Image-to-Point Distillation via Semantically Tolerant Contrastive Loss
University of Toronto（多伦多大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
一个有效的框架，学习三维表示的感知任务是通过对比学习提取丰富的自我监督的图像特征。然而，自动驾驶数据集的图像到点表示学习面临两个主要挑战：1）丰富的自相似性，这导致对比损失将语义相似的点和图像区域推开，从而干扰学习表示的局部语义结构，以及2）严重的类不平衡，因为预训练由过度表示的类主导。我们建议通过一种新的语义容忍图像到点的对比损失，考虑到积极和负像区域之间的语义距离，以尽量减少对比语义相似的点和图像区域，以减轻自相似性问题。此外，我们通过设计一个类不可知的平衡损失，通过一个总的样本到样本的语义相似性度量近似的程度的类不平衡，解决类的不平衡。我们证明了我们的语义容忍对比损失与类平衡，提高了最先进的2D到3D表示学习在所有评估设置的3D语义分割。我们的方法在广泛的2D自监督预训练模型中始终优于最先进的2D到3D表示学习框架。
2023-03-24 cs.CV
Learning Representation for Clustering via Prototype Scattering and Positive Sampling
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
现有的深度聚类方法依赖于用于下游聚类任务的对比或非对比表示学习。基于对比的方法由于负对学习聚类的统一表示，其中负对，然而，可能不可避免地导致类冲突问题，从而损害聚类性能。另一方面，基于非对比度的方法避免了类冲突问题，但由此产生的非均匀表示可能导致聚类崩溃。为了享受这两个世界的优势，本文提出了一种新的端到端的深度聚类方法与原型散射和正采样，称为ProPos。具体来说，我们首先最大化原型表示之间的距离，命名为原型散射损失，这提高了表示的均匀性。其次，我们将实例的一个增强视图与另一个视图的采样邻居对齐-假设在嵌入空间中是真正的正对-以提高集群内的紧凑性，称为正采样对齐。ProPos的优点是可避免的类冲突问题，统一表示，良好分离的集群和集群内的紧凑性。通过在端到端的期望最大化框架中优化ProPos，大量的实验结果表明，ProPos在中等规模的聚类基准数据集上实现了竞争性能，并在大规模数据集上建立了新的最先进的性能。源代码可从\url{https://github.com/Hzzone/ProPos}获得。
2022-10-19 cs.CV
Pixel-Superpixel Contrastive Learning and Pseudo-Label Correction for Hyperspectral Image Clustering
National University of Defense Technology（国防科技大学）；China University of Geosciences（中国地质大学）
针对高光谱图像聚类中像素级对比学习耗时高、超像素级结果粗糙的问题，提出融合两者的PSCPC方法，结合伪标签校正模块对齐两类伪标签并实现监督，兼具有效性与高效性。
2023-12-15 cs.AI cs.CV
Unsupervised Contrastive Domain Adaptation for Semantic Segmentation
University of Oxford（牛津大学）；Intel Labs（英特尔实验室）
语义分割模型在领域转换的情况下难以推广。在本文中，我们介绍了对比学习的跨领域自适应的特征对齐。我们组装域内对比对和跨域对比对来学习跨域对齐的区分特征。基于得到的对齐良好的特征表示，我们引入了一种标签扩展方法，该方法能够在自适应过程中从硬类中发现样本，以进一步提高性能。所提出的方法始终优于国家的最先进的领域自适应的方法。当在合成的GTA 5数据集和未标记的Cityscapes图像上训练时，它在Cityscapes数据集上实现了60.2%mIoU。
2022-04-18 cs.CV
THCRL: Trusted Hierarchical Contrastive Representation Learning for Multi-View Clustering
THCRL通过可信层次对比学习解决多视图聚类中的不可信融合问题，引入深度对称层次融合和平均K近邻对比学习模块，提升聚类性能。
2025-12-10 cs.CV
Unsupervised Domain Adaptation with Dynamic Clustering and Contrastive Refinement for Gait Recognition
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
提出GaitDCCR模型，通过动态聚类参数与权重质心优化聚类，并结合基于置信度的伪标签精炼与对比教师模块减少噪声伪标签影响，显著提升无监督步态识别性能。
2025-04-06 cs.CV
Partial Multi-View Clustering via Meta-Learning and Contrastive Feature Alignment
针对部分视图缺失导致聚类性能欠佳的问题，提出基于对比学习的双优化框架，结合微调Vision Transformer、KNN填补缺失视图并利用自监督与元学习动态调整权重，在BDGP和HW数据集上优于现有方法。
2024-11-14 cs.CV cs.LG
Stable Single-Pixel Contrastive Learning for Semantic and Geometric Tasks
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Technical University Dortmund（德累斯顿技术大学）
本文提出了一种稳定的单像素对比学习方法，用于同时捕捉图像的语义和几何信息，通过过完备描述符实现精确点对应，无需动量基教师-学生训练。
2025-12-04 cs.CV
Automatically Identify and Rectify: Robust Deep Contrastive Multi-view Clustering in Noisy Scenarios
National University of Singapore（新加坡国立大学）；Intelligent Game and Decision Lab（智能博弈与决策实验室）
针对多视图聚类中噪声导致性能下降的问题，提出框架AIRMVC，通过GMM识别噪声并设计混合纠正策略与噪声鲁棒对比机制生成可靠表示，显著提升了噪声场景下的聚类鲁棒性。
2025-05-27 cs.CV
Improved Face Representation via Joint Label Classification and Supervised Contrastive Clustering
Tencent（腾讯）
针对人脸识别中聚类知识利用不足的问题，本文提出标签分类与监督对比聚类联合优化框架，通过聚类引导角度间隔和聚类中心对齐提升人脸表征性能。
2023-12-07 cs.AI cs.CV
Pixel Contrastive-Consistent Semi-Supervised Semantic Segmentation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；X The Moonshot Factory（X 登月工厂）
提出了一种新的半监督语义分割方法，该方法同时满足了分割模型的两个要求：图像增强之间的标签空间一致性和不同像素之间的特征空间对比性。我们分别利用像素级L2损失和像素对比度损失来实现这两个目的。为了解决像素对比度损失中的计算效率问题和假负噪声问题，我们进一步介绍和研究了几种负采样技术。广泛的实验证明了我们的方法（PC 2Seg）与DeepLab-v3+架构的最新性能，在来自VOC，Cityscapes和COCO数据集的几个具有挑战性的半监督设置中。
2021-08-20 cs.CV
Find Beauty in the Rare: Contrastive Composition Feature Clustering for Nontrivial Cropping Box Regression
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）
自动图像裁剪算法的目标是通过生成具有改进的合成质量的裁剪框来像人类摄影师一样重新合成图像。裁剪框回归方法从注释的裁剪框中学习构图之美。然而，注释的偏差导致了准平凡的重组结果，这有一个明显的倾向于平均位置的训练样本。这种困境的关键在于，该任务被天真地视为一个盒子回归问题，其中稀有样本可能被正常样本所支配，并且稀有样本的组成模式没有得到很好的利用。观察到相似的构图模式往往被标注得接近的裁剪边界所共享，我们认为通过聚类具有相似裁剪边界标注的样本，即相似构图模式，可以从稀有样本中发现构图之美。我们提出了一种新的对比组合聚类（C2C），通过对比动态建立的相似和不相似的组合特征。通过这种方式，可以更好地总结多个图像的常见组成模式，这特别有利于罕见的样本，并赋予我们的模型更好的泛化能力，以呈现非平凡的结果。大量的实验结果表明，我们的模型与现有技术相比的优越性。我们还用一个有趣的分析可视化来说明我们的设计理念。
2023-02-17 cs.CV
CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation
Mercedes Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
在这项工作中，我们提出了CLUDA，一个简单的，但新颖的方法进行无监督领域自适应（UDA）的语义分割，通过将对比损失到学生-教师学习范式，利用教师网络从目标域生成的伪标签。更具体地说，我们从编码器中提取多级融合特征映射，并通过图像的源目标混合在不同类别和不同域中应用对比度损失。我们不断提高性能的各种特征编码器架构和不同的领域自适应数据集的语义分割。此外，我们引入了一个学习加权对比损失，以改进UDA中最先进的多分辨率训练方法。我们在GTA $\rightarrow$ Cityscapes（74.4 mIOU，+0.6）和Synthia $\rightarrow$ Cityscapes（67.2 mIOU，+1.4）数据集上生成了最先进的结果。CLUDA有效地展示了UDA中的对比学习作为一种通用方法，它可以很容易地集成到任何现有的UDA中，用于语义分割任务。有关执行的详细情况，请参阅补充材料。
2022-11-08 cs.CV
NCAGC: A Neighborhood Contrast Framework for Attributed Graph Clustering
Southeast University（东南大学）；National Astronomical Observatory, Chinese Academy of Sciences（中国科学院国家天文台）；Nanjing Tech University（南京工业大学）
针对属性图聚类中表征学习与聚类分离、过度依赖数据增强及忽略聚类对比信息的问题，本文提出NCAGC框架。该框架通过邻域对比模块和对比自表达模块在统一框架内联合优化，使节点表征面向聚类，在多个数据集上取得优异性能。
2022-07-30 cs.CV
A Unified Two-Stage Group Semantics Propagation and Contrastive Learning Network for Co-Saliency Detection
Fudan University（复旦大学）
共显著性检测（CoSOD）的目的是从多幅图像中发现重复的显著对象。两个主要挑战是组语义提取和噪声对象抑制。本文提出了一个统一的CoSOD两阶段成组语义描述和对比学习网络（TopicNet）。TopicNet可以被分解成两个子结构，包括一个两阶段的组语义传播模块（TGSP），以解决第一个挑战和一个对比学习模块（CLM），以解决第二个挑战。具体而言，对于TGSP，我们设计了一个图像到组传播模块（IGP）来捕获组内相似特征的一致性表示，并设计了一个组到像素传播模块（GPP）来构建一致性表示的相关性。对于CLM，通过设计正样本，增强了语义一致性。通过负样本的设计，抑制了噪声对象。三个流行的基准测试的实验结果表明，TopicNet优于其他竞争对手的各种评价指标。
2022-08-13 cs.CV
Contextrast: Contextual Contrastive Learning for Semantic Segmentation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Kookmin University（国民大学）
针对语义分割中局部/全局上下文及其关联缺失的问题，提出含上下文对比学习与边界感知负样本采样的Contextrast方法，在多数据集上以相同推理成本超越现有对比学习SOTA。
2024-10-08 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）
我们解决的问题，Few-Shot语义分割（FSS），其目的是分割新的类对象的目标图像与一些注释的样本。虽然最近的进展已经通过结合基于原型的度量学习，现有的方法仍然表现出有限的性能下极端的类内对象的变化和语义相似的类间对象，由于其穷人的功能表示。为了解决这个问题，我们提出了一个双原型对比学习的方法，适合于FSS的任务，有效地捕捉代表性的语义特征。其主要思想是通过在原型特征空间中增加类间距离同时减少类内距离来鼓励原型更具区分力。为此，我们首先提出了一个类特定的对比损失与动态原型字典，存储类感知的原型在训练过程中，从而使相同的类原型相似，不同的类原型是不相似的。此外，我们引入了一个类不可知的对比损失，以提高泛化能力，看不见的类，压缩每个情节内的语义类的特征分布。我们证明了所提出的双原型对比学习方法在PASCAL-5i和COCO-20 i数据集上的性能优于最先进的FSS方法。该代码可从以下网址获得：https://github.com/kwonjunn01/DPCL1。
2021-11-09 cs.CV
MuSCLe: A Multi-Strategy Contrastive Learning Framework for Weakly Supervised Semantic Segmentation
Loughborough University（拉夫堡大学）；Cardiff University（卡迪夫大学）；Central South University（中南大学）
弱监督语义分割（WSSS）已经获得了显着的普及，因为它只依赖于弱标签，如图像级注释，而不是像素级注释所需的监督语义分割（SSS）方法。尽管注释成本大大降低，但从WSSS学习的典型特征表示仅代表对象的一些突出部分，并且由于训练期间的弱指导，与SSS相比不太可靠。在本文中，我们提出了一种新的多策略对比学习（MuSCLe）框架，以获得增强的特征表示，并通过利用图像，区域，像素和对象边界级别的对比样本对的相似性和不相似性，提高WSSS性能。大量的实验证明了我们的方法的有效性，并表明MuSCLe在广泛使用的PASCAL VOC 2012数据集上的性能优于当前最先进的技术。
2022-01-18 cs.CV
HCSC: Hierarchical Contrastive Selective Coding
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；ByteDance（字节跳动）；Shanghai Jiao Tong University（上海交通大学）；University of Montréal（蒙特利尔大学）
层次语义结构自然存在于图像数据集中，其中几个语义相关的图像聚类可以进一步集成为具有粗粒度语义的更大聚类。用图像表示来捕捉这样的结构可以极大地有利于各种下游任务的语义理解。现有的对比表示学习方法缺乏这样一个重要的模型能力。此外，这些方法中使用的否定对不能保证在语义上是不同的，这可能进一步妨碍学习图像表示的结构正确性。为了解决这些限制，我们提出了一种新的对比学习框架，称为分层对比选择性编码（HCSC）。在这个框架中，一组层次原型的构建和动态更新，以表示潜在空间中的数据的层次语义结构。为了使图像表示更好地适应这样的语义结构，我们采用并进一步改进传统的实例和原型对比学习通过精心设计的对选择方案。该方案旨在选择更多样化的积极对相似的语义和更精确的负对真正不同的语义。在广泛的下游任务中，我们验证了HCSC优于最先进的对比方法的性能，并且通过大量的分析研究证明了主要模型组件的有效性。我们建立了一个全面的模型动物园。D.我们的源代码和模型权重可在https://github.com/gyfastas/HCSC上获得
2022-05-23 cs.CV
Preventing Dimensional Collapse of Incomplete Multi-View Clustering via Direct Contrastive Learning
不完全多视图聚类（IMVC）是一种无监督的聚类方法，其中基于对比学习的IMVC因其优异的性能而受到关注。以往的方法存在以下问题：1）在解决维度塌陷问题时过度依赖附加的投影头，其中潜在特征在聚类过程中仅在低维子空间中有效。然而，投影头中的许多参数是不必要的。2)由于一致性学习和重构学习对同一特征的学习，恢复的视图中包含不一致的私有信息，无用的私有信息会误导公共语义的学习。为了解决上述问题，我们提出了一种新的不完全多视图对比聚类框架。该框架直接优化潜在特征子空间，利用学习到的特征向量及其子向量进行重构学习和一致性学习，有效避免了维数崩溃，不依赖投影头。由于对不同的特征进行了重构损失和对比损失，因此减少了无用私有信息的不利影响。对于不完整的数据，通过跨视图预测机制恢复丢失的信息，并通过最小条件熵丢弃来自不同视图的不一致信息，进一步避免隐私信息的影响。在5个公开数据集上的实验结果表明，该方法取得了较好的聚类效果。
2023-03-22 cs.AI cs.CV
A Clustering-guided Contrastive Fusion for Multi-view Representation Learning
Beijing Jiaotong University（北京交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；Nanjing University of Science And Technology（南京理工大学）；Wuyi University（五邑大学）
针对多视图表示学习中的噪声鲁棒性与视图一致性互补性平衡挑战，提出聚类引导的对比融合方法CLOVEN，通过深度融合网络、聚类指导与非对称对比策略，在多个数据集上显著提升了聚类与分类性能。
2023-08-04 cs.CV
Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation
University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Moorfields Eye Hospital（摩尔菲尔兹眼科医院）
这项工作认为监督对比学习的语义分割。我们应用对比学习来增强语义分割网络提取的多尺度特征的区分能力。我们的关键方法见解是利用来自模型编码器本身的多个阶段的特征空间的样本，既不需要数据增强也不需要在线存储体来获得不同的样本集。为了允许这样的扩展，我们引入了一个高效且有效的采样过程，该过程使得能够在多个尺度上对编码器的特征应用对比度损失。此外，通过首先将编码器的多尺度表示映射到一个公共的特征空间，我们通过引入跨尺度对比学习将高分辨率局部特征与低分辨率全局特征联系起来，实例化了一种新形式的监督局部全局约束。结合起来，我们的多尺度和跨尺度对比损失提高了具有CNN和Transformer主干的各种模型（DeepLabV3，HRNet，OCRNet，UPerNet）的性能，当在来自自然（Cityscapes，PascalContext，ADE 20 K）和手术（CaDIS）领域的4个不同数据集上进行评估时。我们的代码可在https://github.com/RViMLab/MS_CS_ContrSeg上获得。数据集来自自然（Cityscapes，PascalContext，ADE20K）和外科（CaDIS）领域。
2022-07-19 cs.CV
Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；Inceptio Technology（嬴彻科技）
领域自适应语义分割指的是仅使用特定源领域的注释对特定目标领域进行预测。现有的研究表明，进行类别对齐可以合理地缓解领域转移。然而，它们主要是基于图像到图像的对抗训练，很少考虑图像之间对象的语义变化，无法捕捉不同类别的全面图片。这促使我们探索一个整体的代表，从源域中的每个类别的语义分布，以减轻上述问题。在本文中，我们提出了语义分布感知的对比自适应算法，使语义分布的指导下，逐像素表示对齐。具体来说，我们首先设计了一个像素明智的对比损失，通过考虑语义分布和像素明智的表示从两个域之间的对应关系。从本质上讲，来自同一类别的像素表示的集群应该聚集在一起，而来自不同类别的像素表示应该分散开来。接下来，这个公式的上限是通过学习无限多个（不）相似对而得出的，使其有效。最后，我们验证了SDCA与自监督学习相结合可以进一步提高分割精度。我们在多个基准上评估SDCA，与现有算法相比取得了相当大的改进。https://github.com/BIT-DA/SDCA
2021-05-11 cs.CV
Consistency Enhancement-Based Deep Multiview Clustering via Contrastive Learning
提出基于对比学习的一致性增强深度多视图聚类方法CCEC，通过引入语义连接块和谱聚类提升多视图特征与聚类表示的一致性，在五个数据集上优于SOTA方法。
2024-03-21 cs.CV cs.LG
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza（萨拉戈萨大学）；Magic Leap（Magic Leap公司）；Bitbrain（Bitbrain公司）
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块，该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点，我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中，来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应，在最具挑战性的场景上有更大的改进，即，更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
Multi-level Feature Learning for Contrastive Multi-view Clustering
University of Electronic Science and Technology of China（电子科技大学）；Lehigh University（利哈伊大学）
多视图聚类能够从多个视图中挖掘出共同的语义，受到了越来越多的关注。然而，现有的作品惩罚多个目标在同一个特征空间，他们忽略了学习一致的公共语义和重建不一致的视图私有信息之间的冲突。在本文中，我们提出了一个新的框架，多层次特征学习的对比多视图聚类，以解决上述问题。我们的方法从原始特征中学习不同层次的特征，包括低级特征，高级特征和语义标签/特征，以无融合的方式，因此它可以有效地实现不同特征空间中的重建目标和一致性目标。具体而言，重建目标是在低级别特征上进行的。基于对比学习的两个一致性目标分别在高层特征和语义标签上进行。它们使高层特征有效地挖掘了公共语义，语义标签实现了多视图聚类。因此，所提出的框架可以减少视图隐私信息的不利影响。在公共数据集上的大量实验表明，我们的方法达到了最先进的聚类效果。
2022-03-25 cs.CV cs.LG
Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
3D语义分割的快速发展与深度网络模型的进步密不可分，深度网络模型高度依赖大规模注释数据进行训练。为了解决三维点云标注的高成本和挑战，提出了一种半监督点云语义分割方法，采用未标注的点云进行训练，以提高模型的性能。受最近自监督任务中的对比度损失的启发，我们提出了引导点对比度损失，以增强半监督环境中的特征表示和模型泛化能力。对未标记点云的语义预测在我们的损失中充当伪标签指导，以避免相同类别中的负对。此外，我们设计了置信度指导，以确保高质量的特征学习。此外，提出了一种类别平衡的抽样策略来收集正样本和负样本，以缓解类别不平衡问题。在三个数据集（ScanNet V2，S3DIS和SemanticKITTI）上的大量实验表明，我们的半监督方法可以有效地提高未标记数据的预测质量。
2021-10-15 cs.CV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology（伊兹密尔理工学院）；Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
任何城市规模的视觉定位系统都必须克服长期的外观变化，例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化，我们利用语义信息，以提高视觉定位。在我们的场景中，数据库由全景图像（例如Google街景）生成的日晷视图组成，查询图像是在不同时间用标准视场相机收集的。为了改进本地化，我们检查查询和数据库图像之间的语义相似性，这并不是小事，因为摄像机的位置和视角并不完全匹配。为了学习相似性，我们建议在语义分割图像的数据集上以自监督的方式训练CNN，并进行对比学习。实验表明，这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后，我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索，并观察到基于对比学习的姿势验证将前1召回值增加到0.90，这对应于2%的改进。
2022-03-31 cs.CV
