Vision Transformer for Contrastive Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
视觉Transformer(ViT)已显示出其优于卷积神经网络(CNN)的优势,其能够捕获全局长程依赖性以进行视觉表示学习。除了ViT之外,对比学习也是近年来研究的热点。虽然以前的对比学习工作大多基于CNN,但最近的一些研究试图将ViT和对比学习结合起来,以增强自监督学习。尽管取得了相当大的进展,但这些ViT和对比学习的组合大多集中在实例级对比度上,这往往忽视了全局对比度,并且也缺乏直接学习聚类结果的能力(例如,图像)。鉴于此,本文提出了一种新的深度聚类方法,称为对比聚类的视觉Transformer(VTCC),据我们所知,它首次将Transformer和对比学习结合起来用于图像聚类任务。具体来说,在每个图像上执行两个随机增强,我们利用具有两个权重共享视图的ViT编码器作为骨干。为了弥补ViT的潜在不稳定性,我们引入了一个卷积干,将每个增强的样本分割成一个补丁序列,它使用多个堆叠的小卷积,而不是补丁投影层中的大卷积。通过经由主干学习补丁序列的特征表示,进一步利用实例投影器和聚类投影器来分别执行实例级对比学习和全局聚类结构学习。在八个图像数据集上的实验证明了我们的VTCC方法的稳定性(从头开始训练期间)和优越性(聚类性能)。
2022-07-10 cs.CV cs.LG
Few-Example Clustering via Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
我们提出了少样本聚类(FEC),一种新的算法,执行对比学习聚类的几个例子。我们的方法由以下三个步骤组成:(1)生成候选聚类分配,(2)对每个聚类分配进行对比学习,(3)选择最佳候选。基于具有地面真实聚类分配的对比学习器比其他学习器训练得更快的假设,我们在步骤(3)的学习早期选择具有最小训练损失的候选者。在\textit{mini} -ImageNet和CUB-200-2011数据集上进行的大量实验表明,在各种场景下,FEC平均比其他基线高出约3.2%。FEC还表现出一个有趣的学习曲线,其中聚类性能逐渐增加,然后急剧下降。
2022-07-08 cs.AI cs.LG
Self-supervised Contrastive Attributed Graph Clustering
Xidian University(西安电子科技大学);Westfield State University(韦斯特菲尔德州立大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
提出自监督对比属性图聚类网络SCAGC,利用不精确聚类标签设计自监督对比损失学习节点表示,并直接输出聚类标签,解决样本外问题,在四个基准数据集上优于11种方法。
2021-10-15 cs.AI cs.LG
CCFC: Bridging Federated Clustering and Contrastive Learning
Central University of Finance and Economics(中央财经大学)
本文提出了一种基于聚类对比模型的联邦聚类方法CCFC,通过学习对聚类友好的表示,显著提升了高维复杂数据的聚类性能,并在部分情况下使聚类效果翻倍,同时具备处理设备故障的优越能力。
2025-06-02 cs.AI cs.LG
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich(慕尼黑大学);Google Research(谷歌研究院)
对比学习是视觉表示学习最成功的方法之一,其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而,现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳,因为多数类压倒并扭曲少数类的损失,从而防止学习有意义的表示。出于这一动机,我们开发了一种新的联合聚类和对比学习框架,通过调整去偏对比损失,以避免不平衡数据集的少数类别的聚类不足。我们表明,我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
Strongly Augmented Contrastive Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
深度聚类由于其通过深度神经网络联合表示学习和聚类的能力,近年来引起了越来越多的关注。在其最新的发展中,对比学习已经成为一种有效的技术,以大大提高深度聚类性能。然而,现有的基于对比学习的深度聚类算法大多集中在一些精心设计的增强(通常通过有限的变换来保持结构),称为弱增强,但不能超越弱增强来探索更强增强中的更多机会(具有更积极的变换甚至严重的失真)。在本文中,我们提出了一种称为强增强对比聚类(SACC)的端到端深度聚类方法,该方法将传统的两个增强视图范式扩展到多个视图,并联合利用强增强和弱增强来加强深度聚类。特别是,我们利用一个骨干网络与triangle共享的权重,其中一个强增强的视图和两个弱增强的意见。基于由主干产生的表示,弱-弱视图对和强-弱视图对被同时用于实例级对比学习(经由实例投影仪)和集群级对比学习(经由集群投影仪),其与主干一起可以以纯无监督的方式联合优化。在五个具有挑战性的图像数据集上的实验结果表明,我们的SACC方法优于最先进的方法。代码可以在https://github.com/dengxiaozhi/SACC上找到。
2022-07-14 cs.CV cs.LG
Discriminative Representation learning via Attention-Enhanced Contrastive Learning for Short Text Clustering
本文提出AECL方法,通过伪标签生成模块和对比学习模块构建样本级注意力机制,解决短文本聚类中假负分离问题,提升表示学习效果。
2025-01-26 cs.LG
Clustering based Contrastive Learning for Improving Face Representations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Massachusetts Institute of Technology(麻省理工学院);Inria Paris(法国国家信息与自动化研究所巴黎中心);Daimler TSS(戴姆勒TSS公司)
一个好的聚类算法可以发现数据中的自然分组。这些分组,如果使用得当,为学习表征提供了一种弱监督形式。在这项工作中,我们提出了基于聚类的对比学习(CCL),一种新的基于聚类的表示学习方法,使用从聚类中获得的标签以及视频约束来学习区分人脸特征。我们展示了我们的方法对视频人脸聚类的学习表示的挑战性任务。通过几项消融研究,我们分析了从不同来源创建成对的阳性和阴性标签的影响。在BBT-0101、BF-0502和ACCIO三个具有挑战性的视频人脸聚类数据集上的实验表明,CCL在所有数据集上都达到了新的水平。
2020-04-05 cs.CV cs.LG
Twin Contrastive Learning for Online Clustering
Sichuan University(四川大学);Zhejiang Lab(之江实验室)
本文提出通过在实例和聚类级别进行孪生对比学习(TCL)来执行在线聚类。具体地说,我们发现,当数据被投影到一个特征空间的目标聚类数的维数,其特征矩阵的行和列对应的实例和集群表示,分别。基于观察,对于给定的数据集,所提出的TCL首先通过数据增强来构造正对和负对。此后,在特征矩阵的行和列空间中,通过将正对拉在一起而将负对推开来分别进行实例级和聚类级对比学习。为了减轻固有的假阴性对的影响和纠正聚类分配,我们采用了基于置信度的标准来选择伪标签,以促进实例级和聚类级的对比学习。结果,聚类性能进一步提高。除了孪生对比学习的优雅思想之外,TCL的另一个优点是它可以独立地预测每个实例的聚类分配,从而毫不费力地适应在线场景。在六个广泛使用的图像和文本基准上的实验证明了TCL的有效性。代码将在GitHub上发布。
2022-10-21 cs.LG
Supporting Clustering with Contrastive Learning
AWS AI(亚马逊云科技人工智能);Columbia University(哥伦比亚大学)
无监督聚类的目的是根据表示空间中的距离来发现数据的语义类别。然而,在学习过程的开始,不同的类别经常在表示空间中彼此重叠,这对基于距离的聚类在实现不同类别之间的良好分离方面提出了重大挑战。为此,我们提出了支持聚类与对比学习(SCCL)-一个新的框架,利用对比学习,以促进更好的分离。我们评估了SCCL在短文本聚类上的性能,并表明SCCL在大多数基准数据集上显着提高了最先进的结果,在准确性上提高了3%-11%,在归一化互信息上提高了4%-15%。此外,我们的定量分析表明,SCCL在利用自下而上的实例区分和自上而下的聚类的优势,以实现更好的集群内和集群间的距离时,与地面真相集群标签进行评估的有效性。
2021-05-28 cs.CL cs.LG
Towards Adaptive Federated Graph Clustering: A Global Community-aware Contrastive Learning-based Approach
Sun Yat-sen University(中山大学)
针对联邦图聚类中预定义聚类基数不现实和社区间分离不完整的问题,提出基于全局社区感知对比学习的自适应框架AdaFGC,在八个基准数据集上优于现有基线。
2026-09-23 cs.LG
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院);Beijing University of Technology(北京工业大学);The University of Sydney Business School, The University of Sydney(悉尼大学商学院)
针对现有对比属性图聚类忽略边级增强及样本对差异的问题,提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法,在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
CONVERT:Contrastive Graph Clustering with Reliable Augmentation
National University of Defense Technology(国防科技大学);Westlake University(西湖大学)
本文提出CONVERT对比图聚类网络,通过可逆扰动-恢复网络提取可靠语义信息,结合语义损失和标签匹配机制解决增强图语义漂移问题,在七个数据集上验证了有效性。
2023-10-20 cs.LG
Contrastive Graph Clustering in Curvature Spaces
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究首次将异质曲率空间引入图聚类,提出基于Ricci曲率的端到端对比图聚类模型CONGREGATE,采用无需增强的重加权对比策略,在真实图数据上性能超越现有最优方法。
2023-05-05 cs.LG stat.ML
Contrastive Clustering
Sichuan University(四川大学);TAL Education Group(好未来教育集团);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
在本文中,我们提出了一个一阶段的在线聚类方法称为对比聚类(CC),明确执行的实例和集群级对比学习。具体来说,对于给定的数据集,通过数据增强构造正实例和负实例对,然后将其投影到特征空间中。其中,实例级和聚类级对比学习分别在行和列空间中通过最大化正对的相似性而最小化负对的相似性来进行。我们的关键观察是,特征矩阵的行可以被视为实例的软标签,相应地,列可以进一步被视为聚类表示。通过同时优化实例级和集群级对比度损失,该模型以端到端的方式联合学习表示和集群分配。大量的实验结果表明,CC显着优于17个具有挑战性的图像基准的竞争聚类方法。特别是,CC在CIFAR-10(CIFAR-100)数据集上实现了0.705(0.431)的NMI,与最佳基线相比,性能提高了19%(39%)。
2020-09-21 cs.CV cs.LG stat.ML
Reliable Node Similarity Matrix Guided Contrastive Graph Clustering
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);School of Information Technology and Electrical Engineering, The University of Queensland(昆士兰大学信息技术与电气工程学院)
针对现有对比图聚类方法未充分挖掘节点相似性的问题,提出NS4GC框架,通过节点-邻居对齐和语义感知稀疏化构建可靠相似性矩阵引导表示学习,在8个真实数据集上取得更优聚类效果。
2024-08-07 cs.LG
Revisiting Modularity Maximization for Graph Clustering: A Contrastive Learning Perspective
Ant Group(蚂蚁集团)
本研究揭示模块度最大化与图对比学习的内在关联,提出以模块度最大化为对比预训练任务的社区感知图聚类框架MAGI,兼具优异聚类性能与超大规模图可扩展性。
2024-06-20 cs.AI cs.LG
GCL-GCN: Graphormer and Contrastive Learning Enhanced Attributed Graph Clustering Network
Stirling College, Chengdu University(成都大学斯特林学院);Chengdu University(成都大学)
针对属性图聚类中稀疏异构图数据处理的局部依赖与复杂结构捕获难题,提出融合Graphormer模块与对比学习模块的GCL-GCN模型,在六个数据集上聚类效果优于14种先进方法。
2025-07-31 cs.LG
Consistency Enhancement-Based Deep Multiview Clustering via Contrastive Learning
提出基于对比学习的一致性增强深度多视图聚类方法CCEC,通过引入语义连接块和谱聚类提升多视图特征与聚类表示的一致性,在五个数据集上优于SOTA方法。
2024-03-21 cs.CV cs.LG
RAC-DMVC: Reliability-Aware Contrastive Deep Multi-View Clustering under Multi-Source Noise
针对多源噪声(缺失噪声、观测噪声)下的多视图聚类任务,提出RAC-DMVC框架,通过可靠性图、跨视图重构、可靠性感知对比学习、双注意力补全及簇蒸馏模块提升鲁棒性,实验表明其优于SOTA方法且噪声适应性强。
2025-11-17 cs.LG
Multi-level Feature Learning for Contrastive Multi-view Clustering
University of Electronic Science and Technology of China(电子科技大学);Lehigh University(利哈伊大学)
多视图聚类能够从多个视图中挖掘出共同的语义,受到了越来越多的关注。然而,现有的作品惩罚多个目标在同一个特征空间,他们忽略了学习一致的公共语义和重建不一致的视图私有信息之间的冲突。在本文中,我们提出了一个新的框架,多层次特征学习的对比多视图聚类,以解决上述问题。我们的方法从原始特征中学习不同层次的特征,包括低级特征,高级特征和语义标签/特征,以无融合的方式,因此它可以有效地实现不同特征空间中的重建目标和一致性目标。具体而言,重建目标是在低级别特征上进行的。基于对比学习的两个一致性目标分别在高层特征和语义标签上进行。它们使高层特征有效地挖掘了公共语义,语义标签实现了多视图聚类。因此,所提出的框架可以减少视图隐私信息的不利影响。在公共数据集上的大量实验表明,我们的方法达到了最先进的聚类效果。
2022-03-25 cs.CV cs.LG
Global Graph Propagation with Hierarchical Information Transfer for Incomplete Contrastive Multi-view Clustering
Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海));Ningbo University(宁波大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
提出一种不完整多视图聚类方法,通过视图特定GCN、全局图传播和层级信息传递,结合对比学习实现端到端联合优化,提升聚类性能。
2025-02-26 cs.LG
Contrastive Hierarchical Clustering
Advanced Micro Devices, Inc.(超威半导体公司);Cracow University of Economics(克拉科夫经济大学);Jagiellonian University(雅盖隆大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
本文提出基于深度神经网络的对比层次聚类模型CoHiClust,通过自监督学习将基础网络蒸馏为二叉树,无需标签数据,生成合理聚类结构并提升图像聚类准确性。
2023-06-21 cs.AI cs.LG
Multi-view Contrastive Graph Clustering
University of Electronic Science and Technology of China(电子科技大学)
随着信息技术的爆炸式增长,多视图图形数据变得越来越普遍和有价值。大多数现有的多视图聚类技术要么集中在多个图形或多视图属性的情况下。在本文中,我们提出了一个通用的框架来聚类多视图属性图数据。具体地说,受对比学习成功的启发,我们提出了多视图对比图聚类(MCGC)方法来学习一致性图,因为原始图可能是嘈杂的或不完整的,并不直接适用。我们的方法由两个关键步骤组成:首先通过图过滤过滤掉不需要的高频噪声,同时保留图的几何特征,并获得节点的平滑表示;然后通过图对比度损失学习正则化的共识图。几个基准数据集上的结果显示了我们的方法相对于最先进的方法的优越性。特别是,我们的简单方法优于现有的基于深度学习的方法。
2021-10-22 cs.AI cs.CV cs.LG
Large-Scale Hyperspectral Image Clustering Using Contrastive Learning
China University of Geosciences(中国地质大学);Helmholtz-Zentrum Dresden-Rossendorf(德累斯顿罗森多夫亥姆霍兹中心);Helmholtz Institute Freiberg for Resource Technology(弗赖贝格资源技术亥姆霍兹研究所);Institute of Advanced Research in Artificial Intelligence(人工智能高级研究院);National University of Defense Technology(国防科技大学)
高光谱图像的聚类是一项基本但具有挑战性的任务。近年来,高光谱图像聚类的发展已经从浅层模型向深层模型发展,并在许多基准数据集上取得了令人满意的结果。然而,由于离线聚类的原因,其可扩展性、鲁棒性和泛化能力较差,极大地限制了其在大规模高光谱数据中的应用。为了解决这些问题,我们提出了一个可扩展的深度在线聚类模型,命名为频谱空间对比聚类(SSCC),基于自监督学习。具体来说,我们利用一个对称的孪生神经网络组成的投影头的簇数的维数进行双对比学习从频谱空间增强池。我们定义的目标函数,隐含地鼓励内集群的相似性和减少集群之间的冗余。由此产生的方法通过批量优化以端到端的方式进行训练,使其在大规模数据中具有鲁棒性,并对未知数据具有良好的泛化能力。在三个高光谱图像基准上的大量实验证明了我们方法的有效性,并表明我们大大提高了最先进的方法。
2021-11-15 cs.CV cs.LG
Cross-Contrastive Clustering for Multimodal Attributed Graphs with Dual Graph Filtering
Hong Kong Baptist University(香港 Baptist 大学)
本文提出双图过滤方案,通过特征去噪和三交叉对比学习提升多模态属性图的聚类性能。
2025-11-25 cs.LG
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
scRNA-seq Data Clustering by Cluster-aware Iterative Contrastive Learning
Fudan University(复旦大学);Tongji University(同济大学)
提出簇感知迭代对比学习(CICL)方法,通过Transformer编码器、K-means聚类和对比损失迭代优化,在25个scRNA-seq数据集上显著优于现有方法。
2023-12-27 cs.AI cs.LG q-bio.GN
TFEC: Multivariate Time-Series Clustering via Temporal-Frequency Enhanced Contrastive Learning
Guangdong University of Technology(广东工业大学);Hong Kong Baptist University(香港 Baptist 大学)
TFEC通过时频增强对比学习方法,提升多变量时间序列聚类的表示质量和聚类结构优化。
2026-01-12 cs.LG
Deep Contrastive Graph Learning with Clustering-Oriented Guidance
Northwestern Polytechnical University(西北工业大学);Key Laboratory of Intelligent Interaction and Applications, Ministry of Industry and Information Technology(工业和信息化部智能交互与应用重点实验室)
针对无先验图聚类中初始图质量差且缺乏聚类引导的问题,提出 DCGL,通过伪孪生网络、特征/簇级对比学习和双分支图机制提升聚类性能。
2024-02-25 cs.AI cs.LG
JojoSCL: Shrinkage Contrastive Learning for single-cell RNA sequence Clustering
Department of Computer Science(计算机科学系);Courant Institute of Mathematical Sciences(数学科学学院)
针对scRNA-seq数据高维稀疏导致聚类困难的问题,提出自监督对比学习框架JojoSCL,通过引入基于分层贝叶斯估计和SURE优化的收缩估计器减少类内离散度,在十个数据集上显著优于现有方法。
2025-05-31 cs.LG q-bio.GN stat.ML
Cluster-guided Contrastive Graph Clustering Network
National University of Defense Technology(国防科技大学);University of Science and Technology of China(中国科学技术大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
对比学习得益于其内在的监督信息挖掘能力,近年来在深度图聚类领域取得了良好的效果。然而,我们观察到的积极和消极的样本建设机制的两个缺点限制了现有算法的性能进一步改善。1)正样本的质量在很大程度上取决于精心设计的数据增强,而不恰当的数据增强容易导致语义漂移和不加区分的正样本。2)由于忽略了重要的聚类信息,构造的阴性样本不可靠。为了解决这些问题,我们提出了一种基于聚类引导的对比深度图聚类网络(CCGC),通过挖掘高置信度聚类结果中的内在监督信息。具体来说,而不是进行复杂的节点或边扰动,我们构建了两个视图的图形通过设计特殊的连体编码器,其权重之间不共享兄弟子网络。然后,在高置信度聚类信息的指导下,从两个视图中的同一个高置信度聚类中仔细选择并构造阳性样本。此外,为了构造语义有意义的负样本对,我们将不同高置信度聚类的中心作为负样本,从而提高了构造样本对的区分能力和可靠性。最后,我们设计了一个目标函数,通过最大化和最小化正样本和负样本之间的跨视图余弦相似性,将来自同一聚类的样本拉近,同时将来自其他聚类的样本推开。在6个数据集上的实验结果表明,CCGC算法与现有的最先进算法相比具有较好的性能.
2023-01-03 cs.LG
DWCL: Dual-Weighted Contrastive Learning for Multi-View Clustering
Beijing Institute of Technology(北京理工大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);La Trobe University(拉筹伯大学)
提出DWCL模型,通过B-O对比机制和双加权策略减少不可靠跨视图并缓解表示退化,在八个多视图数据集上优于现有方法。
2025-01-23 cs.CV cs.LG
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University(爱荷华州立大学);John Deere(约翰迪尔公司)
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架,通过结合实例级对比学习与基于深度嵌入的聚类中心预测器,从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的,该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是,使用集成损失,结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到,我们的方法在使用标准聚类度量(如归一化互信息(NMI))进行评估时,在流行的视觉数据集上表现得非常好,此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下,并且在CIFAR-10数据集上的表现优于最先进的对比学习方法,NMI得分为0.772,在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion
Nankai University(南开大学)
针对图聚类中先验分布可靠性不足的问题,提出CGCN方法,通过引入对比信号和深层结构信息进行自监督预训练,并在多个真实图数据集上验证了其提升聚类性能的有效性。
2024-08-08 cs.ET cs.LG
Mask-informed Deep Contrastive Incomplete Multi-view Clustering
Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Computer Science, China University of Geosciences(中国地质大学计算机学院)
针对多视图聚类中缺失样本影响知识整合的问题,提出掩码感知融合网络与先验知识辅助对比学习的Mask-IMvC方法,实验证明其在完整和不完整场景下均优于现有方法。
2025-03-30 cs.CV cs.LG
Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding
Harbin Institute of Technology(哈尔滨工业大学)
针对现有不完整多视图聚类存在的信息利用不充分、表示与聚类分离等问题,提出ICMVC方法,通过多视图一致性迁移、注意力融合与端到端联合优化提升聚类性能。
2023-12-14 cs.CV cs.LG
Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents
MYbank, Ant Group(蚂蚁集团网商银行)
现实世界中的大多数对话系统依赖于预定义的意图和答案来提供问答服务,因此,从大型语料库中发现潜在的意图对于构建此类对话服务非常重要。考虑到大多数场景中已知的意图很少,大多数意图等待被发现,我们专注于半监督文本聚类,并试图使所提出的方法受益于标记样本,以获得更好的整体聚类性能。在本文中,我们提出了深度对比半监督聚类(DCSC),它的目的是在一个半监督的方式聚类文本样本,并提供分组的意图给操作人员。为了使DCSC充分利用有限的已知意图,我们提出了一个两阶段的DCSC训练过程,其中DCSC将在标记样本和未标记样本上进行训练,并获得更好的文本表示和聚类性能。我们在两个公共数据集上进行了实验,将我们的模型与几种流行的方法进行了比较,结果表明DCSC在所有数据集和情况下都取得了最佳性能,表明了我们工作中改进的效果。
2022-01-07 cs.AI cs.CL cs.LG
Global-Graph Guided and Local-Graph Weighted Contrastive Learning for Unified Clustering on Incomplete and Noise Multi-View Data
Guangxi Normal University(广西师范学院);University of Electronic Science and Technology of China(电子科技大学);Singapore University of Technology and Design(新加坡科技设计大学);Hainan University(海南大学)
本文提出一种全局图引导和局部图加权对比学习框架,用于提升不完整和噪声多视图数据的聚类效果。
2025-12-25 cs.CV cs.LG
Multi-view Granular-ball Contrastive Clustering
Sichuan University(四川大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education(教育部机器学习与产业智能工程研究中心);Beijing Academy of Agriculture and Forestry Sciences(北京市农林科学院);Stevens Institute of Technology(史蒂文斯理工学院)
针对现有多视图对比聚类易引入假阴性或忽略局部结构的问题,提出多视图粒球对比聚类(MGBCC),通过构建粗粒度粒球并在共享潜在空间强化跨视图关联,实现保留局部拓扑的多粒度对比学习。
2024-12-19 cs.LG
A Contrastive Variational Graph Auto-Encoder for Node Clustering
University of Quebec at Montreal(蒙特利尔魁北克大学);University of Bahrain(巴林大学)
提出一种对比变分图自编码器,通过更紧的变分下界和两种控制机制,解决节点聚类中后验坍缩、特征随机性与特征漂移问题,实现最先进聚类性能。
2023-12-28 cs.AI cs.LG
Contrastive Learning Is Spectral Clustering On Similarity Graph
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qizhi Institute(上海期智研究院)
本文证明基于 InfoNCE 损失的对比学习等价于相似度图上的谱聚类,并将该理论扩展到 CLIP 模型,进而提出 Kernel-InfoNCE 损失以提升视觉任务表现。
2024-02-23 cs.AI cs.CV cs.LG
PROTOCOL: Partial Optimal Transport-enhanced Contrastive Learning for Imbalanced Multi-view Clustering
Shanghai Key Laboratory of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University, China(上海智能信息处理实验室,计算机科学与人工智能学院,复旦大学);College of Computer Science and Technology, Qingdao University, China(计算机科学与技术学院,青岛大学);Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, China(上海导航与位置服务实验室,电子信息与电气工程学院,上海交通大学);Institute of Science and Technology for Brain-Inspired Intelligence and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, China(脑启发智能科学技术研究院和计算神经科学与脑启发智能重点实验室,复旦大学)
针对现有对比多视图聚类隐含类别均衡假设、在真实不平衡多视图数据上性能下降的问题,提出PROTOCOL框架,通过部分最优传输建模不平衡分布、结合双层再平衡对比学习强化少数类表征,显著提升不平衡多视图聚类性能。
2025-06-14 cs.LG stat.ML
Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院)
本文提出对比高斯聚类方法,通过为每个三维高斯学习分割特征向量,结合对比学习与空间正则化,在弱监督下实现跨视角一致的三维场景分割,并较现有技术提升IoU准确率8%。
2024-04-19 cs.CV cs.LG
Contrastive Representation Disentanglement for Clustering
Clemson University(克莱姆森大学)
针对现有聚类方法在大聚类数数据集上性能不佳的问题,提出对比表示解耦方法CDC,将特征分解为类别与实例分量并设计对比损失,在ImageNet上实现53.4%准确率,领先现有方法10.2%。
2023-07-12 cs.AI cs.CV cs.IR
CGRclust: Chaos Game Representation for Twin Contrastive Clustering of Unlabelled DNA Sequences
School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);University of Western Ontario(西安大略大学)
CGRclust结合DNA序列的混沌博弈表示与CNN,通过无监督双对比学习对无标签序列进行聚类,在25个多源数据集上展现出高准确率与鲁棒性。
2024-11-13 cs.LG q-bio.GN
Clustering-friendly Representation Learning for Enhancing Salient Features
Corporate R&D Center, Toshiba(东芝公司研发中心)
本文面向无监督图像聚类,扩展聚类友好对比学习并在损失中引入基于参考数据集的对比分析,以增强聚类关键特征,在三个数据集上均优于现有方法。
2024-08-09 cs.CV cs.LG
Contrastive Continual Multi-view Clustering with Filtered Structural Fusion
School of Computer, National University of Defense Technology(国防科技大学计算机学院);School of Computer Science and Technology, Harbin University of Science and Technology(哈尔滨理工大学计算机科学与技术学院)
针对多视图数据按序到达导致的灾难性遗忘问题,提出CCMVC-FSF,利用固定缓冲区保存过滤结构信息并通过对比学习指导新视图划分,理论关联半监督学习与知识蒸馏,实验验证其优越性能。
2024-03-04 cs.AI cs.CV cs.LG
MoEGCL: Mixture of Ego-Graphs Contrastive Representation Learning for Multi-View Clustering
本文提出MoEGCL,通过自图混合融合与自图对比学习提升多视角聚类效果,实现细粒度图表征。
2026-03-24 cs.CV cs.LG
Attributed Graph Clustering with Multi-Scale Weight-Based Pairwise Coarsening and Contrastive Learning
Stirling College, Chengdu University(成都大学斯特林学院);College of Computer Science, Chengdu University(成都大学计算机学院)
提出 MPCCL 属性图聚类模型,利用多尺度加权成对粗化保留结构,并通过一对多对比、图重建与 KL 约束提升特征多样性和跨尺度一致性。
2025-07-28 cs.LG
FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series
针对大量带有限或昂贵注释的时间序列数据,介绍基于曼巴的深度聚类框架FMMVCC。它利用状态空间序列建模及多视图自监督学习,在15个基准数据集实验中优于现有基线,在多指标评估中表现出色。
2026-07-09 cs.AI cs.LG
On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering
UiT The Arctic University of Norway(挪威北极大学);Norwegian Computing Center(挪威计算中心);University of Copenhagen(哥本哈根大学)
自监督学习是最近深度多视图聚类(MVC)方法的核心组成部分。然而,我们发现在深度MVC的基于自我监督的方法的开发中存在很大的差异,这可能会减缓该领域的进展。为了解决这个问题,我们提出了DeepMVC,这是一个统一的深度MVC框架,其中包括许多最新的方法作为实例。我们利用我们的框架,使自我监督的效果,特别是调整表示与对比学习的缺点的关键意见。此外,我们证明了对比对齐会对聚类可分性产生负面影响,并且当视图数量增加时,这种影响会变得更糟。在我们的研究结果的激励下,我们开发了几个新的DeepMVC实例,具有新的自我监督形式。我们进行了大量的实验,发现(i)与我们的理论研究结果一致,对比比对降低了具有许多视图的数据集的性能;(ii)所有方法都受益于某种形式的自我监督;(iii)我们的新实例在几个数据集上优于以前的方法。根据我们的研究结果,我们提出了几个有前途的未来研究方向。为了增强该领域的开放性,我们提供了DeepMVC的开源实现,包括最近的模型和我们的新实例。我们的实施包括一个一致的评估协议,促进公平和准确的方法和组件的评估。
2023-03-17 cs.CV cs.LG stat.ML
MHCCL: Masked Hierarchical Cluster-Wise Contrastive Learning for Multivariate Time Series
Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University(山东大学-南洋理工大学联合人工智能研究中心(C-FAIR));Lund University(隆德大学);Nanyang Technological University(南洋理工大学)
从原始未标记的时间序列数据中学习语义丰富的表示对于分类和预测等下游任务至关重要。对比学习最近在缺乏专家注释的情况下显示出其有前途的表示学习能力。然而,现有的对比方法通常独立地对待每个实例,这导致共享相同语义的假阴性对。为了解决这个问题,我们提出了MHCCL,一个掩蔽的分层逐层对比学习模型,它利用从多变量时间序列的多个潜在分区组成的分层结构中获得的语义信息。细粒度的聚类保留了更高的纯度,而粗粒度的一个反映了更高层次的语义,我们提出了一种新的向下掩蔽策略,过滤掉假阴性和补充阳性,将多粒度的信息从聚类层次结构。此外,在MHCCL中设计了一种新的向上掩蔽策略来去除每个分区上的异常值,从而改进原型,这有助于加快层次聚类过程,提高聚类质量。我们对七个广泛使用的多变量时间序列数据集进行了实验评估。结果表明,MHCCL的优越性超过国家的最先进的方法,无监督的时间序列表示学习。
2023-03-30 cs.AI cs.LG
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore(尤尼福尔(Uniphore))
本文提出可控意图发现(CDI)框架,通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习,实现人在回路的增量式意图发现,在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG