An Introductory Survey to Autoencoder-based Deep Clustering -- Sandboxes for Combining Clustering with Deep Learning
Aalto University, University of Helsinki(阿alto大学,赫尔辛基大学);Faculty of Computer Science, University of Vienna(计算机科学学院,维也纳大学)
本综述介绍基于自编码器的深度聚类基础算法,利用其无监督低维表示能力缓解维度灾难,并作为现代聚类方法的核心构建模块。
2025-05-26 cs.AI cs.LG
N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding
University of Bristol(布里斯托大学)
深度聚类已经越来越多地显示出优于传统的浅聚类算法。深度聚类算法通常将表示学习与深度神经网络相结合以实现此性能,通常优化聚类和非聚类损失。在这种情况下,自动编码器通常与聚类网络连接,并且最终的聚类由自动编码器和聚类网络共同学习。相反,我们建议学习自动编码的嵌入,然后进一步搜索底层流形。为了简单起见,我们使用浅聚类算法对其进行聚类,而不是更深的网络。我们在原始数据和自动编码嵌入上研究了一些局部和全局流形学习方法,得出的结论是,我们框架中的UMAP最能找到嵌入中最具聚类性的流形,这表明自动编码嵌入上的局部流形学习对于发现更高质量的发现聚类是有效的。我们在一系列图像和时间序列数据集上定量显示,我们的方法与最新的深度聚类算法相比具有竞争力的性能,包括在几个方面优于当前最先进的算法。我们假设,这些结果显示了一个有前途的研究方向,深度聚类。代码可以在https://github.com/rymc/n2d上找到
2020-06-30 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes(巴黎笛卡尔大学)
最近,许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式,其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示,或者同时方式,其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能,但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍,其中包括权重初始化,层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响,我们提出了一种新的模型,该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
DAC: Deep Autoencoder-based Clustering, a General Deep Learning Framework of Representation Learning
Portland State University(波特兰州立大学)
聚类在许多现实世界的应用中扮演着重要的角色,例如市场研究、模式识别、数据分析和图像处理。然而,由于输入特征值的高维性,被馈送到聚类算法的数据通常包含噪声,从而可能导致不准确的聚类结果。虽然传统的降维和特征选择算法可以用来解决这个问题,这些算法中使用的简单的启发式规则是基于一些特定的假设。当这些假设不成立时,这些算法可能就不起作用了。在本文中,我们提出了DAC,基于深度自动编码器的聚类,这是一个通用的数据驱动框架,可以使用深度神经元网络学习聚类表示。实验结果表明,该方法可以有效地提高K-Means聚类算法在各种类型数据集上的性能。
2021-02-15 cs.AI cs.LG
Deep Clustering with a Constraint for Topological Invariance based on Symmetric InfoNCE
Tokyo Institute of Technology(东京工业大学);Fujitsu Limited(富士通有限公司);RIKEN AIP(理化学研究所人工智能研究中心)
我们考虑深度聚类的情况下,可用的先验知识是有限的。在这种情况下,很少有现有的最先进的深度聚类方法可以很好地执行非复杂拓扑和复杂拓扑数据集。为了解决这个问题,我们提出了一个约束,利用对称的InfoNCE,这有助于深度聚类方法的目标在场景中的模型训练,以便不仅是有效的非复杂的拓扑结构,但也复杂的拓扑数据集。此外,我们提供了几个理论解释的原因,约束可以提高性能的深度聚类方法。为了确认所提出的约束的有效性,我们引入了一种名为MIST的深度聚类方法,它是现有深度聚类方法和我们的约束的组合。我们通过MIST的数值实验表明,该约束是有效的。此外,对于大多数常用的十个基准数据集,MIST的性能优于其他最先进的深度聚类方法。
2023-03-06 cs.LG stat.ML
Some issues in robust clustering
University of Bologna(博洛尼亚大学)
该研究聚焦基于高斯混合模型的鲁棒聚类,探讨了异常值定义、异常值与簇的模糊性、簇数估计交互、调参依赖及稳定性度量缺陷等关键问题。
2023-08-28 cs.LG stat.ME stat.ML
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China(电子科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近,可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上,忽略了聚类的复杂应用场景。为了解决这个问题,在本文中,我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件,我们系统地区分聚类方法的方法,先验知识和架构。具体地,根据四个类别介绍了深度聚类方法,即,传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后,我们讨论了开放的挑战和潜在的未来机会,在不同领域的深度集群。
2022-10-09 cs.LG
Deep Clustering Evaluation: How to Validate Internal Clustering Validation Measures
University of Kentucky(肯塔基大学)
本文针对深度聚类评估中传统内部聚类验证指标的问题,提出一套系统评估框架,通过理论分析、识别可靠嵌入空间及加权评分,减少不当使用指标的误导,提升与外部指标的一致性。
2026-08-25 cs.LG stat.ML
A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions
Zhejiang University(浙江大学);Macquarie University(麦考瑞大学);Tsinghua University(清华大学);Simon Fraser University(西蒙弗雷泽大学)
聚类是一个基本的机器学习任务,已在文献中广泛研究。经典的聚类方法遵循这样的假设,即通过各种表示学习技术将数据表示为矢量化形式的特征。随着数据的日益复杂化,传统的浅层聚类方法已经不能处理高维的数据类型。随着深度学习,特别是深度无监督学习的巨大成功,在过去的十年里,许多具有深度架构的表示学习技术被提出。最近,深度聚类的概念,即,联合优化的表示学习和聚类,已被提出,因此引起了越来越多的关注,在社会上。受深度学习在聚类(最基本的机器学习任务之一)中取得的巨大成功以及该方向的大量最新进展的启发,本文通过提出不同最先进方法的新分类法,对深度聚类进行了全面的调查。我们总结了深度聚类的基本组成部分,并通过设计深度表示学习和聚类之间的交互方式对现有方法进行分类。此外,本调查还提供了流行的基准数据集,评估指标和开源实现,以清楚地说明各种实验设置。最后但并非最不重要的是,我们讨论了深度聚类的实际应用,并提出了值得进一步研究的具有挑战性的主题作为未来的方向。
2022-06-15 cs.AI cs.LG
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University(北京大学)
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而,当前深度方法的训练收敛缓慢,这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络(RED-SC),它将卷积层和去卷积层与跳过层连接对称地连接起来,使用这种连接,训练收敛得更快。我们使用一个自我表达层,通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明,RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外,我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Rethinking Clustering for Robustness
Universidad de los Andes(安第斯大学);University of Oxford(牛津大学);Facebook Reality Labs(Facebook现实实验室)
本文研究了在深度神经网络训练过程中鼓励语义对齐的特征如何提高网络的鲁棒性。最近的研究发现,对抗性训练可以产生强大的模型,其学习特征似乎与人类感知相关。受这种从鲁棒性到语义的联系的启发,我们研究了互补的联系:从语义到鲁棒性。为此,我们为基于距离的分类模型(基于聚类的分类器)提供了鲁棒性证书。此外,我们证明了这个证书是严格的,我们利用它提出了一个基于聚类和无对抗性的训练框架来学习鲁棒模型的Clustering Training for Robustness(聚类训练鲁棒性)。有趣的是,在强PGD攻击下,\textit{ClusTR}的性能比经过对抗训练的网络高出$4\%$。
2021-11-19 cs.LG stat.ML
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University(帕德博恩大学)
我们提出了一种训练方案,当并行干净数据不可用时,从头开始训练基于神经网络的声源分离算法。特别是,我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为,以前的工作需要强有力的监督,并详细说明为什么这是一个限制。我们证明了(a)根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能,以及(b)使用深度聚类结果初始化空间聚类方法,与无监督教师相比,相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Deep clustering with concrete k-means
University of Edinburgh(爱丁堡大学);University of Surrey(萨里大学);Samsung AI Centre(三星人工智能中心)
我们解决的问题,同时学习k均值聚类和深度特征表示从未标记的数据,这是感兴趣的,由于深度k均值的潜力优于传统的两步特征提取和浅聚类策略。我们通过Gumbel-Softmax重新参数化技巧为不可微的k-means目标开发一个梯度估计器来实现这一点。与之前的深度聚类尝试相比,我们的具体k-means模型可以针对标准k-means目标进行优化,并且很容易进行端到端训练,而无需采用交替优化。我们证明了我们的方法对标准聚类基准的有效性。
2019-10-17 cs.LG stat.ML
Deep Representation Learning for Clustering of Health Tweets
Faculty of Medicine and Health Technology, Tampere University(坦佩雷大学医学院与健康技术学院)
Twitter一直是一个突出的社交媒体平台,用于挖掘人口层面的健康数据,将健康相关的推文准确聚类为主题对于提取相关的健康见解非常重要。在这项工作中,我们提出了深度卷积自动编码器,用于学习健康相关推文的紧凑表示,进一步用于聚类。我们比较了我们的方法,几个传统的鸣叫表示方法,包括袋的话,词频逆文档频率,潜在的Dirichlet分配和非负矩阵分解3种不同的聚类算法。我们的研究结果表明,聚类性能使用建议的表示学习计划显着优于传统的方法为所有实验的不同数量的集群。此外,为了进一步提高聚类性能,我们在神经网络训练过程中对学习到的表示提出了一个约束。总而言之,本研究介绍了基于深度神经网络的架构的利用,即,深度卷积自动编码器,用于学习健康相关推文的信息表示。
2018-12-25 cs.CL cs.IR cs.LG
Robust Representation Learning with Reliable Pseudo-labels Generation via Self-Adaptive Optimal Transport for Short Text Clustering
Zhejiang University(浙江大学)
本文提出RSTC模型,通过自适应最优传输生成可靠伪标签,并结合类别级与实例级对比学习,提升短文本聚类在不平衡和噪声数据下的鲁棒性。
2023-05-23 cs.AI cs.CL cs.LG
A Framework for Deep Constrained Clustering -- Algorithms and Advances
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
约束聚类领域已经被研究人员广泛探索,并被实践者使用。约束聚类公式适用于k均值、混合模型和谱聚类等流行算法,但有几个局限性。深度学习的一个基本优势是它的灵活性,在这里,我们将探索一个用于约束聚类的深度学习框架,特别是探索它如何扩展约束聚类领域。我们表明,我们的框架不仅可以处理标准的一起/分开的约束(没有记录良好的负面影响报告)产生的标记的边信息,但更复杂的约束产生的新类型的边信息,如连续值和高层次的领域知识。
2019-12-19 cs.LG stat.ML
Clustering with Deep Learning: Taxonomy and New Methods
Technical University of Munich(慕尼黑工业大学)
基于深度神经网络的聚类方法由于其高表示能力而被证明有希望聚类真实世界的数据。在本文中,我们提出了一种利用深度神经网络的聚类方法的系统分类。我们基于我们的分类法对最近的工作进行了全面的回顾,并在案例研究中验证了分类法。在这个案例研究中,我们表明,分类使研究人员和从业者有选择地重组和取代以前的方法的不同方面,克服其个别的局限性的目标,系统地创建新的聚类方法。实验评估证实了这一点,并表明,为案例研究创建的方法实现了最先进的聚类质量,并在某些情况下超越它。
2018-09-13 cs.AI cs.CV cs.LG
DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps
ETH Zürich(苏黎世联邦理工学院)
从复杂数据生成可解释的可视化是许多应用中的常见问题。解决这个问题的两个关键要素是聚类和表示学习。然而,当前的方法尚未成功地结合这两种方法的优点。现有的表示学习模型依赖于潜在的拓扑结构,如自组织映射,表现出显着较低的聚类性能相比,最近的深度聚类方法。为了缩小这一性能差距,我们(a)提出了一种新的方法来适应自组织映射与概率聚类分配(PSOM),(b)提出了一种新的深度架构的概率聚类(DPSOM)使用VAE,和(c)扩展我们的架构的时间序列聚类(T-DPSOM),这也允许预测的潜在空间使用LSTM。我们表明,DPSOM实现了优越的聚类性能相比,目前的深度聚类方法MNIST/时尚MNIST,同时保持良好的可视化特性的SOM。在医疗时间序列上,我们证明了T-DPSOM在时间序列聚类和时间序列预测方面优于基线方法,同时提供了患者状态轨迹和不确定性估计的可解释的可视化。
2020-06-09 cs.LG stat.ML
Deep Temporal Graph Clustering
National University of Defense Technology(国防科技大学);Intelligent Game and Decision Lab(智能游戏与决策实验室)
针对现有深度聚类无法适配时序图、易丢失动态信息且计算成本高的问题,提出通用深度时序图聚类框架TGC,适配时序图批处理模式,可有效提升时序图学习性能与时空平衡灵活性。
2024-04-11 cs.AI cs.LG
Interpreting deep embeddings for disease progression clustering
BenevolentAI(BenevolentAI公司)
本文提出一种解释患者聚类中深度嵌入的新方法,在UK Biobank的2型糖尿病数据集上验证,揭示了具有临床意义的疾病进展模式。
2023-07-31 cs.CL cs.LG q-bio.QM
Effectiveness of Deep Image Embedding Clustering Methods on Tabular Data
Tennessee State University(田纳西州立大学)
文献中的深度学习方法通常是在图像数据集上进行基准测试的,这可能不是非图像表格数据的合适或有效基线。在本文中,我们采取以数据为中心的观点来执行表格数据的深度嵌入聚类的第一个研究之一。八个聚类和国家的最先进的嵌入聚类方法提出的图像数据集上测试七个表格数据集。我们的研究结果表明,传统的聚类方法在八种方法中排名第二,并且优于大多数深度嵌入聚类基线。我们的观察与文献一致,即表格数据的传统机器学习仍然是对抗深度学习的鲁棒方法。因此,最先进的嵌入式聚类方法应该考虑以数据为中心的学习架构定制,以成为表格数据的竞争基线。
2023-01-11 cs.AI cs.LG cs.NE
Deep Density-based Image Clustering
University of Electronic Science and Technology of China(电子科技大学)
最近,能够通过深度神经网络执行有利于聚类任务的特征学习的深度聚类在图像聚类应用中取得了显著的性能。然而,现有的深度聚类算法通常需要预先知道聚类的数量,而这在现实任务中通常是未知的。此外,在学习的特征空间中的初始聚类中心生成的$k$ -手段。这只适用于球形聚类,并可能导致不稳定的聚类结果。在本文中,我们提出了一个两阶段的深度密度为基础的图像聚类(DDC)框架来解决这些问题。第一阶段是训练深度卷积自动编码器(CAE)以从高维图像数据中提取低维特征表示,然后应用t-SNE将数据进一步减少到有利于基于密度的聚类算法的2维空间。第二阶段是应用开发的基于密度的聚类技术的2维嵌入数据自动识别适当数量的集群与任意形状。具体地说,该算法通过生成多个局部聚类来捕捉聚类的局部结构,然后通过聚类结果的密度关系进行聚类合并。实验表明,所提出的DDC实现可比的,甚至更好的聚类性能比国家的最先进的深度聚类方法,即使没有给出的集群的数量。
2018-12-11 cs.CV cs.LG stat.ML
Recurrent Deep Divergence-based Clustering for simultaneous feature learning and clustering of variable length time series
UiT The Arctic University of Norway(挪威北极大学)
聚类未标记的时间序列和序列的任务需要一组特定的挑战,即充分建模时间关系和可变序列长度。如果这些挑战没有得到适当的处理,那么生成的集群可能质量不佳。作为一个关键的解决方案,我们提出了一个基于深度学习的时间序列联合聚类和特征学习框架。对于给定的一组时间序列,我们训练一个递归网络来表示或嵌入向量空间中的每个时间序列,使得基于发散的聚类损失函数可以以端到端的方式发现底层聚类结构。与以前的方法不同,我们的模型固有地处理可变长度的多变量时间序列,并且不需要在输入空间中指定距离度量。在一组不同的基准数据集上,我们说明了我们提出的基于递归深度分歧的聚类方法优于以前的方法,或者与以前的方法相当。
2019-02-16 cs.LG stat.ML
Deep Clustering of Tabular Data by Weighted Gaussian Distribution Learning
Tennessee State University(田纳西州立大学)
针对表格数据异构特征带来的聚类挑战,提出无监督深度聚类框架G-CEALS,通过迭代更新聚类权重学习多元高斯分布参数,在16个数据集上优于9种SOTA方法及传统K-means、GMM。
2024-05-17 cs.AI cs.LG
Structural Deep Clustering Network
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent(腾讯);Tsinghua University(清华大学)
聚类是数据分析中的一项基本任务。最近,主要从深度学习方法中获得灵感的深度聚类实现了最先进的性能,并引起了相当大的关注。当前的深度聚类方法通常借助于深度学习的强大表示能力来提升聚类结果,例如,自动编码器,这表明学习有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身提取有用的表示,而不是数据的结构,这在表示学习中很少受到关注。基于图卷积网络(GCN)在编码图结构方面取得的巨大成功,提出了一种结构化深度聚类网络(SDCN),将结构信息集成到深度聚类中。具体来说,我们设计了一个传递算子来将自动编码器学习到的表示传递到相应的GCN层,并设计了一个双重自监督机制来统一这两种不同的深度神经架构,并指导整个模型的更新。通过这种方式,从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。此外,我们从理论上分析了交付运营商,即,通过传递算子,GCN将自动编码器特定的表示改进为高阶图正则化约束,并且自动编码器有助于减轻GCN中的过度平滑问题。通过全面的实验,我们证明了我们提出的模型可以始终比最先进的技术表现得更好。
2020-02-12 cs.LG stat.ML
Deep Descriptive Clustering
University of California, Davis(加州大学戴维斯分校)
最近的工作可解释的聚类允许描述集群时的功能是可解释的。然而,许多现代机器学习都集中在复杂的数据上,如图像、文本和图形,其中使用了深度学习,但数据的原始特征是不可解释的。本文探讨了一种新的设置复杂的数据进行聚类,同时使用可解释的标签生成解释。我们提出了深度描述性聚类,在复杂数据上执行子符号表示学习,同时基于符号数据生成解释。通过最大化输入数据的经验分布与聚类目标的诱导聚类标签之间的互信息,形成良好的聚类。我们通过求解一个整数线性规划来生成解释,该规划为每个聚类生成简洁和正交的描述。最后,我们允许的解释,通知更好的聚类提出了一种新的成对损失与自我生成的约束,以最大限度地提高聚类和解释模块的一致性。在公开数据上的实验结果表明,我们的模型在聚类性能上优于竞争基线,同时提供高质量的聚类级解释。
2021-05-24 cs.AI cs.LG
Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco(伯南布哥联邦大学)
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样,最新的改进来自基于深度学习方法的模型。然而,经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中,我们提出了使用视觉注意技术,以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类(DAC)的深度图像聚类模型与空间Transformer网络(STN)的组合。该模型在数据集MNIST和FashionMNIST中进行了评估,并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
On the Robustness of Deep Clustering Models: Adversarial Attacks and Defenses
University of California(加利福尼亚大学)
聚类模型是一类无监督的机器学习方法,在现代数据科学中发挥着重要作用。随着深度学习的最新进展,深度聚类模型已经成为传统聚类方法的最新技术,特别是对于高维图像数据集。虽然传统的聚类方法已经从鲁棒性的角度进行了分析,但没有先前的工作以原则性的方式研究了深度聚类模型的对抗攻击和鲁棒性。为了弥合这一差距,我们提出了一种使用生成对抗网络(GANs)的黑盒攻击,其中对手不知道正在使用哪个深度聚类模型,但可以查询它的输出。我们分析了我们对多个最先进的深度聚类模型和真实世界数据集的攻击,发现它非常成功。然后,我们采用一些自然的无监督防御方法,但发现这些都无法减轻我们的攻击。最后,我们攻击Face++,一个生产级的人脸聚类API服务,发现我们也可以显着降低其性能。通过这项工作,我们的目标是激发对真正强大的深度聚类模型的需求。
2022-10-04 cs.AI cs.CR cs.LG
Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift
University of Quebec at Montreal(蒙特利尔魁北克大学);University of Windsor(温莎大学)
近年来,使用深度自动编码器的聚类已经得到了彻底的研究。目前的方法依赖于同时学习嵌入式特征和聚类潜在空间中的数据点。尽管许多深度聚类方法在几个高语义数据集上取得了良好的结果,但这些模型的一个关键弱点被忽视了。在缺乏具体监督信号的情况下,嵌入式聚类目标函数可能会通过从不可靠的伪标签中学习来扭曲潜在空间。因此,网络可以学习非代表性的特征,这反过来又破坏了区分能力,产生更差的伪标签。为了减轻随机判别特征的影响,现代基于自动编码器的聚类论文提出使用重建损失进行预训练,并在聚类阶段作为正则化器。然而,聚类-重构折衷可能导致\textit{Feature Drift}现象。在本文中,我们提出了ADEC(对抗深度嵌入式聚类)一种新的基于自动编码器的聚类模型,它解决了一个双重问题,即\textit{Feature Randomness}和\textit{Feature Drift},使用对抗训练。我们经验证明了我们的模型在处理这些问题上使用基准真实数据集的适用性。实验结果验证了我们的模型优于最先进的自动编码器为基础的聚类方法。
2019-09-26 cs.LG stat.ML
Deep Clustering With Intra-class Distance Constraint for Hyperspectral Images
Liaoning Technical University(辽宁工程技术大学);Haixi Institute, Chinese Academy of Sciences(中国科学院海西研究院);Technical University of Munich(慕尼黑工业大学);Hong Kong Polytechnic University(香港理工大学)
高光谱图像的高维性往往导致聚类性能的下降。基于深度学习的聚类算法由于其强大的深度特征提取能力和非线性特征表示能力,成为高光谱遥感领域的研究热点。然而,大多数高光谱图像的深度聚类算法利用深度神经网络作为特征提取器,而不考虑适合聚类的先验知识约束。为了解决这个问题,我们提出了一个类内距离约束的高维高光谱图像深度聚类算法。该算法通过类内距离约束自动编码器网络的特征映射过程,使原始图像从原始高维空间转换到更有利于聚类的低维特征空间。此外,相关的学习过程被视为深度特征提取和聚类的联合优化问题。实验结果表明,该算法与现有的高光谱图像聚类方法相比具有很强的竞争力。
2019-04-01 cs.LG eess.IV stat.ML
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University(西南大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
多视图聚类的目的是整合来自多个异构视图的互补信息,以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性,多视图数据可以从不同的角度进行合理和有趣的不同分组。然而,如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中,我们引入了一个基于深度矩阵分解的解决方案(DMClusts)来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间,并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性,它最小化了一个新的冗余量化项,该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程,同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实,DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Federated Deep Clustering Networks for High-Dimensional and Heterogeneous Data
Maastricht University(马斯特里赫特大学)
针对联邦学习中高维异构数据聚类问题,提出FedDCN方法,通过联合优化重建与聚类损失并引入几何正则化,在非独立同分布场景下实现鲁棒聚类。
2026-09-21 cs.AI cs.LG
Deep Kernel Learning for Clustering
Northeastern University(东北大学)
我们提出了一种深度学习方法,用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的,并且至少与谱聚类一样具有表达力。我们的训练目标,基于Hilbert Schmidt信息准则,可以通过Stiefel流形上的梯度自适应来优化,从而显著加速依赖于特征分解的谱方法。最后,我们训练的嵌入可以直接应用于样本外数据。我们的实验表明,我们的方法优于几个国家的最先进的深度聚类方法,以及传统的方法,如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Deep Fair Discriminative Clustering
University of California - Davis(加州大学戴维斯分校)
与传统的聚类方法(如$k$ -means和谱聚类)相比,深度聚类具有学习强表示的潜力,因此具有更好的聚类性能。然而,这种强大的表示学习能力可能会通过发现受保护信息的代理人而使聚类不公平,这在我们的实验中是经验性的。在这项工作中,我们研究了一个一般的概念,二进制和多状态保护状态变量(PSV)的组级公平性。我们首先将组级公平性问题制定为整数线性规划公式,其完全么模约束矩阵意味着它可以通过线性规划有效地解决。然后,我们展示了如何将此求解器注入到一个有区别的深度聚类骨干中,从而提出了一种改进的学习算法,将聚类目标与公平目标相结合,以自适应地学习公平聚类。在真实数据集上的实验结果表明,我们的模型始终优于最先进的公平聚类算法。我们的框架显示出可喜的成果,新的聚类任务,包括灵活的公平性约束,多状态PSV和预测聚类。
2021-05-28 cs.CY cs.LG stat.ML
Deep $k$-Means: Jointly clustering with $k$-Means and learning representations
本文研究了联合聚类和学习表示的问题。正如之前的几项研究所表明的那样,学习既忠实于待聚类的数据又适应聚类算法的表示可以带来更好的聚类性能,更重要的是,这两项任务是联合执行的。我们在这里提出了这样一种方法,$k$ -均值聚类的基础上连续reparametrization的目标函数,导致一个真正的联合解决方案。我们的方法的行为在各种数据集上进行了说明,显示了它在聚类时学习对象表示的有效性。
2018-12-12 cs.LG stat.ML
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota(明尼苏达大学)
尽管传统的聚类算法,如K-means和概率聚类的流行,他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力,从而使其结果不可靠。本文提出了鲁棒的聚类算法,不仅旨在聚类的数据,但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在,这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性,提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值,同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本,以有效地处理高维数据,识别非线性可分离的聚类,甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Deep Discriminative Clustering Analysis
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Intel Labs China(英特尔中国研究院)
传统的聚类方法往往用低级的无差别表示进行聚类,忽略了模式之间的关系,导致在深度学习时代收效甚微。为了解决这个问题,我们开发了深度判别聚类(DDC),它通过使用深度神经网络调查模式之间的关系来建模聚类任务。在技术上,引入全局约束以自适应地估计关系,并开发局部约束以赋予网络学习高级判别表示的能力。通过迭代地训练网络并以小批量方式估计关系,DDC理论上收敛,并且训练的网络能够生成一组可以被视为直接聚类的聚类中心的判别表示。大量的实验表明,DDC优于目前的方法在8个图像,文本和音频数据集同时。
2019-05-05 cs.CV cs.LG stat.ML
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University(西安电子科技大学);Southern University of Science and Technology(南方科技大学);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起,以获得最佳嵌入子空间进行聚类,与传统的聚类方法相比,它可以更有效。在本文中,我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络,它强制执行潜在表示及其噪声版本的重建约束,将输入嵌入到潜在空间中进行聚类。因此,学习的潜在表示可以对噪声更鲁棒。然后,利用互信息估计来提供来自输入的更多辨别性信息。此外,一个深谱聚类方法被应用到嵌入到特征空间的潜在表示,并随后聚类它们,它可以充分利用输入之间的关系,以达到最佳的聚类结果。基准数据集上的实验结果表明,我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
A Survey of Deep Graph Clustering: Taxonomy, Challenge, Application, and Open Resource
National University of Defense Technology(国防科技大学);Westlake University(西湖大学);Chinese PLA General Hospital(中国人民解放军总医院)
本文对深度图聚类领域进行了全面综述,基于四个标准提出分类法,分析现有方法与挑战,介绍六大领域应用,并提供开源代码与统一框架资源。
2023-09-12 cs.AI cs.LG
Deep Online Probability Aggregation Clustering
Systems Engineering Institute, Xi’an Jiaotong University(西安交通大学系统工程研究所)
针对深度聚类交替训练的不稳定与高计算量问题,提出无中心概率聚合聚类算法PAC及在线模块,构建深度框架DPAC,实验证明其性能与鲁棒性优于现有方法。
2024-07-13 cs.CV cs.LG
Deep Divergence-Based Approach to Clustering
UiT the Arctic University of Norway(挪威北极大学);University of Exeter(埃克塞特大学);University of Manitoba(曼尼托巴大学);Norwegian Computing Center(挪威计算中心)
深度学习研究的一个有前途的方向是学习表示,同时通过优化判别损失函数来发现未标记数据中的聚类结构。与监督式深度学习相反,这一研究领域还处于起步阶段,如何设计和优化合适的损失函数来训练深度神经网络进行聚类仍然是一个悬而未决的问题。我们对这一新兴领域的贡献是一个新的深度聚类网络,它利用了信息理论分歧度量的区分能力,这在传统聚类中已被证明是有效的。我们提出了一种新的损失函数,结合几何正则化约束,从而避免退化结构的聚类分区。在合成基准和真实数据集上的实验表明,该网络与其他最先进的方法相比具有竞争力的性能,可以很好地扩展到大数据集,并且不需要预训练步骤。
2019-02-13 cs.LG stat.ML
Joint Optimization of an Autoencoder for Clustering and Embedding
UiT The Arctic University of Norway(挪威北极圈大学);Institute of Information Systems(信息系统研究所)
深度嵌入式聚类已经成为使用深度神经网络对对象进行无监督分类的主要方法。最流行的方法的优化在深度自动编码器的训练和自动编码器嵌入的k均值聚类之间交替。然而,历时性的背景使前者无法从后者获得的有价值的信息中获益。在本文中,我们提出了一种替代方案,其中自动编码器和聚类同时学习。这是通过提供新的理论见解来实现的,在那里我们表明,某一类高斯混合模型(GMM)的目标函数可以自然地被改写为一个隐藏层自动编码器的损失函数,从而继承了GMM的内置聚类能力。这个简单的神经网络,被称为聚类模块,可以被集成到深度自动编码器中,从而产生能够联合学习聚类和嵌入的深度聚类模型。实验证明了聚类模型与高斯混合模型的等价性。进一步的评估肯定了我们的深度架构的经验相关性,因为它在几个数据集上的表现优于相关基线。
2021-05-01 cs.LG stat.ML
A self-adaptive and robust fission clustering algorithm via heat diffusion and maximal turning angle
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University of Science and Technology(南京理工大学)
聚类分析是对相似的元素进行分组和分类的方法,广泛应用于各个研究领域。裂变聚类算法是近年来提出的一种新的快速聚类算法。本文提出了一种鲁棒的裂变聚类算法(RFC)和一种自适应噪声识别方法。将RFC与自适应噪声辨识方法相结合,提出了一种自适应鲁棒裂变聚类(SARFC)算法。几个常用的数据集被用来测试所提出的聚类方法的性能,并与其他算法的结果进行比较。综合比较表明,该方法具有优于其他常用方法。
2021-02-07 cs.CV cs.LG stat.ML
Robust Consensus Clustering and its Applications for Advertising Forecasting
Yahoo Research(雅虎研究院)
共识聚类聚合分区,以便通过协调来自不同来源/执行的聚类结果来找到更好的拟合。在实际应用中,聚类任务中存在噪声和离群点,这可能会显著降低性能。为了解决这个问题,我们提出了一种新的算法-鲁棒的共识聚类,可以找到专家的意见,这往往是最小的影响所造成的偏差离群值之间的共同点。特别是,我们形式化的鲁棒一致性聚类问题作为一个约束优化问题,然后推导出一个有效的算法交替方向的乘法器(ADMM)具有严格的收敛保证。我们的方法优于基准的基线。我们将所提出的方法应用于现实世界的广告活动分割和预测任务,使用建议的共识聚类结果的基础上通过Kolmogorov-Smirnov统计计算的相似性。准确的聚类结果有助于建立广告客户档案,以便执行预测。
2022-12-27 cs.AI cs.IR cs.LG
DeepDPM: Deep Clustering With an Unknown Number of Clusters
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
深度学习(DL)在无监督聚类任务中表现出了巨大的潜力。也就是说,虽然在古典(即,非深度)聚类非参数方法的好处是众所周知的,大多数深度聚类方法是参数的:即,它们需要预定义的固定数目的聚类,用K表示。然而,当K未知时,使用模型选择标准来选择其最佳值可能会在计算上变得昂贵,特别是在DL中,因为训练过程必须重复多次。在这项工作中,我们通过引入一种有效的深度聚类方法来弥合这一差距,该方法不需要知道K的值,因为它在学习过程中推断它。使用分裂/合并框架,一个动态的架构,适应不断变化的K,和一个新的损失,我们提出的方法优于现有的非参数方法(经典和深度)。虽然现有的极少数深度非参数方法缺乏可扩展性,但我们通过第一个在ImageNet上报告这种方法的性能来证明我们的方法。我们还展示了推断K的重要性,通过展示当假设的K值与地面真实值相差更远时,特别是在不平衡数据集上,修复K的方法如何在性能上恶化。我们的代码可在https://github.com/BGU-CS-VIL/DeepDPM上获得。
2022-03-27 cs.LG stat.ML
Towards understanding deep learning with the natural clustering prior
UCLouvain(鲁汶天主教大学)
先验知识(A.K.A.)先验知识)对机器学习系统的泛化能力有很大的影响。在深度学习的特定背景下,这些先验知识中的一些还很难被理解,因为它们隐含地出现在深度学习设计中涉及的生物大脑的成功尝试和尝试性近似中。通过监督图像分类问题的镜头,本文研究了自然聚类先验的隐式集成,该先验由三个陈述组成:(i)自然图像表现出丰富的聚类结构,(ii)图像类由多个聚类组成,(iii)每个聚类包含来自单个类的示例。将类分解为多个聚类意味着有监督的深度学习系统可以从无监督聚类中受益,以定义适当的决策边界。因此,本文试图识别深度学习系统中的隐式聚类能力、机制和超参数,并评估它们与解释这些系统泛化能力的相关性。我们通过对训练动态以及深层神经网络的神经元和层级表示进行广泛的实证研究来实现这一点。由此产生的实验集合为理解深度学习的自然聚类先验的相关性提供了初步证据。
2022-03-15 cs.AI cs.LG
Deep Closed-Form Subspace Clustering
SI Analytics(SI Analytics公司)
我们提出了深度闭型子空间聚类(DCFSC),一个新的非常简单的模型,用于子空间聚类与学习非线性映射。与以前的深度子空间聚类(DSC)技术相比,我们的DCFSC没有任何参数在所有的自我表达层。相反,DCFSC利用了隐式数据驱动的自表达层,该层来自封闭形式的浅层自动编码器。此外,DCFSC也没有复杂的优化方案,不像其他的子空间聚类方法。由于其极其简单,DCFSC与现有的DSC方法相比具有显着的内存相关优势,特别是在大型数据集上。实验结果表明,DCFSC模型有足够的潜力成为一个新的参考模型的子空间聚类的大规模高维数据集。
2019-08-26 cs.CV cs.LG stat.ML
DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
本文提出DeepCluE方法,通过从无监督对比学习训练的网络中提取多层特征并构建多样化基础聚类,再基于熵准则和加权二分图迁移割获得共识聚类,在六个图像数据集上验证了其优于现有深度聚类方法。
2023-09-17 cs.CV cs.LG
Deep Incomplete Multi-View Multiple Clusterings
Joint SDU-NTU Centre for Artificial Intelligence Research, Shandong University(山东大学-南洋理工大学人工智能联合研究中心,山东大学);College of Computer and Information Sciences, Southwest University(西南大学计算机与信息科学学院);School of Software, Shandong University(山东大学软件学院);CEMSE, King Abdullah University of Science and Technology(计算机、工程与数学科学学院,沙特阿拉伯国王阿卜杜拉科技大学);Department of Computer Science, George Mason University(乔治梅森大学计算机科学系)
多视图聚类的目的是利用来自多个异构视图的信息来促进聚类。大多数以前的作品搜索只有一个最佳的聚类的基础上预定义的聚类标准,但设计这样一个标准,捕捉用户需要的是困难的。由于多视图数据的多样性,我们可以有有意义的替代聚类。此外,不完全多视图数据问题在现实世界中是普遍存在的,但尚未研究多个聚类。为了解决这些问题,我们引入了一个深度不完整多视图多聚类(DiMVMC)框架,该框架通过优化多组解码器深度网络,同时实现数据视图和多个共享表示的完成。此外,它最小化的冗余项,同时%使用希尔伯特-施密特独立性准则(HSIC)来控制这些表示之间的差异和不同的网络参数之间。接下来,它从这些共享表示中的每一个生成单独的聚类。在基准数据集上的实验证实,DiMVMC在生成具有高多样性和高质量的多个聚类方面优于最先进的竞争对手。
2020-10-02 cs.LG stat.ML
Error-Robust Multi-View Clustering: Progress, Challenges and Opportunities
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
随着多源数据汇集技术的发展,多视图数据受到了广泛关注。在多视图数据中,每个视图代表数据的不同视角。由于标签信息的获取往往是昂贵的,多视图聚类得到了越来越多的关注,其目的是获得更好的聚类解决方案,利用互补和一致的信息,而不是只使用一个单独的视图。由于不可避免的传感器故障,每个视图中的数据可能包含错误。误差通常表现为噪声或特定于特征的损坏或离群值。多视图数据可能包含这些错误类型中的任何一种或组合。对多视图数据进行盲聚类,而不考虑视图中可能的错误可能会显著降低性能。错误鲁棒多视图聚类的目标是即使多视图数据被破坏也能获得有用的结果。现有的具有显式错误去除公式的错误鲁棒性多视图聚类方法可以分为五个广泛的研究类别-基于稀疏性范数的方法、基于图的方法、基于子空间的学习方法、基于深度学习的方法和混合方法,本次调查总结并回顾了多视图数据错误鲁棒性聚类的最新进展。最后,我们强调的挑战,并提供未来的研究机会。
2021-05-07 cs.LG stat.ML
Deep Clustering via Distribution Learning
University of Alberta(阿尔伯塔大学)
本文提出基于分布学习的深度聚类方法DCDL,通过理论分析指导聚类优化,并引入聚类蒙特卡洛边缘化解决分布学习难以直接应用的问题,在常用数据集上取得优于现有方法的聚类效果。
2024-08-06 cs.LG
How to Achieve the Intended Aim of Deep Clustering Now, without Deep Learning
State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China(新型软件技术国家重点实验室,南京大学,南京,中国);School of Artificial Intelligence, Nanjing University, Nanjing, China(人工智能学院,南京大学,南京,中国)
本文探讨了深度聚类方法是否能克服k-均值聚类的根本限制,并发现非深度学习方法可通过利用数据分布信息实现深度聚类的目标。
2026-08-26 cs.LG
Deep Amortized Clustering
AITRICS;Kakao Corporation;University of Oxford & Deepmind(牛津大学 & Deepmind)
我们提出了一种深度摊销聚类(DAC),这是一种神经架构,它可以学习使用几次向前传递来有效地聚类数据集。DAC隐式地学习是什么构成了一个集群,如何将数据点分组到集群中,以及如何计算数据集中集群的数量。DAC是使用标记数据集进行训练的元学习,这一过程不同于传统的聚类算法,传统的聚类算法通常需要手动指定的关于聚类形状/结构的先验知识。我们的经验表明,在合成数据和图像数据上,DAC可以有效和准确地聚类来自用于生成训练数据集的相同分布的新数据集。
2019-09-30 cs.LG stat.ML
Deep Learning with Nonparametric Clustering
聚类是机器学习和数据采掘中的一个基本问题。影响聚类性能的一个重要因素是如何学习或设计数据表示(或功能)。幸运的是,深度学习的最新进展可以有效地学习无监督特征,并在许多分类问题中取得了最先进的性能,例如字符识别,对象识别和文档分类。然而,人们很少关注深度学习在无监督聚类问题中的潜力。在本文中,我们提出了一个具有非参数聚类的深度信念网络。作为一种无监督方法,我们的模型首先利用了深度学习的优势进行特征表示和降维。然后,它执行非参数聚类下的最大间隔框架-判别聚类模型,可以有效地在线训练的代码空间。最后在深度信念网络中对模型参数进行优化。因此,该模型可以在一个统一的框架中学习用于聚类的特征并推断模型的复杂性。实验结果表明,我们的方法的优势,竞争力的基线。
2015-01-13 cs.LG