Unsupervised Embedding of Hierarchical Structure in Euclidean Space
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
深度嵌入方法影响了无监督学习的许多领域。然而，学习层次结构的最佳方法使用非欧几里得表示，而欧几里得几何是许多层次聚类算法背后的理论基础。为了弥合这两个领域之间的差距，我们考虑学习数据到欧几里得空间的非线性嵌入作为一种方法来提高凝聚算法产生的层次聚类。为了学习嵌入，我们重新使用一个变分自编码器与高斯混合先验，我们表明，重新调整潜在的空间嵌入，然后应用沃德的基于链接的算法导致改进的结果树状图纯度和Moseley-Wang成本函数。最后，我们补充我们的实证结果与这种方法的成功的理论解释。我们研究了一个嵌入向量的合成模型，证明了Ward的方法可以以很高的概率准确地恢复种植层次聚类。
2020-10-30 cs.LG stat.ML
Hyperbolic Gaussian Blurring Mean Shift: A Statistical Mode-Seeking Framework for Clustering in Curved Spaces
Indian Statistical Institute（印度统计研究所）
HypeGBMS是一种用于曲面空间聚类的统计模式寻找框架，通过双曲距离和莫比乌斯加权均值实现对层次结构的高效捕捉。
2025-12-12 cs.LG stat.ML
Mahalanonbis Distance Informed by Clustering
数据分析、机器学习和信号处理中的一个基本问题是如何比较数据点。对于高维数据集，距离度量的选择特别具有挑战性，其中有意义的问题更加突出（例如图像之间的欧几里得距离）。在本文中，我们建议利用通常被忽略的高维数据的属性-这是源于坐标之间的关系的结构。具体来说，我们表明，组织类似的坐标在集群中可以利用样本之间的马氏距离的建设。当可观察的样本是由隐变量的非线性变换产生的，Mahalanobis距离允许恢复的欧氏距离在隐藏的空间中，我们说明了我们的方法的优势，在一个合成的例子中，发现相关的坐标簇提高了估计的样本的主方向。我们的方法被应用到肺腺癌（肺癌）的基因表达的真实数据。通过使用所提出的指标，我们发现了一个分区的受试者的风险组之间的Kaplan-Meier生存曲线有很好的分离。
2017-08-13 stat.ML
Resolution-limit-free and local Non-negative Matrix Factorization quality functions for graph clustering
许多图聚类质量函数受到分辨率限制，无法在大型图中找到小簇。所谓的无分辨率限制的质量函数没有这个限制。此属性以前是为硬聚类（即图分区）引入的。我们研究了硬图和软图聚类的非负矩阵分解（NMF）的无分辨率限制特性。要在硬集群设置中使用NMF，一种常见的方法是将每个节点分配到其最高成员资格集群。我们表明，在这种情况下，对称NMF是不分辨率限制自由，但它成为这样的硬度约束时，作为优化的一部分。由此产生的函数与常数波茨模型密切相关。在软集群中，节点可以属于多个集群，具有不同的成员关系。在这种情况下，无分辨率限制的属性太强了。因此，我们引入局部性，它大致说明改变图的一部分不会影响图的其他部分的聚类。我们认为，这是一个理想的属性，提供条件下，NMF质量函数是本地的，并提出了一种新的本地概率NMF质量函数的软图聚类。
2014-07-22 stat.ML
Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers
Huazhong University of Science and Technology（华中科技大学）；Shandong University of Finance and Economics（山东财经大学）
基于模糊c-均值的聚类算法经常用于TSK模糊分类器的先验参数估计。从每个集群初始化一个规则。然而，这些聚类算法大多是无监督的，这浪费了宝贵的标签信息的训练数据。提出了一种有监督的增强软子空间聚类算法（SESSC），该算法在聚类过程中同时考虑了类内紧致度、类间分离度和标签信息。它可以有效地处理高维数据，可以单独作为分类器使用，也可以集成到TSK模糊分类器中，进一步提高其性能。在不同应用领域的九个UCI数据集上的实验表明，基于SESSC的初始化方法优于其他聚类方法，特别是当规则数量较少时。
2020-02-27 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Symmetry-free SDP Relaxations for Affine Subspace Clustering
Heidelberg University（海德堡大学）
我们考虑聚类问题，其目标是确定一个最佳分区的一个给定的点集在欧几里得空间的仿射子空间的集合。虽然有大量关于这类问题的算法的文献，但这种方法容易受到初始化不佳的影响，并陷入糟糕的局部最优解。我们缓解这些问题，通过引入一个半定松弛的基础上Lasserre的矩量法。虽然类似的方法是已知的经典欧几里德聚类问题，推广到我们更一般的子空间的情况是不简单的，由于目标函数的高度对称性，削弱了任何凸松弛。因此，我们引入了一个新的机制，对称性破缺的基础上覆盖的可行域与多面体。此外，我们介绍和分析了一个确定性舍入启发式。
2016-07-25 cs.CV cs.DM math.OC
A unified framework for hard and soft clustering with regularized optimal transport
Safran Tech（赛峰科技）；Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Bordeaux INP（波尔多理工学院）；IMB（数学与计算机科学研究所）；BackMarket（BackMarket公司）；Brain Corp（Brain Corp公司）
该研究将离散数据的有限混合模型推断构建为熵正则化最优传输问题，提出统一硬软聚类的广义λ-EM算法族，证明其收敛性与闭式解，实验验证不同λ取值的性能优势。
2024-03-07 cs.LG stat.ML
Fuzzy network jump models for soft dynamic clustering of graph-structured data
University of Milan（米兰大学）；National Research Council, Institute for Applied Mathematics and Information Technologies（国家研究委员会，应用数学与信息技术研究所）
该研究提出模糊网络跳跃模型，结合空间与时间正则化的交替优化方案，在模拟及旧金山交通网络数据上验证其聚类性能优于对比方法，可有效处理图结构数据的软动态聚类问题。
2026-08-07 stat.AP stat.ME stat.ML
Community Detection Clustering via Gumbel Softmax
University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
近来，在诸如语音识别和视觉处理的许多系统中，深度学习已被广泛实施。在这项研究中，我们正在探索在图数据集中使用深度学习进行社区发现的可能性。图在不同的领域获得了越来越多的关注，包括社交网络、信息图、推荐系统以及生命科学。本文提出了一种对各种图数据集的节点进行聚类的社区发现方法。我们聚类属于隶属网络，动物网络，人类接触网络，人类社交网络，杂项网络的不同类别的数据集。深度学习在对网络中节点之间的交互进行建模方面的作用使得与图网络分析相关的科学领域发生了革命。在本文中，我们将gumbel softmax方法扩展到图网络聚类。在特定图数据集上的实验结果表明，新方法的性能明显优于传统聚类，这有力地证明了深度学习在图社区发现聚类中的有效性。我们做了一系列的实验，我们的图聚类算法，使用各种数据集：扎卡里空手道俱乐部，高地部落，训练轰炸，美国革命，海豚，斑马，帆板，悲惨世界，政治书籍。
2020-05-12 cs.LG cs.SI stat.ML
Federated Soft Clustering via Generalized Total Variation Minimization
Aalto University（阿尔托大学）
针对联邦学习中各设备持有私有数据并拟合个性化高斯混合模型的软聚类问题，提出广义全变差最小化框架，比较三种差异度量，并给出优化算法与收敛保证，评估了对数据异质性的鲁棒性。
2026-09-18 cs.LG stat.ML
Concentration of kernel matrices with application to kernel spectral clustering
University of California, Los Angeles（加州大学洛杉矶分校）；Cedars-Sinai Medical Center（西达赛奈医疗中心）
研究了随机核矩阵在其均值附近的集中度。假设数据点独立于$\mathbb R^d$上的一类多元分布（包括仿射变换下的强对数凹分布），得到了Lipschitz核的非渐近指数浓度不等式.我们的结果的一个特点是，数据点不需要具有相同的分布或零均值，这在某些应用中是关键，如聚类。我们对Lipschitz核的界是无量纲的，并且一直到常数。为了比较，我们还推导出了一类次高斯分布的欧氏（内积）核的伴随结果。这两种情况之间的一个显著区别是，与欧几里得核相反，在Lipschitz情况下，浓度不等式不依赖于基础向量的均值。作为这些不等式的应用，我们得到了一个核谱聚类（KSC）算法的误分类率的界，扰动下的非参数混合模型。我们展示了一个例子，这个界限建立高维的一致性（作为$d \to \infty$）的KSC，当应用高斯内核，噪声模型嵌套的非线性流形。
2020-01-27 cs.LG math.ST stat.ML
Clustering Based on Pairwise Distances When the Data is of Mixed Dimensions
在聚类的上下文中，我们考虑了一个生成模型在欧氏环境空间与集群的不同形状，尺寸，大小和密度。在一个渐进的设置点的数量变得很大，我们获得理论的几个象征性的方法的基础上成对的距离：一个简单的算法的基础上提取的连接组件的邻域图;谱聚类方法的Ng，约旦和Weiss;和层次聚类与单链接。所示的方法享有一些接近最佳的属性在集群之间的分离和鲁棒性离群值。Zelnik-Manor和Perona的局部缩放方法导致前两种方法中的尺度接近最优选择。我们还提供了一个下界的频谱间隙一致选择正确的集群数量的频谱方法。
2009-09-12 math.ST stat.ML stat.TH
A Probabilistic $\ell_1$ Method for Clustering High Dimensional Data
Princeton University（普林斯顿大学）；Rutgers University（罗格斯大学）
一般来说，聚类问题是NP难的，并且对于非平凡的实例不能建立全局最优性。对于高维数据，基于距离的聚类或分类方法面临着额外的困难，即在非常高维的空间中距离的不可靠性。我们提出了一个基于距离的迭代法聚类数据在非常高维的空间，使用$\ell_1$度量，是不太敏感的高维比欧几里德距离。对于$\mathbb{R}^n$中的$K$簇，问题分解为通过概率耦合的$K$问题，并且迭代简化为寻找线上的点的$Kn$加权中值。该算法的复杂度与数据空间的维数成线性关系，并且随着维数的增加，其性能有明显的提高。
2016-04-22 cs.LG math.OC math.ST
