Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures
我们考虑在高维数据点的聚类问题，即当数据点的数量可能比维度的数量小小于。具体来说，我们考虑一个高斯混合模型（GMM）与非球形高斯分量，其中的集群区分只有几个相关的尺寸。我们提出的方法是一个最近的高斯混合模型和稀疏线性判别分析（LDA）的学习参数的方法相结合。除了聚类分配之外，该方法还返回与聚类相关的特征集的估计值。我们的研究结果表明，样本聚类的复杂性取决于相关的特征集的稀疏性，而只有缩放与周围的维度。此外，我们需要更温和的假设比现有的工作在高维聚类。特别是，我们不需要球形集群，也不需要沿相关维度的平均分离。
2014-06-09 math.ST stat.ML stat.TH
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Sparse tree-based clustering of microbiome data to characterize microbiome heterogeneity in pancreatic cancer
人们对表征癌症患者微生物组的变化非常感兴趣，因为越来越多的证据表明其在决定治疗结果方面的重要作用。在这里，我们的目标是发现具有相似微生物组特征的患者亚组。我们提出了一种新的无监督聚类方法的贝叶斯框架，创新现有的基于模型的聚类方法，如狄利克雷多项式混合模型，在三个关键方面：我们将特征选择，学习适当数量的集群的数据，并整合信息的树结构相关的观察到的功能。我们比较了我们提出的方法与现有方法在模拟真实微生物组数据的模拟数据上的性能。然后，我们说明了我们的激励数据集获得的结果，这是一项旨在表征胰腺癌患者肿瘤微生物组的临床研究。
2022-12-03 stat.AP
Sparse Clustering of Functional Data
我们考虑的问题，聚类功能数据，同时共同选择最相关的功能进行分类。这个问题以前从未在函数数据上下文中解决过，它需要对函数数据的稀疏性概念进行适当的定义。函数稀疏聚类在这里被解析定义为一个变分问题与硬阈值约束，确保解决方案的稀疏性。首先，证明了有限维硬阈值稀疏聚类的唯一解。然后，给出了无限维推广，并证明了其解的唯一性。多变量和功能版本的稀疏聚类与硬阈值表现出其他标准和稀疏聚类策略的模拟数据的改进。还显示了一个真正的函数数据应用程序。
2015-01-20 stat.ME
A novel framework for joint sparse clustering and alignment of functional data
我们提出了一个新的框架稀疏功能聚类，也嵌入了对齐步骤。稀疏函数聚类是指在寻找分组结构的同时，联合检测曲线域中分组结构显示最多的部分。未对齐是函数式数据分析中的一个众所周知的问题，如果处理不当，会严重影响函数式聚类结果。因此，我们开发了一个稀疏的功能聚类过程，占可能的曲线不对齐：在聚类步骤中使用的函数测量的一致性的类，其中选择的扭曲功能的保证，并证明了适定性的稀疏聚类问题。还提出了一种可能的实现算法，联合执行所有这些任务：聚类，对齐和域选择。该方法进行了测试，在各种现实情况下的模拟数据，并讨论了其应用伯克利增长研究数据和AneuRisk65数据集。
2019-12-02 stat.ME
$K$-means clustering for sparsely observed longitudinal data
本文提出一种推广经典$k$-means的快速聚类方法，利用基函数展开建模聚类中心，解决稀疏观测纵向数据中的聚类结构识别问题，并在统计一致性、计算效率与聚类性能上表现优异。
2024-11-13 stat.ME
Regularized Sparse Optimal Discriminant Clustering
提出基于凸聚类惩罚项的稀疏最优判别聚类（SODC）新方法，利用优界函数和ADMM算法解决评分矩阵中正交约束与聚类结构并存的挑战，提升聚类识别准确性。
2025-10-14 stat.ME
Iterative Exploration-Driven Sparse SDP Clustering via Thompson Sampling
研究高维稀疏聚类问题，提出基于SDP松弛和汤普森采样的迭代探索驱动框架，通过鲁棒MMD置换检验评估特征效用，能自适应记忆并促进逃离局部最优，实验证明优于现有稀疏聚类方法。
2026-09-17 stat.ME
Sparse $K$-spatial-median clustering for high-dimensional data
Tiangong University（天津工业大学）；Fujian Normal University（福建师范大学）；Nankai University（南开大学）
本文提出一种鲁棒的高维数据聚类框架，通过替换K-均值的均值更新为空间中位数以提高鲁棒性，并引入硬特征排除机制处理p>>n情况。
2026-05-01 stat.ME
A Sparse PCA Approach to Clustering
讨论了一种基于稀疏主成分分析（SPCA）的高斯混合模型聚类方法，并与IF-PCA方法进行了比较。我们还讨论了相关的情况下，协方差阵$Σ$不一定是对角线。
2016-02-16 stat.ME stat.ML
Robust and sparse k-means clustering for high-dimensional data
在现实世界的应用场景中，由于可能出现的离群值和现有的噪声变量，组的识别构成了一个重大的挑战。因此，需要一种聚类方法，该方法能够在没有任何先验知识的情况下揭示包含离群值和噪声变量的数据中的组结构。在本文中，我们提出了一个$k$ -均值为基础的算法，结合加权函数，导致自动权重分配每个观察。为了处理噪声变量，套索型惩罚被用于由观测权重调整的目标函数。最后，我们介绍了一个框架，用于选择集群的数量和变量的基础上修改的间隙统计。模拟和真实世界的数据进行的实验表明，该方法的优势，以确定组，离群值，并提供信息的变量同时。
2017-09-28 stat.ME
Robust Two-Layer Partition Clustering of Sparse Multivariate Functional Data
针对稀疏多元函数数据，提出了一种新的弹性时间距离，并将其应用于一种鲁棒的基于距离的两层划分聚类方法。利用该距离，新方法不仅可以检测出稀疏多变量函数数据在离群点设置下的正确聚类，而且可以检测出不属于任何聚类的离群点。经典的基于距离的聚类方法，如基于密度的空间聚类的应用程序与噪声（DBSCAN），凝聚层次聚类，和$K$ -medoids扩展到稀疏的多元函数的情况下，新提出的距离的基础上。仿真数据的数值实验表明，该算法的性能优于现有的基于模型和扩展的基于距离的方法的性能。以西北太平洋气旋路径资料为例，验证了该方法的有效性。
2023-03-19 stat.CO stat.ME
A Doubled Adjacency Spectral Embedding Approach to Graph Clustering
University of Bath（巴斯大学）
本文提出双重邻接谱嵌入方法，以改进核心-外围网络结构的聚类性能，通过平方邻接矩阵提升稀疏网络的聚类效果，理论分析证明其在确定稀疏社区结构时具有良好的一致性。
2026-03-28 stat.ME
Sparse Convex Clustering
New York University School of Medicine（纽约大学医学院）；Merck Research Laboratories（默克研究实验室）；University of Miami School of Business Administration（迈阿密大学工商管理学院）；New Jersey Institute of Technology（新泽西理工学院）
凸聚类是k-均值聚类和层次聚类的一种凸松弛算法，它很好地解决了传统非凸聚类方法的不稳定性问题。虽然它的计算和统计特性最近已被研究，凸聚类的性能尚未在高维聚类的情况下，其中的数据包含大量的功能和他们中的许多人进行没有信息的聚类结构进行了研究。在本文中，我们证明了凸聚类的性能可能会扭曲时，无信息的功能，包括在聚类。为了克服它，我们引入了一种新的聚类方法，称为稀疏凸聚类，同时聚类观察和进行特征选择。其核心思想是用正则化的形式来表示凸聚类，并在聚类中心处引入自适应的组套索惩罚项。为了最佳地平衡聚类拟合和稀疏性之间的权衡，开发了基于聚类稳定性的调整标准。在理论上，我们提供了一个无偏估计量的自由度的建议稀疏凸聚类方法。最后，稀疏凸聚类的有效性进行了检查，通过各种数值实验和实际数据的应用。
2017-02-10 cs.LG stat.ME stat.ML
Regularized k-POD: Sparse k-means clustering for high-dimensional missing data
针对高维缺失数据中无关特征导致 k-POD 聚类中心估计偏差的问题，提出正则化 k-POD 方法，通过引入逐特征惩罚有效降低偏差并提升聚类性能。
2025-07-16 stat.ME
Distance-based clustering of sparsely observed stochastic processes, with applications to online auctions
我们提出了一个随机过程的两个实现之间的距离，其中每个实现只有稀疏和不规则间隔的测量与额外的测量误差。这种数据通常出现在纵向研究和在线交易数据中。然后，距离测量使得有可能对不规则采样的纵向数据应用基于距离的分析，例如分类、聚类和多维缩放。一旦一个合适的距离测量稀疏采样的纵向轨迹已被发现，我们应用基于距离的聚类方法易趣在线拍卖数据。我们确定了六个不同的集群投标模式。发现这些出价模式中的每一个都与以合理价格获得拍卖物品的特定机会相关联。
2008-11-17 stat.AP stat.ME
Flexible Clustering with a Sparse Mixture of Generalized Hyperbolic Distributions
针对高维数据稳健聚类问题，提出广义双曲分布混合的成分尺度矩阵参数化方法，引入gamma-lasso惩罚约束浓度矩阵并开发期望最大化算法，经模拟和真实数据验证有效。
2024-06-06 stat.ME stat.ML
Model-based Clustering with Sparse Covariance Matrices
有限高斯混合模型被广泛用于连续数据的基于模型的聚类。然而，由于模型参数的数量与变量的数量成二次方关系，这些模型很容易被过度参数化。为此，通过协方差阵分解或假设局部独立性，开发了简约模型。然而，这些补救措施不允许稀疏协方差阵的直接估计，也没有考虑到变量之间的关联结构可以从一个集群到另一个集群而变化。为此，我们引入混合高斯协方差图模型的基于模型的聚类稀疏协方差阵。一个惩罚似然估计的方法和一般的惩罚项的图形配置可以用来诱导不同程度的稀疏性，并结合先验知识。模型估计进行使用结构-期望最大化算法的参数和图形结构估计，其中两种替代策略的基础上的遗传算法和一个有效的逐步搜索提出的推理。该方法直接得到稀疏分量的协方差阵。该框架通过变量组内联合分布的灵活模型，对数据进行简约的基于模型的聚类。大量的模拟数据实验和示例数据集的应用表明，该方法获得了良好的分类性能和模型质量。
2018-09-23 stat.CO stat.ME
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；Rice University（莱斯大学）
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中，通常的做法是首先对数据进行降噪，可能使用小波降噪，然后应用聚类算法。在本文中，我们开发了一种稀疏凸小波聚类方法，同时去噪和发现群体。我们的方法利用凸融合的罚款，以实现凝聚和组稀疏的罚款去噪，通过稀疏在小波域。与通常的去噪然后聚类的做法相反，我们的方法是一个统一的，凸的方法，同时执行。我们的方法产生去噪（小波稀疏）聚类质心，既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近，由于对高维数据聚类的需求越来越大，对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率，但结果要么是非常耗时或不够稀疏，在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型，适合的数据到一个低维的判别子空间。在这项工作中，提出了三种不同的方法，通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明，所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
Spectral Clustering for Multiple Sparse Networks: I
虽然网络统计工作的重点一直是静态网络，但多个网络目前在网络数据集中变得越来越普遍。通常，多个网络数据集彼此之间共享某种形式的连接，称为多层或多层网络。我们考虑的问题，确定多个网络的共同社区结构。我们考虑扩展的谱聚类方法的多个稀疏网络，并给出理论保证，谱聚类方法产生一致的社区检测的情况下，多个随机块模型和多个度校正块模型。所示的方法工作在足够温和的条件下的多个网络的数量来检测关联的社区结构，即使所有的个人网络是稀疏的，大多数的个人网络低于社区检测阈值。我们也通过模拟加强了理论结果的有效性。
2018-05-27 cs.SI math.ST stat.ME
Correlated variables in regression: clustering and sparse estimation
考虑变量强相关的高维线性模型中的估计问题。我们建议首先对变量进行聚类，然后进行后续的稀疏估计，例如聚类代表的Lasso或基于聚类结构的Lasso组。关于第一步，我们提出了一种新的和自下而上的凝聚聚类算法的基础上典型的相关性，我们发现，它找到了一个最佳的解决方案，是统计上一致的。我们还提出了一些理论论据，典型相关的聚类导致一个更好的设计矩阵，确保可识别性和一个预言不等式组拉索的相容常数。此外，我们讨论的情况下，集群的代表和使用Lasso作为后续估计导致改进的结果预测和检测的变量。我们补充了各种实证结果的理论分析。
2012-09-26 math.ST stat.ME stat.TH
CS Sparse K-means: An Algorithm for Cluster-Specific Feature Selection in High-Dimensional Clustering
Carnegie Mellon University（卡内基梅隆大学）
特征选择是高维聚类中一项重要而又具有挑战性的任务。例如，在基因组学中，可能只有少量基因差异表达，这对整个聚类结构是有信息的。现有的特征选择方法，如稀疏K-means，很少解决只能分离聚类子集的会计特征的问题。在基因组学中，一个基因很可能只能定义一个亚型，而不能区分所有其他亚型，或者只能区分一对亚型。在本文中，我们提出了一种基于K-均值的聚类算法，发现信息的功能，以及集群对可分离的每个选定的功能。该方法本质上是一种期望最大化算法，在M步中对每个簇对引入套索约束，通过最大化原始簇间距离而不是最小化簇内距离来实现E步.结果在模拟数据和白血病基因表达数据集上得到证实。
2019-10-03 cs.LG stat.ME stat.ML
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Maasai Team（马赛团队）；CHU de Québec Research Centre（魁北克大学中心医院研究中心）；Laval University（拉瓦尔大学）
本文提出稀疏GEMINI，一种基于几何感知互信息推广的判别聚类模型，通过l1惩罚实现联合聚类与特征选择，在合成及大规模数据上表现优异，无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Biclustering Via Sparse Clustering
在许多情况下，需要识别仅在特征的子集方面不同的聚类。这样的聚类可以表示患有疾病（诸如癌症或慢性疼痛）的患者的同质亚组。我们将双聚类定义为较大数据矩阵X的子矩阵U，使得U中的特征和观测不同于U中不包含的特征和观测。例如，U中的观测相对于U中的要素可能具有不同的均值或方差。我们基于Witten和Tibshirani（2010）的稀疏聚类方法提出了一个通用的双聚类框架。我们开发了一种方法来识别属于biclusters的功能。该框架可以用于识别在特征的均值、特征的方差或更一般的差异方面不同的双聚类。我们将这些方法应用于几个模拟和真实世界的数据集，并将我们的方法与以前发表的几种方法的结果进行比较。我们的方法与现有的方法相比，在预测精度和计算时间方面的结果毫不逊色。
2014-07-11 stat.ME stat.ML
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法，通过BIC选择正则化参数，并证明其模型选择一致性，模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Distance for Functional Data Clustering Based on Smoothing Parameter Commutation
我们提出了一种新的方法来确定主题之间的功能性数据聚类的相异性。样条平滑或插值通常用于处理这类数据。而不是估计的最佳代表曲线为每个主题固定在聚类过程中，我们测量主题之间的差异，根据不同的曲线估计与整流的平滑参数成对（主题）。直觉是，平滑样条的平滑参数反映了逆信噪比，并且应用相同的平滑参数，两个相似主题的平滑曲线预计将接近。我们的建议的有效性，通过模拟比较其他相异的措施。它还有几个实用的优点。首先，由于平滑样条的性质，可以直接处理缺失值或不规则时间点。其次，传统的基于相异度的聚类方法可以直接使用，并且相异度也可以作为离群点检测的有用工具。第三，实现几乎是方便的，因为子程序光滑样条和数值积分是广泛可用的。第四，计算复杂度不增加，与计算光滑样条估计的曲线之间的欧氏距离平行。
2016-04-10 stat.AP stat.ME stat.ML
Identification of relevant subtypes via preweighted sparse clustering
Harvard University（哈佛大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
聚类分析方法用于识别数据集中的同质子组。在生物医学应用中，人们经常使用聚类分析来识别生物学上感兴趣的亚组。特别地，人们可能希望识别与特定的感兴趣的结果相关联的子组。传统的聚类方法通常不能识别这样的子组，特别是当数据集中有大量的高方差特征时。当希望获得生物学上更有趣或与特定感兴趣结果更强相关的次级聚类时，常规方法可以识别与这些高方差特征相关联的聚类。稀疏聚类的修改可以用于识别这样的次级聚类或与感兴趣的结果相关联的聚类。这种方法正确地识别在几个模拟场景中感兴趣的集群。该方法也适用于颞下颌关节紊乱病和白血病微阵列数据集的大型前瞻性队列研究。
2016-09-21 cs.LG q-bio.QM stat.AP
An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering
University of Miami（迈阿密大学）
聚类分析将数据组织成合理的分组，是理解和学习的基本模式之一。广泛使用的K-means和层次聚类方法可能由于局部最小值而显着次优。最近引入的凸聚类方法将聚类问题转化为凸优化问题，并保证了全局最优解。然而，现有的基于交替方向乘子法（ADMM）或交替最小化算法（AMA）的凸聚类算法需要大量的计算和存储空间，限制了它们的应用。在本文中，我们开发了一个非常有效的平滑近似梯度算法（SSTRA）的凸聚类。我们的Sphera比ADMM或AMA为基础的凸聚类算法快一到两个数量级。Sundra所需的内存空间比ADMM和AMA所需的内存空间少至少一个数量级。计算机模拟和实际数据分析表明，该算法优于几个著名的聚类算法，包括K-均值和层次聚类。该算法的高效性和优越性将有助于凸聚类的广泛应用。
2020-06-22 cs.LG stat.ME stat.ML
Sparse K-Means with $\ell_{\infty}/\ell_0$ Penalty for High-Dimensional Data Clustering
Xi’an Jiaotong University（西安交通大学）；Old Dominion University（奥多明尼昂大学）
稀疏聚类是对具有冗余噪声特征的高维数据集进行合理划分的一种方法，近年来受到了越来越多的关注。现有的研究通常解决这个问题的一个框架，最大限度地提高加权功能的贡献受到$\ell_2/\ell_1$惩罚。然而，该框架有两个严重的缺点：一是该框架的解决方案在许多情况下必然涉及相当一部分冗余噪声特征，另一个是该框架既没有提供直观的解释为什么这个框架可以选择相关的特征，也没有导致任何理论保证特征选择的一致性。在这篇文章中，我们试图克服这些缺点，通过开发一个新的稀疏聚类框架，使用$\ell_{\infty}/\ell_0$惩罚。首先，我们引入了新的概念，最佳分区和噪声特征的高维数据聚类问题，在此基础上，以前已知的框架可以直观地解释原则。然后，我们应用建议的$\ell_{\infty}/\ell_0$框架，制定一个新的稀疏k-means模型与$\ell_{\infty}/\ell_0$惩罚（$\ell_0$ -k-means为短）。我们提出了一个有效的迭代算法来解决$\ell_0$ -k-means。为了深入理解$\ell_0$ -k-means算法的行为，我们证明了当数据矩阵是由高维高斯混合模型生成时，由$\ell_0$ -k-means算法得到的解具有特征选择一致性.最后，我们提供了实验与合成数据和艾伦发育小鼠脑图谱数据，以支持所提出的$\ell_0$ -k-均值具有更好的噪声特征检测能力，比…
2014-03-31 cs.LG stat.ME stat.ML
Perfect Clustering in Very Sparse Diverse Multiplex Networks
University of Central Florida（中佛罗里达大学）
针对 DIMPLE-SGRDPG 多层网络的层组恢复问题，提出汇集各层信息的张量聚类方法，在更稀疏条件下实现完美聚类并达到接近计算下界。
2025-07-25 cs.LG math.ST stat.ME
