Weighted total variation based convex clustering
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
数据聚类是一个有着广泛应用的基本问题。标准方法，例如$k$ -均值方法，通常需要求解非凸优化问题。最近，基于全变差的凸松弛到$k$ -均值模型已成为数据聚类的一个有吸引力的替代方案。然而，现有的结果，其确切的聚类性质，即施加在数据上的条件，使该方法可以证明地给出正确的识别所有的集群成员，是只适用于非常具体的数据，也是更多的限制比其他一些方法。针对基于全变差的凸聚类问题，提出了一种加权$\ell_1$范数和相关凸模型.本文所建立的精确聚类性质，在确定性和概率背景下，适用于一般数据，比现有的结果更尖锐。这些结果为推进凸聚类的研究提供了很好的启示。实验结果表明，与传统的聚类方法相比，本文提出的凸模型具有更好的经验性能，在实际应用中具有一定的潜力。
2018-08-28 cs.LG math.OC stat.ML
A Strongly Consistent Sparse $k$-means Clustering with Direct $l_1$ Penalization on Variable Weights
Indian Statistical Institute（印度统计研究所）
我们提出了Lasso加权$k$ -means（$LW$ - $k$ -means）算法，作为一个简单而有效的稀疏聚类过程的高维数据的特征（$p$）的数量可以大得多的观察（$n$）相比。在$LW$ - $k$ -means算法中，我们引入了一个基于套索的惩罚项，直接在特征权重上加入稀疏聚类框架中的特征选择。$LW$ - $k$ -means不对给定数据集进行任何分布假设，因此，引入了用于特征选择的非参数方法。我们还分析研究了基本的优化过程中的收敛性$LW$ - $k$ -手段，并建立我们的算法的强一致性。$LW$ - $k$ -手段是在几个现实生活和合成数据集上进行测试，并通过详细的实验分析，我们发现，该方法的性能是非常有竞争力的一些国家的最先进的聚类和特征选择程序，不仅在聚类精度，但也相对于计算时间。
2019-03-24 cs.LG stat.ML
Convex Discriminative Multitask Clustering
Tsinghua University（清华大学）；Ohio State University（俄亥俄州立大学）
多任务聚类试图通过考虑多个任务之间的关系来提高多个任务的聚类性能。大多数现有的多任务聚类算法属于生成聚类类型，没有一个被公式化为凸优化问题。在本文中，我们提出了两个凸判别多任务聚类（DMTC）算法来解决这个问题。具体来说，我们首先提出了一个贝叶斯DMTC框架。然后，我们提出了两个凸DMTC目标的框架内。第一个可以看作是凸多任务特征学习和凸多类最大间隔聚类（M3C）的技术组合，旨在学习共享的特征表示。第二种是凸多任务关系学习和M3C的结合，旨在学习任务关系。这两个目标是解决了一个统一的程序，由有效的切割平面算法。在一个玩具问题和两个基准数据集上的实验结果证明了所提算法的有效性。
2013-10-21 cs.LG
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data
在混合多视图数据中，在同一组样本上测量多组不同的特征。通过整合所有可用的数据源，我们试图发现可能隐藏在一个单一的数据视图的个人主义集群分析的样本之间的共同的组结构。虽然这种综合聚类的几种技术已被探索，我们提出并开发了一个凸形式化，将继承强大的统计，数学和经验性质的日益流行的凸聚类方法。具体来说，我们的综合广义凸聚类优化（iGecco）方法采用不同的凸距离，损失，或分歧的每个不同的数据视图与联合凸融合惩罚，导致共同的群体。此外，当每个数据源都是高维的时，集成混合多视图数据通常具有挑战性。为了在这种情况下进行特征选择，我们开发了一种自适应的移位组套索惩罚，通过将其缩小到特定的损失中心来选择特征。我们所谓的iGecco+方法从每个数据视图中选择最适合确定组的特征，通常会导致改进的综合聚类。为了适应我们的模型，我们开发了一种新型的广义多块ADMM算法，使用子问题近似，更有效地适合我们的大数据集模型。通过文本挖掘和基因组学的一系列数值实验和真实数据示例，我们表明iGecco+对于高维混合多视图数据具有优异的经验性能。
2019-12-11 stat.ME stat.ML
A Clustering Approach to Learn Sparsely-Used Overcomplete Dictionaries
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑在稀疏编码的背景下学习过完备字典的问题，其中每个样本选择字典元素的稀疏子集。我们的主要结果是一个战略，大约恢复未知的字典使用一个有效的算法。我们的算法是一个聚类式的过程，其中每个集群是用来估计一个字典元素。通常可以进一步清理得到的解决方案，以获得高精度的估计，我们提供了一个简单的情况下，$\ell_1$ -正则化回归可以用于这样的第二阶段。
2014-07-07 cs.LG math.OC stat.ML
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Maasai Team（马赛团队）；CHU de Québec Research Centre（魁北克大学中心医院研究中心）；Laval University（拉瓦尔大学）
本文提出稀疏GEMINI，一种基于几何感知互信息推广的判别聚类模型，通过l1惩罚实现联合聚类与特征选择，在合成及大规模数据上表现优异，无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Clustering using Max-norm Constrained Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛，并研究我们的方法的有效性，和其他相关的凸松弛，相比其他聚类方法。
2012-04-13 cs.LG stat.ML
Non-Negative Local Sparse Coding for Subspace Clustering
Bielefeld University（比勒费尔德大学）
子空间稀疏编码（SSC）算法已被证明是有益的聚类问题。它们提供了一种替代数据表示，其中可以更好地捕获集群的底层结构。然而，这一领域的研究主要集中在增强稀疏编码部分的问题。相比之下，我们在我们提出的SSC框架中引入了一个新的目标项，该框架专注于编码空间中数据点的可分性。我们还提供了数学的见解如何本地可分性项提高聚类结果的SSC框架。我们提出的非线性局部SSC算法（NLSSC）也受益于其稀疏项和约束的有效选择。NLSSC算法也制定了基于核的框架（NLKSSC），可以表示数据的非线性结构。此外，我们解决了稀疏编码结果中存在冗余的可能性及其对基于图的聚类问题的负面影响。我们引入链接恢复后处理步骤，以改善非负SSC算法的表示图，如我们的。著名的聚类基准的实证评估表明，我们提出的NLSSC框架的结果更好的聚类相比，国家的最先进的基线，并证明了有效性的链接恢复后处理，通过纠正破碎的链接表示图，提高聚类精度。
2019-03-12 cs.DS cs.LG stat.ML
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University（纽约大学理工学院）
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性，采用非凸优化也是标准实践。在本文中，我们采用第三种方法。我们利用一个非凸的正则化项，这样总成本函数（包括数据一致性和正则化项）是凸的。因此，稀疏性比标准凸公式更强有力地促进，但不会牺牲凸优化的吸引人的方面（唯一的最小值，鲁棒算法等）。我们使用这个想法，以改善最近开发的“重叠组收缩”（OGS）算法的去噪组稀疏信号。该算法应用于语音增强问题，在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Small-sample Brain Mapping: Sparse Recovery on Spatially Correlated Designs with Randomization and Clustering
INRIA（法国国家信息与自动化研究所）；NeuroSpin（NeuroSpin神经影像研究中心）；CEA（法国原子能委员会）
功能性神经成像可以测量大脑？人对外界刺激的反应。它被用来执行大脑映射：从这些观察中识别所涉及的大脑区域。这个问题可以被转换成线性监督学习任务，其中神经成像数据被用作刺激的预测器。大脑映射然后被看作是一个支持恢复问题。在功能性MRI（fMRI）数据上，这个问题特别具有挑战性，因为i）由于有限的采集时间，样本的数量很少，以及ii）变量是强相关的。我们建议克服这些困难，通过聚类的原始变量得到的新变量使用稀疏回归模型。使用随机化技术，例如自举样本和变量聚类，可以提高稀疏方法的恢复性能。我们证明了我们的方法在广泛的模拟研究以及两个fMRI数据集的好处。
2012-06-27 cs.CV cs.LG stat.AP
An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA
Saarland University（萨尔兰大学）
机器学习和统计学中的许多问题可以用公式表示为（广义）特征问题。就相关的优化问题而言，计算线性特征向量相当于找到受二次约束的二次函数的临界点。本文证明了一类具有非二次目标和约束的约束优化问题可以理解为非线性特征值问题。我们得到了一个推广的逆幂方法，保证收敛到一个非线性特征向量。我们将逆幂方法应用于1-谱聚类和稀疏PCA，它们可以自然地被表述为非线性特征值问题。在这两个应用程序中，我们在解决方案质量和运行时间方面都取得了最先进的成果。超越标准的特征值问题应该是有用的，也在许多其他应用中，我们的逆功率方法可以很容易地适应新的问题。
2010-12-03 cs.LG math.OC stat.ML
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
大多数现有的方法解决多视图子空间聚类问题，通过构造每个视图上的亲和矩阵，然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法，通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性，我们引入了在不同观点之间的协议之间进行平衡的目标，同时鼓励解决方案的稀疏性和低秩。对于每个视图，采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外，我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题，在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近，由于对高维数据聚类的需求越来越大，对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率，但结果要么是非常耗时或不够稀疏，在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型，适合的数据到一个低维的判别子空间。在这项工作中，提出了三种不同的方法，通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明，所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
Computational lower bounds in latent models: clustering, sparse-clustering, biclustering
本研究基于低次多项式方法，提出推导潜在空间模型计算下界的新方案，得到聚类、稀疏聚类和双聚类问题更优的统计-计算间隙结果与简化证明。
2025-06-16 math.ST stat.ML stat.TH
Nonconvex Sparse Spectral Clustering by Alternating Direction Method of Multipliers and Its Convergence Analysis
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；AI Institute（360人工智能研究院）
谱聚类（SC）是一种广泛应用的数据聚类方法，它首先通过计算归一化Laplacian矩阵的特征向量来学习数据的低维嵌入$U$，然后对$U^\top$进行k-均值聚类得到最终的聚类结果。稀疏谱聚类（SSC）方法利用理想情况下$UU^\top$的块对角结构先验，在$UU^\top$上进行稀疏正则化，扩展了SC。然而，鼓励$UU^\top$稀疏会导致严重非凸问题，这对解决该问题具有挑战性，并且该工作（Lu、Yan和Lin 2016）提出了一种凸松弛来间接追求这一目标。然而，凸松弛通常会导致一个松散的近似和解决方案的质量是不清楚的。这项工作，而不是考虑解决非凸的制定SSC直接鼓励$UU^\top$稀疏。我们提出了一种有效的交替方向乘子法（ADMM）来解决非凸SSC，并提供收敛保证。特别地，我们证明了由ADMM生成的序列总是存在一个极限点，并且任何极限点都是平稳点。我们的分析没有对迭代进行任何假设，因此是实用的。我们提出的非凸问题的ADMM允许步长增加，但上限，这使得它在实践中非常有效。在几个真实数据集上的实验分析验证了该方法的有效性。
2017-12-08 cs.LG
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China（自动化系，清华大学，北京100084，中国）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology(TNList)（信息科学与技术国家实验室（清华大学））
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件，证明了非凸正则化在稀疏估计中的有效性，并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Tight convex relaxations for sparse matrix factorization
Stanford University（斯坦福大学）；Université Paris-Est（巴黎东大学）；Ecole des Ponts - ParisTech（巴黎高科桥路学院）；Mines ParisTech（巴黎高科矿业学院）；PSL Research University（巴黎文理研究大学）；Institut Curie（居里研究所）；INSERM（法国国家健康与医学研究院）
基于一个新的原子范数，我们提出了一个新的稀疏矩阵分解问题的凸公式，其中因子的非零元素的数量是固定的和已知的。该公式计算多因素稀疏PCA，子空间聚类和低秩稀疏双线性回归作为潜在的应用。我们计算慢速率和上界的秩1矩阵的建议规范的统计维数，表明其统计维数是一个数量级小于通常的$\ell\_1$ -规范，跟踪规范和它们的组合。即使我们的凸公式是在理论上很难，并没有导致可证明的多项式时间算法方案，我们提出了一个有效的集算法利用凸问题的结构来解决它，并显示出有前途的数值结果。
2014-12-04 cs.LG math.ST stat.ML
Fair Sparse Regression with Clustering: An Invex Relaxation for a Combinatorial Problem
Purdue University（普渡大学）
在本文中，我们研究了有偏数据集上的公平稀疏回归问题，其中偏置依赖于一个隐藏的二进制属性。隐藏属性的存在通过将稀疏回归和聚类与未知的二进制标签相结合，为问题增加了额外的复杂性。相应的优化问题是组合的，但我们提出了一个新的放松它作为一个\emph{invex}优化问题。据我们所知，这是一个组合问题的第一个不变凸松弛。我们表明，在我们的模型中包含的去偏置/公平约束的性能没有不利影响。相反，它支持恢复隐藏属性。我们恢复的回归参数向量的支持与真实的参数向量完全匹配。此外，我们同时解决聚类问题，恢复每个样本的隐藏属性的确切值。我们的方法使用精心构造的原始对偶证人提供理论保证的组合问题。为此，我们表明，我们的方法的样本复杂度是对数的回归参数向量的维数。
2021-06-14 cs.LG
Scalable and Robust Sparse Subspace Clustering Using Randomized Clustering and Multilayer Graphs
Amirkabir University of Technology（阿米卡比尔理工大学）；Université de Mons（蒙斯大学）；Faculté Polytechnique（理工学院）
稀疏子空间聚类（SSC）是当前最先进的方法之一，用于将数据点划分为子空间的并集，具有强有力的理论保证。然而，它对于大数据集是不实用的，因为它需要为每个数据点求解LASSO问题，其中每个LASSO问题中的变量的数量是数据点的数量。为了提高SSC的可扩展性，我们建议使用随机分层聚类方法选择几组锚点，并且对于每组锚点，解决每个数据点的LASSO问题，仅允许锚点具有非零权重（这大大减少了变量的数量）。这将生成一个多层图，其中每一层对应于一组不同的锚点。使用正交矩阵的格拉斯曼流形，共享层之间的连接总结在一个单一的子空间。最后，我们使用该子空间内的$k$均值聚类来聚类数据点，类似于SSC中的谱聚类。我们在合成和真实世界的数据集上表明，所提出的方法不仅允许SSC扩展到大规模数据集，而且它也更加鲁棒，因为它在噪声数据和具有接近子空间和离群值的数据上表现得更好，同时它不容易过度分割。
2018-02-23 cs.CV stat.ML
Correlated variables in regression: clustering and sparse estimation
考虑变量强相关的高维线性模型中的估计问题。我们建议首先对变量进行聚类，然后进行后续的稀疏估计，例如聚类代表的Lasso或基于聚类结构的Lasso组。关于第一步，我们提出了一种新的和自下而上的凝聚聚类算法的基础上典型的相关性，我们发现，它找到了一个最佳的解决方案，是统计上一致的。我们还提出了一些理论论据，典型相关的聚类导致一个更好的设计矩阵，确保可识别性和一个预言不等式组拉索的相容常数。此外，我们讨论的情况下，集群的代表和使用Lasso作为后续估计导致改进的结果预测和检测的变量。我们补充了各种实证结果的理论分析。
2012-09-26 math.ST stat.ME stat.TH
Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso
稀疏估计的流行Lasso方法可以通过与特定随机模型相关联的联合密度的边缘化来导出。相同概率模型的不同边缘化导致不同的非凸估计，其中超参数被优化。扩展这些参数的问题，其中组的变量估计，我们研究了稀疏估计的计算方案，不同于组套索。虽然基本的优化问题定义这个估计是非凸的，初始化策略的基础上，一个单变量贝叶斯前向选择方案。这也使我们能够定义一个有效的非凸估计，其中只有一个标量变量参与优化过程。理论参数，独立于进入稀疏模型的先验的正确性，包括澄清与其他凸估计相比，这种非凸技术的优点。数值实验也被用来比较这些方法的性能。
2013-02-27 math.OC stat.ML
Sparse Convexification for High-Dimensional Constrained Regression
Department of Statistics and Data Science, Northwestern University（西北大学统计与数据科学系）
针对高维线性回归，提出稀疏凸化层次结构，通过惩罚最小二乘估计自适应于目标的最佳稀疏凸近似，在次高斯假设下得到平方误差率。
2026-08-18 math.ST stat.ME stat.TH
Sparse model-based clustering of three-way data via lasso-type penalties
针对矩阵高斯混合模型的过参数化问题，提出带组lasso和图lasso惩罚的三路数据稀疏模型聚类方法，可灵活实现简约性并捕捉簇特异性关联，经合成数据和美国城市时变犯罪模式应用验证有效。
2023-07-20 stat.CO
Optimal convex lifted sparse phase retrieval and PCA with an atomic matrix norm regularizer
本文提出一种新的混合原子矩阵范数正则化凸规划，用于稀疏相位恢复和稀疏PCA，证明其具有接近最优的样本复杂度和误差率保证，并推导出实用的启发式算法，实验表明其性能与现有最先进算法相当。
2022-09-26 math.ST stat.TH
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
凸聚类是一种很有前途的新方法，聚类的经典问题，结合了强大的性能，在实证研究和严格的理论基础。尽管有这些优点，凸聚类还没有被广泛采用，由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍，我们引入了正则化，这是一种创新技术，用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果，保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中，产生了用于计算聚类解路径的凸聚类算法CARP（Convex Clustering via Acromic Regularization Paths）。在基因组学和文本分析的示例数据集上，CARP提供了比现有方法快100倍的速度，同时获得了比标准方法更精细的近似网格。此外，CARP能够改进聚类解决方案的可视化：CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图，并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现，可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；Rice University（莱斯大学）
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中，通常的做法是首先对数据进行降噪，可能使用小波降噪，然后应用聚类算法。在本文中，我们开发了一种稀疏凸小波聚类方法，同时去噪和发现群体。我们的方法利用凸融合的罚款，以实现凝聚和组稀疏的罚款去噪，通过稀疏在小波域。与通常的去噪然后聚类的做法相反，我们的方法是一个统一的，凸的方法，同时执行。我们的方法产生去噪（小波稀疏）聚类质心，既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University（九州大学大学院数理学府）；Faculty of Mathematics, Kyushu University（九州大学数理学部）
针对多任务学习中忽略异常任务的问题，提出MTLRRC方法，结合鲁棒正则化聚类与非凸组惩罚，实现鲁棒任务聚类与异常检测，并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
The Why and How of Convex Clustering
本文综述了凸聚类方法，探讨其基于凸优化的无虚假局部极小值、全局极小化器稳定等特性，并提供了理论直觉、实用指导、算法计算成本及广泛应用的灵活性。
2025-09-18 stat.ME stat.ML
Statistical Properties of Convex Clustering
本文研究了凸聚类的统计性质。我们建立了凸聚类是密切相关的单链接层次聚类和$k$ -均值聚类。此外，我们推导出的凸聚类，产生一个非平凡的解决方案的调整参数的范围。我们还提供了一个无偏估计的自由度，并提供了一个有限的样本约束的凸聚类的预测误差。我们比较了凸聚类和一些传统的聚类方法在模拟研究。
2015-09-13 math.ST stat.ME stat.TH
Sparse Clustering of Functional Data
我们考虑的问题，聚类功能数据，同时共同选择最相关的功能进行分类。这个问题以前从未在函数数据上下文中解决过，它需要对函数数据的稀疏性概念进行适当的定义。函数稀疏聚类在这里被解析定义为一个变分问题与硬阈值约束，确保解决方案的稀疏性。首先，证明了有限维硬阈值稀疏聚类的唯一解。然后，给出了无限维推广，并证明了其解的唯一性。多变量和功能版本的稀疏聚类与硬阈值表现出其他标准和稀疏聚类策略的模拟数据的改进。还显示了一个真正的函数数据应用程序。
2015-01-20 stat.ME
A novel framework for joint sparse clustering and alignment of functional data
我们提出了一个新的框架稀疏功能聚类，也嵌入了对齐步骤。稀疏函数聚类是指在寻找分组结构的同时，联合检测曲线域中分组结构显示最多的部分。未对齐是函数式数据分析中的一个众所周知的问题，如果处理不当，会严重影响函数式聚类结果。因此，我们开发了一个稀疏的功能聚类过程，占可能的曲线不对齐：在聚类步骤中使用的函数测量的一致性的类，其中选择的扭曲功能的保证，并证明了适定性的稀疏聚类问题。还提出了一种可能的实现算法，联合执行所有这些任务：聚类，对齐和域选择。该方法进行了测试，在各种现实情况下的模拟数据，并讨论了其应用伯克利增长研究数据和AneuRisk65数据集。
2019-12-02 stat.ME
Convex Covariate Clustering for Classification
聚类，像协变量选择分类，是压缩和解释数据的重要步骤。然而，协变量的聚类通常是独立于分类步骤执行的，这可能导致不期望的聚类结果，损害可解释性和压缩率。因此，我们提出了一种方法，可以聚类协变量，同时考虑到样本的类标签信息。我们制定的问题作为一个凸优化问题，它使用的协变量之间的先验相似性信息，并从类标记的样本的信息。与普通的凸聚类一样[Chi和Lange，2015]，所提出的方法提供了一个独特的全局最小值，使其对初始化不敏感。为了解决凸问题，我们提出了一个专门的交替方向的乘法器（ADMM），它的规模高达几千个变量。此外，为了避免计算昂贵的交叉验证，我们提出了一个模型选择标准的基础上近似的边缘似然。合成和真实数据上的实验证实了所提出的聚类方法和选择标准的有效性。
2020-04-07 stat.CO stat.ME stat.ML
Flexible Clustering with a Sparse Mixture of Generalized Hyperbolic Distributions
针对高维数据稳健聚类问题，提出广义双曲分布混合的成分尺度矩阵参数化方法，引入gamma-lasso惩罚约束浓度矩阵并开发期望最大化算法，经模拟和真实数据验证有效。
2024-06-06 stat.ME stat.ML
Convex Clustering Redefined: Robust Learning with the Median of Means Estimator
Indian Statistical Institute, Kolkata（印度统计研究院，科希马）；Department of Statistics and Data Science, University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）；Electronics and Communication Sciences, Indian Statistical Institute, Kolkata（印度统计研究院，科希马电子与通信科学）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Statistics, University of Michigan（密歇根大学统计系）
针对凸聚类处理高维数据、噪声异常值及依赖簇数先验的问题，提出结合均值中位数估计器的鲁棒方法，无需簇数先验且抗异常值，理论证明弱一致性，实验显示性能优于现有方法。
2025-11-12 cs.LG math.ST stat.CO
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Resistant convex clustering: How does the fusion penalty enhance resistantance?
针对带平方误差损失的凸聚类易受异常值影响的问题，提出抗扰凸聚类方法，理论证明其在超半数观测为异常值时才失效，融合惩罚可增强抗扰性，数值实验验证了其性能优势。
2024-10-09 stat.ME
Robust Two-Layer Partition Clustering of Sparse Multivariate Functional Data
针对稀疏多元函数数据，提出了一种新的弹性时间距离，并将其应用于一种鲁棒的基于距离的两层划分聚类方法。利用该距离，新方法不仅可以检测出稀疏多变量函数数据在离群点设置下的正确聚类，而且可以检测出不属于任何聚类的离群点。经典的基于距离的聚类方法，如基于密度的空间聚类的应用程序与噪声（DBSCAN），凝聚层次聚类，和$K$ -medoids扩展到稀疏的多元函数的情况下，新提出的距离的基础上。仿真数据的数值实验表明，该算法的性能优于现有的基于模型和扩展的基于距离的方法的性能。以西北太平洋气旋路径资料为例，验证了该方法的有效性。
2023-03-19 stat.CO stat.ME
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据，不适用于一般阶张量，这在现代科学和商业应用中经常出现。此外，由于其非凸公式的性质，现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中，我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类（CoCo）估计享有稳定性保证，其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计，这揭示了一个令人惊讶的“祝福的维度”的现象，不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后，我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解，以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Identification of relevant subtypes via preweighted sparse clustering
Harvard University（哈佛大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
聚类分析方法用于识别数据集中的同质子组。在生物医学应用中，人们经常使用聚类分析来识别生物学上感兴趣的亚组。特别地，人们可能希望识别与特定的感兴趣的结果相关联的子组。传统的聚类方法通常不能识别这样的子组，特别是当数据集中有大量的高方差特征时。当希望获得生物学上更有趣或与特定感兴趣结果更强相关的次级聚类时，常规方法可以识别与这些高方差特征相关联的聚类。稀疏聚类的修改可以用于识别这样的次级聚类或与感兴趣的结果相关联的聚类。这种方法正确地识别在几个模拟场景中感兴趣的集群。该方法也适用于颞下颌关节紊乱病和白血病微阵列数据集的大型前瞻性队列研究。
2016-09-21 cs.LG q-bio.QM stat.AP
$K$-means clustering for sparsely observed longitudinal data
本文提出一种推广经典$k$-means的快速聚类方法，利用基函数展开建模聚类中心，解决稀疏观测纵向数据中的聚类结构识别问题，并在统计一致性、计算效率与聚类性能上表现优异。
2024-11-13 stat.ME
Regularized Sparse Optimal Discriminant Clustering
提出基于凸聚类惩罚项的稀疏最优判别聚类（SODC）新方法，利用优界函数和ADMM算法解决评分矩阵中正交约束与聚类结构并存的挑战，提升聚类识别准确性。
2025-10-14 stat.ME
Distance-based clustering of sparsely observed stochastic processes, with applications to online auctions
我们提出了一个随机过程的两个实现之间的距离，其中每个实现只有稀疏和不规则间隔的测量与额外的测量误差。这种数据通常出现在纵向研究和在线交易数据中。然后，距离测量使得有可能对不规则采样的纵向数据应用基于距离的分析，例如分类、聚类和多维缩放。一旦一个合适的距离测量稀疏采样的纵向轨迹已被发现，我们应用基于距离的聚类方法易趣在线拍卖数据。我们确定了六个不同的集群投标模式。发现这些出价模式中的每一个都与以合理价格获得拍卖物品的特定机会相关联。
2008-11-17 stat.AP stat.ME
Iterative Exploration-Driven Sparse SDP Clustering via Thompson Sampling
研究高维稀疏聚类问题，提出基于SDP松弛和汤普森采样的迭代探索驱动框架，通过鲁棒MMD置换检验评估特征效用，能自适应记忆并促进逃离局部最优，实验证明优于现有稀疏聚类方法。
2026-09-17 stat.ME
Sparse $K$-spatial-median clustering for high-dimensional data
Tiangong University（天津工业大学）；Fujian Normal University（福建师范大学）；Nankai University（南开大学）
本文提出一种鲁棒的高维数据聚类框架，通过替换K-均值的均值更新为空间中位数以提高鲁棒性，并引入硬特征排除机制处理p>>n情况。
2026-05-01 stat.ME
Spectral Clustering for Multiple Sparse Networks: I
虽然网络统计工作的重点一直是静态网络，但多个网络目前在网络数据集中变得越来越普遍。通常，多个网络数据集彼此之间共享某种形式的连接，称为多层或多层网络。我们考虑的问题，确定多个网络的共同社区结构。我们考虑扩展的谱聚类方法的多个稀疏网络，并给出理论保证，谱聚类方法产生一致的社区检测的情况下，多个随机块模型和多个度校正块模型。所示的方法工作在足够温和的条件下的多个网络的数量来检测关联的社区结构，即使所有的个人网络是稀疏的，大多数的个人网络低于社区检测阈值。我们也通过模拟加强了理论结果的有效性。
2018-05-27 cs.SI math.ST stat.ME
Model-based Clustering with Sparse Covariance Matrices
有限高斯混合模型被广泛用于连续数据的基于模型的聚类。然而，由于模型参数的数量与变量的数量成二次方关系，这些模型很容易被过度参数化。为此，通过协方差阵分解或假设局部独立性，开发了简约模型。然而，这些补救措施不允许稀疏协方差阵的直接估计，也没有考虑到变量之间的关联结构可以从一个集群到另一个集群而变化。为此，我们引入混合高斯协方差图模型的基于模型的聚类稀疏协方差阵。一个惩罚似然估计的方法和一般的惩罚项的图形配置可以用来诱导不同程度的稀疏性，并结合先验知识。模型估计进行使用结构-期望最大化算法的参数和图形结构估计，其中两种替代策略的基础上的遗传算法和一个有效的逐步搜索提出的推理。该方法直接得到稀疏分量的协方差阵。该框架通过变量组内联合分布的灵活模型，对数据进行简约的基于模型的聚类。大量的模拟数据实验和示例数据集的应用表明，该方法获得了良好的分类性能和模型质量。
2018-09-23 stat.CO stat.ME
From here to infinity - sparse finite versus Dirichlet process mixtures in model-based clustering
在基于模型的聚类中，混合模型用于将数据点分组到聚类中。Malsiner Walli等人（2016）为高斯混合引入的一个有用概念是稀疏有限混合，其中具有$K$分量的混合物的权重分布的先验分布以这样的方式选择，即数据中的聚类数量先验是随机的，并且允许以高概率小于$K$。然后从数据中推断出聚类的数量。本文在稀疏有限混合模型的背景下作出了以下贡献。首先，它说明了稀疏有限混合的概念是非常通用的，很容易扩展到聚类各种类型的非高斯数据，特别是离散数据和连续的多元数据所产生的非高斯集群。其次，稀疏有限的混合物相比，狄利克雷过程的混合物就其能力，以确定集群的数量。对于这两种模型类别，考虑了用于确定权重分布的参数的随机超先验。通过适当的匹配这些先验，它表明，这种超先验的选择是远比稀疏有限混合物或Dirichlet过程的混合物被考虑的集群解决方案的影响。
2018-08-22 stat.ME
Sparse and Smooth Functional Data Clustering
本研究提出稀疏光滑函数型聚类方法SaS-Funclust，结合函数型高斯混合模型与双重惩罚项，通过期望-条件最大化算法估计，在模拟和真实数据上均表现出更优的聚类性能与可解释性，已实现为R包开源可用。
2022-07-11 stat.ME
Constrained convex clustering for interpretable spatial domain detection in spot-based spatial transcriptomics
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
本文提出DUET方法，用于空间转录组学中同时识别空间域和估计细胞类型比例，提升数据解释性和生物学意义。
2026-09-29 stat.AP stat.ME
Sparse Bayesian Hierarchical Modeling of High-dimensional Clustering Problems
聚类是微阵列数据分析中最广泛使用的程序之一，例如其目的是基于观察到的不同组织之间遗传标记的异质性来发现癌症亚型。众所周知，在这样的高维环境中，许多噪声变量的存在可以压倒嵌入在高维空间中的少数信号。我们提出了一种新的贝叶斯方法的基础上的Dirichlet过程与稀疏事先，同时进行变量选择和聚类，也发现变量，只区分一个子集的集群组件。与以往的贝叶斯公式，我们使用狄利克雷过程（DP）的样本聚类以及正则化的高维均值/方差结构。为了解决这种双重使用DP带来的计算挑战，我们建议使用嵌入在马尔可夫链蒙特卡罗（MCMC）更新的顺序采样方案，以改善现有算法的DP混合模型的天真实现。我们的方法被证明在一个模拟研究和说明与白血病基因表达数据集。
2009-04-19 stat.CO stat.ME
