Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
聚类是无监督学习中的一个基本问题。像K-means这样的流行方法可能会表现不佳，因为它们容易陷入局部最小值。最近，在Pelckmans等人（2005）、Lindsten等人（2011）和Hocking等人（2011）中提出了范数和（SON）模型（也称为聚类路径）。具有均匀加权所有成对差异正则化的凸聚类模型的完美恢复特性已由Zhu et al.（2014）和Panahi et al.（2017）证明。然而，一般的加权凸聚类模型，其中更好的经验结果已被观察到，没有理论上的保证。在数值优化方面，虽然已经提出了交替方向乘法（ADMM）和交替最小化算法（AMA）等算法来解决凸聚类模型（Chi和Lange，2015），但解决大规模问题仍然非常具有挑战性。本文建立了一般加权凸聚类模型的完全恢复保证的充分条件，作为特例包含和改进了已有的理论结果。此外，我们开发了一个半光滑牛顿的增广拉格朗日方法来解决大规模的凸聚类问题。模拟和真实数据的大量数值实验表明，我们的算法是高效和强大的解决大规模问题。此外，数值结果也显示了优越的性能和可扩展性，我们的算法相比，现有的一阶方法。特别地，我们的算法能够在大约6分钟内解决$\mathbb{R}^3$中具有200，000个点的凸聚类问题。
2018-10-04 cs.LG math.OC stat.ML
Clustering with Confidence: Finding Clusters with Statistical Guarantees
Finnish Institute of Occupational Health（芬兰职业健康研究所）；Stockholm University（斯德哥尔摩大学）
聚类是一种广泛使用的无监督学习方法，用于发现数据中的结构。然而，所得到的聚类通常在没有任何鲁棒性保证的情况下呈现;稍微改变所使用的数据样本或重新运行涉及一些随机组件的聚类算法可能会导致完全不同的聚类。因此，有必要的技术，可以量化所产生的集群的不稳定性。在本研究中，我们提出了一种技术，用于量化集群解决方案的不稳定性并寻找鲁棒的集群，称为核心集群，其对应于集群内每个数据项的同现概率至少为$1 - α$的集群。我们演示了如何解决核心聚类问题是联系在一起，找到最大的最大集团在一个图。我们表明，该方法可以使用聚类和分类算法。该方法在模拟和真实数据集上进行了测试。结果表明，得到的聚类确实满足鲁棒性的保证。
2016-12-30 cs.LG stat.ML
A Performance Guarantee for Spectral Clustering
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of California Davis（加利福尼亚大学戴维斯分校）；University of California at Davis（加利福尼亚大学戴维斯分校）
两步谱聚类方法是一种广泛使用的图划分方法，它由Laplacian特征映射和舍入步骤组成。它可以被看作是对NP难最小比率切割问题的一种自然松弛。在本文中，我们研究的中心问题：当是谱聚类能够找到全球解决方案的最小比率削减问题？首先，我们提供了一个条件，自然取决于一个给定的分区的集群内和集群间的连通性，我们可以证明，这个分区是最小比率削减问题的解决方案。然后，我们开发了一个确定的2到无穷大范数扰动界的不变子空间的图拉普拉斯对应的$k$最小特征值。最后结合这两个结果，给出了保证谱聚类输出最小比割问题全局解的条件，作为谱聚类性能的保证。
2020-07-10 cs.LG stat.ML
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
鉴于谱聚类（SC）用于划分图数据的广泛流行，我们研究了一种受约束的SC版本，其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念，如果每个人口统计组在每个聚类中近似地按比例表示，则聚类是公平的。为此，我们开发了规范化和非规范化约束SC的变体，并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析，我们的算法上的一个自然的随机块模型，其中$h$组有很强的组间连接，但也表现出一个“自然”的聚类结构，这是公平的。我们证明，我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML
Randomly Projected Convex Clustering Model: Motivation, Realization, and Cluster Recovery Guarantees
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一个随机投影凸聚类模型，用于对$\mathbb{R}^d$中具有$K$隐藏聚类的$n$高维数据点进行聚类。与基于$d$维数的凸聚类模型相比，证明了在一定的条件下，基于嵌入维数$m = O(ε^{-2}\log(n))$的随机投影凸聚类模型（其中$0 < ε< 1$为给定参数）可以保持凸聚类模型的聚类成员分配的完全恢复（如果存在）.我们进一步证明了嵌入维数可以改进为$O(ε^{-2}\log(K))$，它与数据点的数目无关。大量的数值实验结果将在本文中展示的随机投影凸聚类模型的鲁棒性和优越的性能。本文给出的数值结果也表明，随机投影凸聚类模型可以在实践中优于随机投影K-means模型。
2023-03-29 cs.LG stat.ML
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；University of California at Davis（加州大学戴维斯分校）
谱聚类已经成为一种最广泛使用的聚类技术，当单个聚类的结构是非凸的或高度各向异性的。然而，尽管它的巨大的普及，存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤，这使得其理论分析变得复杂：首先，使用关联图Laplacian的特征向量来嵌入数据集，其次，将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割，即比率割和归一化割，这使得通常的两步谱聚类方法过时，并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件，自然地依赖于每个集群的代数连接和集群间的连接，成功的谱聚类的确定性界限。此外，我们通过一些流行的例子证明，我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT
Recovery guarantees for exemplar-based clustering
The Johns Hopkins University（约翰斯·霍普金斯大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
对于某一类分布，我们证明了线性规划松弛的$k$-medoids聚类-一个变种的$k$-意味着聚类，其中的手段是由样本从数据集内-区分点绘制的非重叠球的概率高，一旦点的数量绘制和任何两个球之间的分离距离足够大。我们的研究结果在非平凡的制度，其中的分离距离是足够小的点从不同的球可能会更接近对方比点从同一个球;在这种情况下，通过阈值点之间的成对距离聚类可能会失败。我们还展示了数值证据的高概率恢复在一个更宽松的制度。
2014-02-03 cs.CV cs.LG stat.ML
Distribution free optimality intervals for clustering
University of Washington（华盛顿大学）
我们解决的问题，验证聚类算法的输出。给定数据$\mathcal{D}$和将这些数据划分为$K$簇的分区$\mathcal{C}$，我们什么时候可以说获得的簇对数据是正确的或有意义的？本文介绍了一种范式，其中聚类$\mathcal{C}$被认为是有意义的，如果它是好的损失函数，如K-均值失真，稳定，即只有良好的聚类小扰动。此外，我们提出了一个通用的方法来获得后推理保证的聚类$\mathcal{C}$的近最优性和稳定性。该方法可以实例化的各种聚类标准（也称为损失函数），凸松弛存在。获得保证相当于解决凸优化问题。我们证明了这种方法的实际相关性，通过获得保证的K-均值和标准化切割聚类标准的现实数据集。我们还证明了渐近不稳定性蕴含有限样本不稳定性w. h. p.，允许从样本推断群体聚类性。保证不依赖于任何分布的假设，但它们依赖于数据集$\mathcal{D}$承认一个稳定的聚类。
2023-02-01 cs.LG stat.ML
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题，提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法，兼具可扩展性与统计最优性，误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Statistical and Computational Guarantees of Lloyd's Algorithm and its Variants
Yale University（耶鲁大学）
聚类是统计学和机器学习中的一个基本问题。Lloyd算法于1957年提出，由于其简单性和经验性能，仍然可能是实践中使用最广泛的聚类算法。然而，很少有理论研究劳埃德算法的统计和计算保证。本文试图弥合实践与理论之间的这一差距。我们研究了Lloyd算法在聚类亚高斯混合数据上的性能。在一个适当的初始化标签或中心，我们表明，劳埃德算法收敛到一个指数小的聚类误差后，为了$\log n$迭代，其中$n$是样本量。差错率是极小极大最优的。对于两个混合物的情况，我们只需要初始化器比随机猜测稍微好一点。此外，我们扩展劳埃德的算法和分析社区检测和众包，最近在统计和机器学习中受到了很多关注的两个问题。分别针对社区发现和众包提出了Lloyd算法的两种变体。在理论方面，我们提供了统计和计算保证的两种算法，和结果改善后，一些以前的信噪比的条件，在文献中的两个问题。模拟和真实数据集上的实验结果表明，我们的算法的竞争力的最先进的方法的性能。
2016-12-07 cs.LG math.ST stat.ML
Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel
UW-Madison（威斯康星大学麦迪逊分校）
谱聚类是一种快速而流行的网络聚类算法。最近，Chaudhuri等人（2012）和Amini等人（2013）在2014年发表了关于生物多样性的论文。（2012）提出了算法的灵感变化，人为地增加节点度以提高统计性能。目前的文件扩展了以前的统计估计结果，更规范的谱聚类算法的方式，删除任何假设的最小程度，并提供指导的调谐参数的选择。此外，我们的研究结果表明，“星形”的特征向量-经验网络的一个共同特征-可以解释度校正随机块模型和扩展种植分区模型，两个统计模型，允许高度异构度。在整个过程中，本文的特点和理由的谱聚类算法的变化，这些模型。
2013-09-16 cs.LG math.ST stat.ML
Can Evolutionary Clustering Have Theoretical Guarantees?
Nanjing University（南京大学）
针对进化聚类缺乏理论支撑的问题，本文证明了多目标进化算法GSEMO求解四类经典聚类问题的近似性能有理论保证，且其在个体公平约束下的离散$k$-中位数聚类中也兼具目标与公平约束的理论近似保障。
2023-07-22 cs.LG cs.NE
Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作（4，19，24，20）为稀疏子空间聚类（4）提供了强有力的理论保证，稀疏子空间聚类是子空间聚类的最新算法，适用于无噪声和噪声数据集。它表明，在温和的条件下，以高概率没有两个点从不同的子空间聚集在一起。然而，由于臭名昭著的“图连通性问题”（15），这种保证不足以使聚类正确。在本文中，我们调查的图形连接性问题的噪声稀疏子空间聚类，并表明，一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明，我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
Representation Learning for Clustering: A Statistical Framework
University of Waterloo（滑铁卢大学）
我们解决的问题，从用户的领域知识的聚类算法的设计者。我们提出了一个协议，其中用户提供了一个相对较小的随机样本的数据集的聚类。然后，算法设计者使用该样本来提出数据表示，在该数据表示下，$k$均值聚类导致与用户的聚类对齐的（完整数据集的）聚类。我们提供了一个正式的统计模型分析样本的复杂性学习的聚类表示与此范例。然后，我们引入了一个概念的能力的一类可能的表示，在VC维的精神，表明具有有限的这种尺寸的表示类可以成功地学习与样本量的误差范围，并结束我们的讨论与分析的线性嵌入引起的表示类的尺寸。
2015-06-19 cs.LG stat.ML
Statistical Learning Guarantees for Compressive Clustering and Compressive Mixture Modeling
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；GIPSA-lab（GIPSA实验室）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（里昂信息处理实验室）；Univ Rennes（雷恩大学）；IRISA（雷恩计算机科学研究所）
我们在压缩统计学习的背景下为两个无监督学习任务提供了统计学习保证，压缩统计学习是我们在一篇配套论文中介绍的资源高效的大规模学习的一般框架。压缩统计学习的原理是压缩一个训练集合，在一次通过中，转换成一个低维草图（一个随机经验广义矩的向量），它捕捉了与所考虑的学习任务相关的信息。我们明确地描述和分析随机特征函数，经验平均值保留了压缩聚类和压缩高斯混合建模所需的信息，具有固定的已知方差，并建立足够的草图大小给定的问题尺寸。
2021-08-17 cs.IT cs.LG math.IT
Optimal interval clustering: Application to Bregman clustering and statistical mixture learning
Université des Antilles-Guyane（安的列斯-圭亚那大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一个通用的动态规划方法来计算$n$标量元素到$k$成对不相交区间的最佳聚类。这种情况下，包括一维欧几里德$k$ -手段，$k$ -medoids，$k$ -中位数，$k$ -中心等，我们扩展的方法，将集群大小的限制，并显示如何选择合适的$k$模型选择。最后，我们在两个案例研究中说明和改进了该方法：Bregman聚类和统计混合学习最大化完整的可能性。
2014-05-26 cs.IT cs.LG math.IT
Tensor Clustering with Planted Structures: Statistical Optimality and Computational Limits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）
本文研究 CHC 与 ROHC 两类植入结构张量聚类，给出检测与恢复的统计边界和多项式时间计算阈值，并证明低信噪比下基于 HPC/HPDS 猜想的困难性。
2023-10-02 cs.CC cs.LG math.ST
Information Mandala: Statistical Distance Matrix with Clustering
Iwate University（岩手大学）
在机器学习中，观测特征在度量空间中被测量以获得它们的距离函数用于优化。给定作为总体在统计上足够的相似特征，可以计算两个概率分布之间的统计距离以用于更精确的学习。假设观察到的特征是多值的，统计距离函数仍然是有效的。然而，由于其标量输出，它不能应用于表示特征元素之间的详细距离。为了解决这个问题，本文将传统的统计距离扩展为矩阵形式，称之为统计距离矩阵。在实验中，所提出的方法在对象识别任务中表现良好，并且清晰直观地表示了CIFAR数据集中猫和狗图像之间的差异，即使直接使用图像像素计算也是如此。通过使用统计距离矩阵的层次聚类，图像像素可以被分成几个簇，这些簇围绕一个中心几何排列，就像曼陀罗图案。具有聚类的统计距离矩阵，称为信息曼陀罗，超出了普通的显着图，可以帮助理解卷积神经网络的基本原理。
2020-06-22 cs.LG stat.ML
Statistical Testing Framework for Clustering Pipelines by Selective Inference
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
本文提出基于选择推断的统计检验框架，用于评估数据分析流程中聚类结果的显著性，通过合成和真实数据集实验验证了其有效性与准确性。
2026-05-01 cs.LG stat.ML
Clustering with Tangles: Algorithmic Framework and Theoretical Guarantees
University of Tübingen（图宾根大学）；University of Hamburg（汉堡大学）
本文提出基于 tangles 的层次化软聚类框架，通过聚合数据集割集识别稠密结构，证明多场景理论保证并验证其线性复杂度与广泛适用性。
2022-11-06 cs.LG stat.ML
Lattice-Based Methods Surpass Sum-of-Squares in Clustering
Massachusetts Institute of Technology（麻省理工学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Simons Institute for the Theory of Computing, UC Berkeley（加州大学伯克利分校西蒙斯计算理论研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Flatiron Institute（熨斗研究所）
聚类是无监督学习中的一个基本要素，它产生了大量具有计算挑战性的推理任务。在这项工作中，我们专注于典型的任务聚类d维高斯混合未知（可能退化）的协方差。最近的工作（Ghosh等人，'20; Mao，Wein '21; Davis，Diaz，Wang '21）已经建立了针对低次多项式方法和平方和（SoS）层次的下界，用于恢复高斯聚类实例中植入的某些隐藏结构。许多类似的推理任务的先前工作预示着，这样的下限强烈建议存在一个固有的算法到计算的差距聚类，也就是说，一个参数制度的聚类任务是统计上可能的，但没有多项式时间算法成功。我们考虑的聚类任务的一个特殊情况相当于在一个随机子空间中找到一个种植超立方体向量的问题。我们发现，也许令人惊讶的是，这种特定的聚类模型并没有表现出计算的差距，即使在这种情况下，上述低程度和SoS的下限继续适用。为了实现这一点，我们给出了一个多项式时间算法的基础上的Lenstra-Lenstra-Lovasz格基减少方法，实现了最佳的样本复杂度d+1个样本。这一结果扩展了一类问题，其被限制的计算到计算的差距可以通过“脆性”多项式时间算法“关闭”，突出了噪声在计算到计算的差距的发病中的关键但微妙的作用。
2022-01-07 cs.CC cs.DS cs.LG
Clustering as Approximation by Constrained Projectors: Theory and Guarantees
Indraprastha Institute of Information Technology Delhi（因德拉普拉斯塔信息技术学院（德里））
该研究提出统一理论框架，将k-means等多种聚类方法表述为结构化低秩投影器，推导测地凸性等理论结果，为理解聚类提供理论优先的基础。
2026-09-01 cs.AI cs.LG
Optimal Decision Trees For Interpretable Clustering with Constraints (Extended Version)
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出首个基于SAT的带约束可解释聚类框架，利用决策树在满足聚类约束的同时提供强理论保证，并揭示了可解释性与约束满足之间的权衡。
2023-05-16 cs.AI cs.LG
A Unified Framework for Tuning Hyperparameters in Clustering Problems
University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Sydney（悉尼大学）
由于缺乏用于验证的基础事实，为无监督学习问题选择超参数通常具有挑战性。尽管这个问题在统计学和机器学习中普遍存在，特别是在聚类问题中，但没有太多方法可以在理论上保证调整这些超参数。在本文中，我们提供了一个框架，可证明的保证选择超参数在一些不同的模型。我们考虑亚高斯混合模型和网络模型作为独立同分布的例子。和非I.I.D.数据我们证明了相同的框架可以用来选择拉格朗日乘子的惩罚项在半定规划（SDP）松弛社区检测，和带宽参数构建核相似性矩阵的谱聚类。通过引入交叉验证过程，我们证明了该框架也可以为网络模型进行一致的模型选择。使用各种模拟和真实数据的例子，我们表明，我们的框架优于其他广泛使用的调整程序在广泛的参数设置。
2020-02-02 cs.LG math.ST stat.ML
Clustering Small Samples with Quality Guarantees: Adaptivity with One2all pps
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
数据点的聚类是数据分析中的基本工具。我们考虑点$X$在一个宽松的度量空间，三角不等式保持在一个常数因子。通过$Q$对$X$进行聚类的{ \em成本}是$V(Q)=\sum_{x\in X} d_{xQ}$。由$k \geq 1$参数化的两个基本任务是{ \em成本估计}和{\em聚类}，{\em成本估计}返回查询$Q$的（近似）$V(Q)$，使得$|Q|=k$和{ \em聚类}返回大小为$|Q|=k$的$V(Q)$的（近似）最小值。对于非常大的数据集$X$，我们寻求小样本的有效构造，这些小样本作为执行这些任务的全部数据的替代品。提供质量保证的现有结构要么是最坏情况，无法从真实数据集的结构中受益，要么对结构做出明确的强假设。我们在这里展示如何使用自适应设计来避免这两个陷阱。我们设计的核心是多目标概率与大小成比例（pps）样本的{ \em one 2all}构造：给定质心和$α\geq 1$的集合$M$，one 2all有效地将概率分配给点，以便可以从大小为$O(α|M|ε^{-2})$的样本中很好地估计{ \em each} $Q$与成本$V(Q) \geq V(M)/α$的聚类成本。对于成本查询，我们可以通过将one 2all应用于双准则近似$M$来获得最差情况下的样本量$O(kε^{-2})$，但是我们自适应地平衡$|M|$和$α$以进一步减少样本量。对于聚类，我们设计了一个自适…
2017-10-29 cs.DS cs.LG
Dynamic Spectral Clustering with Provable Approximation Guarantee
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究动态演化图的聚类问题，提出一种动态谱聚类算法，在温和条件下以均摊更新时间 $O(1)$ 和查询时间 $o(n_T)$ 良好近似最终图聚类，并通过实验验证其实用性。
2024-06-05 cs.DS cs.LG
Guaranteed clustering and biclustering via semidefinite programming
California Institute of Technology（加州理工学院）
识别数据中相似对象的聚类在广泛的应用中起着重要的作用。作为一个模型问题的聚类，我们考虑的denk-disjoint-clique问题，其目标是确定一个给定的加权完全图的k个不相交的集团的集合，最大化的密度的总和，这些集团诱导的完全子图。本文建立了从特定半定规划的最优解中精确恢复给定图的Denmark团的条件。特别是，半定松弛是准确的输入图形对应的数据组成的k大，不同的集群和一个较小的离群值。这种方法也产生了一个半定松弛的biclustering问题与类似的恢复保证。给定一组对象和这些对象表现出的一组特征，双聚类试图根据它们的表达水平同时对对象和特征进行分组。这个问题可以归结为划分一个加权二部完全图的节点，使得得到的二部完全子图的密度之和最大化。正如在我们的分析denak-disjoint-clique问题，我们表明，正确的分区的对象和功能，可以恢复从最优解的半定程序的情况下，给定的数据由几个不相交的对象集表现出类似的功能。还提供了支持这些理论保证的数值实验的经验证据。
2013-11-18 cs.LG math.OC
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启智人工智能研究院）
本文研究了核$k$ -means的统计性质，得到了一个接近最优的超聚类风险界，大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果，并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知，这样的核（或近似核）$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Statistical Inference for Clustering-based Anomaly Detection
University of Information Technology, Ho Chi Minh City, Vietnam（越南胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学）；RIKEN, Japan（日本理化学研究所）
本文提出SI-CLAD框架，通过选择性推断严格控制基于聚类的异常检测中的误检率，并引入策略提升真实检测率，实验验证了其卓越性能。
2025-04-25 cs.LG stat.ML
Statistical Guarantees for Link Prediction using Graph Neural Networks
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文提出线性GNN架构（LG-GNN），为图生成模型生成的图上的链接预测提供统计保证，包括均方误差界和高概率边检测能力，并验证于真实和合成数据。
2024-02-07 cs.LG cs.SI math.ST
Statistical guarantees for sparse deep learning
Ruhr-University Bochum（波鸿鲁尔大学）
神经网络在应用中越来越受欢迎，但我们对其潜力和局限性的数学理解仍然有限。在本文中，我们通过为稀疏深度学习开发统计保证来进一步理解这一点。与以前的工作相比，我们考虑了不同类型的稀疏性，例如很少的活动连接，很少的活动节点，以及其他基于范数的稀疏性类型。此外，我们的理论涵盖了以前的理论所忽略的重要方面，如多个输出，正则化和l2损失。这些保证对网络的宽度和深度有轻微的依赖性，这意味着它们从统计的角度支持稀疏但又宽又深的网络的应用。我们在推导过程中使用的一些概念和工具在深度学习中并不常见，因此可能会引起额外的兴趣。
2022-12-11 cs.AI cs.LG math.ST
Near-Optimal Correlation Clustering with Privacy
Google Research（谷歌研究院）；Sorbonne University（索邦大学）；UC Davis（加州大学戴维斯分校）；Microsoft Research（微软研究院）
相关聚类是无监督学习中的一个核心问题，其应用范围包括社区发现、重复检测、自动标记等。在相关聚类问题中，一个接收一组节点作为输入，对于每个节点，一个共同聚类偏好列表，目标是输出一个聚类，最大限度地减少与指定节点偏好的不一致。在本文中，我们介绍了一个简单的和计算效率高的算法的相关聚类问题与可证明的隐私保证。我们的近似保证比以前的工作中所示的更强，是最佳的对数因子。
2022-03-02 cs.CR cs.DS cs.LG
Amortized Neural Clustering of Time Series based on Statistical Features
Statistics Program, King Abdullah University of Science and Technology (KAUST)（卡斯土奈大学科学与技术学院统计学项目）
本文提出了一种算法无关的基于特征的时间序列聚类方法，通过amortized神经推断训练神经网络近似最优划分规则，减少对传统聚类方法的依赖，并利用统计特征学习数据驱动的亲和结构，自动确定聚类数量，提升聚类准确性。
2026-05-13 cs.LG stat.CO stat.ML
Statistical Guarantees for Regularized Neural Networks
Ruhr-University Bochum（波鸿鲁尔大学）
神经网络已经成为数据分析的标准工具，但它们缺乏全面的数学理论。例如，从数据中学习神经网络的统计保证非常少，特别是对于在实践中使用或至少类似于此类的估计器的类别。在本文中，我们开发了一个一般的统计保证估计，包括一个最小二乘项和正则化。然后，我们用$\ell_1$ -正则化来证明这一保证，表明相应的预测误差在层的数量上最多以次线性方式增加，在参数的总数上最多以几何方式增加。我们的研究结果为神经网络的正则化估计建立了数学基础，它们加深了我们对神经网络和深度学习的数学理解。
2020-11-11 cs.LG cs.NE math.ST
Hyperbolic Gaussian Blurring Mean Shift: A Statistical Mode-Seeking Framework for Clustering in Curved Spaces
Indian Statistical Institute（印度统计研究所）
HypeGBMS是一种用于曲面空间聚类的统计模式寻找框架，通过双曲距离和莫比乌斯加权均值实现对层次结构的高效捕捉。
2025-12-12 cs.LG stat.ML
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文针对含离群点的k均值聚类，提出基于线性规划识别离群点并排除，再通过舍入算法计算中心，满足个体公平性约束，提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Flattening a Hierarchical Clustering through Active Learning
INRIA Lille（里尔法国国家信息与自动化研究所）；Sapienza University of Rome（罗马大学）；Google（谷歌）
我们研究主动学习的两两相似性的树叶起源于层次聚类程序。在可实现的设置中，我们提供了一个完整的表征的查询数量需要实现完美的重建的树切割。在不可实现的设置，我们依靠已知的重要抽样程序，以获得遗憾和查询复杂性的界限。我们的算法来与理论保证的统计误差，更重要的是，借给自己的线性时间实现的相关参数的问题。我们讨论这样的实现，证明他们的运行时间保证，并在现实世界的数据集上展示了令人信服的实际性能相比，被动学习和简单的主动学习基线我们的算法的初步实验。
2019-10-12 cs.LG stat.ML
Improved Analysis of Spectral Algorithm for Clustering
Shizuoka University（静冈大学）
谱算法是通过使用谱嵌入映射将图的节点集划分为组的图划分算法。基于该算法的聚类技术被称为谱聚类，并广泛应用于数据分析。为了更好地理解为什么谱聚类是成功的，Peng et al.（2015）和Kolev and Mehlhorn（2016）研究了一类图的某种类型的谱算法的行为，称为良好聚类图。具体地说，他们对图进行了假设，并给出了在此假设下谱算法的性能保证，他们研究的算法使用了Shi和Malic（2000）提出的谱嵌入图。在本文中，我们改进了他们的结果，在较弱的假设下给出了更好的性能保证。我们还评估了谱算法的性能与Ng等人（2001）开发的谱嵌入图。
2020-09-07 cs.LG stat.ML
Statistical Guarantees for Approximate Stationary Points of Shallow Neural Networks
University of Hamburg（汉堡大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
本文研究了浅层神经网络近似 stationary 点的统计保证，提出方法支持神经网络无需全局优化的数学观点，并扩展至 ReLU 神经网络。
2025-12-05 cs.LG math.ST stat.TH
Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
本文在 Dasgupta 框架下研究了差分隐私层次聚类，证明了误差下界，提出了多项式与指数时间近似算法，并在随机块模型下设计了能精确恢复块的近似算法，最后通过实验验证了性能。
2023-05-23 cs.CR cs.DS cs.LG
Guaranteed Recovery of Unambiguous Clusters
Electrical and Computer Engineering University of Illinois Urbana-Champaign（电气与计算机工程大学伊利诺伊大学厄巴纳-香槟分校）
本文针对聚类结果存在歧义的问题，提出一种信息论刻画无歧义 $K$-聚类的条件，并设计基于密度种子和贪心扩展的恢复算法，在多个数据集上以较少参数选择取得优于现有非凸聚类方法的性能。
2025-05-07 cs.AI cs.DS cs.IT
On the Sparsifiability of Correlation Clustering: Approximation Guarantees under Edge Sampling
Department of Computer Science Iowa State University（计算机科学系爱荷华州立大学）
研究通过稀疏化相关聚类算法，在边采样下获得鲁棒的近似保证，证明了伪度量结构对算法可计算性和鲁棒性的重要性。
2026-02-14 cs.AI cs.LG
The elbow statistic: Multiscale clustering statistical significance
ElbowSig是一种用于多尺度聚类分析的统计方法，通过归一化离散曲率统计量评估聚类异质性序列，提供多尺度结构的显著性检测。
2026-03-03 cs.LG stat.ME stat.ML
Simultaneous Clustering and Optimization for Evolving Datasets
National University of Defense Technology（国防科技大学）；China University of Geosciences（中国地质大学）；Dongguan University of Technology（东莞理工学院）
同时聚类和优化（SCO）最近引起了广泛的关注，由于其广泛的实际应用。以前已经提出了许多方法来解决这个问题，并获得最优模型。然而，当数据集随着时间的推移而演变时，这些现有的方法必须频繁地更新模型以保证准确性;这种更新在计算上是不可行的。在本文中，我们提出了一个新的制定SCO处理不断变化的数据集。具体来说，我们提出了一个新的变量的交替方向的乘法器（ADMM）有效地解决这个问题。从理论上分析了岭回归和凸聚类两个具体任务对模型精度的保证。广泛的实证研究证实了我们方法的有效性。
2019-08-04 cs.CV cs.LG stat.ML
Statistical Guarantees for Fairness Aware Plug-In Algorithms
American Express（美国运通）
在（Menon & Williamson，2018）中提出了一种估计贝叶斯最优分类器的插件算法。然而，他们的方法的统计效力尚未确定。我们证明了插件算法是统计一致的。我们还得到有限样本保证学习贝叶斯最优分类器通过插件算法。最后，我们提出了一个协议，修改插件的方法，以便同时保证公平性和差分隐私方面的二进制特征被认为是敏感的。
2021-07-27 cs.LG stat.ML
Statistical Parameter Selection for Clustering Persistence Diagrams
DLR German Aerospace Center（德国航空航天中心）；CNRS（法国国家科学研究中心）；Sorbonne Universite（索邦大学）
在紧急决策应用中，集合模拟是基于当前可用数据确定不同结果情景的重要方法。在本文中，我们将分析合奏模拟的输出，考虑所谓的持久性图，这是减少表示的原始数据，出于提取的拓扑特征。基于最近发表的渐进算法的聚类持久性图，我们确定的最佳数量的集群，因此显着不同的结果的情况下，通过最小化建立的统计评分函数的数量。此外，我们提出了一个概念验证的原型实现的聚类数量的统计选择，并提供了实验研究的结果，这种实现已被应用到现实世界的合奏数据集。
2019-10-17 cs.GR cs.LG eess.IV
A Constant-Factor Bi-Criteria Approximation Guarantee for $k$-means++
本文研究了$k$ -means++聚类算法以及$k$ -means++所属的一类$D^\ell$抽样算法。结果表明，对于任何恒定的因素$β> 1$，选择$βk$聚类中心的$D^\ell$抽样产生一个恒定的因素近似的最佳聚类与$k$中心，在预期和没有条件的数据集。该结果将先前已知的$O(\log k)$对情况$β= 1$的保证扩展到恒定因子双准则制度。它还改进了现有的常数因子双标准的结果，只有与恒定的概率。
2016-05-16 cs.CG cs.LG
Statistical Properties of $k$-means Clustering for Data Missing Completely at Random
研究完全随机缺失数据下 $k$-means 聚类的统计性质，建立了 $\sqrt{n}$-超额风险界和估计中心的一致性，推导了 $\sqrt{n}$-收敛速度和渐近正态性，并给出了估计中心收敛到真实中心的条件。
2026-07-03 cs.LG stat.ML
Subspace Clustering using Ensembles of $K$-Subspaces
Portland State University（波特兰州立大学）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
子空间聚类是对低维线性子空间的并集附近的点进行无监督分组。直接基于这些数据的几何特性的算法往往要么提供较差的经验性能，缺乏理论保证，要么严重依赖于它们的初始化。我们提出了一种新的几何方法的子空间聚类问题，利用合奏的K-子空间（KSS）算法通过证据积累聚类框架。我们的算法，被称为合奏K-子空间（EKSS），形成一个共关联矩阵，其第（i，j）项是点i和j被聚类在一起的随机初始化的KSS的几个运行的次数。我们证明一般恢复保证任何算法，形成一个亲和矩阵的条目接近成对绝对内积的单调变换。然后，我们表明，EKSS的一个具体实例的结果在这种形式的条目的亲和矩阵，因此我们提出的算法可以证明恢复子空间在类似的条件下，以国家的最先进的算法。据我们所知，这一发现是证据积累聚类和KSS变体的第一个恢复保证。我们显示合成数据，我们的方法表现良好，在传统的具有挑战性的设置的子空间与大的交集，子空间与小的主角度，和嘈杂的数据。最后，我们评估我们的算法在六个常见的基准数据集，并表明，与现有的方法不同，EKSS实现了出色的经验性能时，每个子空间都有一个小的和大量的点。
2021-01-06 cs.CV cs.LG stat.ML
Faster Approximation Algorithms for Parameterized Graph Clustering and Edge Labeling
Texas A&M University（德克萨斯农工大学）
针对 NP 难的 LambdaCC 参数化图聚类框架，提出基于新型参数化边标注问题的快速纯组合近似算法，显著提升可扩展性，并为既有启发式方法提供事后近似保证。
2023-06-08 cs.DM cs.DS cs.LG
BalLOT: Balanced $k$-means clustering with optimal transport
Department of Mathematics, The Ohio State University（数学系，俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University（转化数据分析研究所，俄亥俄州立大学）
BalLOT通过最优传输方法实现平衡k均值聚类，提供快速有效解决方案，并在理论和实验上证明了其在聚类恢复中的有效性。
2026-10-02 cs.DS cs.IT cs.LG
Replicable Clustering
Google Research（谷歌研究院）；Yale University（耶鲁大学）
针对统计聚类问题，我们基于可复现性概念，利用组合近似例程设计可复现算法，实现欧几里得k-中位数和k-均值的O(1)近似，并通过实验验证。
2023-10-27 cs.DS cs.LG stat.ML
