A Performance Guarantee for Spectral Clustering
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of California Davis（加利福尼亚大学戴维斯分校）；University of California at Davis（加利福尼亚大学戴维斯分校）
两步谱聚类方法是一种广泛使用的图划分方法，它由Laplacian特征映射和舍入步骤组成。它可以被看作是对NP难最小比率切割问题的一种自然松弛。在本文中，我们研究的中心问题：当是谱聚类能够找到全球解决方案的最小比率削减问题？首先，我们提供了一个条件，自然取决于一个给定的分区的集群内和集群间的连通性，我们可以证明，这个分区是最小比率削减问题的解决方案。然后，我们开发了一个确定的2到无穷大范数扰动界的不变子空间的图拉普拉斯对应的$k$最小特征值。最后结合这两个结果，给出了保证谱聚类输出最小比割问题全局解的条件，作为谱聚类性能的保证。
2020-07-10 cs.LG stat.ML
Can Evolutionary Clustering Have Theoretical Guarantees?
Nanjing University（南京大学）
针对进化聚类缺乏理论支撑的问题，本文证明了多目标进化算法GSEMO求解四类经典聚类问题的近似性能有理论保证，且其在个体公平约束下的离散$k$-中位数聚类中也兼具目标与公平约束的理论近似保障。
2023-07-22 cs.LG cs.NE
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
鉴于谱聚类（SC）用于划分图数据的广泛流行，我们研究了一种受约束的SC版本，其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念，如果每个人口统计组在每个聚类中近似地按比例表示，则聚类是公平的。为此，我们开发了规范化和非规范化约束SC的变体，并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析，我们的算法上的一个自然的随机块模型，其中$h$组有很强的组间连接，但也表现出一个“自然”的聚类结构，这是公平的。我们证明，我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML
Randomly Projected Convex Clustering Model: Motivation, Realization, and Cluster Recovery Guarantees
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一个随机投影凸聚类模型，用于对$\mathbb{R}^d$中具有$K$隐藏聚类的$n$高维数据点进行聚类。与基于$d$维数的凸聚类模型相比，证明了在一定的条件下，基于嵌入维数$m = O(ε^{-2}\log(n))$的随机投影凸聚类模型（其中$0 < ε< 1$为给定参数）可以保持凸聚类模型的聚类成员分配的完全恢复（如果存在）.我们进一步证明了嵌入维数可以改进为$O(ε^{-2}\log(K))$，它与数据点的数目无关。大量的数值实验结果将在本文中展示的随机投影凸聚类模型的鲁棒性和优越的性能。本文给出的数值结果也表明，随机投影凸聚类模型可以在实践中优于随机投影K-means模型。
2023-03-29 cs.LG stat.ML
Recovery guarantees for exemplar-based clustering
The Johns Hopkins University（约翰斯·霍普金斯大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
对于某一类分布，我们证明了线性规划松弛的$k$-medoids聚类-一个变种的$k$-意味着聚类，其中的手段是由样本从数据集内-区分点绘制的非重叠球的概率高，一旦点的数量绘制和任何两个球之间的分离距离足够大。我们的研究结果在非平凡的制度，其中的分离距离是足够小的点从不同的球可能会更接近对方比点从同一个球;在这种情况下，通过阈值点之间的成对距离聚类可能会失败。我们还展示了数值证据的高概率恢复在一个更宽松的制度。
2014-02-03 cs.CV cs.LG stat.ML
Distribution free optimality intervals for clustering
University of Washington（华盛顿大学）
我们解决的问题，验证聚类算法的输出。给定数据$\mathcal{D}$和将这些数据划分为$K$簇的分区$\mathcal{C}$，我们什么时候可以说获得的簇对数据是正确的或有意义的？本文介绍了一种范式，其中聚类$\mathcal{C}$被认为是有意义的，如果它是好的损失函数，如K-均值失真，稳定，即只有良好的聚类小扰动。此外，我们提出了一个通用的方法来获得后推理保证的聚类$\mathcal{C}$的近最优性和稳定性。该方法可以实例化的各种聚类标准（也称为损失函数），凸松弛存在。获得保证相当于解决凸优化问题。我们证明了这种方法的实际相关性，通过获得保证的K-均值和标准化切割聚类标准的现实数据集。我们还证明了渐近不稳定性蕴含有限样本不稳定性w. h. p.，允许从样本推断群体聚类性。保证不依赖于任何分布的假设，但它们依赖于数据集$\mathcal{D}$承认一个稳定的聚类。
2023-02-01 cs.LG stat.ML
Adversarially robust clustering with optimality guarantees
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（应用与计算数学与统计学系，诺丁汉大学）；Department of Operations Research and Financial Engineering, Princeton University（运筹学与金融工程系，普林斯顿大学）；Department of Electrical and Computer Engineering and Department of Operations Research and Financial Engineering, Princeton University（电气与计算机工程系和运筹学与金融工程系，普林斯顿大学）
针对次高斯混合数据的聚类问题，提出一种基于坐标中位数的鲁棒算法，在存在对抗异常值时仍能以常数次迭代达到最优误标记率。
2025-10-31 cs.LG math.ST stat.TH
Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
聚类是无监督学习中的一个基本问题。像K-means这样的流行方法可能会表现不佳，因为它们容易陷入局部最小值。最近，在Pelckmans等人（2005）、Lindsten等人（2011）和Hocking等人（2011）中提出了范数和（SON）模型（也称为聚类路径）。具有均匀加权所有成对差异正则化的凸聚类模型的完美恢复特性已由Zhu et al.（2014）和Panahi et al.（2017）证明。然而，一般的加权凸聚类模型，其中更好的经验结果已被观察到，没有理论上的保证。在数值优化方面，虽然已经提出了交替方向乘法（ADMM）和交替最小化算法（AMA）等算法来解决凸聚类模型（Chi和Lange，2015），但解决大规模问题仍然非常具有挑战性。本文建立了一般加权凸聚类模型的完全恢复保证的充分条件，作为特例包含和改进了已有的理论结果。此外，我们开发了一个半光滑牛顿的增广拉格朗日方法来解决大规模的凸聚类问题。模拟和真实数据的大量数值实验表明，我们的算法是高效和强大的解决大规模问题。此外，数值结果也显示了优越的性能和可扩展性，我们的算法相比，现有的一阶方法。特别地，我们的算法能够在大约6分钟内解决$\mathbb{R}^3$中具有200，000个点的凸聚类问题。
2018-10-04 cs.LG math.OC stat.ML
Clustering Small Samples with Quality Guarantees: Adaptivity with One2all pps
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
数据点的聚类是数据分析中的基本工具。我们考虑点$X$在一个宽松的度量空间，三角不等式保持在一个常数因子。通过$Q$对$X$进行聚类的{ \em成本}是$V(Q)=\sum_{x\in X} d_{xQ}$。由$k \geq 1$参数化的两个基本任务是{ \em成本估计}和{\em聚类}，{\em成本估计}返回查询$Q$的（近似）$V(Q)$，使得$|Q|=k$和{ \em聚类}返回大小为$|Q|=k$的$V(Q)$的（近似）最小值。对于非常大的数据集$X$，我们寻求小样本的有效构造，这些小样本作为执行这些任务的全部数据的替代品。提供质量保证的现有结构要么是最坏情况，无法从真实数据集的结构中受益，要么对结构做出明确的强假设。我们在这里展示如何使用自适应设计来避免这两个陷阱。我们设计的核心是多目标概率与大小成比例（pps）样本的{ \em one 2all}构造：给定质心和$α\geq 1$的集合$M$，one 2all有效地将概率分配给点，以便可以从大小为$O(α|M|ε^{-2})$的样本中很好地估计{ \em each} $Q$与成本$V(Q) \geq V(M)/α$的聚类成本。对于成本查询，我们可以通过将one 2all应用于双准则近似$M$来获得最差情况下的样本量$O(kε^{-2})$，但是我们自适应地平衡$|M|$和$α$以进一步减少样本量。对于聚类，我们设计了一个自适…
2017-10-29 cs.DS cs.LG
Dynamic Spectral Clustering with Provable Approximation Guarantee
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究动态演化图的聚类问题，提出一种动态谱聚类算法，在温和条件下以均摊更新时间 $O(1)$ 和查询时间 $o(n_T)$ 良好近似最终图聚类，并通过实验验证其实用性。
2024-06-05 cs.DS cs.LG
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；University of California at Davis（加州大学戴维斯分校）
谱聚类已经成为一种最广泛使用的聚类技术，当单个聚类的结构是非凸的或高度各向异性的。然而，尽管它的巨大的普及，存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤，这使得其理论分析变得复杂：首先，使用关联图Laplacian的特征向量来嵌入数据集，其次，将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割，即比率割和归一化割，这使得通常的两步谱聚类方法过时，并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件，自然地依赖于每个集群的代数连接和集群间的连接，成功的谱聚类的确定性界限。此外，我们通过一些流行的例子证明，我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS（法国国家科学研究中心）；GIPSA-lab（格勒诺布尔交互作用物理与声学实验室）；IMB, Université de Bourgogne（勃艮第大学数学研究所）
在本文中，我们分析的谱聚类（SC）算法在动态随机块模型（DSBM）的经典变种。现有的研究结果表明，在相对稀疏的情况下，期望的程度增长的nodes的数量，保证在静态的情况下，可以扩展到动态的情况下，并产生改进的误差界时DSBM是足够光滑的时间，也就是说，社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果：DSBM越规则，它就越稀疏，同时仍然保证一致的恢复。特别是，一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子，并作为我们分析的副产品，我们获得了据我们所知的最佳光谱浓度范围，可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作（4，19，24，20）为稀疏子空间聚类（4）提供了强有力的理论保证，稀疏子空间聚类是子空间聚类的最新算法，适用于无噪声和噪声数据集。它表明，在温和的条件下，以高概率没有两个点从不同的子空间聚集在一起。然而，由于臭名昭著的“图连通性问题”（15），这种保证不足以使聚类正确。在本文中，我们调查的图形连接性问题的噪声稀疏子空间聚类，并表明，一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明，我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
Clustering with Tangles: Algorithmic Framework and Theoretical Guarantees
University of Tübingen（图宾根大学）；University of Hamburg（汉堡大学）
本文提出基于 tangles 的层次化软聚类框架，通过聚合数据集割集识别稠密结构，证明多场景理论保证并验证其线性复杂度与广泛适用性。
2022-11-06 cs.LG stat.ML
An iterative clustering algorithm for the Contextual Stochastic Block Model with optimality guarantees
Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）
现实世界的网络通常带有辅助信息，可以帮助提高网络分析任务（如聚类）的性能。尽管在过去的十年中进行了大量的网络聚类方法的实证和理论研究，侧信息的附加值和用于将其最佳地在聚类算法的方法是相对较少的理解。我们提出了一个新的迭代算法聚类网络与边信息的节点（协变量的形式），并表明我们的算法是最优的上下文对称随机块模型。我们的算法可以应用于一般的上下文随机块模型，并避免超参数调整，与以前提出的方法相比。我们证实了我们的理论结果的合成数据实验中，我们的算法显着优于其他方法，并表明它也可以应用到有符号的图。最后，我们证明了我们的方法对真实数据的实际兴趣。
2022-07-28 cs.LG math.ST stat.ML
Near-Optimal Correlation Clustering with Privacy
Google Research（谷歌研究院）；Sorbonne University（索邦大学）；UC Davis（加州大学戴维斯分校）；Microsoft Research（微软研究院）
相关聚类是无监督学习中的一个核心问题，其应用范围包括社区发现、重复检测、自动标记等。在相关聚类问题中，一个接收一组节点作为输入，对于每个节点，一个共同聚类偏好列表，目标是输出一个聚类，最大限度地减少与指定节点偏好的不一致。在本文中，我们介绍了一个简单的和计算效率高的算法的相关聚类问题与可证明的隐私保证。我们的近似保证比以前的工作中所示的更强，是最佳的对数因子。
2022-03-02 cs.CR cs.DS cs.LG
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题，提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法，兼具可扩展性与统计最优性，误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
本文在 Dasgupta 框架下研究了差分隐私层次聚类，证明了误差下界，提出了多项式与指数时间近似算法，并在随机块模型下设计了能精确恢复块的近似算法，最后通过实验验证了性能。
2023-05-23 cs.CR cs.DS cs.LG
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Statistical Learning Guarantees for Compressive Clustering and Compressive Mixture Modeling
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；GIPSA-lab（GIPSA实验室）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（里昂信息处理实验室）；Univ Rennes（雷恩大学）；IRISA（雷恩计算机科学研究所）
我们在压缩统计学习的背景下为两个无监督学习任务提供了统计学习保证，压缩统计学习是我们在一篇配套论文中介绍的资源高效的大规模学习的一般框架。压缩统计学习的原理是压缩一个训练集合，在一次通过中，转换成一个低维草图（一个随机经验广义矩的向量），它捕捉了与所考虑的学习任务相关的信息。我们明确地描述和分析随机特征函数，经验平均值保留了压缩聚类和压缩高斯混合建模所需的信息，具有固定的已知方差，并建立足够的草图大小给定的问题尺寸。
2021-08-17 cs.IT cs.LG math.IT
A Constant-Factor Bi-Criteria Approximation Guarantee for $k$-means++
本文研究了$k$ -means++聚类算法以及$k$ -means++所属的一类$D^\ell$抽样算法。结果表明，对于任何恒定的因素$β> 1$，选择$βk$聚类中心的$D^\ell$抽样产生一个恒定的因素近似的最佳聚类与$k$中心，在预期和没有条件的数据集。该结果将先前已知的$O(\log k)$对情况$β= 1$的保证扩展到恒定因子双准则制度。它还改进了现有的常数因子双标准的结果，只有与恒定的概率。
2016-05-16 cs.CG cs.LG
Hierarchical Clustering with Structural Constraints
Stanford University（斯坦福大学）
层次聚类是一种流行的无监督数据分析方法。对于许多现实世界的应用程序，我们希望利用有关数据的先验信息，这些信息对聚类层次结构施加了约束，并且没有被算法可用的特征集捕获。这就产生了“具有结构约束的层次聚类”问题。结构性约束对平均/单一链接等自下而上的方法构成了重大挑战，尽管它们可以自然地纳入自上而下的分裂算法中，但其输出质量不存在正式保证。在本文中，我们为两个简单的自顶向下算法提供了可证明的近似保证，使用最近引入的具有成对相似性信息的层次聚类的优化观点[Dasgupta，2016]。我们展示了如何找到好的解决方案，即使在存在冲突的先验信息，通过制定一个基于约束的正则化的目标。我们进一步探索了该目标的变体，用于相异信息[Cohen-Addad等人，#20182;改进现有技术。最后，我们展示了我们的方法在一个真正的数据集的分类应用程序。
2018-07-14 cs.AI cs.DS cs.LG
Improved Approximation for Fair Correlation Clustering
Google Research（谷歌研究院）；Dartmouth College（达特茅斯学院）
相关聚类是无监督机器学习中普遍存在的范例，其中解决不公平性是一个主要挑战。受此启发，我们研究了公平相关聚类，其中数据点可能属于不同的保护组，目标是确保跨集群的所有组的公平表示。我们的文件显着概括和改进的艾哈迈迪等人以前的工作的质量保证。和艾哈迈迪等人。如下。- 我们允许用户指定一个任意的上限上的集群中的每个组的表示。- 我们的算法允许个人拥有多个受保护的功能，并同时确保所有功能的公平性。- 我们证明保证聚类质量和公平性，在这个一般的设置。此外，这改善了在以前的工作中研究的特殊情况下的结果。我们在真实数据上的实验表明，与最优解相比，我们的聚类质量要比我们的理论结果好得多。
2022-06-09 cs.DS cs.LG
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文针对含离群点的k均值聚类，提出基于线性规划识别离群点并排除，再通过舍入算法计算中心，满足个体公平性约束，提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Correlation Clustering with Adaptive Similarity Queries
University of Rome Sapienza（罗马第一大学）；Università degli Studi di Milano（米兰大学）；IIT（意大利理工学院）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）
在相关聚类中，我们给出了$n$对象以及每对对象之间的二进制相似性得分。目标是将对象划分为聚类，以便最大限度地减少与分数的不一致。在这项工作中，我们研究相关聚类作为一个主动学习问题：每个相似性得分可以通过查询来学习，目标是尽量减少分歧和查询的总数。一方面，我们描述了简单的主动学习算法，可证明实现了几乎最佳的权衡，同时给予集群恢复保证，我们测试他们在不同的数据集。另一方面，我们证明了信息理论界的查询数量，以保证规定的分歧界。这些结果给出了查询和聚类错误之间的权衡的丰富的表征。
2020-01-14 cs.LG stat.ML
Flattening a Hierarchical Clustering through Active Learning
INRIA Lille（里尔法国国家信息与自动化研究所）；Sapienza University of Rome（罗马大学）；Google（谷歌）
我们研究主动学习的两两相似性的树叶起源于层次聚类程序。在可实现的设置中，我们提供了一个完整的表征的查询数量需要实现完美的重建的树切割。在不可实现的设置，我们依靠已知的重要抽样程序，以获得遗憾和查询复杂性的界限。我们的算法来与理论保证的统计误差，更重要的是，借给自己的线性时间实现的相关参数的问题。我们讨论这样的实现，证明他们的运行时间保证，并在现实世界的数据集上展示了令人信服的实际性能相比，被动学习和简单的主动学习基线我们的算法的初步实验。
2019-10-12 cs.LG stat.ML
Faster Approximation Algorithms for Parameterized Graph Clustering and Edge Labeling
Texas A&M University（德克萨斯农工大学）
针对 NP 难的 LambdaCC 参数化图聚类框架，提出基于新型参数化边标注问题的快速纯组合近似算法，显著提升可扩展性，并为既有启发式方法提供事后近似保证。
2023-06-08 cs.DM cs.DS cs.LG
Simultaneous Clustering and Optimization for Evolving Datasets
National University of Defense Technology（国防科技大学）；China University of Geosciences（中国地质大学）；Dongguan University of Technology（东莞理工学院）
同时聚类和优化（SCO）最近引起了广泛的关注，由于其广泛的实际应用。以前已经提出了许多方法来解决这个问题，并获得最优模型。然而，当数据集随着时间的推移而演变时，这些现有的方法必须频繁地更新模型以保证准确性;这种更新在计算上是不可行的。在本文中，我们提出了一个新的制定SCO处理不断变化的数据集。具体来说，我们提出了一个新的变量的交替方向的乘法器（ADMM）有效地解决这个问题。从理论上分析了岭回归和凸聚类两个具体任务对模型精度的保证。广泛的实证研究证实了我们方法的有效性。
2019-08-04 cs.CV cs.LG stat.ML
Statistical and Computational Guarantees of Lloyd's Algorithm and its Variants
Yale University（耶鲁大学）
聚类是统计学和机器学习中的一个基本问题。Lloyd算法于1957年提出，由于其简单性和经验性能，仍然可能是实践中使用最广泛的聚类算法。然而，很少有理论研究劳埃德算法的统计和计算保证。本文试图弥合实践与理论之间的这一差距。我们研究了Lloyd算法在聚类亚高斯混合数据上的性能。在一个适当的初始化标签或中心，我们表明，劳埃德算法收敛到一个指数小的聚类误差后，为了$\log n$迭代，其中$n$是样本量。差错率是极小极大最优的。对于两个混合物的情况，我们只需要初始化器比随机猜测稍微好一点。此外，我们扩展劳埃德的算法和分析社区检测和众包，最近在统计和机器学习中受到了很多关注的两个问题。分别针对社区发现和众包提出了Lloyd算法的两种变体。在理论方面，我们提供了统计和计算保证的两种算法，和结果改善后，一些以前的信噪比的条件，在文献中的两个问题。模拟和真实数据集上的实验结果表明，我们的算法的竞争力的最先进的方法的性能。
2016-12-07 cs.LG math.ST stat.ML
Robust Hypergraph Clustering via Convex Relaxation of Truncated MLE
KAIST（韩国科学技术院）
研究了加权$d$ -均匀超图随机块模型（$d$ \textsf{-WHSBM}）中的超图聚类问题，其中由来自同一社区的$d$节点组成的每条边比由来自不同社区的节点组成的每条边具有更高的期望权值.我们提出了一个新的超图聚类算法，称为\textsf{CRTMLE}，并提供其性能保证下的$d$ \textsf{-WHSBM}一般参数制度。我们表明，该方法实现了顺序明智的最佳或现有的最佳结果近似平衡的社区规模。此外，我们的研究结果解决了第一个恢复保证越来越多的集群的不平衡的大小。通过理论分析和实验结果，我们证明了我们的算法对社区规模的不平衡性或离群节点的存在的鲁棒性。
2020-11-16 cs.IT cs.LG math.IT
Clustering under Local Stability: Bridging the Gap between Worst-Case and Beyond Worst-Case Analysis
最近，人们对聚类研究产生了浓厚的兴趣，这种研究采用了超越最坏情况的方法来分析算法。典型的想法是设计一个聚类算法，输出一个接近最优的解决方案，提供的数据满足自然的稳定性概念。例如，Bilu and Linial（2010）和Awasthi et al.（2012）提出了输出近似最优解的算法，假设最优解在输入距离的小扰动下保持不变。这种方法的一个缺点是，算法通常是根据稳定性假设显式构建的，并且在最坏的情况下没有保证;事实上，最近的几个算法输出任意坏的解决方案，即使只有一小部分数据不满足给定的稳定性概念。在这项工作中，我们以两种方式解决这一问题。首先，我们提供的算法，继承聚类近似算法的最坏情况下的保证，同时保证接近最优的解决方案时，数据是稳定的。我们的算法是对现有最先进的近似算法的自然修改。其次，我们开始研究局部稳定性，这是一个单一的最优集群，而不是整个最优解的属性。我们表明，我们的算法输出所有的最佳集群，满足稳定的局部。具体而言，我们在最近的稳定性概念下，在我们的局部框架中实现了强有力的积极结果，包括度量扰动弹性（Angelidakis et al. 2017）和稳健的扰动弹性（Balcan and Liang 2012），用于$k$ -中位数，$k$ -均值和对称/非对称$k$ -中心目标。
2017-05-19 cs.DS cs.LG
Correlation Clustering with Constrained Cluster Sizes and Extended Weights Bounds
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑图上的相关聚类问题，同时对聚类大小和边的正负权重进行约束。我们的贡献是双重的：首先，我们介绍了有界集群大小的相关聚类问题。其次，我们扩展了政权的权重值，集群可以执行恒定的近似保证在多项式时间和应用的结果有界集群大小的问题。
2015-05-22 cs.DS cs.LG
Spatial Transformer K-Means
Rice University（莱斯大学）；Flatiron Institute（弗莱提荣研究所）；Rutgers University（罗格斯大学）
K-means定义了最常用的基于质心的聚类算法之一，其性能与数据的嵌入有关。复杂的数据嵌入已经被设计成推动$K$ -手段性能的成本降低的理论保证和结果的可解释性。相反，我们建议保留固有的数据空间，并增加K均值与非刚性变换不变的相似性度量。这使得（i）减少与数据相关联的固有干扰，降低聚类任务的复杂性并提高性能并产生最先进的结果，（ii）在数据的输入空间中进行聚类，从而产生完全可解释的聚类算法，以及（iii）收敛保证的益处。
2022-02-16 cs.CV cs.LG
Subspace Clustering using Ensembles of $K$-Subspaces
Portland State University（波特兰州立大学）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
子空间聚类是对低维线性子空间的并集附近的点进行无监督分组。直接基于这些数据的几何特性的算法往往要么提供较差的经验性能，缺乏理论保证，要么严重依赖于它们的初始化。我们提出了一种新的几何方法的子空间聚类问题，利用合奏的K-子空间（KSS）算法通过证据积累聚类框架。我们的算法，被称为合奏K-子空间（EKSS），形成一个共关联矩阵，其第（i，j）项是点i和j被聚类在一起的随机初始化的KSS的几个运行的次数。我们证明一般恢复保证任何算法，形成一个亲和矩阵的条目接近成对绝对内积的单调变换。然后，我们表明，EKSS的一个具体实例的结果在这种形式的条目的亲和矩阵，因此我们提出的算法可以证明恢复子空间在类似的条件下，以国家的最先进的算法。据我们所知，这一发现是证据积累聚类和KSS变体的第一个恢复保证。我们显示合成数据，我们的方法表现良好，在传统的具有挑战性的设置的子空间与大的交集，子空间与小的主角度，和嘈杂的数据。最后，我们评估我们的算法在六个常见的基准数据集，并表明，与现有的方法不同，EKSS实现了出色的经验性能时，每个子空间都有一个小的和大量的点。
2021-01-06 cs.CV cs.LG stat.ML
Clustering-based Meta Bayesian Optimization with Theoretical Guarantee
Applied Artificial Intelligence Institute (A2I2), Deakin University（应用人工智能研究所（A2I2），迪肯大学）；Edith Cowan University（埃迪斯科文大学）；The Saigon International University（西贡国际大学）
本文提出一种可扩展且鲁棒的元贝叶斯优化方法，通过聚类划分异质元函数、学习几何代理原型并自适应合成元先验，以理论保证和HPO实验验证其有效性。
2025-03-08 cs.LG stat.ML
Sublinear Time and Space Algorithms for Correlation Clustering via Sparse-Dense Decompositions
Rutgers University（罗格斯大学）
我们提出了一种新的方法来解决（最小分歧）的相关聚类，结果在次线性算法与高效的时间和空间复杂度为这个问题。特别是，我们获得了以下算法的$n$ -顶点$(+/-)$ -标记的图形$G$：-一个次线性时间算法，以高概率返回一个恒定的近似聚类的$G$在$O(n\log^2{n})$时间假设访问的邻接列表的$(+)$ -标记的边缘$G$（这几乎是二次方快于甚至读取输入一次）。以前，没有次线性时间算法是已知的这个问题的任何乘法近似保证。--半流算法，其以高概率返回$G$在$O(n\log{n})$空间中的恒定近似聚类和在图$G$的边缘上的单次通过（该存储器几乎是输入大小的二次方）。以前，没有一个单遍算法与$o(n^2)$空间是已知的这个问题的任何近似保证。我们的方法的主要成分是一个新的连接到稀疏密集图分解，广泛用于图着色文献。据我们所知，这种连接是这些分解超出图着色的第一个应用，特别是相关聚类问题，可以独立的兴趣。
2021-09-29 cs.DS cs.LG
Correlation Clustering with Random Partial Information
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究中心）；UC Berkeley（加州大学伯克利分校）
针对关联聚类中完全图与一般非完全图的近似保证差距，研究随机删边的不完全图，证明其近似保证优于一般图，算法近似比接近完全图。
2026-08-18 cs.DS cs.LG
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology（斯蒂文斯理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而，核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的，有很多输入点。核近似，例如，Nyström方法，已被应用在以前的工作，以近似解决内核学习问题时，上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类，并表明，应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配，满足$1 + ε$近似比的内核$k$ -均值成本函数，相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分，这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为，谱聚类使用Nyström近似-一个流行的和计算效率高，但理论上不健全的方法，非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
Fair Transit Stop Placement: A Clustering Perspective and Beyond
UNSW Sydney（新南威尔士大学悉尼分校）；University of Shanghai for Science and Technology（上海科学技术大学）；Northwestern University（西北大学）
研究一般度量空间中公交站点布局问题的公平性，通过正当代表性和核心概念揭示与公平聚类的结构对应，提出参数化算法实现可调权衡。
2026-06-23 cs.GT cs.LG
$k$-center Clustering under Perturbation Resilience
Microsoft（微软）
$k$ -中心问题是一个经典的和长期研究的设施选址和聚类问题，有许多应用在其对称和非对称形式。这两个版本的问题有严格的近似因子在最坏的情况下。因此，为了改善这些比率，必须超越最坏的情况。在这项工作中，我们采取这种方法，并提供了强有力的积极结果，为非对称和对称的$k$ -中心问题的自然输入稳定性（承诺）条件下称为$α$ -扰动弹性[Bilu和Linia 2012]，这表明最佳解决方案不会改变任何α因子扰动下的输入距离。我们提供的算法，同时给予强有力的保证稳定和不稳定的情况下：我们的算法总是继承聚类近似算法的最坏情况下的保证，并输出最佳的解决方案，如果输入是$2$ -扰动弹性。此外，我们还证明了我们的结果是紧的，证明了在$(2-ε)$ -扰动下的对称$k$ -中心的弹性是困难的，除非$NP=RP$ .我们的成果的影响是多方面的。这是第一个紧的结果下的任何问题的扰动弹性。此外，我们的研究结果说明了一个令人惊讶的对称和不对称的$k$中心的情况下扰动弹性之间的关系。不像近似比，其中对称的$k$ -中心很容易求解为因子2，但不对称的$k$ -中心不能近似为任何常数因子，对称和不对称的$k$ -中心都可以在对2-扰动的弹性下最佳地求解。最后，我们在只有部分数据满足扰动弹性的设置中的保证使得这些算法更适用于现实生活中的实例。
2018-12-28 cs.DS cs.LG
Local Graph Clustering Beyond Cheeger's Inequality
MIT（麻省理工学院）；Google Research（谷歌研究院）
受大规模图聚类应用的启发，我们研究了基于随机游走的聚类算法，其运行时间仅取决于输出聚类的大小，而不是整个图。当目标集合$A$具有电导$ϕ(A)\in[0,1]$时，所有先前已知的这种算法保证输出电导为$\tilde{O}(\sqrt{ϕ(A)})$。本文将其改进为$$\tilde{O}\bigg( \min\Big\{\sqrt{ϕ(A)}, \frac{ϕ(A)}{\sqrt{\mathsf{Conn}(A)}} \Big\} \bigg)\enspace, $$，其中内部连通性参数$\mathsf{Conn}(A) \in [0,1]$定义为$A$上诱导子图上随机游动的混合时间的倒数.例如，使用$\mathsf{Conn}(A) = Ω(λ(A) / \log n)$，其中$λ$是$A$上导出子图的拉普拉斯算子的第二特征值，我们的电导保证可以与$\tilde{O}(ϕ(A)/\sqrt{λ(A)})$一样好。这与所谓的改进的Cheeger不等式[KKL+13]的最新进展建立了一个有趣的联系，该不等式认为全局谱算法可以提供$O(ϕ_{\mathsf{opt}}/\sqrt{λ_3})$而不是$O(\sqrt{ϕ_{\mathsf{opt}}})$的电导保证。此外，我们提供了理论保证的聚类精度（在精度和召回率方面）的输出集。我们还证明了我们的分析是严密的，并进行实证评估，以支持我们…
2013-11-07 cs.DS cs.LG stat.ML
Statistical guarantees for local graph clustering
University of California at Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；ICSI（国际计算机科学研究所）
局部图聚类方法的目标是在非常大的图中找到小的簇。这些方法将一个图和一个种子节点作为输入，并在运行时返回一个良好的集群作为输出，这取决于输出集群的大小，但与输入图的大小无关。在本文中，我们采用了统计的角度对局部图聚类，我们分析了l1正则化PageRank方法的性能~（Fountoulakis et.（见上文）对于单个目标集群的恢复，给定集群内的种子节点。假设目标聚类是由随机模型生成的，我们给出了两个结果。首先，我们证明了l1正则化PageRank的最佳支持恢复了完整的目标集群，具有有界的误报。在第二，我们表明，如果种子节点是唯一连接到目标集群，然后l1正则化PageRank的最佳支持恢复正是目标集群。我们还表明经验，l1正则化PageRank有一个国家的最先进的性能在许多真实的图，证明了该方法的优越性。从计算的角度来看，我们证明了l1正则化PageRank的解决方案路径是单调的。这允许应用前向逐阶段算法，该算法在不依赖于整个图的大小的运行时间中近似解路径。最后，我们表明，l1正则化PageRank和近似个性化PageRank（APPR），另一个非常流行的方法，局部图聚类，是等价的，在这个意义上，我们可以下限和上限的输出与其他的输出之一。基于这种关系，我们建立APPR类似的结果，我们建立l1正则化PageRank。
2020-01-11 cs.LG math.OC math.ST
Transformers versus the EM Algorithm in Multi-class Clustering
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Hong Kong（香港大学）
针对Transformer在无监督学习问题理解有限的现状，本研究构建Transformer与EM算法在高斯混合聚类中的理论联系，提供逼近界并证明其在充足预训练样本下可达到极小极大最优率，揭示LLMs的强推理能力。
2025-02-09 cs.LG stat.ML
Approximating Spectral Clustering via Sampling: a Review
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab（法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔理工学院、GIPSA实验室）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
谱聚类是指一系列无监督学习算法，其基于相似性图的特征向量计算原始数据的谱嵌入。这种数据的非线性变换既是这些算法成功的关键，也是它们的致命弱点：当处理超过数万个点时，形成一个图并计算其主特征向量确实在计算上是令人望而却步的。在本文中，我们回顾了主要的研究工作，旨在减少这种计算成本。我们专注于方法，来与理论控制的聚类性能，并在其操作中采用某种形式的采样。这种方法在机器学习、数值线性代数和图形信号处理文献中比比皆是，其中包括Nyström近似、地标、粗化、核心集和压缩谱聚类。我们提出的近似保证可用于每个和讨论实际的优点和局限性。令人惊讶的是，尽管所探索的文献范围很广，但我们得出的结论是，理论与实践之间仍然存在差距：最具可扩展性的方法只是出于直观的动机或松散的控制，而那些具有端到端保证的方法则依赖于强有力的假设或能够有限地增加计算时间。
2019-01-29 cs.LG stat.ML
Better Algorithms for Individually Fair $k$-Clustering
Dartmouth College（达特茅斯学院）
我们研究数据聚类问题与$\ell_p$规范的目标（例如$k$ -中位数和$k$ -手段）在个人公平的背景下。数据集由$n$点组成，我们希望找到$k$中心，使得（a）目标最小化，同时（b）尊重个体公平性约束，即每个点$v$在最多$r(v)$的距离内具有中心，其中$r(v)$是$v$到其$(n/k)$ th最近点的距离。Jung、Kannan和Lutz [FORC 2020]引入了这一概念，并设计了一种聚类算法，该算法具有可证明的（近似的）公平性和$\ell_\infty$或$k$ -中心目标的客观保证。Mahabadi和Vakilian [ICML 2020]重新讨论了这个问题，给出了所有$\ell_p$ -范数的局部搜索算法。从经验上讲，他们的算法优于荣格等人。al.在成本方面有很大的差距（对于$k$ -Median和$k$ -Means），但它们在公平性方面会产生合理的损失。在本文中，我们的主要贡献是使用线性规划（LP）技术，以获得更好的算法，这个问题，在理论和实践中。我们证明，通过修改已知的LP舍入技术，得到一个最坏情况下的保证的目标，这是比MV 20更好，经验，这个目标是非常接近最佳的。此外，我们的理论公平性保证在理论上与MV 20相当，并且根据经验，我们获得了明显更公平的解决方案。虽然解决LP { \em确切}可能是禁止的，我们证明，在实践中，一个简单的稀疏化技术大大提高了…
2021-06-23 cs.CY cs.DS cs.LG
BalLOT: Balanced $k$-means clustering with optimal transport
Department of Mathematics, The Ohio State University（数学系，俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University（转化数据分析研究所，俄亥俄州立大学）
BalLOT通过最优传输方法实现平衡k均值聚类，提供快速有效解决方案，并在理论和实验上证明了其在聚类恢复中的有效性。
2026-10-02 cs.DS cs.IT cs.LG
A Unified Framework for Tuning Hyperparameters in Clustering Problems
University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Sydney（悉尼大学）
由于缺乏用于验证的基础事实，为无监督学习问题选择超参数通常具有挑战性。尽管这个问题在统计学和机器学习中普遍存在，特别是在聚类问题中，但没有太多方法可以在理论上保证调整这些超参数。在本文中，我们提供了一个框架，可证明的保证选择超参数在一些不同的模型。我们考虑亚高斯混合模型和网络模型作为独立同分布的例子。和非I.I.D.数据我们证明了相同的框架可以用来选择拉格朗日乘子的惩罚项在半定规划（SDP）松弛社区检测，和带宽参数构建核相似性矩阵的谱聚类。通过引入交叉验证过程，我们证明了该框架也可以为网络模型进行一致的模型选择。使用各种模拟和真实数据的例子，我们表明，我们的框架优于其他广泛使用的调整程序在广泛的参数设置。
2020-02-02 cs.LG math.ST stat.ML
Approximation Algorithms for Bregman Co-clustering and Tensor Clustering
MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Univ. of Minnesota（明尼苏达大学）
在过去的几年中，已经对欧几里德k均值问题进行了强有力的推广，例如Bregman聚类[7]，共聚类（即，输入矩阵的行和列的同时聚类）[9，18]和张量聚类[8，34]。与k均值算法一样，这些更一般的问题也受到相关优化的NP难度的影响。研究人员已经开发了各种复杂程度的近似算法，用于k均值、k中位数，最近还用于Bregman聚类[2]。然而，似乎没有近似算法布雷格曼共和张量聚类。在本文中，我们得出的第一个（据我们所知）保证这些日益重要的聚类设置的方法。超越Bregman分歧，我们还证明了张量聚类与任意可分离度量的近似因子。通过大量的实验，我们评估我们的方法的特点，并表明它也有实际的影响。
2009-11-09 cs.DS cs.LG
Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research（谷歌研究院）；Sorbonne Université（索邦大学）；Aarhus University（奥胡斯大学）
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入，我们给出了一个高效且易于实现的算法，该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$，其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替）。虽然最坏情况下的保证是最先进的私有聚类方法的状态差，我们提出的算法是实用的，运行在近线性，$\tilde{O}(nkd)$，时间和规模为数千万点。我们还表明，我们的方法是适合在大规模的分布式计算环境中的并行化。特别是，我们表明，我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后，我们补充我们的理论分析与实证评估，证明算法的效率和准确性相比，其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Improved Guarantees for k-means++ and k-means++ Parallel
Northwestern University（西北大学）
在本文中，我们研究了k-means++和k-means++并行，经典的k-means聚类问题的两个最流行的算法。我们提供了新的分析，并显示改进的近似和双标准近似保证k-means++和k-means++并行。我们的研究结果给出了一个更好的理论理由，为什么这些算法在实践中表现非常好。我们还提出了一个新的变种k-means++并行算法（指数种族k-means++），具有相同的近似保证k-means++。
2020-10-27 cs.DS cs.LG
Community Detection Guarantees Using Embeddings Learned by Node2Vec
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）；Simon Fraser University（西蒙菲莎大学）
本文从理论上证明了 node2vec 嵌入结合 k-means 聚类可在度校正随机块模型中实现弱一致的社区恢复，并通过实验验证了该结果及其与其它网络嵌入工具的关系。
2024-10-22 cs.LG cs.SI stat.ME
Hierarchical $\mathcal{F}$-Clustering: Approximation and Hardness of Clustering into Trees and Bounded Diameter Graphs
研究分层$\mathcal{F}$-聚类问题，针对$\mathcal{F}$为树和有界直径图的情况，给出多项式时间近似算法，主要贡献是基于线性规划的近似框架，还证明在小集扩展假设下这两种聚类不能在常数因子内近似。
2026-07-16 cs.DS cs.LG
On Geometric Analysis of Affine Sparse Subspace Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏子空间聚类（SSC）是一种最先进的方法，用于将从子空间的并集中提取的一组数据点分割到它们各自的子空间中。现在很好地理解，SSC在广泛的几何条件下产生子空间保持数据亲和性，但遭受连接问题。在本文中，我们开发了一种新的几何分析的SSC的变体，命名为仿射SSC（ASSC），从仿射子空间的联合聚类数据的问题。我们的贡献包括一个新的概念，称为仿射独立捕获的仿射子空间的集合的安排。在仿射独立的假设下，我们证明了ASSC保证产生子空间保持的亲和力。此外，灵感的现象，即$\ell_1$正则化不再引起稀疏的解决方案是非负的，我们进一步表明，子空间保持恢复可以实现在更弱的条件下，所有数据点以外的极端点，从每个子空间。此外，我们证实了一个奇怪的观察，由ASSC产生的亲和力可能是子空间密集的-这可以保证子空间保持的亲和力ASSC产生正确的聚类条件下，相当弱。我们验证了精心设计的合成数据的理论研究结果，并评估ASSC的性能在几个真实的数据集。
2018-11-21 cs.CV cs.LG eess.SP
