The SpectACl of Nonconvex Clustering: A Spectral Approach to Density-Based Clustering
TU Dortmund University（多特蒙德工业大学）；Technische Universiteit Eindhoven（埃因霍温理工大学）
当涉及到聚类非凸形状时，使用两种范式来找到最合适的聚类：最小切割和最大密度。结合这些范例的最流行的算法是谱聚类和DBSCAN。这两种模式都有各自的优点和缺点。虽然最小割聚类对噪声敏感，但基于密度的聚类在处理具有不同密度的聚类时遇到了麻烦。在本文中，我们提出了\textsc{SpectACl}：一种方法结合了这两种方法的优点，同时解决了上述两个缺点。我们的方法易于实现，如谱聚类，并从理论上建立优化建议的密度标准的聚类。通过对合成数据和真实数据的实验，我们证明了我们的方法提供了强大而可靠的聚类。
2019-07-01 cs.LG stat.ML
Lifelong Spectral Clustering
University of Chinese Academy of Sciences（中国科学院大学）；Northeastern University（东北大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；MIT（麻省理工学院）
在过去的几十年中，谱聚类（SC）已经成为最有效的聚类算法之一。然而，大多数以前的研究集中在谱聚类任务与一个固定的任务集，它不能与一个新的谱聚类任务，而不访问以前学习的任务。在本文中，我们的目标是探讨终身机器学习框架中的谱聚类问题，即，终身谱聚类（L2 SC）。它的目标是有效地学习一个新的谱聚类任务的模型，有选择地转移以前积累的经验，从知识库。具体来说，L2 SC的知识库包含两个部分：1）正交基库：在每对任务中的聚类之间捕获潜在聚类中心; 2）特征嵌入库：嵌入多个相关任务之间共享的特征流形信息。当一个新的谱聚类任务到来时，L2 SC首先从基库和特征库中转移知识以获得编码矩阵，并随着时间的推移进一步重新定义库库，以最大限度地提高所有聚类任务的性能。同时，推导了一个通用的在线更新公式，交替更新的基础库和特征库。最后，在真实世界的基准数据集上进行的实验表明，与现有的谱聚类算法相比，本文提出的L2 SC模型能够有效地提高聚类性能.
2019-11-29 cs.LG stat.ML
Regularized Non-negative Spectral Embedding for Clustering
Beihang University（北京航空航天大学）
谱聚类是一种将数据点分成组的流行技术，特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成（例如相似性矩阵构建，低维嵌入和作为后处理的K-Means聚类），由于不同阶段之间可能存在不匹配，因此可能导致次优结果。在本文中，我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入（RNSE），扩展了谱聚类与自适应学习的相似性矩阵，同时利用非负约束，以促进一步聚类（直接从数据点到聚类标签）。两个有充分根据的方法，连续交替投影和战略乘法更新，解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明，RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Understanding Regularized Spectral Clustering via Graph Conductance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文利用图电导和谱聚类之间的关系来研究（i）谱聚类的失败和（ii）正则化的好处。原因很简单。稀疏图和随机图创建了许多小树，这些小树仅通过一条边连接到图的核心。图电导是敏感的，这些嘈杂的“悬挂集”。谱聚类继承了这种敏感性。本文的第二部分从先前提出的正则化谱聚类的形式开始，并表明它与“正则化图”上的图电导有关。我们称正则化图上的电导为CoreCut。基于先前将图电导与谱聚类（例如Cheeger不等式）相关联的参数，最小化CoreCut松弛以正则化谱聚类。对CoreCut的简单检查揭示了为什么它对图中的小切割不那么敏感。总之，这些结果表明，谱聚类的不平衡分区可以被理解为在稀疏和随机图的外围对噪声的过拟合。正则化修复了这种过拟合。除了这种统计上的好处，这些结果还证明了正则化如何提高谱聚类的计算速度。我们提供模拟和数据的例子来说明这些结果。
2018-12-01 cs.LG stat.ML
On a 'Two Truths' Phenomenon in Spectral Graph Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute for Defense Analyses（国防分析研究所）；University of Massachusetts（马萨诸塞大学）
聚类关注的是在没有任何明确的真实分组概念的情况下对观测数据进行连贯的分组。谱图聚类--根据图的谱嵌入对图的顶点进行聚类--通常通过由拉普拉斯或邻接谱嵌入（LSE或ASE）组成的K均值（或者更一般地，高斯混合模型）聚类来实现。最近的理论结果提供了新的理解的问题和解决方案，并导致我们的“两个真理”的LSE与ASE频谱图聚类现象令人信服地说明了这里通过扩散MRI连接体数据集：不同的嵌入方法产生不同的聚类结果，与LSE捕获左半球/右半球的亲和结构和ASE捕获灰质/白质的核心-外围结构。
2019-02-11 cs.LG stat.ML
Mini-Batch Spectral Clustering
Symantec Research Labs（赛门铁克研究实验室）；EURECOM
计算拉普拉斯矩阵谱的代价阻碍了谱聚类在大数据集上的应用。虽然近似恢复计算易处理性，但它们可能会影响聚类性能。提出了一种基于自适应随机梯度优化的谱聚类学习方法。最重要的是，所提出的方法恢复的拉普拉斯矩阵的精确谱的限制的迭代，每次迭代的成本是线性的样本数。在多达50万个样本的数据集上进行了广泛的实验验证，证明了其可扩展性及其优于最先进的近似方法的能力，以在给定的计算预算下学习谱聚类。
2016-08-12 cs.LG stat.ML
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
鉴于谱聚类（SC）用于划分图数据的广泛流行，我们研究了一种受约束的SC版本，其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念，如果每个人口统计组在每个聚类中近似地按比例表示，则聚类是公平的。为此，我们开发了规范化和非规范化约束SC的变体，并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析，我们的算法上的一个自然的随机块模型，其中$h$组有很强的组间连接，但也表现出一个“自然”的聚类结构，这是公平的。我们证明，我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML
Clustering Result Re-guided Incomplete Multi-view Spectral Clustering
College of Information Engineering, Shanghai Maritime University（上海 Maritime University 信息工程学院）；Department of Automation, Shanghai Jiao Tong University（上海 Jiao Tong University 自动化系）
针对不完整多视图谱聚类中样本连通性未被有效利用的问题，提出CRG_IMSC方法，通过非负约束直接获取聚类结果并构建连通性矩阵最小化自表示残差，实验证明其优于现有方法且收敛。
2025-10-11 cs.LG stat.ML
Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms
我们考虑的问题，聚类与最长的腿路径距离（LLPD）度量，这是信息细长和不规则形状的集群。我们证明有限样本保证的性能，聚类相对于此度量时，随机样本从多个固有的低维集群在高维空间中，在大量的高维离群值的存在下。通过结合这些结果与谱聚类相对于LLPD，我们提供的条件下，拉普拉斯特征间隙统计正确地确定了一个大类的数据集的集群的数量，并证明所提出的算法的标签精度的保证。我们的方法是相当普遍的，并提供性能保证谱聚类与任何超度量。我们还介绍了一个有效的，易于实现的近似算法的LLPD的基础上的多尺度分析的邻接图，它允许运行时的LLPD谱聚类的数据点的数量是准线性的。
2019-03-06 stat.ML
Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作（4，19，24，20）为稀疏子空间聚类（4）提供了强有力的理论保证，稀疏子空间聚类是子空间聚类的最新算法，适用于无噪声和噪声数据集。它表明，在温和的条件下，以高概率没有两个点从不同的子空间聚集在一起。然而，由于臭名昭著的“图连通性问题”（15），这种保证不足以使聚类正确。在本文中，我们调查的图形连接性问题的噪声稀疏子空间聚类，并表明，一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明，我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法，它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来，谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上，图拉普拉斯是完全连接或不。对于全连通图，本文通过提供一个目标函数：原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图，证明了在适当的$k$下，第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
Improved Analysis of Spectral Algorithm for Clustering
Shizuoka University（静冈大学）
谱算法是通过使用谱嵌入映射将图的节点集划分为组的图划分算法。基于该算法的聚类技术被称为谱聚类，并广泛应用于数据分析。为了更好地理解为什么谱聚类是成功的，Peng et al.（2015）和Kolev and Mehlhorn（2016）研究了一类图的某种类型的谱算法的行为，称为良好聚类图。具体地说，他们对图进行了假设，并给出了在此假设下谱算法的性能保证，他们研究的算法使用了Shi和Malic（2000）提出的谱嵌入图。在本文中，我们改进了他们的结果，在较弱的假设下给出了更好的性能保证。我们还评估了谱算法的性能与Ng等人（2001）开发的谱嵌入图。
2020-09-07 cs.LG stat.ML
Constrained 1-Spectral Clustering
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）；Saarland University（萨尔大学）
聚类中先验信息的一种重要形式是不能链接和必须链接约束。我们提出了一个普遍的谱聚类技术，它集成了这样的限制。受最近提出的$1$ -谱聚类无约束问题的启发，我们的方法是基于紧松弛的约束归一化切割成一个连续的优化问题。相对于所有其他的方法，已建议约束谱聚类，我们总是可以保证满足所有的约束。此外，我们的软配方允许优化归一化的削减和违反约束的数量之间的权衡。提供了一种有效的实现，其可扩展到大型数据集。在实验中，我们始终优于所有其他提出的方法。
2015-05-24 cs.LG stat.ML
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
对于社区检测问题，谱聚类是一种广泛使用的网络簇检测方法。在本文中，我们提出了一种改进的谱聚类（ISC）方法下的度校正随机块模型（DCSBM）。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的，其中权值是其对应的特征值。ISC的理论分析表明，在温和的条件下，ISC产生稳定一致的社区检测。数值结果表明，ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是，ISC对两个弱信号网络Simmons和Caltech提供了显着的改进，错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
Recovery guarantees for exemplar-based clustering
The Johns Hopkins University（约翰斯·霍普金斯大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
对于某一类分布，我们证明了线性规划松弛的$k$-medoids聚类-一个变种的$k$-意味着聚类，其中的手段是由样本从数据集内-区分点绘制的非重叠球的概率高，一旦点的数量绘制和任何两个球之间的分离距离足够大。我们的研究结果在非平凡的制度，其中的分离距离是足够小的点从不同的球可能会更接近对方比点从同一个球;在这种情况下，通过阈值点之间的成对距离聚类可能会失败。我们还展示了数值证据的高概率恢复在一个更宽松的制度。
2014-02-03 cs.CV cs.LG stat.ML
Consistent Spectral Clustering in Hyperbolic Spaces
Indian Statistical Institute（印度统计研究所）
针对非欧空间中非深度聚类研究不足的问题，提出双曲谱聚类算法，用双曲相似矩阵替代欧几里得相似矩阵，证明弱一致性与不低于欧氏谱聚类的收敛速度，并在乳腺癌数据集上验证优势。
2024-12-06 cs.LG stat.ML
Clustering with Tangles: Algorithmic Framework and Theoretical Guarantees
University of Tübingen（图宾根大学）；University of Hamburg（汉堡大学）
本文提出基于 tangles 的层次化软聚类框架，通过聚合数据集割集识别稠密结构，证明多场景理论保证并验证其线性复杂度与广泛适用性。
2022-11-06 cs.LG stat.ML
Connecting Spectral Clustering to Maximum Margins and Level Sets
Stellenbosch University（斯泰伦博斯大学）
我们研究了谱聚类和最大间隔聚类问题之间的联系，以及密度函数水平集分量的估计。具体来说，我们得到的图拉普拉斯矩阵的特征向量的集群之间的分离，集群内的连接方面的界限。这些界限确保谱聚类解决方案收敛到最大间距聚类解决方案的缩放参数减少到零。最大间距聚类解决方案对离群点的敏感性是众所周知的，但可以通过首先去除这些离群点并将最大间距聚类应用于剩余点来减轻。如果使用潜在概率密度的估计来识别离群值，则剩余点可以被视为该密度函数的水平集的估计。我们表明，这样的方法可以用来一致地估计组件的水平集的密度函数在非常温和的假设。
2018-12-16 cs.LG stat.ML
Spectral clustering on spherical coordinates under the degree-corrected stochastic blockmodel
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
谱聚类是网络图中社区检测的一种流行方法：从图的矩阵表示开始，节点被聚类到从矩阵的截断谱分解获得的低维投影上。正确估计谱聚类算法中的社区数和缩减后的潜在空间维数是保证算法性能的关键。此外，许多现实世界的图，如在网络安全应用中研究的企业计算机网络，经常显示异构的社区内度分布。这样的异构度分布通常不能很好地捕捉标准谱聚类算法。在本文中，提出了一种新的谱聚类算法的度校正随机块模型下的社区检测。所提出的方法是基于变换的谱嵌入球坐标，和一个新的建模假设在变换空间。该方法允许同时和自动选择社区的数量和潜在的维度谱嵌入的图与不均匀的节点度。结果表明，在代表计算机网络的竞争方法的性能有所改善。
2021-09-08 cs.LG stat.ML
Data Clustering and Graph Partitioning via Simulated Mixing
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
谱聚类方法已经导致在给定数据集中找到准确聚类的公认算法。然而，其应用到大规模的数据集一直受到计算复杂性的特征值分解。最近已经提出了几种算法来加速谱聚类，然而它们在谱聚类的准确性上妥协以实现更快的速度。在本文中，我们提出了一种新的谱聚类算法的基础上混合过程的图。不同于现有的谱聚类算法，我们的算法不需要计算特征向量。具体地说，它找到了与相应的特征值加权的归一化相似性矩阵的特征向量的线性组合的等价物。然后使用该线性组合将数据集划分为有意义的聚类。在真实数据集上的仿真表明，随着聚类数的增加，基于这种特征向量线性组合的数据集划分方法比标准谱聚类方法具有更好的准确性。我们的算法可以很容易地在分布式环境中实现。
2016-03-15 cs.LG stat.ML
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI（IBM研究院人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）；Huawei Research（华为研究院）
谱聚类是最有效的聚类方法之一，它可以捕捉数据中隐藏的聚类结构。然而，它不能很好地扩展到大规模的问题，由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类，其中大多数妥协相当大的信息损失的原始数据，以减少计算瓶颈。在本文中，我们提出了一种新的可扩展的谱聚类方法，使用随机装箱功能（RB），同时加快相似图的建设和特征分解。具体来说，我们隐式地近似的图形相似性（内核）矩阵的内积由RB生成的大型稀疏特征矩阵。然后，我们引入了一个国家的最先进的SVD求解器，有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块，我们将计算成本从数据点数量的二次降低到线性，同时实现类似的精度。我们的理论分析表明，通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明，该方法在准确性和运行时间上都优于或匹配最先进的方法。此外，我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
聚类是无监督学习中的一个基本问题。像K-means这样的流行方法可能会表现不佳，因为它们容易陷入局部最小值。最近，在Pelckmans等人（2005）、Lindsten等人（2011）和Hocking等人（2011）中提出了范数和（SON）模型（也称为聚类路径）。具有均匀加权所有成对差异正则化的凸聚类模型的完美恢复特性已由Zhu et al.（2014）和Panahi et al.（2017）证明。然而，一般的加权凸聚类模型，其中更好的经验结果已被观察到，没有理论上的保证。在数值优化方面，虽然已经提出了交替方向乘法（ADMM）和交替最小化算法（AMA）等算法来解决凸聚类模型（Chi和Lange，2015），但解决大规模问题仍然非常具有挑战性。本文建立了一般加权凸聚类模型的完全恢复保证的充分条件，作为特例包含和改进了已有的理论结果。此外，我们开发了一个半光滑牛顿的增广拉格朗日方法来解决大规模的凸聚类问题。模拟和真实数据的大量数值实验表明，我们的算法是高效和强大的解决大规模问题。此外，数值结果也显示了优越的性能和可扩展性，我们的算法相比，现有的一阶方法。特别地，我们的算法能够在大约6分钟内解决$\mathbb{R}^3$中具有200，000个点的凸聚类问题。
2018-10-04 cs.LG math.OC stat.ML
Robust spectral clustering using LASSO regularization
Toulouse Mathematics Institute（图卢兹数学研究所）；University of Toulouse（图卢兹大学）；Metabolic and Cardiovascular Diseases Institute（代谢与心血管疾病研究所）；CNRS（法国国家科学研究中心）
簇结构检测是图分析的一项基本任务，目的是理解和可视化它们的功能特性。在不同的聚类结构检测方法中，谱聚类由于其快速和简单而成为目前应用最广泛的方法之一。然而，对于一般模型，很少有理论上的保证来恢复图的底层分区。因此，本文提出了一个变种的谱聚类，称为1-谱聚类，进行一个新的随机模型密切相关的随机块模型。它的目标是促进稀疏特征基解决方案的1最小化问题，揭示了自然结构的图。我们的技术的有效性和小噪声扰动的鲁棒性是通过一组模拟和真实数据的例子来证实的。
2020-04-08 cs.LG stat.ML
Spectral Clustering with Smooth Tiny Clusters
Peking University（北京大学）
谱聚类是最重要的聚类方法之一。基于距离的相似性是谱聚类中应用最广泛的方法。然而，人们已经注意到，这不适合多尺度数据，因为对于不同密度的集群，距离变化很大。现有技术（ROSC和CAST）通过考虑对象的可达性相似性来解决该限制。然而，我们观察到，在现实世界的场景中，同一个集群中的数据往往以平滑的方式呈现，而以前的算法从未考虑到这一点。在此基础上，提出了一种新的聚类算法，该算法首次考虑了数据的平滑性。我们首先把物体分成许多小的簇。我们的核心思想是聚类微小的集群，其中心构成光滑的图形。理论分析和实验结果表明，本文提出的聚类算法在性能上明显优于现有的聚类算法。虽然本文只针对多尺度情况，但数据平滑的思想可以推广到任何聚类算法中
2020-09-10 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中，我们回顾了与核谱聚类（KSC）相关的主要文献，KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式，由加权核PCA目标描述。正如在分类器的情况下，二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外，多路聚类可以通过经由纠错输出码（ECOC）编码方案组合一组二元决策函数来获得。由于其基于模型的性质，KSC方法包括三个主要步骤：训练，验证，测试。在验证阶段，执行模型选择以获得调优参数，如数据中存在的聚类数。这是一个主要的优势相比，经典的谱聚类的聚类参数的确定是不清楚的，依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练，它就能够很好地推广到看不见的测试点。除了基本公式，稀疏KSC算法的基础上不完全Cholesky分解（ICD）和$L_0$，$L_1, L_0 + L_1$，组Lasso正则化。在这方面，我们展示了如何处理大规模数据。此外，两种可能的方式来执行层次聚类和软聚类方法。最后，考虑了实际应用，如图像分割，电力负荷时间序列聚类，文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
On Constrained Spectral Clustering and Its Applications
University of California, Davis（加州大学戴维斯分校）
约束聚类已被充分研究的算法，如$K$ -均值和层次聚类。然而，如何满足这些算法设置中的许多约束已被证明是棘手的。编码许多约束的一种替代方法是使用谱聚类，这仍然是一个发展中的领域。在本文中，我们提出了一个灵活的框架约束谱聚类。与以前的一些努力，隐式编码必须链接和不能链接的约束，通过修改图形拉普拉斯算子或约束的基础特征空间，我们提出了一个更自然和原则的制定，明确编码的约束作为约束优化问题的一部分。我们的方法提供了几个实际的优点：它可以编码的程度的信念，必须链接和不能链接的约束，它保证下限如何以及给定的约束满足使用用户指定的阈值，它可以解决确定性在多项式时间通过广义特征分解。此外，通过继承目标函数的谱聚类和编码的约束明确，现有的分析无约束谱聚类技术仍然有效，我们的配方。我们验证了我们的方法的有效性，人工和真实数据集上的实证结果。我们还展示了一个创新的使用编码大量的约束：迁移学习通过约束。
2012-09-21 cs.LG stat.ML
Spectral Clustering with Graph Neural Networks for Graph Pooling
NORCE, the Norwegian Research Centre（挪威研究中心NORCE）；Università della Svizzera italiana（意大利语区大学（瑞士））；Politecnico di Milano（米兰理工大学）
谱聚类（SC）是一种流行的聚类技术，用于发现图上的强连接社区。SC可以在图神经网络（GNN）中使用，以实现聚合属于同一集群的节点的池化操作。然而，拉普拉斯算子的特征分解是昂贵的，并且由于聚类结果是特定于图的，因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中，我们提出了一个图聚类的方法，解决这些限制SC。我们制定了一个连续放松的归一化minCUT问题和训练GNN计算集群分配，最大限度地减少这一目标。我们基于GNN的实现是可微的，不需要计算谱分解，并学习可以在样本外图上快速评估的聚类函数。从所提出的聚类方法，我们设计了一个图池运营商，克服了一些重要的限制国家的最先进的图池技术，并在几个监督和无监督的任务中实现最佳性能。
2020-12-29 cs.LG stat.ML
Convex Programming Based Spectral Clustering
Shizuoka University（静冈大学）
聚类是数据分析中的一项基本任务，谱聚类是一种很有前途的聚类方法。给定一个描述数据之间关系的图，谱聚类分两个阶段探索潜在的聚类结构。第一阶段将图的节点嵌入到真实空间中，第二阶段将嵌入的节点分组到几个簇中。在分组阶段使用$k$ -均值方法是目前的标准做法。我们提出了一个谱聚类算法，在分组阶段使用凸规划，并研究它的工作原理。该算法基于以下观察而设计。如果一个图是良好的聚类，那么每个簇中度最大的节点可以通过计算嵌入真实空间中的节点的封闭椭球来找到，并且可以通过使用这些节点来识别簇。我们表明，良好的聚类图，该算法可以找到集群的节点具有最小的电导。我们还给出了一个实验评估算法的性能。
2020-12-22 cs.LG stat.ML
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo（滑铁卢大学）
在本文中，我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法，但由于特征分解而具有高计算复杂性。在这项工作中，我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵，我们只考虑有限数量的点，称为地标，并计算所有数据点与地标的相似性。然后，我们给出了图的拉普拉斯矩阵的定义，使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$，其中$n$是数据点的数量，$p$是界标的数量。最后，通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore（新加坡国立大学）
我们提出了第一个基于深度学习的架构，用于任意矩阵集合的集体矩阵三分解（DCMTF），也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类，以发现每个输入矩阵中的潜在聚类，跨两个维度，以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到：https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
SpectralNet: Spectral Clustering using Deep Neural Networks
Yale University（耶鲁大学）；Weizmann Institute of Science（魏茨曼科学研究所）
本文提出SpectralNet，一种基于深度神经网络的谱聚类方法，通过约束随机优化学习嵌入，克服可扩展性和泛化问题，并在Reuters数据集上取得最先进聚类结果。
2018-04-04 cs.LG stat.ML
Spectral Clustering of Categorical and Mixed-type Data via Extra Graph Nodes
Columbia University（哥伦比亚大学）；Bowdoin College（鲍登学院）
针对类别型与混合型数据聚类，提出添加对应类别的额外图节点的谱聚类方法，无需预处理，可解释且对纯类别数据达线性时间，性能与运行时间具竞争力。
2024-03-08 cs.LG stat.ML
Ultra-Scalable Spectral Clustering and Ensemble Clustering
South China Agricultural University（华南农业大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；Nanchang University（南昌大学）
本文主要研究谱聚类算法在资源有限的超大规模数据集上的可扩展性和鲁棒性。提出了两种新的聚类算法：超可扩展谱聚类（U-SPEC）和超可扩展集成聚类（U-SENC）。在U-SPEC中，提出了一种混合的代表选择策略和K-最近代表的快速近似方法，用于构造稀疏的亲和子矩阵。通过将稀疏子矩阵解释为二分图，然后利用转移割来有效地划分图并获得聚类结果。在U-SENC中，多个U-SPEC聚类器被进一步集成到一个集成聚类框架中，以增强U-SPEC的鲁棒性，同时保持高效率。基于多个U-SEPC的集成生成，在对象和基簇之间构造一个新的二分图，然后进行有效的划分，以达到一致的聚类结果。值得注意的是，U-SPEC和U-SENC都具有接近线性的时间和空间复杂度，并且能够在具有64 GB内存的PC上健壮且高效地划分千万级非线性可分离数据集。在各种大规模数据集上的实验证明了算法的可扩展性和鲁棒性。MATLAB代码和实验数据可在https://www.researchgate.net/publication/330760669上获得。
2019-03-05 cs.LG stat.ML
On consistency of constrained spectral clustering under representation-aware stochastic block model
Indian Institute of Science（印度科学学院）
谱聚类由于其灵活性、计算效率和良好的理论性能保证而在实践中得到广泛应用。最近，谱聚类已被研究，以找到平衡的集群人口水平的限制。这些约束由辅助分类节点属性形式的附加信息指定。在本文中，我们考虑的情况下，这些属性可能是不可观察的，但表现为一个辅助图的潜在特征。出于这一动机，我们研究约束谱聚类的目的是找到平衡的集群在一个给定的\textit{similarity graph} $\mathcal{G}$，这样每个人都充分表示相对于一个辅助图$\mathcal{R}$（我们称之为表示图）。我们提出了一个个人层面的平衡约束，形式化这个想法。我们的工作导致一个有趣的随机块模型，不仅植物给定的分区在$\mathcal{G}$，但也植物的辅助信息编码的表示图$\mathcal{R}$。在这种情况下，我们开发了谱聚类的非归一化和归一化变体。这些算法使用$\mathcal{R}$在$\mathcal{G}$中找到近似满足所提出的约束的聚类。我们还建立了第一个统计一致性结果的约束谱聚类下的个人水平的限制，从上述变体的随机块模型采样的图形。我们的实验结果证实了我们的理论发现。
2022-03-03 cs.LG stat.ML
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
谱聚类方法被广泛应用于社区检测网络中的簇检测，而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中，我们提出了一个对偶正则图拉普拉斯矩阵，然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$，我们认为更多的$K$领导特征向量和权重，他们相应的特征值在谱聚类过程中，以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类（DRSC）方法、对偶正则化特征向量比谱聚类（DRSCORE）方法和对偶正则化对称拉普拉斯逆矩阵（DRSLIM）方法。对DRSC和DRSLIM算法的理论分析表明，在较弱的条件下，DRSC和DRSLIM算法能够获得稳定一致的社区检测结果，而在理想情况下，DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络，比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
Iterative Spectral Method for Alternative Clustering
Northeastern University（东北大学）
给定一个数据集和一个现有的聚类作为输入，替代聚类的目的是找到一个替代的分区。最先进的方法之一是核维交替聚类（KDAC）。我们提出了一种新的迭代谱方法（ISM），大大提高了KDAC的可扩展性。我们的算法是直观的，依赖于易于实现的频谱分解，并与理论保证。它的计算时间比现有的KDAC实现提高了5个数量级。
2019-09-08 cs.LG stat.AP stat.ML
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces（KSS）方法是子空间聚类的K-means方法的推广。在这项工作中，我们提出了局部收敛分析和恢复保证KSS，假设数据产生的半随机联盟的子空间模型，其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明，如果KSS方法的初始分配位于一个真正的聚类邻域内，它以超线性速度收敛，并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外，我们提出了一个阈值内积为基础的谱方法的初始化，并证明它产生一个点在这个邻域。我们还提出了所研究的方法，以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
A Tighter Analysis of Spectral Clustering, and Beyond
University of Edinburgh（爱丁堡大学）
本文研究了经典的谱聚类算法，该算法利用$G$矩阵的$k$特征向量将图$G=(V_G, E_G)$的顶点嵌入到图$\mathbb{R}^k$中，并应用$k$ -means将图$V_G$划分为$k$簇。我们的第一个结果是对谱聚类的性能进行了更严格的分析，并解释了为什么它在比文献中研究的条件弱得多的条件下工作。对于第二个结果，我们表明，通过应用少于$k$的特征向量来构造嵌入，谱聚类能够在许多实际情况下产生更好的输出，这是谱聚类中的第一个结果。除了它的概念和理论意义，我们的工作的实际影响证明了合成和现实世界的数据集，其中谱聚类产生可比或更好的结果，少于$k$特征向量的实证分析。
2022-08-02 cs.DS cs.LG stat.ML
Clustering dynamics on graphs: from spectral clustering to mean shift through Fokker-Planck interpolation
在这项工作中，我们建立了一个统一的框架，密度驱动和基于几何的数据聚类算法之间的插值，具体来说，连接的均值漂移算法与谱聚类在离散和连续水平。我们通过引入数据图上的福克-普朗克方程来寻求这种联系。除了引入新形式的均值漂移算法的图形，我们提供了新的理论见解的行为的家庭的扩散地图在大样本限制，以及提供新的连接之间的扩散地图和均值漂移动态固定图。几个数值例子说明了我们的理论研究结果，并强调插值密度驱动和基于几何的聚类算法的好处。
2021-10-20 cs.LG math.AP stat.ML
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS（法国国家科学研究中心）；GIPSA-lab（格勒诺布尔交互作用物理与声学实验室）；IMB, Université de Bourgogne（勃艮第大学数学研究所）
在本文中，我们分析的谱聚类（SC）算法在动态随机块模型（DSBM）的经典变种。现有的研究结果表明，在相对稀疏的情况下，期望的程度增长的nodes的数量，保证在静态的情况下，可以扩展到动态的情况下，并产生改进的误差界时DSBM是足够光滑的时间，也就是说，社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果：DSBM越规则，它就越稀疏，同时仍然保证一致的恢复。特别是，一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子，并作为我们分析的副产品，我们获得了据我们所知的最佳光谱浓度范围，可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而，谱聚类方法无法扩展到大的数据集，因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法，这是一种有效的基于采样的算法，用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息，过早地减少与采样点的相似性矩阵的秩。此外，目前的理解是有限的，关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制，这项工作提出了一个原则性的谱聚类算法，利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果，以减少目前的差距和数值实验与实际和合成数据。实验结果表明，该方法的有效性和效率相比，现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线，以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；University of California at Davis（加州大学戴维斯分校）
谱聚类已经成为一种最广泛使用的聚类技术，当单个聚类的结构是非凸的或高度各向异性的。然而，尽管它的巨大的普及，存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤，这使得其理论分析变得复杂：首先，使用关联图Laplacian的特征向量来嵌入数据集，其次，将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割，即比率割和归一化割，这使得通常的两步谱聚类方法过时，并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件，自然地依赖于每个集群的代数连接和集群间的连接，成功的谱聚类的确定性界限。此外，我们通过一些流行的例子证明，我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT
Multiscale Clustering of Hyperspectral Images Through Spectral-Spatial Diffusion Geometry
Tufts University（塔夫茨大学）
聚类算法将数据集划分为相似点的组。本文的主要贡献是多尺度空间正则化扩散学习（M-SRDL）聚类算法，该算法使用空间正则化扩散距离来高效准确地学习高光谱图像中潜在结构的多个尺度。M-SRDL聚类算法从高光谱图像中提取多个尺度的聚类，并输出这些聚类的信息重心变化作为所有潜在聚类结构的样本。我们表明，将空间正则化到一个多尺度聚类框架的结果更平滑，更连贯的集群时，应用于高光谱数据，产生更准确的聚类标签。
2022-04-07 cs.CV cs.LG stat.ML
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题，提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法，兼具可扩展性与统计最优性，误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
An iterative clustering algorithm for the Contextual Stochastic Block Model with optimality guarantees
Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）
现实世界的网络通常带有辅助信息，可以帮助提高网络分析任务（如聚类）的性能。尽管在过去的十年中进行了大量的网络聚类方法的实证和理论研究，侧信息的附加值和用于将其最佳地在聚类算法的方法是相对较少的理解。我们提出了一个新的迭代算法聚类网络与边信息的节点（协变量的形式），并表明我们的算法是最优的上下文对称随机块模型。我们的算法可以应用于一般的上下文随机块模型，并避免超参数调整，与以前提出的方法相比。我们证实了我们的理论结果的合成数据实验中，我们的算法显着优于其他方法，并表明它也可以应用到有符号的图。最后，我们证明了我们的方法对真实数据的实际兴趣。
2022-07-28 cs.LG math.ST stat.ML
Spectral Clustering Based on Local PCA
提出了一种基于局部主成分分析的谱聚类方法。该算法在选定的邻域内进行局部主成分分析后，根据邻域内主子空间之间的差异建立一个加权的最近邻图，然后进行谱聚类。相对于标准的光谱方法，仅仅基于点之间的成对距离，我们的算法是能够解决交叉点。我们建立了理论保证更简单的变种内的一个原型的数学框架多流形聚类，并评估我们的算法在各种模拟数据集。
2013-01-09 stat.ML
AMOS: An Automated Model Order Selection Algorithm for Spectral Graph Clustering
University of Michigan（密歇根大学）
谱图聚类（SGC）中的一个长期存在的问题是所谓的模型阶数选择问题：自动选择正确数量的聚类。这相当于在无向图中找到连通组件或社区的数量的问题。在本文中，我们提出了AMOS，自动模型阶选择算法的SGC。基于最近对随机互连模型下的SGC聚类可靠性的分析，AMOS通过逐步增加聚类的数量，估计所识别的聚类的质量，并提供一系列聚类可靠性测试来工作。因此，AMOS输出具有统计聚类可靠性保证的最小模型阶数的聚类。与其他三种真实数据集上的自动图聚类方法相比，AMOS在多个外部和内部聚类指标方面表现出优越的性能。
2016-09-21 cs.LG cs.SI stat.ML
CAST: A Correlation-based Adaptive Spectral Clustering Algorithm on Multi-scale Data
The University of Hong Kong（香港大学）；Simon Fraser University（西蒙弗雷泽大学）
我们研究了应用谱聚类对多尺度数据进行聚类的问题，这些数据的聚类具有不同的大小和密度。传统的谱聚类技术通过处理反映对象接近程度的相似性矩阵来发现聚类。对于多尺度数据，基于距离的相似性是无效的，因为稀疏聚类的对象可能相距很远，而密集聚类的对象必须足够接近。继[16]之后，我们通过将对象的“可达性相似性”概念与给定的基于距离的相似性结合起来，推导出对象的系数矩阵，解决了多尺度数据的谱聚类问题。我们提出了CAST算法，该算法应用跟踪Lasso来正则化系数矩阵。我们证明了由此产生的系数矩阵具有“分组效应”，它具有“稀疏性”。我们表明，这两个特点意味着非常有效的谱聚类。我们评估CAST和其他10个聚类方法在广泛的数据集w.r.t.各种措施。实验结果表明，CAST提供了良好的性能，并在多尺度数据的测试情况下具有很高的鲁棒性。
2020-06-08 cs.AI cs.LG stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University（密歇根理工大学）
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中，我们引入了一个高度可扩展的，频谱保持的图稀疏化算法，使建立超稀疏NN（u-NN）图与保证保留的原始图频谱，如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网，而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树（LSST）从原始图，然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST，提出了一种特征值稳定性检查方案，该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外，提出了一种增量图致密化方案，用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明，各种知名的数据集，该方法可以显着降低NN图的复杂性，导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
Multi-graph Fusion for Multi-view Spectral Clustering
University of Electronic Science and Technology of China（电子科技大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
针对多视图数据的特点，提出了一系列的多视图聚类算法。其中，基于光谱聚类的方法近年来受到了广泛的关注，并取得了可喜的成果。尽管取得了进展，但迄今仍有两个基本问题没有得到回答。首先，如何将不同的视图融合到一个图中。通常情况下，样本之间的相似性可能会通过不同的视图以不同的方式表现出来。许多现有的算法要么简单地取多个视图的平均值，要么只学习一个公共图。这些简单的方法未能考虑所有视图的灵活的局部流形结构。因此，丰富的异构信息没有得到充分利用。第二，如何学习显式聚类结构。现有的谱聚类方法大多不考虑图的质量，将图学习和谱聚类分开进行。这些不可靠的图可能导致次优的聚类结果。为了填补这些空白，在本文中，我们提出了一种新的多视图谱聚类模型，同时进行图融合和谱聚类。融合图近似每个单独视图的原始图，但保持显式的聚类结构。四个广泛使用的数据集上的实验证实了所提出的方法的优越性。
2019-09-16 cs.CV cs.LG stat.ML
Conformal Prediction based Spectral Clustering
Sri Sathya Sai Institute of Higher Learning（斯里·萨提亚·赛高等教育学院）
谱聚类是近年来一种重要的数据聚类技术，引起了研究者的广泛关注。它是一种高度数据驱动的方法，对要聚类的数据结构没有严格的假设。谱聚类的核心部分之一是基于数据点之间的相似性度量构建亲和矩阵。定义数据点之间的相似性度量的方式对SC技术的性能有直接影响。已经在加强成对相似性度量以增强谱聚类的方向上进行了几次尝试。在这项工作中，我们已经定义了一种新的亲和性措施，采用共形预测（CP）框架中使用的非一致性的概念。基于非一致性的亲和度捕获数据点的邻域之间的关系，并且具有概括上下文相似性的概念的能力。我们已经表明，这种制定的亲和性措施给出了良好的结果，并与最先进的方法。
2019-09-17 cs.CV cs.LG stat.ML
Randomized Spectral Clustering in Large-Scale Stochastic Block Models
Center for Modern Statistics, School of Mathematics, Northwest University（西北大学数学学院现代统计中心）
谱聚类是网络中社区发现的常用方法之一。然而，大规模网络的特征值分解带来了计算上的挑战。在本文中，我们研究了谱聚类使用随机素描算法从统计的角度来看，我们通常假设网络数据是从随机块模型，不一定是满秩的。为此，我们首先使用最近开发的草图算法，得到两个随机谱聚类算法，即基于随机投影和基于随机采样的谱聚类。然后，我们研究了所得到的算法在人口邻接矩阵的近似误差，误分类误差，和链路概率矩阵的估计误差的理论界。结果表明，在较弱的条件下，随机谱聚类算法与原始谱聚类算法的理论界相同。我们还将结果扩展到度校正的随机块模型。数值实验支持我们的理论研究结果，并显示随机方法的效率。开发了一个新的R软件包，称为Rounds，并向公众提供。
2022-01-06 cs.LG cs.SI stat.ME
