Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；EPFL（洛桑联邦理工学院）；Univ. Lyon（里昂大学）；UCBL（里昂第一大学）；Inria（法国国家信息与自动化研究所）；École polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Université Bretagne Sud（南布列塔尼大学）
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架，可同时实现样本与特征降维，兼具经典降维与硬聚类能力，可用于图像数据集可视化，为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
谱聚类方法被广泛应用于社区检测网络中的簇检测，而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中，我们提出了一个对偶正则图拉普拉斯矩阵，然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$，我们认为更多的$K$领导特征向量和权重，他们相应的特征值在谱聚类过程中，以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类（DRSC）方法、对偶正则化特征向量比谱聚类（DRSCORE）方法和对偶正则化对称拉普拉斯逆矩阵（DRSLIM）方法。对DRSC和DRSLIM算法的理论分析表明，在较弱的条件下，DRSC和DRSLIM算法能够获得稳定一致的社区检测结果，而在理想情况下，DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络，比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering
低秩表示（Low-Rank Representation，LRR）在子空间聚类中由于不能考虑数据结构的非线性和观测值在环境空间中的非均匀分布，而严重地损失了数据点的局部性信息。因此，最先进的LRR模型丢失了观测密度的信息，因为它们考虑了恒定数量的相邻邻居。因此，这降低了在这种情况下的子空间聚类精度。为了应付不足，在本文中，我们建议考虑一个超图模型，以方便有一个可变数量的相邻节点，并将数据的局部信息。子空间数目的稀疏性也被考虑在内。为此，基于一组正则化项定义优化问题，并通过开发基于张量拉普拉斯的算法来解决。在人工和真实数据集上的大量实验表明，与现有方法相比，该方法在子空间聚类中具有更高的准确性和精度。该方法的突出表现在数据的固有结构如非线性、几何重叠和离群值的存在下更加明显。
2021-03-06 cs.LG stat.ML
Multi-class Graph Clustering via Approximated Effective $p$-Resistance
University College London（伦敦大学学院）
针对基于$p$-拉普拉斯算子特征向量的聚类方法高阶特征向量计算难、$p$-电阻计算成本高的问题，本文提出$p$-电阻近似方法，证明其上下界且树图下精确，提供聚类理论依据，实验验证其相较同类方法的有效性。
2023-07-18 cs.LG stat.ML
Strong Consistency, Graph Laplacians, and the Stochastic Block Model
University of California at Davis（加州大学戴维斯分校）；New York University Shanghai（上海纽约大学）
谱聚类已经成为数据聚类和社区发现中最流行的算法之一。我们研究了经典的两步谱聚类的性能，通过图拉普拉斯学习随机块模型。我们的目标是回答以下问题：通过图拉普拉斯算子的谱聚类何时能够实现强一致性，即，隐藏社区的确切恢复情况我们的工作提供了一个entrywise分析（一个$\ell_{\infty}$ -范数扰动界）的非规范化和规范化的拉普拉斯算子与随机块模型采样的邻接矩阵相关联的菲尔德特征向量。我们证明了谱聚类是能够实现准确的恢复种植的社区结构的条件下，符合信息理论的限制。
2020-04-21 cs.LG cs.SI stat.ML
Deep Temporal Clustering : Fully Unsupervised Learning of Time-Domain Features
AVLab（AV实验室）；San Diego, USA（圣地亚哥，美国（注：此处按要求应为机构，但原文仅为城市和国家，可能为笔误，若严格按提取范围，此处不应视为机构，故仅保留明确的AVLab））
时间序列数据的无监督学习，也称为时间聚类，是机器学习中的一个具有挑战性的问题。在这里，我们提出了一种新的算法，深度时间聚类（DTC），自然地将降维和时间聚类集成到一个完全无监督的端到端学习框架中。该算法利用一个自动编码器的时间降维和一个新的时间聚类层的集群分配。然后对聚类目标和降维目标进行联合优化。基于需求和应用，时间聚类层可以定制任何时间相似性度量。几个相似性度量和国家的最先进的算法被认为是和比较。为了深入了解网络为其聚类所学习的时间特征，我们应用了一种可视化方法，该方法为时间序列生成感兴趣区域热图。该算法的可行性证明使用不同领域的时间序列数据，从地震到航天器传感器数据。在每种情况下，我们表明，该算法优于传统的方法。优越的性能归因于完全集成的时间降维和聚类标准。
2018-02-04 cs.LG stat.ML
Spectral Clustering of Signed Graphs via Matrix Power Means
Saarland University（萨尔兰大学）；University of Tübingen（图宾根大学）；University of Strathclyde（思克莱德大学）
符号图编码节点之间的正（吸引）和负（排斥）关系。我们扩展谱聚类到有符号图通过一个参数的家庭的符号幂平均拉普拉斯算子，定义为矩阵幂平均归一化标准和无符号拉普拉斯算子的积极和消极的边缘。我们提供了一个全面的分析所提出的方法，在设置一个一般的随机块模型，其中包括模型，如标签随机块模型和删失块模型。我们表明，在预期中，符号幂平均拉普拉斯算子在合理的设置下捕获了最先进的方法失败的真实聚类。证明了在一般随机块模型中，符号幂平均拉普拉斯算子的特征值和特征向量在合理的条件下集中在它们的期望附近。在随机图和真实世界数据集上的大量实验证实了符号幂平均拉普拉斯算子的理论预测行为，并表明它与最先进的方法相比毫不逊色。
2019-05-15 cs.LG stat.ML
Assessing the impact of dimensionality reduction on clustering performance - a systematic study
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Mila - Quebec AI Institute（魁北克AI研究所）
本文系统研究了五种降维方法对四种聚类算法的影响，通过调整降维级别评估聚类质量，强调了选择合适降维技术和级别的重要性。
2026-09-24 cs.LG
Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein
ENS de Lyon, CNRS, UMPA UMR 5669（里昂大学、国家科学研究中心、UMPA UMR 5669）；EPFL, LTS4（苏黎世联邦理工学院、LTS4）；Université Bretagne Sud, IRISA UMR 6074（布列塔尼南部大学、IRISA UMR 6074）；École polytechnique, Institut Polytechnique de Paris, CMAP UMR 7641（巴黎高等学院、巴黎理工学院、CMAP UMR 7641）；Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668（法国国家科学研究中心、里昂大学、 Claude Bernard Lyon 1 大学、LIP UMR 5668）
本文基于最优传输和Gromov-Wasserstein问题提出分布约简框架，将降维与聚类统一在单一优化问题中，并在图像与基因组数据上验证其识别多尺度低维原型的有效性。
2025-06-27 cs.LG stat.ML
Generalized Dirichlet Energy and Graph Laplacians for Clustering Directed and Undirected Graphs
ENS Paris-Saclay, Université Paris-Saclay, CNRS, Centre Borelli（ENS巴黎萨克雷，巴黎萨克雷大学，CNRS，Borelli中心）
针对有向图聚类中边不对称导致经典谱方法失效的问题，提出广义狄利克雷能量（GDE）框架与广义谱聚类（GSC）方法，利用参数化顶点测度编码方向与密度，无需传送即可实现弱连通有向图聚类，在真实数据集上准确率与鲁棒性均优于现有方法。
2025-09-14 cs.LG stat.ML
CCP: Correlated Clustering and Projection for Dimensionality Reduction
Michigan State University（密歇根州立大学）
大多数降维方法采用从矩阵对角化获得的频域表示，并且对于具有相对高的内在维度的大型数据集可能不是有效的。为了应对这一挑战，相关聚类和投影（CCP）提供了一种新的数据域策略，不需要求解任何矩阵。CCP将高维特征划分为相关的簇，然后基于样本相关性将每个簇中的相关特征投影到一维表示中。残差相似性（R-S）分数和指数，黎曼流形中的数据形状，以及基于代数拓扑的持久拉普拉斯算子被引入可视化和分析。所提出的方法与基准数据集与各种机器学习算法进行了验证。
2022-06-08 cs.CG cs.LG stat.ML
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research（百度研究院）；Arizona State University（亚利桑那州立大学）
研究表明，基于$\ell^{0}$范数的稀疏子空间聚类方法（$\ell^{0}$-SSC）~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法（SSC）~ $\ell^{1}$更有效.然而，$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响，并且它们可能位于子空间附近。在本文中，我们表明，噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能（SDP），一个关键因素，从不同的子空间的数据分离，在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性，从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率，我们提出了Noisy-DR- $\ell^{0}$ -SSC，它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间，然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
Mini-Batch Spectral Clustering
Symantec Research Labs（赛门铁克研究实验室）；EURECOM
计算拉普拉斯矩阵谱的代价阻碍了谱聚类在大数据集上的应用。虽然近似恢复计算易处理性，但它们可能会影响聚类性能。提出了一种基于自适应随机梯度优化的谱聚类学习方法。最重要的是，所提出的方法恢复的拉普拉斯矩阵的精确谱的限制的迭代，每次迭代的成本是线性的样本数。在多达50万个样本的数据集上进行了广泛的实验验证，证明了其可扩展性及其优于最先进的近似方法的能力，以在给定的计算预算下学习谱聚类。
2016-08-12 cs.LG stat.ML
The Laplacian K-modes algorithm for clustering
University of California, Merced（加州大学默塞德分校）
除了找到有意义的聚类之外，基于质心的聚类算法（如K-means或mean-shift）应该在理想情况下找到输入空间中的有效模式的质心，代表其聚类中的数据。这对于具有非凸或流形结构的数据（如图像或文本）具有挑战性。我们介绍了一种新的算法，拉普拉斯K模式，它自然地结合了三个强大的思想在聚类：明确使用的分配变量（如在K-均值）;估计的聚类中心，这是模式的每个集群的密度估计（如在均值漂移）;和正则化效果的图形拉普拉斯，鼓励类似的分配附近的点（如在谱聚类）。该优化算法交替的分配步骤，这是一个凸二次规划，和一个均值漂移步骤，它为每个集群质心分离。该算法为每个聚类找到有意义的密度估计，即使在具有挑战性的问题中，聚类具有流形结构，高度非凸或高维。它还提供了有效模式的质心，真正代表其聚类（与K均值不同），以及预测新点软分配的样本外映射。
2014-06-16 cs.LG stat.ME stat.ML
Hypergraphs with Edge-Dependent Vertex Weights: p-Laplacians and Spectral Clustering
Rice University（莱斯大学）
我们研究了最近提出的超图模型，采用边依赖顶点权重（EDVW）的p-拉普拉斯算子和谱聚类。这些权值可以反映超边内顶点的不同重要性，从而赋予超图模型更高的表达能力和灵活性。通过构造基于次模EDVW的分裂函数，将具有EDVW的超图转化为谱理论得到较好发展的次模超图。这样，已有的概念和定理，如p-Laplacian和Cheeger不等式下提出的子模超图设置可以直接扩展到超图EDVW。对于具有EDVW分裂函数的子模超图，我们提出了一个计算超图1-Laplacian次小特征值的特征向量的有效算法。然后，我们利用这个特征向量聚类的顶点，实现更高的聚类精度比传统的基于2-拉普拉斯谱聚类。更广泛地说，所提出的算法适用于所有的子模超图，图可约。使用真实世界的数据进行的数值实验表明，基于1-Laplacian和EDVW相结合的谱聚类的有效性。
2023-02-16 cs.LG cs.SI
Quantum Laplacian Eigenmap
School of information and software engineering University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）
拉普拉斯特征映射算法是经典机器学习中一种典型的非线性降维模型。我们提出了一个有效的量子拉普拉斯特征映射算法，以指数速度提高原来的同行。在我们的工作中，我们证明了量子线性判别分析（arXiv：1510.00113，2015）中提出的Hermitian链积可以用于实现量子拉普拉斯特征映射算法。经典的Laplacian特征映射算法需要多项式时间来求解特征向量问题，而我们的算法能够指数级地加速非线性降维。
2016-11-02 cs.LG quant-ph
Simultaneous Dimensionality and Complexity Model Selection for Spectral Graph Clustering
Naval Surface Warfare Center Dahlgren Division（美国海军水面战中心达尔格伦分部）；Johns Hopkins University（约翰霍普金斯大学）
我们感兴趣的问题是通过识别底层社区结构来聚类图的顶点。在各种顶点聚类方法中，谱聚类是最流行的方法之一，因为它易于实现，同时往往优于传统的聚类算法。然而，在谱聚类中存在两个固有的模型选择问题，即估计嵌入维数和聚类数。本文试图解决这个问题，建立一个新的模型选择框架，专门用于图上的顶点聚类下的随机块模型。第一个贡献是一个概率模型，它近似的分布图的扩展谱嵌入。该模型是基于嵌入的信息部分的渐近正态性的理论结果构建的，并且基于提供嵌入的冗余部分的限制行为的猜想的模拟结果。第二个贡献是一个同步的模型选择框架。与传统方法相比，我们的模型选择过程同时估计嵌入维数和聚类数。基于我们的约束分布模型，给出了模型参数估计的相合性定理，为我们方法的有效性提供了支持。我们的同时模型选择顶点聚类算法提出，在模拟实验中表现出优越的性能。我们说明了我们的方法通过应用程序的脑图的集合。
2020-09-22 cs.LG stat.ML
Distance preserving model order reduction of graph-Laplacians and cluster analysis
Worcester Polytechnic Institute（伍斯特理工学院）；University of Houston（休斯顿大学）；Schlumberger-Doll Research Center（斯伦贝谢-多尔研究中心）
图-拉普拉斯算子及其谱嵌入在机器学习的多个领域中发挥着重要作用。本文主要研究图-拉普拉斯维数约简在数据谱聚类中的应用。谱嵌入提供数据流形的低维参数化，其使得后续任务（例如，集群）更容易。然而，尽管减少了数据的维度，但由于两个因素，对于大数据集，总体计算成本仍然可能过高。首先，计算图-拉普拉斯算子的部分特征分解通常需要大的Krylov子空间。其次，在谱嵌入完成后，仍然必须使用相同数量的数据点进行操作。例如，嵌入式数据的聚类通常使用k均值的各种松弛来执行，其计算成本相对于数据集的大小缩放得很差。在这项工作中，我们将焦点从整个数据集切换到图顶点的子集（目标子集）。我们开发了两种新的算法，这样的低维表示的原始图，保留重要的全球目标子集的节点之间的距离。特别是，它允许确保目标子集聚类与完整数据集的谱聚类一致，如果有人会执行这样的话。这是通过一个适当的参数化的降阶模型（ROM）的图形拉普拉斯近似精确的原始图形的扩散传递函数的输入和输出限制到目标子集。工作与一个小的目标子集大大降低了所需的维度Krylov子空间，并允许利用常规算法（如近似的k-均值）的制度时，他们是最强大和有效的。
2021-09-06 cs.LG stat.ML
Dimensionality-reduced subspace clustering
ETH Zurich（苏黎世联邦理工学院）；IBM Research（IBM研究院）
子空间聚类是指将未标记的高维数据点聚类到低维线性子空间的并集中，这些线性子空间的数量、方向和维度都是未知的。在实践中，人们可以仅访问数据的降维观测，从而产生例如，避免由于采集设备或机制的复杂性和速度限制而导致的欠采样。更恰当地说，即使高维数据集可用，通常也希望首先将数据点投影到低维空间中并在那里执行聚类;这降低了存储要求和计算成本。本文的目的是量化的影响，通过随机投影的子空间聚类算法的性能，所有这些都是基于稀疏信号恢复的原则，通过降维。具体来说，我们分析了基于阈值的子空间聚类（TSC）算法，稀疏子空间聚类（SSC）算法，和正交匹配追踪的变体（SSC-OMP）。我们发现，对于所有三种算法，降维到子空间维度的顺序是可能的，而不会导致显着的性能下降。此外，这些结果是有序的最优的意义上说，降低维数进一步导致从根本上不适定的聚类问题。我们的研究结果进行到嘈杂的情况下，通过分析结果所示的TSC和模拟SSC和SSC-OMP。合成和真实数据的广泛实验补充了我们的理论研究结果。
2015-12-13 cs.IT cs.LG math.IT
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法，它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来，谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上，图拉普拉斯是完全连接或不。对于全连通图，本文通过提供一个目标函数：原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图，证明了在适当的$k$下，第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
Incremental Eigenpair Computation for Graph Laplacian Matrices: Theory and Applications
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Purdue University（普渡大学）；Indiana University Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
最小特征值和相关特征向量（即，图拉普拉斯矩阵的特征对（eigenpairs）在谱聚类和社区发现中得到了广泛的应用。然而，在实际应用中，集群或社区（比如说，$K$）的数量通常是先验未知的。因此，大多数现有的方法要么选择$K$，或者他们重复的聚类方法与不同的选择$K$，并接受最好的聚类结果。第一个选项，更经常地，产生次优的结果，而第二个选项是计算昂贵的。在这项工作中，我们提出了一个增量的方法来构造图拉普拉斯矩阵的特征谱。该方法利用图拉普拉斯矩阵的特征结构来获得拉普拉斯矩阵的第$K$个最小特征对，给定所有先前计算的$K-1$最小特征对的集合。我们提出的方法适应拉普拉斯矩阵，使批量特征值分解问题转化为一个有效的顺序领先的特征对计算问题。作为一个实际应用，我们考虑用户引导的谱聚类。具体来说，我们证明了用户可以利用所提出的增量方法进行有效的特征对计算，并确定所需的集群数量的基础上多个聚类指标。
2017-12-13 cs.LG cs.SI stat.ML
Orthogonal Subspace Clustering: Enhancing High-Dimensional Data Analysis through Adaptive Dimensionality Reduction and Efficient Clustering
本文提出正交子空间聚类(OSC)，通过自适应降维和高效聚类解决高维数据中的维度灾难问题，提升聚类效率和准确性。
2026-03-16 cs.LG
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
University of Electronic Science and Technology of China（电子科技大学）
降维是许多领域科学家的共同需求和基本需求：在低维空间中可视化海量多元数据的底层结构。然而，许多降维方法面临所谓的“拥挤问题”，即聚类在嵌入时往往相互重叠。以前，研究人员希望避免这个问题，并寻求在嵌入中最大限度地分离集群。然而，所提出的基于入树（IT）的方法，称为IT映射，允许嵌入中的聚类局部重叠，同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案，使得对原始数据点进行交互式聚类成为可能，在科学和工程中具有普遍意义。
2015-03-18 cs.CV cs.LG stat.ML
Clustering Signed Networks with the Geometric Mean of Laplacians
Saarland University（萨尔兰大学）；University of Padua（帕多瓦大学）
本文提出利用拉普拉斯矩阵几何均值改进谱聚类，解决传统算术均值方法在无噪声正负网络结构中无法准确聚类的问题。
2017-01-03 cs.LG cs.NA math.NA
Multiclass spectral feature scaling method for dimensionality reduction
University of Tsukuba（筑波大学）
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
2019-10-16 cs.LG stat.ML
Submodular Hypergraphs: p-Laplacians, Cheeger Inequalities and Spectral Clustering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍了子模超图，一个家庭的超图，有不同的子模的权重与不同的削减超边。子模超图出现在聚类应用中，其中高阶结构携带相关信息。对于这样的超图，我们定义了p-Laplacian的概念，并得到相应的节点域定理和k-way Cheeger不等式。我们的结论与描述的算法计算的频谱的1-和2-拉普拉斯构成新的谱超图聚类方法的基础。
2018-10-11 cs.DM cs.DS cs.LG
Hypergraphs with Edge-Dependent Vertex Weights: Spectral Clustering based on the 1-Laplacian
Rice University（莱斯大学）
本研究提出带边依赖顶点权重的超图1-拉普拉斯框架，基于其第二小特征值特征向量进行谱聚类，理论和实验均验证其精度更优，且特例可高效计算以适配大规模数据集。
2023-04-30 cs.LG cs.SI
ADRS-CNet: An adaptive dimensionality reduction selection and classification network for DNA storage clustering algorithms
School of Mathematical Sciences , University of Southampton , University Road , SO17 1BJ , Southampton , United Kingdom；School of Electronics；Computer Science , University of Southampton , University Road , SO17 1BJ , Southampton , United Kingdom
本文提出ADRS-CNet，通过多层感知机对DNA序列特征分类并自适应选择降维方法，显著提升聚类效果，缓解维度灾难。
2024-09-22 cs.LG
MNIST-Nd: a set of naturalistic datasets to benchmark clustering across dimensions
Campus Institute Data Science, University of Göttingen（哥廷根大学校园数据科学研究所）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）
本文提出MNIST-Nd合成数据集，通过训练2至64维潜在空间的混合变分自编码器生成，用于分离维度对聚类的影响，并发现Leiden算法对维度增长最稳健。
2024-10-21 cs.LG stat.ML
Clustering Time-Evolving Networks Using the Spatio-Temporal Graph Laplacian
Maxwell Institute for Mathematical Sciences（麦克斯韦数学研究所）；University of Edinburgh（爱丁堡大学）；Heriot–Watt University（赫瑞瓦特大学）；Zuse Institute Berlin（柏林祖斯研究所）；School of Mathematical & Computer Sciences（数学与计算机科学学院）
本文提出基于CCA的时空图拉普拉斯算子，将谱聚类推广到动态图，并结合传递算子分析其谱性质，实现对有向和无向时变网络聚类演化的清晰解释。
2024-12-20 cs.LG cs.SI math.DS
Combating Financial Crimes with Unsupervised Learning Techniques: Clustering and Dimensionality Reduction for Anti-Money Laundering
Al-Azhar University（爱资哈尔大学）；Obour Height Institute for Informatics（奥布尔高等信息学院）
针对反洗钱高维行为数据影响聚类效果的问题，本文比较凝聚层次聚类与ICA、KPCA、SVD、LPP四种降维方法的组合，发现KPCA在多数情形下表现最佳。
2024-02-14 cs.LG q-fin.ST
Joint Representation Learning and Clustering via Gradient-Based Manifold Optimization
Department of Statistics Florida State University Tallahassee, Florida, USA（统计学系佛罗里达州立大学塔拉萨斯, 佛罗里达州, 美国）；Department of Mathematics Florida State University Tallahassee, Florida, USA（数学系佛罗里达州立大学塔拉萨斯, 佛罗里达州, 美国）
本文提出一种联合学习降维与聚类的流形学习框架，通过梯度流形优化同时学习降维参数和聚类结果，在模拟数据和MNIST数据集上验证了其优于传统聚类算法的性能。
2026-04-15 cs.LG stat.ML
Spectral feature scaling method for supervised dimensionality reduction
University of Tsukuba（筑波大学）；JST/CREST（日本科学技术振兴机构/核心研究集群）
光谱降维方法能够在缩减的空间中对具有高维特征的复杂数据进行线性分离。然而，由于数据的不规则性或不确定性，这些方法并不总是给出期望的结果。因此，我们考虑积极地修改特征的尺度以获得所需的分类。利用部分样本标签上的先验知识来确定Fiedler向量，我们建立了特征向量具有特征尺度因子的线性矩阵束的特征值问题。由此产生的因素可以修改整个样本的特征，以形成集群在减少的空间中，根据已知的标签。在这项研究中，我们提出了新的降维方法监督使用的特征缩放与谱聚类。数值实验表明，所提出的方法优于成熟的监督方法的玩具问题，更多的样本比功能，更强大的聚类比现有的方法。此外，所提出的方法优于现有的方法分类的现实世界的问题，更多的功能比样本的基因表达谱的癌症疾病。此外，随着训练数据比例的增加，特征缩放倾向于提高现有无监督方法的聚类和分类精度。
2018-05-18 cs.LG stat.ML
Randomized Dimensionality Reduction for k-means Clustering
Yahoo Labs（雅虎实验室）；IBM Zürich Research Lab（IBM苏黎世研究实验室）；UC Berkeley（加州大学伯克利分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合：\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集，然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集，然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富，可证明准确的特征选择方法$k$均值聚类是未知的。另一方面，在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影，另一种是基于奇异值分解（SVD）。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说，我们提出了第一个证明准确的特征选择方法$k$ -均值聚类，此外，我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的，它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解，它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的，并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
2014-11-04 cs.DS cs.LG
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge（剑桥大学）
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断，并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Network Distance Based on Laplacian Flows on Graphs
B02 Hayes-Healy Center（哈伊-海利中心）
本文提出一种基于拉普拉斯流的网络间扩散距离，利用网络长期扩散行为度量相似性，并通过示例展示其优于现有距离，且适用于聚类等学习任务。
2018-10-05 cs.LG stat.ML
A boosted outlier detection method based on the spectrum of the Laplacian matrix of a graph
提出了一种基于图的拉普拉斯矩阵谱的离群点检测算法。与基于稀疏数据的学习器一起利用boosting。Laplacian矩阵的稀疏性显著降低了计算负担，使得基于谱的离群点检测方法能够应用于与谱聚类相比更大的数据集。该方法在合成数据集上与常用的孤立森林和局部离群因子等离群点检测算法具有竞争力。
2020-08-10 cs.LG stat.ML
Representative period selection for power system planning using autoencoder-based dimensionality reduction
Massachusetts Institute of Technology（麻省理工学院）
用于研究未来低碳电网情景的电力部门容量扩展模型（CEM）必须包含电网运营的详细表示。通常，CEM被公式化以对使用聚类算法从原始输入数据采样的代表性时段上的网格操作进行建模。然而，这种代表性时段选择（RPS）方法受到聚类算法随着输入数据的维数增加而降低的功效的限制，并且不考虑输入数据变化对CEM结果的相对重要性。在这里，我们提出了一个RPS方法，解决了这些限制，通过将降维，通过基于神经网络的自编码器，聚类之前完成。这样的降维不仅提高了聚类算法的性能，而且还便于使用附加特征，诸如从针对输入数据中的每个不相交时段（例如，1周）的CEM的简化版本的并行解产生的估计输出。将降维作为RPS方法的一部分的影响通过相应的缩减空间CEM与全空间CEM的结果中的误差来量化。在各种网络和各种技术和政策场景中进行的大量数值实验确立了基于降维的RPS方法的优越性。
2022-04-28 cs.LG
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Consistency of regularized spectral clustering in degree-corrected mixed membership model
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
网络分析中的社区发现是近年来的一个研究热点。在度校正混合隶属度（DCMM）模型下，提出了一种基于正则化拉普拉斯矩阵的混合正则化谱聚类（Mixed-RSC）方法.基于种群正则化Laplacian矩阵的特征分解的变体的理想锥结构，设计了混合RSC。我们证明了该算法是渐近一致的温和条件下，通过提供每个节点的推断成员向量的误差界。作为我们界限的副产品，我们提供了正则化参数τ的理论最佳选择。为了证明我们的方法的性能，我们将其与以前的基准方法一起应用于模拟和真实网络。据我们所知，这是第一个工作，设计的混合隶属度社区发现问题DCMM模型下的谱聚类算法的基础上应用正则化拉普拉斯矩阵。
2021-08-27 cs.LG cs.SI stat.ML
Transformers as Unrolled Inference in Probabilistic Laplacian Eigenmaps: An Interpretation and Potential Improvements
University of Cambridge（剑桥大学）
本文基于 ProbDR 的概率拉普拉斯特征映射模型，将 transformer 解释为展开推理，并据此用注意力矩阵减单位矩阵的图扩散步骤改进语言与视觉模型验证性能。
2025-07-28 cs.LG stat.ML
The Power Mean Laplacian for Multilayer Graph Clustering
Department of Mathematics and Computer Science, Saarland University（萨尔兰大学数学与计算机科学系）；Department of Mathematics and Statistics, University of Strathclyde（斯特拉斯克莱德大学数学与统计学系）
本文提出一种参数化的矩阵幂均值方法，用于融合多层图的拉普拉斯矩阵，分析其在随机块模型中的期望性能，并在真实数据中验证其在不同设置下恢复真实聚类的能力。
2018-03-01 cs.LG cs.NA math.NA
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题，提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数，在低秩张量空间中提取非线性局部结构并自适应分配权重，有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
A unified framework for spectral clustering in sparse graphs
GIPSA-lab（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Laboratoire d’Informatique de Grenoble (LIG)（格勒诺布尔信息学实验室）
本文考虑频谱社区检测的稀疏网络与异构度分布的制度，为此，我们设计了一个算法，以有效地检索社区。具体来说，我们证明了一个方便的参数化形式的正则化拉普拉斯矩阵可以用来执行稀疏网络的谱聚类，而不会受到其程度的异质性。此外，我们展示了这个矩阵和现在流行的非回溯矩阵，Bethe-Hessian矩阵，以及标准的拉普拉斯矩阵之间的重要联系。有趣的是，与竞争性方法相反，我们提出的改进参数化本质上解决了分类问题的困难。这些发现的形式下，能够估计社区的数量和实现高质量的社区重建的算法进行了总结。
2021-10-10 cs.LG stat.ML
Improving Clustering on Occupational Text Data through Dimensionality Reduction
ITCL Technology Center（ITCL技术中心）；Kadir Has University, Management Information Systems Department（卡迪夫大学管理信息系统系）
本研究针对美国 O*NET 职业数据库提出一种最优聚类机制，通过结合多种基于 BERT 的技术、降维方法与专门的轮廓方法构建聚类流程，有效解决不同职业定义间的映射问题，助力职业转换。
2025-07-10 cs.CL cs.CY cs.LG
Improving Problem Identification via Automated Log Clustering using Dimensionality Reduction
Simula Research Laboratory（Simula研究实验室）
目标：我们考虑的问题，自动分组日志的运行失败的相同的根本原因，使他们能够得到更有效的治疗，并调查以下问题：（1）是否开发的方法来识别系统日志中的问题推广到识别问题的连续部署日志？(2)降维如何影响自动日志聚类的质量？(3)聚类算法中用于合并聚类的标准如何影响聚类质量？方法：我们复制和扩展早期的集群系统日志文件的工作，以评估其泛化到连续部署日志。我们考虑这些降维技术之一的可选包括：主成分分析（PCA），潜在语义索引（LSI），和非负矩阵分解（NMF）。此外，我们考虑三种替代集群合并标准（单一连锁，平均连锁，加权连锁），除了在早期的工作中使用的完全连锁标准。我们经验性地评估了16个由我们的工业合作者提供的连续部署日志上的配置。结果如下：我们的研究表明，（1）通过聚类识别连续部署日志中的问题是可行的，（2）包括NMF显着提高了整体准确性和鲁棒性，（3）完全链接在所有分析的合并标准中表现最好。结论：我们的结论是，通过自动日志聚类的问题识别，包括降维改进，因为它降低了管道的参数选择的敏感性，从而增加了处理不同输入的鲁棒性。
2020-09-07 cs.IR cs.LG cs.SE
Application of Clustering Algorithms for Dimensionality Reduction in Infrastructure Resilience Prediction Models
Singapore-ETH Centre（新加坡-ETH中心）；National University of Singapore（新加坡国立大学）
最近的研究越来越多地采用基于仿真的机器学习（ML）模型来分析关键基础设施系统的弹性。对于实际应用，这些ML模型考虑了在紧急情况下影响网络响应的组件级特征。然而，这种方法可能会产生大量的特征，并导致ML模型遭受“维数灾难”。我们提出了一种基于聚类的方法，该方法同时最大限度地减少了高维问题，并提高了为大规模相互依赖的基础设施网络中的弹性分析而开发的ML模型的预测准确性。该方法包括三个部分：（a）模拟数据集的生成，（b）网络组件聚类，以及（c）预测模型的降维和开发。首先，一个相互依赖的基础设施模拟模型模拟各种破坏性事件的网络范围的后果。从模拟数据中提取组件级特征。接下来，聚类算法被用来获得集群级别的功能，通过分组组件级功能的基础上，他们的拓扑和功能特性。最后，ML算法用于开发模型，使用集群级特征预测破坏性事件的网络范围影响。该方法的适用性证明使用一个相互依赖的电力水运输试验台。所提出的方法可用于开发基础设施网络灾后恢复的决策支持工具。
2022-05-06 cs.LG cs.SY eess.SY
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University（密歇根理工大学）
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中，我们引入了一个高度可扩展的，频谱保持的图稀疏化算法，使建立超稀疏NN（u-NN）图与保证保留的原始图频谱，如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网，而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树（LSST）从原始图，然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST，提出了一种特征值稳定性检查方案，该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外，提出了一种增量图致密化方案，用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明，各种知名的数据集，该方法可以显着降低NN图的复杂性，导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Manifold learning with arbitrary norms
Tel-Aviv University（特拉维夫大学）；Brown University（布朗大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
流形学习方法在非线性降维和其他涉及低内在维数的高维数据集的任务中发挥着重要作用。这些方法中的许多是基于图形的：它们将顶点与每个数据点关联，并将加权边与每对数据点关联。现有的理论表明，在成对仿射基于欧几里德范数的假设下，图的拉普拉斯矩阵收敛于数据流形的Laplace-Beltrami算子。本文确定了用$\textit{any}$范数构造的图拉普拉斯算子的极限微分算子。我们的证明涉及到流形的第二基本形式和给定范数的单位球的凸几何之间的相互作用。为了证明非欧几里德范数在流形学习中的潜在好处，我们考虑了映射具有连续可变性的大分子运动的任务。在一个数值模拟中，我们表明，一个修改后的拉普拉斯特征映射算法，基于推土机的距离，优于经典的欧几里得拉普拉斯特征映射，无论是在计算成本和样本量需要恢复的内在几何。
2021-07-15 cs.LG stat.ML
Randomized Dimensionality Reduction for Facility Location and Single-Linkage Clustering
Massachusetts Institute of Technology（麻省理工学院）；Institute of Advanced Study（高等研究院）
随机降维是一种多功能的工具，用于加速高维问题的算法。我们研究了它的应用到两个聚类问题：设施定位问题，和单链接层次聚类问题，这是相当于计算最小生成树。我们表明，如果我们将输入点集$X$投影到一个随机的$d = O(d_X)$维子空间（其中$d_X$是双倍维度的$X$），那么在投影空间中的最佳设施选址成本近似于原始成本的常数因子。我们显示了一个类似的最小生成树的声明，但与尺寸$d$有一个额外的$\log \log n$长期和逼近因子任意接近$1$。此外，我们将这些结果扩展到近似的解决方案，而不仅仅是他们的成本。最后，我们提供实验结果来验证解决方案的质量和由于降维的加速比。与以前的几篇论文研究这种方法的背景下，$k$ -手段和$k$ -中位数，我们的维数界不依赖于集群的数量，但只对内在的维数$X$。
2021-07-05 cs.DS cs.LG math.PR
