Principal Component Analysis Based on T$\ell_1$-norm Maximization
Capital University of Economics and Business（首都经济贸易大学）；Hainan University（海南大学）；China Agricultural University（中国农业大学）
经典的主成分分析（PCA）可能会受到异常值和噪声的敏感性。因此，本文研究了基于$\ell_1$ -范数和$\ell_p$ -范数（$0 < p < 1$）的主成分分析.其中，基于$\ell_p$ -范数的算法从鲁棒性的角度来看是最有趣的。然而，它们的数值性能并不令人满意。注意，虽然T $\ell_1$ -norm在某种意义上类似于$\ell_p$ -norm（$0 < p < 1$），但它对离群值具有更强的抑制作用，并且具有更好的连续性。为此，本文提出了基于T $\ell_1$ -范数的主成分分析方法。数值实验表明，它的性能明显优于PCA- $\ell_p$和$\ell_p$ SPCA以及PCA，PCA- $\ell_1$.
2020-05-23 cs.LG stat.ML
RELARM: A rating model based on relative PCA attributes and k-means clustering
根据视觉识别中广泛使用的相对属性概念，对一类由参数向量定义的对象，建立了相对PCA属性的定义。采用相对PCA属性排序函数描述评分对象，并结合k均值聚类算法，建立了一种新的评分模型（CARM）。每个评级对象的评级分配到一个评级类别的聚类中心投影的结果，特别选择的评级向量。实证研究表明，与现有的标准普尔、穆迪和惠誉评级非常接近。
2016-08-23 q-fin.CP q-fin.RM stat.AP
Minimax Rates of Estimation for Sparse PCA in High Dimensions
Carnegie Mellon University（卡内基梅隆大学）
我们研究稀疏主成分分析在高维设置，其中$p$（变量的数量）可以远远大于$n$（观察的数量）。我们证明了最佳的，非渐近的下限和上限的最小最大估计误差的领先的特征向量时，它属于一个$\ell_q$球$q \in [0,1]$。我们的边界是尖锐的$p$和$n$的所有$q \in [0, 1]$在广泛的一类分布。通过分析$\ell_q$约束PCA的性能，得到了上界。特别是，我们的研究结果提供了$\ell_1$约束PCA的收敛速度。
2012-02-06 cs.LG math.ST stat.ML
Principal component analysis based clustering for high-dimension, low-sample-size data
在本文中，我们考虑基于主成分分析（PCA）的高维，低样本量（HDLSS）数据的聚类。我们给出了理论上的原因，为什么PCA是有效的聚类HDLSS数据。首先，我们推导出从两类混合模型的HDLSS数据的几何表示。借助几何表示，我们给出了HDLSS背景下样本主成分得分的几何一致性性质。我们发展了多类混合模型的几何表示和几何一致性性质的思想。我们表明，PCA可以分类HDLSS数据在一定条件下，在一个令人惊讶的明确的方式。最后，我们通过使用微阵列数据集展示了聚类的性能。
2015-03-16 math.ST stat.TH
An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA
Saarland University（萨尔兰大学）
机器学习和统计学中的许多问题可以用公式表示为（广义）特征问题。就相关的优化问题而言，计算线性特征向量相当于找到受二次约束的二次函数的临界点。本文证明了一类具有非二次目标和约束的约束优化问题可以理解为非线性特征值问题。我们得到了一个推广的逆幂方法，保证收敛到一个非线性特征向量。我们将逆幂方法应用于1-谱聚类和稀疏PCA，它们可以自然地被表述为非线性特征值问题。在这两个应用程序中，我们在解决方案质量和运行时间方面都取得了最先进的成果。超越标准的特征值问题应该是有用的，也在许多其他应用中，我们的逆功率方法可以很容易地适应新的问题。
2010-12-03 cs.LG math.OC stat.ML
Clustering and Feature Selection using Sparse Principal Component Analysis
Princeton University（普林斯顿大学）
本文研究了稀疏主成分分析（PCA）在聚类和特征选择问题中的应用。稀疏PCA寻求稀疏因子或数据变量的线性组合，解释数据中的最大方差量，同时只有有限数量的非零系数。PCA通常被用作一种简单的聚类技术，稀疏因子允许我们在这里用一组减少的变量来解释聚类。我们从稀疏PCA的简要介绍和动机开始，并详细介绍我们在d'Aspremont等人（2005）中实现的算法。然后，我们将这些结果应用到一些经典的聚类和生物学中出现的特征选择问题。
2008-10-08 cs.AI cs.LG cs.MS
clustering an african hairstyle dataset using pca and k-means
Tshwane University of Technology（茨瓦尼科技大学）
针对非洲缺乏人脸脸型分类器的问题，本文提出结合Haarcascade特征训练与K-means聚类的非洲女性图像分类方法，助力其适配发型选择。
2023-05-25 cs.CV cs.LG
Confident Clustering via PCA Compression Ratio and Its Application to Single-cell RNA-seq Analysis
UC San Diego（加州大学圣地亚哥分校）；La Jolla Institute for Immunology（拉霍亚免疫学研究所）；University of Southern California（南加州大学）
无监督向量聚类算法在机器学习领域有着广泛的应用。许多应用，包括我们研究的生物数据，包含一些边界数据点，这表明两个潜在的集群的组合属性，可能会降低传统的聚类算法的性能。我们开发了一种可信的聚类方法，旨在减少这些数据点的影响，提高聚类结果。具体地说，对于一列数据点，我们给出了两个聚类结果。第一轮聚类尝试仅对具有高置信度的纯向量进行分类。在此基础上，我们在第二轮中以较低的置信度分类更多的向量。我们在单细胞RNA-seq数据上验证了我们的算法，RNA-seq是生物学领域中一个功能强大且广泛使用的工具。我们自信的聚类在我们的测试数据集上显示出很高的准确性。此外，与传统的单细胞分析聚类方法不同，置信聚类在不同的参数选择下表现出很高的稳定性。
2022-05-19 cs.LG q-bio.QM
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文讨论了如何以及我们可以恢复一个数据矩阵时，只有几个元素。我们提出了一个随机算法，元素明智的稀疏的数据，只保留了几个元素。我们的新算法使用依赖于条目的平方（$\ell_2$采样）和绝对值（$\ell_1$采样）的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小：混合-（$\ell_1,\ell_2$）继承了$\ell_2$的能力，以采样的重要元素，以及$\ell_1$采样的正则化属性，并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法，并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
Information-theoretic bounds and phase transitions in clustering, sparse PCA, and submatrix localization
我们研究的问题，检测结构化的，低秩的信号矩阵损坏加性高斯噪声。这包括高斯混合模型中的聚类、稀疏PCA和子矩阵定位。这些问题中的每一个都被证明表现出一个尖锐的信息理论阈值，低于该阈值的信号太弱，任何算法都无法检测到。我们推导出这些阈值的上限和下界，通过应用第一和第二矩方法的似然比之间的“种植模型”和空模型的信号矩阵为零。当秩很大（在聚类和子矩阵定位问题中，当聚类或块的数量很大时）或信号矩阵非常稀疏时，我们的边界最多相差根2的因子。此外，我们的上界表明，对于这些问题中的每一个，存在一个重要的制度，其中可靠的检测是信息-理论上是可能的，但已知的算法，如PCA完全失败，因为所观察到的矩阵的频谱是没有信息的。这种机制类似于稀疏图中社区检测的“硬但可检测”机制。
2017-01-23 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering
GIPSA-lab（格勒诺布尔阿尔卑斯大学物理与信息科学研究所）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；University Grenoble-Alps（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）
本文介绍了一种降低谱聚类和主成分分析的基本代价和存储量的方法。该方法包括通过伯努利掩码随机地“穿孔”数据矩阵$X\in\mathbb{C}^{p\times n}$（或$\mathbb{R}^{p\times n}$）及其对应的核（Gram）矩阵$K$：用于$X$的$S\in\{0,1\}^{p\times n}$和用于$K$的$B\in\{0,1\}^{n\times n}$。因此，所得到的“双向穿孔”内核由$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$给出。我们证明，$X$组成的独立列从高斯混合模型，$n,p\to\infty$与$p/n\to c_0\in(0,\infty)$，$K$的频谱行为-其限制本征值分布，以及其孤立的本征值和本征向量-是完全易于处理的，并表现出一系列的反直观的现象。我们特别证明，并在GAN生成的图像数据库上经验性地证实，有可能大幅刺穿数据，从而提供可能巨大的计算和存储增益，以实现几乎恒定的（PCA聚类）性能。这项初步研究从大维度的角度重新思考了基本机器学习模型的计算和存储成本。
2021-05-17 cs.LG stat.ML
Data Clustering via Principal Direction Gap Partitioning
North Carolina State University（北卡罗来纳州立大学）；Washington University（华盛顿大学）；College of Charleston（查尔斯顿学院）；Bard College（巴德学院）
我们探讨了基于主成分分析的聚类算法主方向分割（PDDP）的几何解释。我们给出了几个例子，这种算法的故障，并提出了一种新的方法，间隙分区，它考虑到自然的差距，聚类之间的数据。PCA空间的几何特征推导和说明，并给出实验结果表明，我们的方法是在PDDP的原始文件中使用的数据集上进行比较。
2012-11-17 cs.LG stat.ML
Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA
The Australian National University（澳大利亚国立大学）
本文提出迭代互补聚类PCA方法，旨在同时捕捉高维数据中的同质性和亚同质性，通过主成分回归聚类方法提高聚类可靠性，实验证明其在股票收益率数据上的优越性能。
2022-03-13 stat.ME
Robust self-tuning semiparametric PCA for contaminated elliptical distribution
主成分分析（PCA）是最常用的降维方法之一。已知通常的PCA对异常值的存在敏感，因此已经开发了许多鲁棒的PCA方法。其中，泰勒的M-估计被证明是最强大的散布估计下的椭圆分布。然而，当潜在的分布被污染，偏离椭圆，泰勒的M-估计可能无法很好地工作。在这篇文章中，我们应用半参数理论，提出了一个强大的半参数PCA。我们的建议有两个优点。首先，它对重尾椭圆分布以及非椭圆离群值具有鲁棒性。其次，它与数据驱动的调优过程很好地结合在一起，该调优过程基于活动比率，可以适应不同程度的数据异常。理论性质的推导，包括各种统计泛函的影响函数和渐近正态性。仿真研究和数据分析证明了该方法的优越性。
2022-06-08 stat.ME
Greedy clustering of count data through a mixture of multinomial PCA
计数数据在广泛的应用中变得越来越普遍，数据集的大小和维度都在增长。在这种情况下，越来越多的工作致力于构建统计模型，直接说明数据的离散性。此外，它已被证明，集成降维聚类可以大大提高性能和稳定性。在本文中，我们依赖于混合多项式PCA，混合模型的计数数据的聚类，也被称为概率聚类投影模型在文献中。与潜在狄利克雷分配模型相关，它提供了主题建模的灵活性，同时能够将每个观察分配到一个唯一的聚类。我们引入了一个贪婪的聚类算法，其中的推理和聚类是共同完成的混合分类变分期望最大化算法，与一个分支和约束的变分下界的策略。一个完整的分类似然准则推导出模型选择，并提出了一个深入的研究与数值实验，以评估性能和鲁棒性的方法。最后，我们说明了后者在现实世界中的应用程序的定性兴趣，解剖病理学的医疗报告的聚类，与居里研究所医院的专家从业者合作。
2020-07-10 stat.ME
Repulsive Mixture Models of Exponential Family PCA for Clustering
Hangzhou Dianzi University（杭州电子科技大学）；University of Technology Sydney（悉尼科技大学）；University of Sydney（悉尼大学）
指数族主成分分析（EPCA）的混合扩展比传统的EPCA更能表达数据分布的结构信息。例如，由于EPCA的基本形式的线性，非线性集群结构不能很容易地处理，但它们显式建模的混合扩展。然而，传统的局部EPCA的混合存在模型冗余的问题，即，混合成分之间的重叠，这可能会导致数据聚类的模糊性。为了缓解这个问题，本文中，一个排斥鼓励前混合成分和多样化的EPCA混合物（DEPCAM）模型之间的贝叶斯框架中引入。具体而言，一个决定性的点过程（DPP）被利用作为一个多样性，鼓励联合本地EPCA的先验分布。根据需要，设计了一种L-集成核的矩阵值度量方法，其中引入了$\ell_1$约束以便于选择局部EPCA的有效PC，并提出了基于角度的相似性度量方法.一个有效的变分EM算法进行参数学习和隐变量推断。在合成数据集和真实数据集上的实验结果证实了该方法在模型简约性和对未知测试数据的泛化能力方面的有效性。
2020-04-07 cs.LG stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
ALPCAHUS: Subspace Clustering for Heteroscedastic Data
University of Michigan（密歇根大学）
ALPCAHUS是一种用于异方差数据的子空间聚类方法，通过估计样本级噪声方差来改进子空间基的估计，提升聚类效果。
2026-09-22 cs.LG eess.SP stat.ML
Edgeworth correction for the largest eigenvalue in a spiked PCA model
研究了$n$零均值高斯观测值样本协方差矩阵最大特征值$\hat{\ell}$在$p+1$维上的分布的改进逼近.我们假设一个总体主成分具有方差$\ell > 1$，其余的“噪声”成分具有共同方差$1$。在高维极限$p/n \to γ> 0$中，我们开始研究超临界情形下对$\hat{\ell}$的极限高斯分布的Edgeworth修正$\ell > 1 + \sqrt γ$。偏度校正涉及与经典设置中一样的二次多项式，但是系数反映了高维结构。该方法涉及Edgeworth展开的样本噪声特征值的条件下获得的独立的非同分布的变量的总和，并限制批量属性\textit{and}波动这些噪声特征值。
2017-10-18 math.ST stat.TH
Isotropic PCA and Affine-Invariant Clustering
Georgia Tech（佐治亚理工学院）
提出了一种新的聚类算法。该算法的关键属性是它是仿射不变的，即，它为输入的任何仿射变换产生相同的划分。当输入来自混合模型时，它具有很强的保证。对于两个任意高斯的混合，该算法正确地分类样本，仅假设两个分量可由超平面分离，即，存在一个半空间，其中包含一个高斯的大部分，而几乎没有其他的概率质量。这几乎是最好的可能，大大改善了已知的结果。对于k > 2的分量，该算法只要求存在一个k-1维的子空间，在这个子空间中，每个方向上的重叠都很小。在这里，我们将重叠定义为以下两个量的比值：1）点与其分量均值之间的平均平方距离，以及2）点与混合均值之间的平均平方距离。主要结果也可以用线性判别分析的语言来表述：如果标准Fisher判别式足够小，则不需要标签来估计用于投影的最佳子空间。我们的主要工具是各向同性变换，光谱投影和一个简单的重新加权技术。我们称这种组合为各向同性PCA。
2008-08-04 cs.CG cs.LG
Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA
Swiss Federal Railways (SBB)（瑞士联邦铁路（SBB））；University of Berne（伯尔尼大学）
本文复现了Renold等人对1995-2020年美国航空公司利润周期的聚类实验，通过PCA和核PCA分析，发现六聚类分类在原始7维和3维PC空间中具有几何鲁棒性，并验证了数据的内在线性流形结构。
2026-07-17 cs.LG stat.ME
On the Complexity of Robust PCA and $\ell_1$-norm Low-Rank Matrix Approximation
Department of Mathematics and Operational Research, University of Mons（蒙斯大学数学与运筹学系）；Department of Combinatorics and Optimization, University of Waterloo（滑铁卢大学组合学与优化系）
本文证明了基于ℓ1-范数的低秩矩阵逼近（ℓ1-LRA）在秩为1的情况下是NP难的，并将其与鲁棒PCA、ℓ0-LRA、二元矩阵分解等多个已知NP难问题建立了联系。
2017-04-19 cs.CC cs.LG cs.NA
Subspace clustering of high-dimensional data: a predictive approach
在几个应用领域中，收集高维观测，然后进行分析，以寻找自然发生的数据集群，这可能会提供有关问题性质的进一步见解。在本文中，我们描述了一种新的方法来划分这样的高维数据。我们的假设是，在每个聚类中，数据可以很好地近似通过主成分分析（PCA）估计的线性子空间。所提出的算法，预测子空间聚类（PSC）分区的数据到集群，同时估计聚类PCA参数。该算法最小化的目标函数，这取决于一个新的措施的影响PCA模型。一个惩罚版本的算法进行我们的同时子空间聚类和变量选择。PSC的收敛性进行了详细讨论，并提出了广泛的模拟结果和竞争的方法进行比较。PSC的比较性能已经在PSC通常提供最新结果的六个真实基因表达数据集上进行了评估。
2012-03-05 stat.ML
An Approach to Variable Clustering: K-means in Transposed Data and its Relationship with Principal Component Analysis
Department of Computer Science University of Cuenca（计算机科学系 哥斯达黎加昆琴卡大学）；Department of Electrical Engineering University of Cuenca（电气工程系 哥斯达黎加昆琴卡大学）
本文提出一种方法，通过转置数据中的K-means与PCA结合，探讨变量聚类与主成分分析的关系。
2025-11-30 cs.AI cs.LG stat.ML
Multidimensional Analysis of Specific Language Impairment Using Unsupervised Learning Through PCA and Clustering
Northeastern University（东北大学）
本研究利用PCA与聚类对1163名儿童的语言特征进行无监督分析，发现SLI主要体现为语言产出能力下降而非句法复杂度缺陷，并支持语言能力连续体模型，为改进诊断与干预提供依据。
2025-06-05 cs.CL cs.LG
A random version of principal component analysis in data clustering
主成分分析（PCA）是一种广泛使用的数据分析技术，它依赖于被分析数据的协方差相关矩阵。然而，为了正确处理高维数据，PCA对分析中必须包含的不同重复或样本的最小数量提出了严格的数学约束。在这里，我们表明，修改后的算法不仅适用于尺寸良好的数据集，但也退化的。
2016-10-27 cs.LG q-bio.QM
Early Prediction of Heart Disease Using PCA and Hybrid Genetic Algorithm with k-Means
City University（城市大学）；East West University（东西大学）；Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
全世界的研究表明，每年有数百万人死于心脏病。医疗保健部门产生了大量关于心脏病的数据，但遗憾的是，这些数据并没有用于找到成功决策的秘密知识。目前最重要的方面之一是在早期阶段检测心脏病。研究人员将不同的技术应用于UCI机器学习心脏病数据集。许多研究人员试图将一些复杂的技术应用于这个数据集，但仍然缺乏详细的研究。在本文中，主成分分析（PCA）已被用于减少属性。除了混合遗传算法（HGA）与k均值用于最终聚类。通常，k-means方法用于聚类数据。这种类型的聚类可能会陷入局部最优，因为这种方法是启发式的。我们使用混合遗传算法（HGA）的数据聚类，以避免这个问题。我们提出的方法可以预测早期心脏病的准确率为94.06%。
2021-01-01 cs.LG
Torus Principal Component Analysis with an Application to RNA Structures
有几个尖端的应用程序需要PCA方法的数据环面，我们提出了一种新的环面PCA方法的重要属性，可以普遍适用。现有的主元分析方法主要有两种：切空间主元分析和测地线主元分析。然而，与切空间PCA不同，我们的环面PCA尊重数据空间的循环拓扑，而与测地线PCA不同，我们的环面PCA产生各种非缠绕，非密集的描述符。这是通过将环面变形为球体，然后使用最近开发的原理嵌套球体分析的变体来实现的。这种PCA分析涉及一个小球体拟合的步骤，我们提供了一个改进的测试，以避免过度拟合。但是，将圆环体变形为球体会创建奇点。我们引入了一个数据自适应的预聚类技术，以保持奇点远离数据。对于经常遇到的情况下，PCA主成分周围的残差方差很小，我们使用后模式狩猎技术更细粒度的聚类。因此，一般来说，在实践中有三个连续的相互关联的关键步骤的环面PCA：预聚类，变形，和后模式狩猎。我们用两个最近研究的RNA结构（托里）数据集来说明我们的方法：一个是小RNA数据集，它被建立为PCA的基准，我们通过这些数据来验证我们的方法。另一个是一个大的RNA数据集（包含小RNA数据集），我们表明，我们的方法提供了可解释的主成分，以及进一步了解其结构。
2015-11-16 q-bio.QM stat.ME
Solving clustering as ill-posed problem: experiments with K-Means algorithm
The BioRobotics Institute（生物机器人研究所）
在这篇文章中，基于K-Means算法的聚类过程作为一个反问题，这是一个特殊情况下的不适定问题进行了研究。为了提高聚类反问题的质量，通过主成分分析（PCA）来减少输入数据。由于存在Ding和He的定理，该定理将使用K-Means找到的最佳聚类的基数与所选信息PCA分量的基数联系起来，因此计算实验测试了两种定量特征选择方法之间的定理：Kaiser标准（基于强制性决策）与Wishart标准（基于随机矩阵理论）。结果表明，基于Wishart准则进行特征选择的PCA约简具有较低的矩阵条件数，且满足定理预测的聚类与分量之间的关系。用于计算的数据来自神经科学知识库：它涉及健康和年轻的受试者，这些受试者进行了面向任务的功能性磁共振成像（fMRI）范式。
2022-11-15 cs.AI cs.LG cs.NA
Scalable Iterative Algorithm for Robust Subspace Clustering
子空间聚类（SC）是一种流行的高维数据降维方法，它推广了主成分分析（PCA）。最近，已经提出了几种方法来提高PCA和SC的鲁棒性，但大多数方法在计算上非常昂贵，特别是对于高维大规模数据。在本文中，我们开发了更快的迭代算法SC，将鲁棒性使用{ \em非平方} $\ell_2$规范的目标。用于优化目标的已知实现将是昂贵的，这是由于两个单独的目标的替代优化：最佳聚类成员分配和鲁棒子空间选择，而一个过程的替代更快的代理可能会导致收敛失败。为了解决这个问题，我们使用一个简化的过程，需要有效的矩阵向量乘法子空间更新，而不是解决一个昂贵的特征向量问题，在每次迭代，除了释放嵌套的强大的PCA循环。我们证明了所提出的算法单调收敛到一个局部最小的近似保证，例如，它实现了鲁棒PCA目标的2-近似。在我们的实验中，所提出的算法被证明比已知的优化相同目标的算法收敛速度快一个数量级，并且在MNIST数据集的准确性和运行时间方面优于先前的子空间聚类方法。
2015-06-05 cs.DS cs.LG
Principal Ellipsoid Analysis (PEA): Efficient non-linear dimension reduction & clustering
即使随着过度参数化模型的流行，简单的降维和聚类方法，如PCA和k-means，仍然经常用于各种各样的设置。一个主要原因是简单性、可解释性和计算效率的结合。本文的重点是改进PCA和k-means，允许数据中的非线性关系和更灵活的聚类形状，而不牺牲关键优势。主要贡献是主椭圆分析（PEA）的新框架，定义了一个简单且计算效率高的PCA替代方案，通过数据拟合最佳椭圆近似。我们提供了理论保证，建议PEA算法使用Vapnik-Chervonenkis（VC）理论，以显示强一致性和统一的浓度范围。玩具实验说明了PEA的性能，以及适应非线性结构和复杂簇形状的能力。在丰富的各种实际数据聚类应用中，PEA被证明可以在简单数据集上与k-means一样好，同时在更复杂的设置中显着提高性能。
2020-09-07 stat.ME stat.ML
Kernel PCA for multivariate extremes
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）；National University of Singapore（新加坡国立大学）
我们提出核主成分分析作为一种方法，用于分析多变量极值的依赖结构，并证明它可以是一个强大的工具，聚类和降维。我们的工作提供了一些理论上的洞察核PCA获得的原像，证明在一定条件下，他们可以有效地识别数据中的聚类。我们建立在这些新的见解，以严格表征基于极值样本的核PCA的性能，即，半径超过大阈值的随机向量的角部分。更具体地说，我们专注于在极值理论的角度或频谱措施，其特征在于多变量极端的渐近依赖性，并提供了一个仔细的分析的情况下，极端的线性因子模型产生。我们的核PCA原像的性能，这样的极端利用他们的渐近分布与戴维斯-卡汉扰动界的理论保证。我们的理论研究结果补充说明我们的方法的有限样本性能的数值实验。
2022-11-24 cs.LG math.ST stat.ME
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Beyond Explained Variance: A Cautionary Tale of PCA
Barcelona, Spain（西班牙巴塞罗那）
本文通过分析早期哺乳类昆虫食性动物Kuehneotherium的化石牙齿数据集，指出PCA在可视化非线性低维流形上的不足，提出基于t-SNE和持久同调的分析方法，并提出一个生成概率-几何模型来解释数据分布。
2026-05-17 cond-mat.stat-mech cs.LG
MM-PCA: Integrative Analysis of Multi-group and Multi-view Data
数据整合是将多个数据组（研究，队列）和/或多个数据视图（变量，特征）相结合的问题。由于大型和异构数据集的普遍存在，这项任务在许多学科中变得越来越重要。数据集成通常旨在识别跨多个群组和特征集一致的结构。虽然这种联合分析可以从单个数据集中获得更多信息，但也有可能对异构数据进行全球限制性整合，从而掩盖感兴趣的信号。因此，在这里，我们提出了一种数据自适应集成方法，允许在数据中的结构被共享在一个先验未知的\emph{subset of cohorts and views}。该方法，多组多视图主成分分析（MM-PCA），确定部分共享，稀疏的低秩组件。这也导致跨群组和视图的综合双聚类。MM-PCA的优势在模拟数据和来自癌症基因组图谱的组学数据上进行了说明。MM-PCA可作为R包提供。关键词：数据集成，多视图，多组，双聚类
2019-11-12 q-bio.GN stat.AP stat.ME
Wald Statistics in high-dimensional PCA
在本说明中，我们考虑PCA的高斯观测$X_1,\dots, X_n$与协方差$Σ=\sum_i λ_i P_i$在“有效秩”设置与模型复杂性由$\mathbf{r}(Σ):=\text{tr}(Σ)/\| Σ\|$。我们证明了光谱投影仪$\hat P_r$的Wald统计量的Berry-Essen类型界。这可用于构造非渐近置信椭圆和光谱投影仪$P_r$的测试。利用高阶微扰理论，我们能够证明，我们的定理仍然有效，即使当$\mathbf{r}(Σ) \gg \sqrt{n}$。
2018-05-10 math.ST stat.TH
Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering
University of Alberta（阿尔伯塔大学）
本文通过推广Eckart-Young-Mirsky定理到所有酉不变范数，得到秩/范数正则化问题的闭式解，并应用于子空间聚类，获得新理论见解和实验效果。
2012-10-09 cs.LG cs.NA math.NA
Robust Principal Component Analysis Using a Novel Kernel Related with the L1-Norm
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们考虑一个家庭的矢量点积，可以实现使用符号的变化和加法运算。点积是节能的，因为它们完全避免了乘法运算。此外，点积诱导$\ell_1$ -范数，从而提供对脉冲噪声的鲁棒性。首先，我们分析证明，点积产生对称的，半正定的广义协方差矩阵，从而使主成分分析（PCA）。此外，广义协方差矩阵可以构造在一个能量有效（EEF）的方式，由于乘法的基本向量产品的属性。我们提出的图像重建的例子中，我们的EEF PCA方法的结果在最高的峰值信噪比相比，普通的$\ell_2$ -PCA和递归$\ell_1$ -PCA。
2021-05-25 cs.LG eess.IV
Improved Distributed Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
我们研究了分布式计算设置，其中有多个服务器，每个服务器持有一组点，谁希望计算他们的点集的工会上的功能。这种设置中的一个关键任务是主成分分析（PCA），其中服务器希望计算一个低维子空间，以尽可能多地捕获其点集的并集的方差。给出一个近似PCA的过程，可以用它来近似解决$\ell_2$ -误差拟合问题，如$k$ -均值聚类和子空间聚类。近似分布式PCA算法的基本属性是其通信成本和计算效率，在下游应用中给定的期望精度。我们给出了新的算法和分析，分布式PCA导致改善的通信和计算成本的$k$均值聚类和相关问题。我们对真实世界数据的实证研究显示了数量级的加速，保持了通信，解决方案质量只有微不足道的下降。我们开发的这些技术中的一些，例如从恒定成功概率子空间嵌入到具有独立于成功概率的维度和稀疏性的高成功概率子空间嵌入的一般变换，可能是独立的兴趣。
2014-12-23 cs.LG
Learning-Augmented K-Means Clustering Using Dimensional Reduction
University of Brawijaya（布拉维贾亚大学）
针对k-means算法计算成本随k值增加且易陷入局部最小值的挑战，提出利用主成分分析（PCA）进行降维的学习增强方案，在k值为10和25时有效降低了成本。
2024-01-06 cs.LG
Personalized PCA: Decoupling Shared and Unique Features
University of Michigan（密歇根大学）
本文提出个性化PCA（PerPCA），通过相互正交的全局与局部主成分解耦异质数据中的共享特征和独特特征，并设计基于广义收缩的联邦算法，证明其线性收敛性，在特征提取与预测中表现优越。
2024-02-08 cs.LG math.ST stat.ML
Assessing the impact of dimensionality reduction on clustering performance - a systematic study
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Mila - Quebec AI Institute（魁北克AI研究所）
本文系统研究了五种降维方法对四种聚类算法的影响，通过调整降维级别评估聚类质量，强调了选择合适降维技术和级别的重要性。
2026-09-24 cs.LG
Closed-Form, Provable, and Robust PCA via Leverage Statistics and Innovation Search
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
创新搜索的思想最初是为了数据聚类而提出的，最近被用于离群点检测。在应用新息搜索进行离群点检测时，利用新息方向来度量数据点的新息。研究了二次成本函数下创新搜索算法计算的创新值，证明了新成本函数下的创新值与杠杆得分等价。这个有趣的连接被用来建立几个理论保证杠杆得分为基础的鲁棒PCA方法和设计一个新的鲁棒PCA方法。理论结果包括性能保证与不同的模型分布的离群值和分布的内点。此外，我们证明了算法对噪声存在的鲁棒性。数值和理论研究表明，虽然所提出的方法是快速和封闭的形式，它可以优于大多数现有的算法。
2021-06-23 cs.LG stat.ML
Online Matrix Completion and Online Robust PCA
本文研究了两个相互关联的问题--在线鲁棒PCA（RPCA）和在线低秩矩阵完备化（MC）。在Candès等人最近的工作中，RPCA已被定义为将低秩矩阵（真实数据）$L:=[\ell_1, \ell_2, \dots \ell_{t}, \dots , \ell_{t_{\max}}]$和稀疏矩阵（离群值）$S:=[x_1, x_2, \dots x_{t}, \dots, x_{t_{\max}}]$与它们的和$M:=L+S$分离的问题。我们的工作使用RPCA的这个定义。出现这两个问题的重要应用是在视频分析中尝试分离稀疏前景（例如，移动物体）和缓慢变化的背景。虽然最近有大量的工作都在开发和分析批量RPCA和批量MC算法，在线问题在很大程度上是开放的。在这项工作中，我们开发了一个实际的修改我们最近提出的算法来解决在线RPCA和在线MC问题。这项工作的主要贡献是，我们得到的正确性结果所提出的算法在温和的假设。我们需要的假设是：（a）初始子空间的良好估计是可用的（在视频监视中使用仅背景帧的短序列容易获得）;（b）$\ell_t$服从“慢子空间变化”假设;（c）用于从中生成$\ell_t$的子空间的基向量是密集的（非稀疏）;（d）$x_t$的支持至少每隔一段时间改变至少一定量;以及（e）适当地设置算法参数
2015-06-26 cs.IT math.IT stat.ML
Do semidefinite relaxations solve sparse PCA up to the information limit?
估计数据的主要主成分，假设它们是稀疏的，是现代高维统计的中心任务。针对这种稀疏PCA问题开发了许多算法，从简单的对角阈值到复杂的半定规划（SDP）方法。一个关键的理论问题是，在什么条件下，这样的算法可以恢复稀疏的主成分？我们研究了具有$\ell_0$ -稀疏特征向量的单脉冲模型的这个问题，在维数$p$和样本量$n$都趋于无穷大的渐近状态下.阿米尼和温赖特[安。37（2009）2877-2921]证明了对于稀疏水平$k\geqΩ(n/\log p)$，没有算法（有效与否）可以可靠地恢复稀疏特征向量。相比之下，对于$k\leq O(\sqrt{n/\log p})$，对角阈值处理是一致的。有人进一步指出，SDP方法可以缩小计算和信息限制之间的差距。我们证明，当$k\geqΩ(\sqrt{n})$，所提出的SDP方法，至少在其标准使用，不能恢复稀疏尖峰。事实上，我们推测，在单尖峰模型中，没有计算效率高的算法可以恢复$\ell_0$ -稀疏性$k\geqΩ(\sqrt{n})$的尖峰。最后，我们提出的经验结果表明，稀疏水平$k=O(\sqrt{n})$，恢复是可能的，通过一个简单的协方差阈值算法。
2015-06-03 math.ST stat.ML stat.TH
Sparse Equisigned PCA: Algorithms and Performance Bounds in the Noisy Rank-1 Setting
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）
基于奇异值分解（SVD）的主成分分析（PCA）在高维和有限的样本量范围内失效，低于取决于系统的维数和样本的样本个数的某个临界特征SNR。低于这个临界特征SNR，SVD返回的估计值与潜在主成分渐近不相关。我们考虑一种设置，其中底层秩一信号矩阵的左奇异向量被假设为稀疏的，并且右奇异向量被假设为等符号的，即，具有仅非负或仅非正的条目。我们考虑六种不同的算法，估计稀疏的主成分基于不同的统计标准，并证明，通过利用稀疏性，我们恢复相合估计在低特征信噪比制度的SVD失败。我们的分析揭示了条件下，一个基于\textit{sum-type decision statistic}的坐标选择方案优于计划，利用$\ell_1$和$\ell_2$规范为基础的统计。我们推导出主左奇异向量的可检测坐标的大小的下界，并利用这些下界推导出最坏情况下的风险的下界。最后，我们用数值模拟验证了我们的发现，并用视频数据示例说明了性能，其中兴趣在于识别对象。
2019-12-16 cs.LG eess.SP math.ST
The Kikuchi Hierarchy and Tensor PCA
Courant Institute of Mathematical Sciences at New York University（纽约大学应用数学科学研究所）；University of California, Davis（加州大学戴维斯分校）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Santa Fe Institute（圣菲研究所）
针对张量PCA问题，提出受统计物理启发的Kikuchi层级算法，其ℓ级可跟踪隐藏变量ℓ元依赖，多项式时间算法性能匹配SOS，亚指数算法权衡最优，证明更简洁且适用于随机k-XOR问题，为贝叶斯推理最优算法及方法统一提供新方向。
2025-08-19 cond-mat.stat-mech cs.DS cs.LG
PCA-Based Missing Information Imputation for Real-Time Crash Likelihood Prediction Under Imbalanced Data
Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）
实时的【形】的碰撞可能性预测一直是一个重要的研究课题。各种分类器，如支持向量机（SVM）和基于树的提升算法，已被提出在交通安全研究。然而，在实时的【形】碰撞可能性预测中，由于传感器故障或外部干扰等原因，经常会出现数据缺失的情况，但很少有研究关注数据缺失的填补问题。此外，不平衡数据的分类也是实时的【形】碰撞可能性预测中的一个难题，因为很难区分构成大多数观察样本的易碰撞案例和非碰撞案例。在本文中，主成分分析（PCA）为基础的方法，包括LS-PCA，PPCA，VBPCA，用于填补缺失值，而两种解决方案，以解决不平衡数据的问题。结果表明，PPCA和VBPCA不仅在均方根误差（RMSE）方面优于LS-PCA和其他填充方法（包括均值填充和k-means聚类填充），而且有助于分类器获得更好的预测性能。两种解决方案，即，代价敏感学习和合成少数过采样技术（SMOTE），通过调整分类器以更多地关注少数类来帮助提高灵敏度。
2018-02-11 cs.LG stat.ML
Support Recovery in Sparse PCA with Non-Random Missing Data
Purdue University（普渡大学）
我们分析了一个实用的算法稀疏PCA不完整和噪声数据下的一般非随机抽样计划。该算法是基于半定松弛的$\ell_1$正则PCA问题。我们提供了理论证明，在一定的条件下，我们可以恢复稀疏领先的特征向量的支持，以高概率获得一个独特的解决方案。这些条件包括真实数据矩阵的最大和第二大特征值之间的谱间隙、噪声的大小以及观测条目的结构特性。代数连通性和不规则性的概念被用来描述所观察到的条目的结构特性。我们经验证明我们的理论与合成和真实的数据分析。我们还表明，我们的算法优于其他几个稀疏PCA方法，特别是当观察到的条目具有良好的结构属性。作为我们分析的副产品，我们提供了两个定理来处理确定性采样方案，这可以应用于其他矩阵相关的问题。
2023-02-03 cs.LG stat.ML
Uniform error bound for PCA matrix denoising
本文研究 PCA 在矩阵去噪中的有效性，在低秩与谱间隙假设下证明去噪数据与干净数据间距离被 $O(σ\log n)$ 均匀界定且速率最优，并探讨其对聚类等下游应用的影响。
2024-08-28 math.ST stat.ME stat.TH
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
PCAE: Learning Ordered Representations in Latent Space for Intrinsic Dimension Estimation via Principal Component Autoencoder
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种结合非均匀方差正则化与等距约束的自编码器框架，用于在潜在空间中学习有序表示以估计内在维度。
2026-08-10 cs.LG
Capturing the Denoising Effect of PCA via Compression Ratio
University of Southern California（南加州大学）
本文提出了一种名为压缩比的新度量标准，以量化主成分分析（PCA）对高维噪声数据的去噪效果，并基于该指标设计了一种异常值检测算法，在理论和实验上证明了其在提升聚类准确性方面与现有流行工具同样具有竞争力。
2024-04-22 cs.LG
A greedy anytime algorithm for sparse PCA
在解决一些高维统计问题，特别是涉及非凸优化的问题时，计算工作量很大，这使得高效运行（多项式时间）但不能保证统计一致性的算法的开发和分析得到了普及。鉴于不断增加的计算能力和不断降低的成本，算法的一个更有用的特征是它们能够利用手头输入的各种特性和可用的计算资源来校准所投入的计算工作。例如，设计一种算法，当SNR变弱时，通过增加运行时间来始终保证其输出的统计一致性。我们提出了一个新的贪婪算法的$\ell_0$稀疏PCA问题，支持校准原则。我们提供了一个严格的分析，我们的算法在尖峰协方差模型，以及模拟结果和与其他现有方法的比较。我们的研究结果表明，我们的算法恢复尖峰SNR制度，所有多项式时间算法失败，同时在一个合理的并行时间上运行的集群。
2020-02-12 cs.CC cs.LG math.ST
