Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated
给定一个观测数据矩阵，主成分分析（PCA）计算包含其大部分变异性的少量正交方向。可以证明精确的PCA解决方案已经使用了很长时间。然而，据我们所知，所有现有的理论保证都假设数据和破坏性噪声是相互独立的，或者至少是不相关的。这在实践中经常有效，但并不总是有效。在本文中，我们研究的PCA问题中的数据和噪声可以相关的设置。这种噪声通常也被称为“数据相关噪声”。我们得到了一个正确的结果为标准的特征值分解（EVD）为基础的解决方案PCA在简单的假设下的数据噪声相关性。我们还开发和分析了EVD，集群EVD，提高EVD在某些制度的泛化。
2016-10-31 cs.LG stat.ML
Principal Component Analysis versus Factor Analysis
Warsaw School of Computer Science（华沙计算机科学学校）
本文讨论了与主成分分析（PCA）和因子分析（FA）有关的选定问题。特别是，这两种类型的分析进行了比较。还提出了PCA和FA的向量解释。详细讨论了主成分分析中主成分个数和FA中因子个数的确定问题。一个新的标准，用于确定的因素和主成分的数量进行了讨论，这将允许目前大多数的方差的每个分析的主要变量。提出了一种有效的算法来确定FA中的因子的数量，它符合这个标准，也提出了。该算法适用于主成分分析中主成分个数的确定。还提出了使用确定主成分数目的新方法来修改PCA算法。对所得结果进行了讨论。
2021-10-21 cs.LG stat.ME
Determining Principal Component Cardinality through the Principle of Minimum Description Length
Facebook Research（脸书研究院）
PCA（Principal Component Analysis）及其变体是矩阵降维和降维潜在因子提取的普遍技术。使用PCA的一个重要挑战是主成分数量的选择。信息论的最小描述长度（MDL）原则为模型选择提供了基于压缩的客观标准，但很难将其现代定义--归一化最大似然（NML）--应用于PCA问题。这项工作显示了NML问题的一般减少到低维问题。应用这一约简，它用已知的线性回归的NML项来界定PCA的NML。
2019-06-29 cs.LG stat.ML
Principal Component Analysis with Tensor Train Subspace
Purdue University（普渡大学）
本文提出TT-PCA算法，通过保持低秩张量结构来估计结构化的张量列车子空间，相比PCA和Tucker-PCA更具鲁棒性，实验验证其有效性。
2018-03-13 cs.CV cs.IT cs.LG
A Generalization of Principal Component Analysis
传统的主成分分析（PCA）找到一个主向量，最大化主成分的二次幂和。我们考虑一个广义PCA，其目的是最大化的主成分的任意凸函数的总和。我们提出了一个梯度上升算法来解决这个问题。对于广义PCA的核版本，我们证明了解决方案可以作为一个简单的单层递归神经网络的不动点。我们还在不同的数据集上评估了我们的算法。
2019-11-15 cs.LG eess.SP stat.ML
QAOA-PCA: Enhancing Efficiency in the Quantum Approximate Optimization Algorithm via Principal Component Analysis
University of Sheffield（谢菲尔德大学）
提出QAOA-PCA，利用主成分分析降维参数空间，在MaxCut问题上以更少迭代提升优化效率，虽近似比略降，但参数匹配时性能更优。
2025-04-23 cs.ET cs.LG
Principal Component Analysis Based on T$\ell_1$-norm Maximization
Capital University of Economics and Business（首都经济贸易大学）；Hainan University（海南大学）；China Agricultural University（中国农业大学）
经典的主成分分析（PCA）可能会受到异常值和噪声的敏感性。因此，本文研究了基于$\ell_1$ -范数和$\ell_p$ -范数（$0 < p < 1$）的主成分分析.其中，基于$\ell_p$ -范数的算法从鲁棒性的角度来看是最有趣的。然而，它们的数值性能并不令人满意。注意，虽然T $\ell_1$ -norm在某种意义上类似于$\ell_p$ -norm（$0 < p < 1$），但它对离群值具有更强的抑制作用，并且具有更好的连续性。为此，本文提出了基于T $\ell_1$ -范数的主成分分析方法。数值实验表明，它的性能明显优于PCA- $\ell_p$和$\ell_p$ SPCA以及PCA，PCA- $\ell_1$.
2020-05-23 cs.LG stat.ML
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
Schrödinger PCA: On the Duality between Principal Component Analysis and Schrödinger Equation
Massachusetts Institute of Technology（麻省理工学院）；Peking University（北京大学）；California Institute of Technology（加州理工学院）
主成分分析（PCA）通过识别特征之间的协方差相关性，在无监督学习中取得了巨大的成功。如果数据收集未能捕获协方差信息，则PCA将无法发现有意义的模式。特别地，PCA将在欠采样机制中使空间高斯过程（GP）模型失效，即相邻锚点（空间特征）的平均距离大于GP的相关长度。反直觉地，通过绘制PCA和薛定谔方程之间的联系，我们不仅可以解决欠采样的挑战，而且还可以使用所提出的称为薛定谔PCA的算法以高效和解耦的方式进行计算。该算法只需要特征方差和估计的相关长度作为输入，构造相应的薛定谔方程，求解该方程，得到与主成分相吻合的能量本征态。我们还将建立我们的算法在偏微分方程（PDE）社区的模型降阶技术的连接，其中稳态薛定谔算子被确定为协方差函数的二阶近似。数值实验验证了该算法的有效性和高效性，显示了其在一般图和流形上的无监督学习任务中的潜力。
2021-08-18 cond-mat.dis-nn cs.LG math.PR
Generalized Principal Component Analysis
Harvard University（哈佛大学）
广义主成分分析（GLM-PCA）有利于非正态分布数据的降维。我们提供了一个详细的推导GLM-PCA的重点是优化。我们还演示了如何将协变量，并建议后处理转换，以提高潜在因素的可解释性。
2019-07-03 cs.LG stat.ML
Two derivations of Principal Component Analysis on datasets of distributions
University of Amsterdam（阿姆斯特丹大学）
本文针对分布数据集提出PCA的两种等价推导，基于位置和协方差刻画分布，从方差最大化和重构误差最小化角度得到闭式解。
2023-06-23 cs.LG stat.ML
Iteratively Reweighted Least Squares Algorithms for L1-Norm Principal Component Analysis
Northwestern University（西北大学）
主成分分析（PCA）通常用于通过选择少数能解释数据的大部分方差结构的正交向量来降低数据的维数。L1 PCA使用L1范数来度量误差，而传统PCA使用L2范数。对于L1 PCA问题，最小化重建数据的拟合误差，我们提出了一个精确的加权和近似算法的基础上迭代加权最小二乘。我们提供收敛性分析，并比较其性能对基准算法在文献中。计算实验表明，所提出的算法一致执行最好的。
2016-09-19 cs.LG stat.ML
Robust Principal Component Analysis Based On Maximum Correntropy Power Iterations
Imperial College London（帝国理工学院）
主成分分析（PCA）被认为是描述数据集特征之间线性关系的典型数据分析技术。然而，PCA对非高斯样本和/或离群值的众所周知的敏感性通常使其在实践中不可靠。为此，一个强大的PCA公式推导出基于最大相关熵准则（MCC），以最大限度地提高高斯分布的重建误差的预期可能性。通过这种方式，所提出的解决方案减少到广义幂迭代，从而：（i）即使在存在离群值的情况下也可以获得主成分的鲁棒估计;（ii）不需要预先指定主成分的数量;以及（iii）可以获得整个主成分集合，这与现有方法不同。通过一个直观的数值算例说明了最大相关熵幂迭代法的优点。
2019-10-24 cs.IT cs.LG eess.SP
Self-Paced Probabilistic Principal Component Analysis for Data with Outliers
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
主成分分析（PCA）是数据分析中降维和特征提取的常用工具。PCA有一个概率版本，称为概率PCA（PPCA）。然而，标准PCA和PPCA并不稳健，因为它们对离群值敏感。针对这一问题，本文将自步调学习机制引入到PPCA中，提出了一种自步调概率主成分分析（SP-PPCA）方法。在此基础上，基于交替搜索策略和期望最大化算法设计了相应的优化算法。SP-PPCA寻找最佳的投影向量，并迭代地过滤掉离群值。在合成问题和真实数据集上的实验清楚地表明，SP-PPCA能够减少或消除离群值的影响。
2019-04-13 cs.LG stat.ML
Suppressing Background Radiation Using Poisson Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
基于伽马射线光谱法的核威胁探测系统的性能通常强烈依赖于识别可归因于背景辐射的测量信号部分的能力。我们已经成功地应用了一种基于主成分分析（PCA）的方法，以获得一个紧凑的零空间模型的背景光谱使用PCA投影残差，以获得源检测得分。我们已经展示了该方法在城市场景中使用移动光谱仪的威胁检测系统中的实用性（Tandon等人，2012）。虽然通常假设测量的光子计数遵循泊松过程，但标准PCA对数据分布进行高斯假设，这在光子计数较低时可能是较差的近似。本文研究了基于泊松损失函数的主成分分析（Poisson PCA）是否以及在什么条件下可以在建模背景辐射时优于标准高斯PCA，从而实现更灵敏、更具体的核威胁检测。
2016-05-26 cs.LG physics.data-an stat.ML
Combining Structured and Unstructured Randomness in Large Scale PCA
Microsoft（微软）
主成分分析（PCA）是一种无处不在的工具，在机器学习中有许多应用，包括特征构建，子空间嵌入和离群点检测。在本文中，我们提出了一种算法，用于计算具有大量行（示例）和列（特征）的数据集的顶部主成分。我们的算法利用结构化和非结构化的随机投影，以保持良好的精度，同时计算效率。我们展示的技术上的获奖提交的KDD 2010杯。
2013-10-24 cs.LG
Clustering and Feature Selection using Sparse Principal Component Analysis
Princeton University（普林斯顿大学）
本文研究了稀疏主成分分析（PCA）在聚类和特征选择问题中的应用。稀疏PCA寻求稀疏因子或数据变量的线性组合，解释数据中的最大方差量，同时只有有限数量的非零系数。PCA通常被用作一种简单的聚类技术，稀疏因子允许我们在这里用一组减少的变量来解释聚类。我们从稀疏PCA的简要介绍和动机开始，并详细介绍我们在d'Aspremont等人（2005）中实现的算法。然后，我们将这些结果应用到一些经典的聚类和生物学中出现的特征选择问题。
2008-10-08 cs.AI cs.LG cs.MS
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Modal Principal Component Analysis
University of Tsukuba（筑波大学）；The Institute of Statistical Mathematics（统计数理研究所）
主成分分析（PCA）是一种广泛用于数据处理的方法，例如用于降维和可视化。已知标准PCA对异常值敏感，因此，已经提出了各种鲁棒PCA方法。它已被证明，许多统计方法的鲁棒性可以提高使用模式估计，而不是平均估计，因为模式估计是不显着的离群值的存在影响。因此，本研究提出一种模态主成分分析（MPCA），这是一种基于模态估计的稳健PCA方法。该方法通过估计投影数据点的模式来找到次要分量。作为理论贡献，我们推导了该算法的概率收敛性、影响函数、有限样本崩溃点及其下界。实验结果表明，该方法比传统方法具有优势。
2020-08-07 cs.LG stat.ML
Sparse PCA on fixed-rank matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
稀疏PCA是通过在主成分上添加稀疏约束从PCA获得的优化问题。稀疏PCA是NP难的，即使在单分量的情况下也很难近似。在本文中，我们解决了稀疏PCA的计算复杂性的协方差矩阵的秩。我们表明，如果协方差矩阵的秩是一个固定的值，那么有一个算法，解决稀疏PCA的全局最优，其运行时间是多项式的功能的数量。我们还证明了一个类似的结果，稀疏PCA的版本，需要主成分有不相交的支持。
2022-01-07 cs.DM cs.LG math.OC
Covariance and PCA for Categorical Variables
分类变量的协方差是使用类别的正则单纯形表达式定义的。该方法遵循基尼的方差定义，并将协方差作为联立方程的解。计算结果为测试数据提供了合理的数值。主成分分析（RS-PCA）的方法也提出了使用正则单纯形表达式，它可以很容易地解释的主成分。所提出的方法适用于分类数据USCensus 1990数据的变量选择问题。所提出的方法为分类变量的选择问题提供了合适的准则
2007-11-28 cs.LG
Neural Network Characterization and Entropy Regulated Data Balancing through Principal Component Analysis
University of Waterloo（滑铁卢大学）
该研究通过分析MNIST数字在低阶PCA空间的分布揭示神经网络预测准确率差异的几何原因，提出局部PCA熵指标定位易混淆数据，并基于该指标通过过采样实现数据平衡。
2025-09-30 cs.LG
Maximum Margin Principal Components
University of Waikato（怀卡托大学）
主成分分析（PCA）是一种非常成功的降维技术，广泛应用于预测建模。其在该领域中广泛使用的一个关键因素是数据集到其第一$K$主成分上的投影使原始数据与所有可能秩$K$投影上的投影数据之间的平方误差之和最小化。因此，PCA为标准建模假设下的最小二乘线性回归提供了数据的最佳低秩表示。另一方面，当预测问题的损失函数不是最小二乘误差时，PCA通常是降维的启发式选择-特别是对于0 - 1损失下的分类问题。在本文中，我们的目标分类问题，提出了一个简单的替代PCA，旨在最大限度地减少原始数据和投影数据之间的利润分布的差异。大量的实验表明，我们的简单方法在分类误差方面通常优于任何特定数据集上的PCA，尽管这种差异并不总是统计学上显著的，尽管是一种过滤方法，但在广泛的数据集上经常与偏最小二乘（PLS）和Lasso竞争。
2017-05-17 cs.LG stat.ML
The Risk Shadow of Principal Component Analysis: When 99.9999% Variance Preservation Causes Catastrophic Decision Errors
Department of EECS, School of Engineering, UQTR, Canada（加拿大魁北克大学三河城分校工程学院电气工程与计算机科学系）；Learning and Game Theory Laboratory (LnG Lab), TIMADIE（学习与博弈论实验室（LnG Lab），TIMADIE）
本文证明主成分分析（PCA）在保留99.9999%方差时可能完全丢失罕见高影响事件的信息，导致分类器退化为常数预测器，并提出Expectile PCA和Tail-Preserving PCA两种方法通过重加权协方差来保留尾部风险信息。
2026-06-15 cs.GT cs.LG
Distributed Robust Principal Component Analysis
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
研究了分布式环境下的鲁棒主元分析问题。RPCA的目标是当数据矩阵受到粗稀疏误差的破坏时，为原始数据矩阵找到一个潜在的低秩估计。以前的研究已经开发出RPCA算法，提供稳定的解决方案，快速收敛。然而，这些算法通常难以扩展，并且由于使用SVD或大型矩阵乘法而无法分布式实现。在本文中，我们提出了第一个分布式鲁棒主分析算法的一致性分解的基础上，称为DCF-PCA。我们证明了DCF-PCA的收敛性，并在各种问题设置上评估了DCF-PCA
2022-08-13 cs.DC cs.LG
A Tutorial on Principal Component Analysis
Google Research（谷歌研究院）
主成分分析（PCA）是现代数据分析的支柱-一个广泛使用但（有时）知之甚少的黑盒子。本文的目的是消除这个黑盒子背后的魔力。这份手稿的重点是建立一个坚实的直觉，如何以及为什么主成分分析工作。这份手稿通过简单的直觉和PCA背后的数学推导来具体化这些知识。本教程不回避非正式地解释这些想法，也不回避数学。希望通过解决这两个方面，各级读者将能够更好地了解PCA以及何时，如何和为什么应用这种技术。
2014-04-03 cs.LG stat.ML
Random Matrix Theory-guided sparse PCA for single-cell RNA-seq data
本文提出基于随机矩阵理论的稀疏PCA方法，用于改进单细胞RNA测序数据的降维与细胞类型分类。
2026-02-26 cs.LG physics.bio-ph q-bio.QM
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Robust Principal Component Analysis Using a Novel Kernel Related with the L1-Norm
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们考虑一个家庭的矢量点积，可以实现使用符号的变化和加法运算。点积是节能的，因为它们完全避免了乘法运算。此外，点积诱导$\ell_1$ -范数，从而提供对脉冲噪声的鲁棒性。首先，我们分析证明，点积产生对称的，半正定的广义协方差矩阵，从而使主成分分析（PCA）。此外，广义协方差矩阵可以构造在一个能量有效（EEF）的方式，由于乘法的基本向量产品的属性。我们提出的图像重建的例子中，我们的EEF PCA方法的结果在最高的峰值信噪比相比，普通的$\ell_2$ -PCA和递归$\ell_1$ -PCA。
2021-05-25 cs.LG eess.IV
Heavy-Tailed Principal Component Analysis
本文提出基于对数损失的厚尾主成分分析方法，通过超统计模型处理高维厚尾数据，证明其主成分与高斯生成器协方差矩阵一致，实验显示其在厚尾噪声下优于传统PCA。
2026-07-27 cs.LG
Principal Component Analysis based frameworks for efficient missing data imputation algorithms
SimulaMet（西穆拉大都会研究所）；Warsaw University of Technology（华沙理工大学）
缺失数据是实践中经常出现的问题。已经开发了许多估算方法来填补缺失的条目。然而，并不是所有的方法都可以扩展到高维数据，特别是多重插补技术。与此同时，数据也越来越趋向于高维化。因此，在这项工作中，我们提出了主成分分析插补（PCAI），一个简单但通用的框架，基于主成分分析（PCA），以加快插补过程，并减轻许多可用的插补技术的内存问题，而不牺牲插补质量的MSE。此外，即使当一些或所有缺失特征是分类的，或者当缺失特征的数量很大时，也可以使用框架。接下来，我们介绍PCA插补-分类（PIC），PCAI的分类问题的一些调整的应用程序。我们通过在各种场景下的实验来验证我们的方法，这表明PCAI和PIC可以与各种插补算法一起工作，包括最先进的插补算法，并显着提高插补速度，同时与直接插补相比，实现了有竞争力的均方误差/分类精度（即，直接计入缺失数据）。
2023-03-19 cs.LG stat.ML
Online Principal Component Analysis in High Dimension: Which Algorithm to Choose?
Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Université de Bourgogne Franche Comté（勃艮第-弗朗什孔泰大学）；DePaul University（德保罗大学）
在当前数据爆炸的背景下，不需要将所有数据存储在内存中的在线技术对于常规执行主成分分析（PCA）等任务是必不可少的。用每个新的观察更新PCA的递归算法已经在各个研究领域中被研究，并且在工业监测、计算机视觉、天文学和潜在语义索引等方面得到了广泛的应用。这一工作为实际中在线PCA算法的选择提供了指导。我们提出了在线PCA的主要方法，即扰动技术，增量方法和随机最优化，并比较它们的统计精度，计算时间和内存需求，使用人工和真实数据。扩展到缺失数据和功能数据进行了讨论。所有研究的算法都可以在CRAN上的R包onlinePCA中找到。
2015-11-11 cs.LG stat.ME stat.ML
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
An $\ell_p$ theory of PCA and spectral clustering
EPFL（洛桑联邦理工学院）；Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
主成分分析（Principal Component Analysis，PCA）是统计学和机器学习领域的一个重要工具。虽然现有的PCA研究主要集中在主成分及其相关的特征值的恢复，有几个精确的表征个别主成分得分，产生低维嵌入的样本。这阻碍了各种光谱方法的分析。在本文中，我们首先发展了一个$\ell_p$扰动理论的中空版本的主成分分析在Hilbert空间中，证明了改进的香草主成分分析在异方差噪声的存在。通过一种新的$\ell_p$分析的特征向量，我们调查的主成分得分向量的入口行为，并表明他们可以近似的Gram矩阵在$\ell_p$范数的线性泛函，其中包括$\ell_2$和$\ell_\infty$作为特殊的例子。对于亚高斯混合模型，给出最优边界的$p$的选择取决于信噪比，这进一步产生谱聚类的最优性保证。对于上下文社区检测，$\ell_p$理论导致一个简单的频谱算法，达到准确恢复的信息阈值。作为特殊情况，这些还为高斯混合模型和随机块模型提供了最佳恢复结果。
2022-04-10 cs.LG math.PR math.ST
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Correlation of Data Reconstruction Error and Shrinkages in Pair-wise Distances under Principal Component Analysis (PCA)
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
在这个正在进行的工作中，我探讨了PCA下的数据转换的某些理论和经验意义。特别地，我陈述并证明了关于PCA的三个定理，我解释如下：1）。不丢弃特征向量行的PCA是单射的，但当特征向量行被丢弃时，失去了这种单射性2）。不丢弃特征向量行的PCA保留成对距离，但当特征向量行被丢弃时，倾向于导致成对距离缩小。3）。对于任何一对点，成对距离的收缩由与点相关联的L1范数重构误差限制。显然，3）。表明成对距离的收缩与均方重建误差之间可能存在某种相关性，均方重建误差被定义为与丢弃的特征向量相关联的那些特征值的总和。因此，我决定进行数值实验，以获得这些特征值和成对距离收缩之间的相关性。此外，本文还通过实验分别考察了PCA映射下特征值之和收缩率对分类精度的影响。到目前为止，我已经从UCI机器学习库中的一些公开数据上获得了以下结果：1）。在与丢弃的特征向量相关联的那些特征值的和与成对距离中的收缩之间似乎存在强相关性。2）。无论是这些特征值的总和还是成对距离都与分类精度没有任何强相关性。1
2014-12-21 cs.LG stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
A novel approach for Fair Principal Component Analysis based on eigendecomposition
School of Applied Sciences (FCA), University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP）应用科学学院（FCA））
主成分分析（PCA）是信号处理中一种普遍存在的降维技术，它搜索一个投影矩阵，使降维数据集与原始数据集之间的均方误差最小化。由于经典PCA不是针对解决与公平性有关的问题而定制的，因此其应用于实际问题可能导致不同组的重构误差的差异（例如，男人和女人，白人和黑人，等等），这可能会带来有害的后果，例如对敏感群体的偏见。虽然最近已经提出了几个公平的版本的PCA，仍然存在着一个根本的差距，在寻找算法，是足够简单的部署在实际系统中。为了解决这个问题，我们提出了一种新的PCA算法，它通过一个简单的策略来解决公平性问题，该策略包括一维搜索，该搜索利用PCA的封闭形式的解决方案。数值实验表明，该方案可以显着提高公平性，在整体重建误差的损失非常小，而不诉诸复杂的优化方案。此外，我们的研究结果在几种真实情况下以及在不平衡和平衡数据集的情况下是一致的。
2022-08-24 cs.CY cs.LG
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
A random version of principal component analysis in data clustering
主成分分析（PCA）是一种广泛使用的数据分析技术，它依赖于被分析数据的协方差相关矩阵。然而，为了正确处理高维数据，PCA对分析中必须包含的不同重复或样本的最小数量提出了严格的数学约束。在这里，我们表明，修改后的算法不仅适用于尺寸良好的数据集，但也退化的。
2016-10-27 cs.LG q-bio.QM
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology（大连理工大学）
主成分分析（PCA）作为机器学习中一种广泛应用的方法，具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题，许多鲁棒主成分分析（RPCA）已经改善了这一问题。然而，现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题，本文提出了角度嵌入（AE）制定一个简单的RPCA方法的基础上的角度密度，这是改进的大规模或高维数据。此外，一个修剪AE（TAE）被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明，所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Uncertainty-Aware Principal Component Analysis
University of Konstanz（康斯坦茨大学）；University of Stuttgart（斯图加特大学）
我们提出了一种技术来执行降维的数据，是受不确定性。我们的方法是传统的主成分分析（PCA）的多变量概率分布的推广。与非线性方法相比，线性降维技术具有这样的优点，即这种概率分布的特征在投影后保持不变。我们推导出PCA样本协方差矩阵的表示，该表示尊重每个输入中的潜在不确定性，构建了我们的新方法的数学基础：不确定性感知PCA。除了我们的方法在基于采样的策略上获得的准确性和性能外，我们的公式还允许我们对数据中的不确定性进行敏感性分析。为此，我们提出了一种新的可视化，使更好地了解所选择的主成分的不确定性的影响因素的痕迹。我们使用真实世界的数据集提供了我们的技术的多个例子。作为一种特殊情况，我们展示了如何通过PCA传播多元正态分布的封闭形式。此外，我们讨论了我们的方法的扩展和限制。
2019-08-01 cs.HC cs.LG stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
Intrinsic dimension estimation of data by principal component analysis
LSEC（科学与工程计算国家重点实验室）；Institute of Applied Mathematics, AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
估计数据的固有维数是模式识别和统计学中的经典问题。主成分分析（PCA）是发现线性结构数据集维数的有力工具，然而，当数据具有非线性结构时，它变得无效。本文提出了一种基于主成分分析的非线性数据本征维数估计方法。我们的方法的工作原理是首先找到一个最小的覆盖的数据集，然后进行PCA局部覆盖的每个子集，最后通过检查所有小邻域区域的数据方差的估计结果。该方法利用整个数据集来估计其固有维数，便于增量学习。此外，我们的新PCA程序可以过滤掉数据中的噪声，并收敛到一个稳定的估计与邻域区域大小的增加。在合成数据集和真实数据集上的实验表明了该方法的有效性。
2010-02-10 cs.CV cs.LG
Test-Time Adaptation with Principal Component Analysis
Thales Land and Air Systems（泰雷兹地面与空中系统公司）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Dataiku（Dataiku公司）
当测试数据与训练数据不同时，机器学习模型容易失败，这种情况在实际应用中经常遇到，称为分布偏移。虽然仍然有效，但训练时间知识变得不那么有效，需要测试时自适应来保持高性能。以下的方法，假设批量规范层和使用他们的统计适应，我们提出了一个测试时自适应与主成分分析（TTAwPCA），假设一个拟合的PCA和适应在测试时的频谱滤波器的基础上的PCA的奇异值的腐败的鲁棒性。TTAwPCA结合了三个组件：使用主成分分析（PCA）来分解给定层的输出，通过其奇异值的惩罚来滤波，并且使用PCA逆变换来重构。这种通用增强比当前方法添加了更少的参数。在CIFAR-10-C和CIFAR- 100-C上的实验证明了我们使用2000个参数的唯一滤波器的方法的有效性和局限性。
2022-09-13 cs.AI cs.CV cs.LG
Principal component analysis for Gaussian process posteriors
Kyushu Institute of Technology（九州工业大学）；The National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）；RIKEN AIP（理化学研究所AIP中心）
本文提出GP-PCA方法，通过在信息几何框架下将无限维GP后验降至有限维，实现低维空间估计，并基于变分推断提出近似方法，实验验证其作为元学习的有效性。
2023-04-06 cs.LG stat.ML
An Approach to Variable Clustering: K-means in Transposed Data and its Relationship with Principal Component Analysis
Department of Computer Science University of Cuenca（计算机科学系 哥斯达黎加昆琴卡大学）；Department of Electrical Engineering University of Cuenca（电气工程系 哥斯达黎加昆琴卡大学）
本文提出一种方法，通过转置数据中的K-means与PCA结合，探讨变量聚类与主成分分析的关系。
2025-11-30 cs.AI cs.LG stat.ML
Neural PCA for Flow-Based Representation Learning
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
特别感兴趣的是发现有用的表示，仅从观察在一个无监督的生成方式。然而，现有的规范化流程是否为下游任务提供有效的表示的问题仍然没有得到回答，尽管它们具有很强的样本生成和密度估计能力。本文研究了这个问题，这样一个家庭的生成模型，承认确切的可逆性。我们提出了神经主成分分析（神经PCA），在全维操作，同时捕获主成分在\emph{descending}顺序。在不利用任何标签信息的情况下，恢复的主成分将信息量最大的元素存储在其\emph{leading}维度中，并将可忽略的元素留在\emph{trailing}维度中，从而允许下游任务中的$5\%$ - $10\%$的明显性能改进。经验上发现，这种改进是一致的，而不管潜在的尾部维度的数量下降。我们的工作表明，必要的归纳偏见时，表示质量的利益，引入生成建模。
2022-08-23 cs.CV cs.LG
PCA-RAG: Principal Component Analysis for Efficient Retrieval-Augmented Generation
Zanista AI
本文提出PCA-RAG，利用主成分分析将RAG嵌入从3072维压缩至110维，在检索速度提升最高60倍、索引缩小约28.6倍的同时保持可接受的精度，为金融实时系统提供高效方案。
2025-04-11 cs.AI cs.IR cs.LG
A Linearly Convergent Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
主成分分析（PCA）是大数据时代降维的主力工具。虽然经常被忽视，但PCA的目的不仅是降低数据维度，而且还产生不相关的特征。此外，现代世界中不断增加的数据量通常需要在多台机器上存储数据样本，这排除了使用集中式PCA算法。本文重点研究PCA的双重目标，即降维和去相关的功能，但在分布式设置。这需要估计数据协方差矩阵的特征向量，而不是当数据分布在机器网络中时仅估计特征向量所跨越的子空间。虽然最近已经提出了一些分布式解决方案的PCA问题，收敛保证和/或这些解决方案的通信开销仍然是一个问题。着眼于通信效率，本文介绍了一种前馈神经网络为基础的一个时间尺度的分布式PCA算法称为分布式桑格算法（DSA），估计的特征向量的数据协方差矩阵时，数据分布在一个无向和任意连接的网络的机器。此外，所提出的算法线性收敛到真解的邻域。数值结果也证明了所提出的解决方案的有效性。
2021-11-28 cs.DC cs.LG cs.MA
Self-adaptive node-based PCA encodings
Innopolis University（因诺波利斯大学）
在本文中，我们提出了一种算法，简单的Hebbian PCA，并证明它是能够计算的主成分分析（PCA）在一个分布式的方式跨越节点。它通过删除层内权重简化了现有的网络结构，基本上将需要训练的权重数量减少了一半。
2017-06-16 cs.LG cs.NE cs.SE
