Two derivations of Principal Component Analysis on datasets of distributions
University of Amsterdam（阿姆斯特丹大学）
本文针对分布数据集提出PCA的两种等价推导，基于位置和协方差刻画分布，从方差最大化和重构误差最小化角度得到闭式解。
2023-06-23 cs.LG stat.ML
Iteratively Reweighted Least Squares Algorithms for L1-Norm Principal Component Analysis
Northwestern University（西北大学）
主成分分析（PCA）通常用于通过选择少数能解释数据的大部分方差结构的正交向量来降低数据的维数。L1 PCA使用L1范数来度量误差，而传统PCA使用L2范数。对于L1 PCA问题，最小化重建数据的拟合误差，我们提出了一个精确的加权和近似算法的基础上迭代加权最小二乘。我们提供收敛性分析，并比较其性能对基准算法在文献中。计算实验表明，所提出的算法一致执行最好的。
2016-09-19 cs.LG stat.ML
Self-Paced Probabilistic Principal Component Analysis for Data with Outliers
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
主成分分析（PCA）是数据分析中降维和特征提取的常用工具。PCA有一个概率版本，称为概率PCA（PPCA）。然而，标准PCA和PPCA并不稳健，因为它们对离群值敏感。针对这一问题，本文将自步调学习机制引入到PPCA中，提出了一种自步调概率主成分分析（SP-PPCA）方法。在此基础上，基于交替搜索策略和期望最大化算法设计了相应的优化算法。SP-PPCA寻找最佳的投影向量，并迭代地过滤掉离群值。在合成问题和真实数据集上的实验清楚地表明，SP-PPCA能够减少或消除离群值的影响。
2019-04-13 cs.LG stat.ML
GT-PCA: Effective and Interpretable Dimensionality Reduction with General Transform-Invariant Principal Component Analysis
Darmstadt University of Applied Sciences（达姆施塔特应用科学大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）
针对PCA对图像旋转、平移等变换鲁棒性不足、自编码器类不变降维方法不可解释的问题，提出兼具有效性与可解释性的GT-PCA方法，通过神经网络高效估计成分，在合成与真实数据实验中性能显著优于现有方法。
2024-01-28 cs.LG stat.ME stat.ML
Modal Principal Component Analysis
University of Tsukuba（筑波大学）；The Institute of Statistical Mathematics（统计数理研究所）
主成分分析（PCA）是一种广泛用于数据处理的方法，例如用于降维和可视化。已知标准PCA对异常值敏感，因此，已经提出了各种鲁棒PCA方法。它已被证明，许多统计方法的鲁棒性可以提高使用模式估计，而不是平均估计，因为模式估计是不显着的离群值的存在影响。因此，本研究提出一种模态主成分分析（MPCA），这是一种基于模态估计的稳健PCA方法。该方法通过估计投影数据点的模式来找到次要分量。作为理论贡献，我们推导了该算法的概率收敛性、影响函数、有限样本崩溃点及其下界。实验结果表明，该方法比传统方法具有优势。
2020-08-07 cs.LG stat.ML
Maximum Margin Principal Components
University of Waikato（怀卡托大学）
主成分分析（PCA）是一种非常成功的降维技术，广泛应用于预测建模。其在该领域中广泛使用的一个关键因素是数据集到其第一$K$主成分上的投影使原始数据与所有可能秩$K$投影上的投影数据之间的平方误差之和最小化。因此，PCA为标准建模假设下的最小二乘线性回归提供了数据的最佳低秩表示。另一方面，当预测问题的损失函数不是最小二乘误差时，PCA通常是降维的启发式选择-特别是对于0 - 1损失下的分类问题。在本文中，我们的目标分类问题，提出了一个简单的替代PCA，旨在最大限度地减少原始数据和投影数据之间的利润分布的差异。大量的实验表明，我们的简单方法在分类误差方面通常优于任何特定数据集上的PCA，尽管这种差异并不总是统计学上显著的，尽管是一种过滤方法，但在广泛的数据集上经常与偏最小二乘（PLS）和Lasso竞争。
2017-05-17 cs.LG stat.ML
A Tutorial on Principal Component Analysis
Google Research（谷歌研究院）
主成分分析（PCA）是现代数据分析的支柱-一个广泛使用但（有时）知之甚少的黑盒子。本文的目的是消除这个黑盒子背后的魔力。这份手稿的重点是建立一个坚实的直觉，如何以及为什么主成分分析工作。这份手稿通过简单的直觉和PCA背后的数学推导来具体化这些知识。本教程不回避非正式地解释这些想法，也不回避数学。希望通过解决这两个方面，各级读者将能够更好地了解PCA以及何时，如何和为什么应用这种技术。
2014-04-03 cs.LG stat.ML
A Generalization of Principal Component Analysis
传统的主成分分析（PCA）找到一个主向量，最大化主成分的二次幂和。我们考虑一个广义PCA，其目的是最大化的主成分的任意凸函数的总和。我们提出了一个梯度上升算法来解决这个问题。对于广义PCA的核版本，我们证明了解决方案可以作为一个简单的单层递归神经网络的不动点。我们还在不同的数据集上评估了我们的算法。
2019-11-15 cs.LG eess.SP stat.ML
Principal Component Analysis based frameworks for efficient missing data imputation algorithms
SimulaMet（西穆拉大都会研究所）；Warsaw University of Technology（华沙理工大学）
缺失数据是实践中经常出现的问题。已经开发了许多估算方法来填补缺失的条目。然而，并不是所有的方法都可以扩展到高维数据，特别是多重插补技术。与此同时，数据也越来越趋向于高维化。因此，在这项工作中，我们提出了主成分分析插补（PCAI），一个简单但通用的框架，基于主成分分析（PCA），以加快插补过程，并减轻许多可用的插补技术的内存问题，而不牺牲插补质量的MSE。此外，即使当一些或所有缺失特征是分类的，或者当缺失特征的数量很大时，也可以使用框架。接下来，我们介绍PCA插补-分类（PIC），PCAI的分类问题的一些调整的应用程序。我们通过在各种场景下的实验来验证我们的方法，这表明PCAI和PIC可以与各种插补算法一起工作，包括最先进的插补算法，并显着提高插补速度，同时与直接插补相比，实现了有竞争力的均方误差/分类精度（即，直接计入缺失数据）。
2023-03-19 cs.LG stat.ML
PCAE: Learning Ordered Representations in Latent Space for Intrinsic Dimension Estimation via Principal Component Autoencoder
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种结合非均匀方差正则化与等距约束的自编码器框架，用于在潜在空间中学习有序表示以估计内在维度。
2026-08-10 cs.LG
Correlation of Data Reconstruction Error and Shrinkages in Pair-wise Distances under Principal Component Analysis (PCA)
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
在这个正在进行的工作中，我探讨了PCA下的数据转换的某些理论和经验意义。特别地，我陈述并证明了关于PCA的三个定理，我解释如下：1）。不丢弃特征向量行的PCA是单射的，但当特征向量行被丢弃时，失去了这种单射性2）。不丢弃特征向量行的PCA保留成对距离，但当特征向量行被丢弃时，倾向于导致成对距离缩小。3）。对于任何一对点，成对距离的收缩由与点相关联的L1范数重构误差限制。显然，3）。表明成对距离的收缩与均方重建误差之间可能存在某种相关性，均方重建误差被定义为与丢弃的特征向量相关联的那些特征值的总和。因此，我决定进行数值实验，以获得这些特征值和成对距离收缩之间的相关性。此外，本文还通过实验分别考察了PCA映射下特征值之和收缩率对分类精度的影响。到目前为止，我已经从UCI机器学习库中的一些公开数据上获得了以下结果：1）。在与丢弃的特征向量相关联的那些特征值的和与成对距离中的收缩之间似乎存在强相关性。2）。无论是这些特征值的总和还是成对距离都与分类精度没有任何强相关性。1
2014-12-21 cs.LG stat.ML
Suppressing Background Radiation Using Poisson Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
基于伽马射线光谱法的核威胁探测系统的性能通常强烈依赖于识别可归因于背景辐射的测量信号部分的能力。我们已经成功地应用了一种基于主成分分析（PCA）的方法，以获得一个紧凑的零空间模型的背景光谱使用PCA投影残差，以获得源检测得分。我们已经展示了该方法在城市场景中使用移动光谱仪的威胁检测系统中的实用性（Tandon等人，2012）。虽然通常假设测量的光子计数遵循泊松过程，但标准PCA对数据分布进行高斯假设，这在光子计数较低时可能是较差的近似。本文研究了基于泊松损失函数的主成分分析（Poisson PCA）是否以及在什么条件下可以在建模背景辐射时优于标准高斯PCA，从而实现更灵敏、更具体的核威胁检测。
2016-05-26 cs.LG physics.data-an stat.ML
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology（大连理工大学）
主成分分析（PCA）作为机器学习中一种广泛应用的方法，具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题，许多鲁棒主成分分析（RPCA）已经改善了这一问题。然而，现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题，本文提出了角度嵌入（AE）制定一个简单的RPCA方法的基础上的角度密度，这是改进的大规模或高维数据。此外，一个修剪AE（TAE）被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明，所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Principal component analysis for Gaussian process posteriors
Kyushu Institute of Technology（九州工业大学）；The National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）；RIKEN AIP（理化学研究所AIP中心）
本文提出GP-PCA方法，通过在信息几何框架下将无限维GP后验降至有限维，实现低维空间估计，并基于变分推断提出近似方法，实验验证其作为元学习的有效性。
2023-04-06 cs.LG stat.ML
FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
主成分分析（PCA）是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法，但PCA的目的实际上是双重的：降维和不相关特征学习。此外，现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下，本文重新考虑PCA的问题时，数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案，但这些解决方案要么忽略了PCA的不相关特征学习方面，要么往往具有高通信开销，这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题，本文提出了一种分布式PCA算法FAST-PCA（快速和精确的分布式PCA）。该算法在通信方面是有效的，并被证明是线性和精确地收敛到主成分，导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA
本文提出基于极小化-最大化方法的迭代算法解决公平PCA问题，并扩展至公平鲁棒PCA和公平稀疏PCA，算法高效且无需超参数，实验验证优于现有方法。
2023-05-10 eess.SP stat.ML
Online Principal Component Analysis in High Dimension: Which Algorithm to Choose?
Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Université de Bourgogne Franche Comté（勃艮第-弗朗什孔泰大学）；DePaul University（德保罗大学）
在当前数据爆炸的背景下，不需要将所有数据存储在内存中的在线技术对于常规执行主成分分析（PCA）等任务是必不可少的。用每个新的观察更新PCA的递归算法已经在各个研究领域中被研究，并且在工业监测、计算机视觉、天文学和潜在语义索引等方面得到了广泛的应用。这一工作为实际中在线PCA算法的选择提供了指导。我们提出了在线PCA的主要方法，即扰动技术，增量方法和随机最优化，并比较它们的统计精度，计算时间和内存需求，使用人工和真实数据。扩展到缺失数据和功能数据进行了讨论。所有研究的算法都可以在CRAN上的R包onlinePCA中找到。
2015-11-11 cs.LG stat.ME stat.ML
Principal Component Analysis versus Factor Analysis
Warsaw School of Computer Science（华沙计算机科学学校）
本文讨论了与主成分分析（PCA）和因子分析（FA）有关的选定问题。特别是，这两种类型的分析进行了比较。还提出了PCA和FA的向量解释。详细讨论了主成分分析中主成分个数和FA中因子个数的确定问题。一个新的标准，用于确定的因素和主成分的数量进行了讨论，这将允许目前大多数的方差的每个分析的主要变量。提出了一种有效的算法来确定FA中的因子的数量，它符合这个标准，也提出了。该算法适用于主成分分析中主成分个数的确定。还提出了使用确定主成分数目的新方法来修改PCA算法。对所得结果进行了讨论。
2021-10-21 cs.LG stat.ME
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
High Dimensional Semiparametric Scale-Invariant Principal Component Analysis
本文提出了一种新的高维半参数主成分分析（PCA）方法-Copula成分分析（COCA）。半参数模型假设在未指定的边缘单调变换后，分布为多元高斯分布。COCA在三个方面改进了PCA和稀疏PCA：（i）它对建模假设具有鲁棒性;（ii）它对离群值和数据污染具有鲁棒性;（iii）它是尺度不变的，并且产生更多可解释的结果。我们证明了COCA估计获得快速的估计率和特征选择一致的维数是近指数大相对于样本量。仔细的实验证实，COCA优于稀疏PCA在合成和真实世界的数据集。
2014-02-18 stat.ML
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
QAOA-PCA: Enhancing Efficiency in the Quantum Approximate Optimization Algorithm via Principal Component Analysis
University of Sheffield（谢菲尔德大学）
提出QAOA-PCA，利用主成分分析降维参数空间，在MaxCut问题上以更少迭代提升优化效率，虽近似比略降，但参数匹配时性能更优。
2025-04-23 cs.ET cs.LG
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Principal Component Analysis: A Generalized Gini Approach
提出了一种基于广义基尼相关指数的主成分分析方法（Gini PCA）。Gini PCA是基于方差的标准PCA的推广。它示出，在高斯的情况下，标准的PCA是等效的基尼PCA。它还证明了基于广义基尼相关矩阵的降维，依赖于城市街区的距离，是强大的离群值。蒙特卡罗模拟和应用程序的汽车数据（离群值）显示了基尼PCA的鲁棒性，并提供不同的解释相比，方差PCA的结果。
2019-10-22 econ.EM stat.CO stat.ME
Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated
Iowa State University（爱荷华州立大学）
给定一个观测数据矩阵，主成分分析（PCA）计算包含其大部分变异性的少量正交方向。可以证明精确的PCA解决方案已经使用了很长时间。然而，据我们所知，所有现有的理论保证都假设数据和破坏性噪声是相互独立的，或者至少是不相关的。这在实践中经常有效，但并不总是有效。在本文中，我们研究的PCA问题中的数据和噪声可以相关的设置。这种噪声通常也被称为“数据相关噪声”。我们得到了一个正确的结果为标准的特征值分解（EVD）为基础的解决方案PCA在简单的假设下的数据噪声相关性。我们还开发和分析了EVD，集群EVD，提高EVD在某些制度的泛化。
2016-11-02 cs.IT cs.LG math.IT
Application of the Ranking Relative Principal Component Attributes Network Model (REL-PCANet) for the Inclusive Development Index Estimation
2018年，在达沃斯世界经济论坛上，提出了一项新的国家经济表现指标，名为包容性发展指数（IDI），由12个指标组成。新的衡量标准意味着各国可能需要实现结构性改革，以改善经济扩张和社会包容表现。这就是为什么IDI计算方法必须具有强大的统计和数学基础，以便结果对公共目的准确和透明。在目前的工作中，我们提出了一种新的方法的IDI估计-排名相对主成分属性网络模型（PCANet）。该模型是基于ARM和RankNet的原则，并结合PCA的元素，应用于图像识别和学习排序机制的技术。此外，我们定义了一个新的方法来估计目标概率矩阵，以反映国家的包容性发展的动态变化。实证研究表明，PCANet能够保证可靠和稳健的评分和排名，因此建议在实际中实施。
2018-04-16 cs.CE stat.ML
Another Look at Log-PCA for Probability Measures: A Dynamical Formulation and Statistical Convergence
Department of Statistics University of Illinois Urbana-Champaign（统计学系伊利诺伊大学厄巴纳-香槟分校）；Department of ACMS University of Notre Dame（ACMS系诺丁汉大学）；Department of Mathematics University of British Columbia（数学系不列颠哥伦比亚大学）；Department of Mathematics Thomas Lord Department of Computer Science University of Southern California（数学系托马斯·劳德计算机科学系南加州大学）
本文在Wasserstein几何下提出一种动力学公式解释log-PCA，称为Wasserstein切向PCA（WT-PCA），并推导了经验WT-PCA相对于总体测度的统计收敛速率。
2026-06-17 cs.LG stat.ME stat.ML
Combining Structured and Unstructured Randomness in Large Scale PCA
Microsoft（微软）
主成分分析（PCA）是一种无处不在的工具，在机器学习中有许多应用，包括特征构建，子空间嵌入和离群点检测。在本文中，我们提出了一种算法，用于计算具有大量行（示例）和列（特征）的数据集的顶部主成分。我们的算法利用结构化和非结构化的随机投影，以保持良好的精度，同时计算效率。我们展示的技术上的获奖提交的KDD 2010杯。
2013-10-24 cs.LG
Near-Optimal Stochastic Approximation for Online Principal Component Estimation
主成分分析（PCA）是高维数据分析的重要工具。通过处理流数据来估计主成分的在线算法具有巨大的实际和理论意义。尽管其丰富的应用，理论上的收敛分析仍然在很大程度上是开放的。本文将在线PCA问题转化为随机非凸最优化问题，并将在线PCA算法分析为随机逼近迭代。随机逼近迭代递增地处理数据点并保持主成分的运行估计。我们证明了第一次几乎最佳的有限样本误差界的在线PCA算法。在亚高斯假设下，我们证明了有限样本误差界与极大极小信息下界密切匹配。
2017-10-05 math.OC stat.ML
Uncertainty-Aware Principal Component Analysis
University of Konstanz（康斯坦茨大学）；University of Stuttgart（斯图加特大学）
我们提出了一种技术来执行降维的数据，是受不确定性。我们的方法是传统的主成分分析（PCA）的多变量概率分布的推广。与非线性方法相比，线性降维技术具有这样的优点，即这种概率分布的特征在投影后保持不变。我们推导出PCA样本协方差矩阵的表示，该表示尊重每个输入中的潜在不确定性，构建了我们的新方法的数学基础：不确定性感知PCA。除了我们的方法在基于采样的策略上获得的准确性和性能外，我们的公式还允许我们对数据中的不确定性进行敏感性分析。为此，我们提出了一种新的可视化，使更好地了解所选择的主成分的不确定性的影响因素的痕迹。我们使用真实世界的数据集提供了我们的技术的多个例子。作为一种特殊情况，我们展示了如何通过PCA传播多元正态分布的封闭形式。此外，我们讨论了我们的方法的扩展和限制。
2019-08-01 cs.HC cs.LG stat.ML
A geometric framework for asymptotic inference of principal subspaces in PCA
提出基于黎曼流形几何的渐近推断框架，用于构建PCA主子空间的置信区域并推导假设检验。
2024-11-05 math.ST stat.TH
An Approach to Variable Clustering: K-means in Transposed Data and its Relationship with Principal Component Analysis
Department of Computer Science University of Cuenca（计算机科学系 哥斯达黎加昆琴卡大学）；Department of Electrical Engineering University of Cuenca（电气工程系 哥斯达黎加昆琴卡大学）
本文提出一种方法，通过转置数据中的K-means与PCA结合，探讨变量聚类与主成分分析的关系。
2025-11-30 cs.AI cs.LG stat.ML
Sparse Generalized Principal Component Analysis for Large-scale Applications beyond Gaussianity
主成分分析（PCA）是一种降维技术。当维数从中等到高时，它会产生不一致的估计值，这通常是现代大规模应用中的问题，在这些应用中，算法的可扩展性和模型的可解释性难以实现，更不用说缺失值的普遍存在了。虽然现有的稀疏PCA方法缓解了不一致性，但它们受限于经典PCA的高斯假设，并且无法解决算法可扩展性问题。我们将稀疏PCA推广到高维设置下的宽指数族分布，并内置了缺失值的处理。同时，我们提出了一个家庭的迭代稀疏广义PCA（SG-PCA）算法，尽管非凸性和非光滑的优化任务，损失函数减少在每次迭代。在易用性和直观的参数调整方面，我们的稀疏诱导正则化远远优于流行的Lasso。此外，为了提高整体的可扩展性，加速梯度被集成以实现快速收敛，而渐进筛选技术逐渐挤出大规模问题的讨厌尺寸以实现可行的优化。高维仿真和真实数据实验证明了SG-PCA的高效性和有效性。
2016-01-28 stat.CO stat.ML
Sparse and Functional Principal Components Analysis
主成分分析的正则化变体，特别是稀疏PCA和函数PCA，是分析复杂高维数据最有用的工具之一。大规模数据的许多示例具有稀疏和功能（平滑）方面，并且可以从可以捕获两种形式的结构的正则化方案中受益。例如，在神经成像数据中，大脑对刺激的响应可能被限制在离散的激活区域（空间稀疏），同时在该区域内表现出平滑的响应。我们提出了一个统一的方法来正则PCA，可以同时诱导稀疏性和光滑性的行和列的主成分。我们的框架概括了许多以前的文献，稀疏，功能，双向稀疏，双向功能PCA都是我们的方法的特殊情况。我们的方法允许灵活的稀疏性和平滑度的组合，从而改善特征选择和信号恢复，以及更可解释的PCA因素。我们证明了我们的方法对模拟数据和EEG数据的神经成像例子的有效性。
2019-08-19 stat.ML
Spectral Clustering Based on Local PCA
提出了一种基于局部主成分分析的谱聚类方法。该算法在选定的邻域内进行局部主成分分析后，根据邻域内主子空间之间的差异建立一个加权的最近邻图，然后进行谱聚类。相对于标准的光谱方法，仅仅基于点之间的成对距离，我们的算法是能够解决交叉点。我们建立了理论保证更简单的变种内的一个原型的数学框架多流形聚类，并评估我们的算法在各种模拟数据集。
2013-01-09 stat.ML
PCA in Data-Dependent Noise (Correlated-PCA): Nearly Optimal Finite Sample Guarantees
我们研究主成分分析（PCA）的设置中的一部分，腐败的噪声是数据相关的，因此，噪声和真实的数据是相关的。在对真实数据和噪声的有界性假设以及对数据-噪声相关性的简单假设下，我们获得了最常用的PCA解决方案奇异值分解（SVD）的近最佳样本复杂度界。这个界限比Vaswani和Guo在最近的工作（NIPS 2016）中获得的界限有了显着的改进，其中第一次研究了这个“相关PCA”问题;并且它在比这个早期结果所用的数据-噪声相关性假设明显更弱的情况下成立。
2017-10-31 cs.IT math.IT stat.ML
Schrödinger PCA: On the Duality between Principal Component Analysis and Schrödinger Equation
Massachusetts Institute of Technology（麻省理工学院）；Peking University（北京大学）；California Institute of Technology（加州理工学院）
主成分分析（PCA）通过识别特征之间的协方差相关性，在无监督学习中取得了巨大的成功。如果数据收集未能捕获协方差信息，则PCA将无法发现有意义的模式。特别地，PCA将在欠采样机制中使空间高斯过程（GP）模型失效，即相邻锚点（空间特征）的平均距离大于GP的相关长度。反直觉地，通过绘制PCA和薛定谔方程之间的联系，我们不仅可以解决欠采样的挑战，而且还可以使用所提出的称为薛定谔PCA的算法以高效和解耦的方式进行计算。该算法只需要特征方差和估计的相关长度作为输入，构造相应的薛定谔方程，求解该方程，得到与主成分相吻合的能量本征态。我们还将建立我们的算法在偏微分方程（PDE）社区的模型降阶技术的连接，其中稳态薛定谔算子被确定为协方差函数的二阶近似。数值实验验证了该算法的有效性和高效性，显示了其在一般图和流形上的无监督学习任务中的潜力。
2021-08-18 cond-mat.dis-nn cs.LG math.PR
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
Covariance and PCA for Categorical Variables
分类变量的协方差是使用类别的正则单纯形表达式定义的。该方法遵循基尼的方差定义，并将协方差作为联立方程的解。计算结果为测试数据提供了合理的数值。主成分分析（RS-PCA）的方法也提出了使用正则单纯形表达式，它可以很容易地解释的主成分。所提出的方法适用于分类数据USCensus 1990数据的变量选择问题。所提出的方法为分类变量的选择问题提供了合适的准则
2007-11-28 cs.LG
Covariance matrix preparation for quantum principal component analysis
Instituto de Física Teórica, UAM/CSIC（UAM/CSIC理论物理研究所）；Universidad Autónoma de Madrid（马德里自治大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Quantum Science Center（量子科学中心）
主成分分析（PCA）是数据分析中的一种降维方法，涉及对数据集的协方差矩阵进行对角化。最近，量子算法已经制定了基于对角化的密度矩阵的PCA。这些算法假设协方差矩阵可以被编码在密度矩阵中，但是一直缺乏用于这种编码的具体协议。我们的工作旨在解决这一差距。假设数据的幅度编码，利用由系综$\{p_i,| ψ_i \rangle\}$给出的数据，则可以容易地准备系综平均密度矩阵$\overlineρ = \sum_i p_i |ψ_i\rangle \langle ψ_i |$。我们首先表明，$\overlineρ$正是协方差矩阵时，数据集的中心。对于量子数据集，我们利用全局相位对称性来论证总是存在与$\overlineρ$一致的中心数据集，因此$\overlineρ$总是可以被解释为协方差矩阵。这为准备任意量子数据集或中心经典数据集的协方差矩阵提供了一种简单的方法。对于非中心的经典数据集，我们的方法是所谓的“PCA无中心”，我们解释为PCA的对称化数据集。我们认为，这密切对应于标准的PCA，我们推导出方程和不等式，约束的偏差与我们的方法从标准的PCA得到的频谱。我们数值说明我们的方法MNIST手写数字数据集。我们还认为，PCA量子数据集是自然的和有意义的，我们数值实现我们的方法的分子基态数据集。
2022-10-25 cs.LG quant-ph stat.ML
Neural Network Characterization and Entropy Regulated Data Balancing through Principal Component Analysis
University of Waterloo（滑铁卢大学）
该研究通过分析MNIST数字在低阶PCA空间的分布揭示神经网络预测准确率差异的几何原因，提出局部PCA熵指标定位易混淆数据，并基于该指标通过过采样实现数据平衡。
2025-09-30 cs.LG
An $\ell_p$ theory of PCA and spectral clustering
EPFL（洛桑联邦理工学院）；Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
主成分分析（Principal Component Analysis，PCA）是统计学和机器学习领域的一个重要工具。虽然现有的PCA研究主要集中在主成分及其相关的特征值的恢复，有几个精确的表征个别主成分得分，产生低维嵌入的样本。这阻碍了各种光谱方法的分析。在本文中，我们首先发展了一个$\ell_p$扰动理论的中空版本的主成分分析在Hilbert空间中，证明了改进的香草主成分分析在异方差噪声的存在。通过一种新的$\ell_p$分析的特征向量，我们调查的主成分得分向量的入口行为，并表明他们可以近似的Gram矩阵在$\ell_p$范数的线性泛函，其中包括$\ell_2$和$\ell_\infty$作为特殊的例子。对于亚高斯混合模型，给出最优边界的$p$的选择取决于信噪比，这进一步产生谱聚类的最优性保证。对于上下文社区检测，$\ell_p$理论导致一个简单的频谱算法，达到准确恢复的信息阈值。作为特殊情况，这些还为高斯混合模型和随机块模型提供了最佳恢复结果。
2022-04-10 cs.LG math.PR math.ST
Efficient Optimization Algorithms for Robust Principal Component Analysis and Its Variants
University of California, Davis（加利福尼亚大学戴维斯分校）；Penn State（宾夕法尼亚州立大学）
鲁棒PCA在过去十年中引起了人们的极大关注，因为它在许多应用领域取得了成功，从生物信息学，统计学和机器学习到计算机视觉中的图像和视频处理。鲁棒PCA及其变体，如稀疏PCA和稳定PCA可以表示为具有可利用的特殊结构的最优化问题。针对鲁棒主成分分析及其相关问题，提出了许多专门的有效最优化方法。在本文中，我们回顾了现有的最优化方法解决凸和非凸松弛/变量的鲁棒PCA，讨论了它们的优点和缺点，并阐述了它们的收敛行为。我们还提供了一些见解，包括新的算法框架，可能是适合于实现多处理器设置来处理大规模的问题，未来可能的研究方向。
2018-06-09 cs.CV math.OC stat.ML
Extended Principal Component Analysis
主成分分析（PCA）是一种寻找代表随机数据特征的主成分的变换。PCA还提供了PC到原始数据的重建。我们认为PCA的扩展，使我们能够提高相关的准确性和减少数值负荷，与已知的技术相比。这是由于所提出的变换的特殊结构而实现的，该变换包含两个矩阵$T_0$和$T_1$，以及所谓的辅助随机向量$\mathbf w$的特殊变换$\mathcal{f}$。因此，我们称之为三项PCA。特别是，我们证明了三项PCA总是存在的，即适用于奇异数据的情况。这两个严格的理论理由的三项PCA和模拟与现实世界的数据提供。
2021-11-04 cs.NA math.NA math.OC
Heavy-Tailed Principal Component Analysis
本文提出基于对数损失的厚尾主成分分析方法，通过超统计模型处理高维厚尾数据，证明其主成分与高斯生成器协方差矩阵一致，实验显示其在厚尾噪声下优于传统PCA。
2026-07-27 cs.LG
Clustering and Feature Selection using Sparse Principal Component Analysis
Princeton University（普林斯顿大学）
本文研究了稀疏主成分分析（PCA）在聚类和特征选择问题中的应用。稀疏PCA寻求稀疏因子或数据变量的线性组合，解释数据中的最大方差量，同时只有有限数量的非零系数。PCA通常被用作一种简单的聚类技术，稀疏因子允许我们在这里用一组减少的变量来解释聚类。我们从稀疏PCA的简要介绍和动机开始，并详细介绍我们在d'Aspremont等人（2005）中实现的算法。然后，我们将这些结果应用到一些经典的聚类和生物学中出现的特征选择问题。
2008-10-08 cs.AI cs.LG cs.MS
Orthogonal rotation in PCAMIX
Kiers（1991）考虑了PCAMIX中的正交旋转，这是一种定性和定量变量混合的主成分方法。PCAMIX包括普通的主成分分析（PCA）和作为特殊情况的多重对应分析（MCA）。在本文中，我们给出了一个新的介绍PCAMIX的主成分和平方载荷从奇异值分解。定量变量的载荷和定性变量范畴的主坐标也可直接求出。在这方面，我们提出了一个计算效率的程序方差最大旋转PCAMIX和直接解决方案的最佳旋转角度。仿真研究表明，所提出的算法具有良好的计算性能。真实数据集上的应用程序说明了在MCA中使用旋转的兴趣。所有源代码都可以在R包“PCAmixdata”中找到。
2011-12-01 stat.CO
The Risk Shadow of Principal Component Analysis: When 99.9999% Variance Preservation Causes Catastrophic Decision Errors
Department of EECS, School of Engineering, UQTR, Canada（加拿大魁北克大学三河城分校工程学院电气工程与计算机科学系）；Learning and Game Theory Laboratory (LnG Lab), TIMADIE（学习与博弈论实验室（LnG Lab），TIMADIE）
本文证明主成分分析（PCA）在保留99.9999%方差时可能完全丢失罕见高影响事件的信息，导致分类器退化为常数预测器，并提出Expectile PCA和Tail-Preserving PCA两种方法通过重加权协方差来保留尾部风险信息。
2026-06-15 cs.GT cs.LG
Distributed Robust Principal Component Analysis
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
研究了分布式环境下的鲁棒主元分析问题。RPCA的目标是当数据矩阵受到粗稀疏误差的破坏时，为原始数据矩阵找到一个潜在的低秩估计。以前的研究已经开发出RPCA算法，提供稳定的解决方案，快速收敛。然而，这些算法通常难以扩展，并且由于使用SVD或大型矩阵乘法而无法分布式实现。在本文中，我们提出了第一个分布式鲁棒主分析算法的一致性分解的基础上，称为DCF-PCA。我们证明了DCF-PCA的收敛性，并在各种问题设置上评估了DCF-PCA
2022-08-13 cs.DC cs.LG
PCA-RAG: Principal Component Analysis for Efficient Retrieval-Augmented Generation
Zanista AI
本文提出PCA-RAG，利用主成分分析将RAG嵌入从3072维压缩至110维，在检索速度提升最高60倍、索引缩小约28.6倍的同时保持可接受的精度，为金融实时系统提供高效方案。
2025-04-11 cs.AI cs.IR cs.LG
