Low-Precision Streaming PCA
University of California San Diego（加州大学圣地亚哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究低精度流式PCA，提出量化Oja算法并证明其达到信息论下界，实现近维度无关的量化误差，实验验证性能接近标准算法。
2025-10-25 cs.LG stat.ML
AdaOja: Adaptive Learning Rates for Streaming PCA
Oden Institute, UT Austin（德克萨斯大学奥斯汀分校奥登研究所）
Oja算法自1982年首次提出以来一直是主成分分析（PCA）中流方法的基石。然而，Oja的算法没有一个标准化的学习率（步长）选择，既在实践中表现良好，又真正符合在线流媒体设置。在本文中，我们提出了一个新的学习率计划Oja的方法称为AdaOja。这种新的算法只需要一个单一的通过数据，并不依赖于已知的属性的数据集的先验。AdaOja是Adagrad算法在单特征向量情况下对Oja算法的一种新变体，并扩展到多特征向量情况。我们证明了密集的合成数据，稀疏的现实世界的数据和密集的现实世界的数据，AdaOja优于常见的学习率选择Oja的方法。我们还表明，AdaOja在相同的流PCA设置中执行最先进的算法（历史PCA和流功率方法）。
2019-10-31 cs.LG stat.CO stat.ML
Streaming Kernel PCA with $\tilde{O}(\sqrt{n})$ Random Features
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的统计和计算方面的核主成分分析使用随机傅立叶特征，并表明，在温和的假设下，$O(\sqrt{n} \log n)$功能足以实现$O(1/ε^2)$样本的复杂性。此外，我们给出了一个内存有效的流算法的基础上，经典的Oja的算法，达到这个速度。
2018-11-15 cs.AI cs.LG stat.ML
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University（哈佛大学）；George Washington University（乔治华盛顿大学）
本文提出基于旋转的更新机制，在再生核希尔伯特空间中向新样本旋转子空间估计，结合鲁棒影响函数抑制异常值，实现流式数据上核PCA的动态跟踪，实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Streaming PCA and Subspace Tracking: The Missing Data Case
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
对于科学和工程中的许多现代应用，数据是以流式方式收集的，携带时变信息，从业者需要及时地用有限的内存和计算资源来处理它们，以便做出决策。这通常与缺失数据问题相结合，使得仅观察到一小部分数据属性。这些复杂性对流式主成分分析（PCA）和子空间跟踪的问题施加了显著且非常规的约束，这是信号处理和机器学习中的许多推理任务的基本构建块。这篇综述文章回顾了各种经典和最新的算法，用于解决这个问题，具有较低的计算和内存复杂性，特别是那些适用于大数据制度与缺失数据。我们说明，流PCA和子空间跟踪算法可以通过代数和几何的角度来理解，他们需要仔细调整，以处理缺失数据。渐近和非渐近收敛保证进行审查。最后，我们基准的性能存在缺失数据的良好条件和病态系统的几个竞争力的算法。
2018-06-12 cs.IT cs.LG math.IT
Streaming PCA for Markovian Data
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对马尔可夫链采样的流式PCA，本文提出Oja算法在全量数据上的首个尖锐收敛速率，消除了下采样导致的对样本量的对数依赖。
2023-06-16 cs.LG math.ST stat.ML
Empirical Evaluation of Kernel PCA Approximation Methods in Classification Tasks
Karunya Institute of Technology and Sciences（卡鲁尼亚科技学院）
核主成分分析（KPCA）是一种流行的降维技术，具有广泛的应用。然而，它存在可扩展性差的问题。过去已经提出了各种近似方法来克服这个问题。针对核主成分分析的可扩展性问题，提出了Nyström方法、随机非线性成分分析（RNCA）和流式核主成分分析（SKPCA）。尽管有理论上的保证，他们在现实世界中的学习任务的表现还没有被探索过。在这项工作中，SKPCA，RNCA和Nyström方法的分类任务的评估是针对几个真实世界的数据集。所获得的结果表明，SKPCA为基础的功能得到了更好的分类精度相比，其他方法的一个非常大的数据集。
2017-12-12 cs.DS cs.LG
Robust Streaming PCA
Columbia University（哥伦比亚大学）；KAIST（韩国科学技术院）
针对随机数据生成模型受扰动的流式主成分分析问题，提出协方差属于时间不确定性集合的鲁棒视角，论证噪声幂法速率最优，经合成与真实数据集实验验证分析有效性。
2026-09-03 cs.LG stat.ML
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Semi-Supervised Kernel PCA
Technical University of Denmark（丹麦技术大学）
我们提出了三个概括的核主成分分析（KPCA），其中包括知识的一个子集的数据点的类标签。第一种是MV-KPCA，惩罚类内方差，类似于Fisher判别分析。第二种是LSKPCA，它是最小二乘回归和核PCA的混合。最终的LR-KPCA是前一个的迭代重新加权版本，其在标记点上实现S形损失函数。我们提供了一个理论上的风险界限，以及说明性的实验真实和玩具数据集。
2010-08-08 cs.LG
Latent Space Exploration Using Generative Kernel PCA
KU Leuven（鲁汶大学）
核PCA是一种功能强大的特征提取器，最近在受限核机器（RKM）的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解，称为生成内核PCA。在本文中，使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成，这允许对组件进行解释。首先，在三个数据集上显示了这种特征空间探索的示例，其中一个数据集导致ECG信号的可解释表示。之后，结合使用的工具与新颖性检测，在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Data eccentricity, asymptotics of Gaussian RBF reproducing kernel Hilbert space, and kernel PCA
Boston College（波士顿学院）
研究高斯RBF再生核希尔伯特空间在大带宽极限下的渐近性质，通过理论分析表明其渐近等距于欧氏空间，核主成分分析相关指标也收敛于线性主成分分析结果，还通过实验证明ρ可预测数据集收敛行为。
2026-07-27 cs.LG
Kernel PCA with the Nyström method
University College London（伦敦大学学院）
Nyström方法是提高核方法可伸缩性的最流行的技术之一。然而，它还没有得到核PCA与经典PCA。在本文中，我们推导出内核PCA与Nyström方法，从而提供了为数不多的可用选项之一，使内核PCA可扩展。我们进一步研究其统计精度，通过有限样本的置信区间的经验重建误差相比，完整的方法。通过在多个真实世界数据集上的计算机实验，说明了该方法和界限的行为。作为该方法的应用，我们提出了核主成分回归与Nyström方法，作为替代Nyström核岭回归的有效的正则化回归与内核。
2022-08-18 cs.LG math.ST stat.ML
First Efficient Convergence for Streaming k-PCA: a Global, Gap-Free, and Near-Optimal Rate
Institute for Advanced Study（普林斯顿高等研究院）；Princeton University（普林斯顿大学）
本文研究流式PCA，提出改进的Oja算法变体Oja++，在O(dk)空间内实现全局收敛和无间隙收敛，匹配信息理论下限。
2017-04-17 cs.DS cs.LG cs.NA
Learning with Cross-Kernels and Ideal PCA
University of Passau（帕绍大学）；Freie Universität Berlin（柏林自由大学）
我们描述了如何跨内核矩阵，即，内核矩阵之间的数据和自定义选择的一组“功能跨越点”可以用于学习。交叉核的主要潜力在于以下事实：（a）只有矩阵的一侧与数据点的数量成比例，以及（b）与通常的核矩阵相反，交叉核可以用于证明数据流形。我们的理论框架，这是基于一个对偶涉及的特征空间和消失的理想，表明交叉内核有潜力被用于任何类型的内核学习。我们提出了一种新的算法，理想PCA（IPCA），它交叉核PCA。我们在真实和合成数据上证明了IPCA允许（a）更快地获得PCA样特征，以及（b）提取新的和经验验证的特征来证明数据流形。
2014-06-10 cs.LG math.AC stat.ML
One-shot Distibuted Algorithm for PCA with RBF Kernels
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition（图像处理与模式识别研究所）
这封信提出了一个一次性算法的特征分布核PCA。我们的算法的灵感来自样本分布和特征分布的情况之间的双重关系。这种有趣的关系使得有可能建立分布式核PCA的特征分布的情况下，从分布式PCA的思想在样本分布的情况下。在理论部分，我们分析了线性核函数和径向基函数核函数的逼近误差。结果表明，当特征值衰减快时，该算法以较低的通信代价给出了高质量的结果。数值实验也验证了这一结果，表明了该算法在实际应用中的有效性.
2021-04-29 cs.DC cs.LG stat.ML
Memory Limited, Streaming PCA
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research India（微软研究院印度分院）
我们认为，流，单程主成分分析（PCA），在高维制度，有限的内存。这里，顺序地呈现$p$维样本，并且目标是产生最接近这些点的$k$维子空间。标准算法需要$O(p^2)$内存;同时，没有算法能比$O(kp)$内存做得更好，因为这是输出本身所需要的。当在计算和样本复杂性的上下文中理解时，内存（或存储）复杂性是最有意义的。高维PCA的样本复杂性通常在{ \em尖峰协方差模型}的设置中进行研究，其中$p$维点从等于身份（白噪声）加上低维扰动（尖峰）的总体协方差生成，该低维扰动是要恢复的信号。现在已经很好地理解，当样本数$n$与维度$p$成比例缩放时，可以恢复尖峰。然而，所有可证明实现这一点的算法都具有内存复杂度$O(p^2)$。同时，具有存储器复杂度$O(kp)$的算法在样本复杂度上不具有与$p$可比的可证明的界限。我们提出了一个算法，实现了这两个：它使用$O(kp)$内存（任何类型的存储的意思），并能够计算$k$ -维尖峰与$O(p \log p)$样本复杂性-第一个算法的同类。虽然我们的理论分析集中在尖峰协方差模型上，但我们的模拟表明，我们的算法在更一般的数据模型上是成功的。
2013-06-28 cs.IT cs.LG math.IT
Incremental kernel PCA and the Nyström method
University College London（伦敦大学学院）
通常需要增量版本的批处理算法，以提高流数据设置中的时间效率，或提高总体内存效率。在本文中，我们提出了一种新的算法，增量核PCA，基于秩一更新的核矩阵的特征分解，这是计算效率比现有的算法。我们扩展我们的算法的增量计算的Nyström近似的核矩阵，第一个这样的算法提出。Nyström近似的增量计算导致内存效率的进一步提高，并允许在获得足够大小的子集时进行经验评估。
2018-01-31 cs.LG stat.ML
The Noisy Power Method: A Meta Algorithm with Applications
IBM Research Almaden（IBM阿尔马登研究中心）
我们提供了一个新的强大的收敛性分析众所周知的功率方法计算的矩阵，我们称之为噪声功率方法的主导奇异向量。我们的结果表征了算法的收敛行为时，一个显着的量的噪声引入后，每个矩阵向量乘法。噪声功率方法可以被看作是一种元算法，最近在广泛的机器学习问题中发现了许多重要的应用，包括矩阵完成的交替最小化，流式主成分分析（PCA）和隐私保护频谱分析。我们的一般分析包括几个现有的ad-hoc收敛范围，并解决了一些开放的问题，在多个应用程序，包括流PCA和隐私保护奇异向量计算。
2015-02-03 cs.DS cs.LG
Temporal Streaming Batch Principal Component Analysis for Time Series Classification
Harbin Engineering University（哈尔滨工程大学）；Qingdao Innovation and Development Center（青岛创新发展中心）
针对长序列多变量时间序列分类难题，提出TSBPCA流式压缩降维算法，显著提升多模型准确率与时间效率。
2024-10-28 cs.IR cs.LG
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo（滑铁卢大学）
这是一个详细的教程文件，其中解释了主成分分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，PCA与特征分解，PCA与一个和多个投影方向，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，PCA与奇异值分解，双PCA，核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法，然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后，在Frey和AT&T人脸数据集上进行了仿真，验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Upper and Lower Bounds on the Performance of Kernel PCA
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
主成分分析（PCA）是一种流行的降维方法，几十年来一直受到人们的关注。最近，核PCA（KPCA）已经出现作为PCA的扩展，但尽管它在实践中的使用，一个健全的理论理解KPCA是缺失的。我们贡献了几个下界和上界的KPCA的效率，涉及的经验特征值的内核革兰氏矩阵和新的数量涉及的方差的概念。这些界限显示了KPCA平均捕获了多少信息，并有助于更好地从理论上理解其效率。我们证明了快速收敛速度是可实现的一类广泛使用的内核，我们强调了一些理想的属性的数据集，以确保KPCA的效率的重要性。
2023-01-23 cs.LG math.ST stat.ML
Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA
Swiss Federal Railways (SBB)（瑞士联邦铁路（SBB））；University of Berne（伯尔尼大学）
本文复现了Renold等人对1995-2020年美国航空公司利润周期的聚类实验，通过PCA和核PCA分析，发现六聚类分类在原始7维和3维PC空间中具有几何鲁棒性，并验证了数据的内在线性流形结构。
2026-07-17 cs.LG stat.ME
Gain with no Pain: Efficient Kernel-PCA by Nyström Sampling
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Universita’ degli Studi di Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；École-Normale Supérieure, PSL Research University（巴黎文理研究大学巴黎高等师范学院）
本文提出并研究了一种基于Nyström的大规模核主成分分析（PCA）方法。后者是基于考虑非线性特征映射或相应核的经典PCA的自然非线性扩展。与其他核方法一样，核PCA具有良好的数学和统计特性，但在数值上，它与样本量的比例关系很差。我们的分析表明，Nyström采样大大提高了计算效率，而不会导致任何统计精度的损失。虽然在监督学习中观察到了类似的效果，但这是PCA的第一个这样的结果。我们的理论研究结果，这也说明了数值结果，是基于分析和浓度相结合的测量技术。我们的研究是更广泛的动机，了解统计和计算的学习要求之间的相互作用的问题。
2019-07-11 cs.LG math.ST stat.ML
A Simple and Fast Algorithm for L1-norm Kernel PCA
Northwestern University（西北大学）
本文提出了一种L1范数核PCA算法，并给出了算法的收敛性分析，L2范数核PCA的最优解可以通过矩阵分解得到，而L1范数核PCA的最优解由于其非凸性和非光滑性而不易得到。我们提供了一个新的重新制定，通过它得到一个等价的，几何可解释的问题。基于重新表述的问题的几何解释，我们提出了一个不动点类型的算法，迭代计算每个观察的二进制权重。由于该算法只需要数据向量的内积，因此计算效率高，核技巧也适用。在收敛性分析中，我们证明了算法在有限步内收敛到局部最优解。此外，我们提供了一个收敛速度分析，这是从来没有做过的任何L1范数PCA算法，证明目标值的序列以线性速度收敛。在数值实验中，我们表明，该算法是强大的，在存在的条目方面的扰动和计算可扩展性，特别是在一个大规模的设置。最后，我们介绍了一个应用程序的离群点检测模型的基础上提出的算法优于基准算法。
2020-06-11 cs.LG stat.ML
Word Sense Disambiguation using Diffusion Kernel PCA
Istanbul Kultur University（伊斯坦布尔文化大学）
词义消歧是自然语言处理中的一个重要问题。它的任务是根据上下文通过计算确定多义词的正确含义。解决WSD问题可以提高许多NLP算法的准确性，例如文本分类和机器翻译。本文提出了一种新的基于核PCA和语义扩散核的有监督的词义消歧算法-扩散核PCA（DKPCA）。DKPCA是在主成分分析的基础上，抓住了词项之间的语义相似性。这些属性使我们能够执行特征提取和降维的语义相似性和算法内的指导。我们对SensEval数据的实证结果表明，当标记数据比率较低时，DKPCA与SVM和KPCA相比，具有更高或非常接近的准确性结果。考虑到标记数据的稀缺性，而大量的未标记的文本数据很容易访问，这些是非常令人鼓舞的第一个结果，进一步发展DKPCA。
2019-07-21 cs.CL cs.LG stat.ML
Kernel PCA for multivariate extremes
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）；National University of Singapore（新加坡国立大学）
我们提出核主成分分析作为一种方法，用于分析多变量极值的依赖结构，并证明它可以是一个强大的工具，聚类和降维。我们的工作提供了一些理论上的洞察核PCA获得的原像，证明在一定条件下，他们可以有效地识别数据中的聚类。我们建立在这些新的见解，以严格表征基于极值样本的核PCA的性能，即，半径超过大阈值的随机向量的角部分。更具体地说，我们专注于在极值理论的角度或频谱措施，其特征在于多变量极端的渐近依赖性，并提供了一个仔细的分析的情况下，极端的线性因子模型产生。我们的核PCA原像的性能，这样的极端利用他们的渐近分布与戴维斯-卡汉扰动界的理论保证。我们的理论研究结果补充说明我们的方法的有限样本性能的数值实验。
2022-11-24 cs.LG math.ST stat.ME
Convex Formulation for Kernel PCA and its Use in Semi-Supervised Learning
KU Leuven（鲁汶大学）
在本文中，核PCA被重新解释为凸优化问题的解决方案。实际上，每个主成分都有一个约束凸问题，因此约束保证主成分确实是一个解，而不仅仅是一个鞍点。虽然这些见解并不意味着任何算法的改进，但它们可以用于进一步理解该方法，制定可能的扩展并正确解决它们。作为一个例子，提出了一个新的半监督分类的凸优化问题，这似乎特别适合当已知标签的数量很小。我们的公式类似于最小二乘SVM问题，正则化参数乘以负号，结合核PCA的变分原理。我们的半监督学习的原始优化原则解决的拉格朗日乘子。在几个分类任务的数值实验说明了所提出的模型的性能问题，只有少数标记的数据。
2016-10-21 cs.LG stat.ML
Invertible Kernel PCA with Random Fourier Features
Uppsala University（乌普萨拉大学）
本文提出可逆核 PCA（ikPCA），通过随机傅里叶特征近似核并利用变换在子域内的可逆性实现免监督重建，在多种数据模态的去噪任务中达到与监督重建 kPCA 相近的效果。
2023-03-09 cs.LG eess.SP
Efficient fair PCA for fair representation learning
Amazon Web Services（亚马逊云科技）
我们重新审视公平主成分分析（PCA）的问题，其目标是学习混淆人口统计信息的数据的最佳低秩线性近似。我们提出了一个概念上简单的方法，允许类似于标准PCA的分析解决方案，可以内核化。我们的方法与标准PCA或内核PCA具有相同的复杂性，并且运行速度比基于半定规划或流形优化的公平PCA的现有方法快得多，同时获得类似的结果。
2023-02-26 cs.CY cs.LG stat.ML
Oja's Algorithm for Streaming Sparse PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对流式稀疏 PCA 中有效秩较大时缺乏高效单遍算法的问题，提出对 Oja 向量进行阈值化的简单单遍方法，并在正则性条件下以 O(d) 空间和 O(nd) 时间达到极小极大误差界。
2025-03-11 cs.LG math.ST stat.ML
Contrastive Learning Can Find An Optimal Basis For Approximately View-Invariant Functions
University of Toronto（多伦多大学）；Google Research（谷歌研究院）
对比学习是一个强大的框架，用于学习自我监督表示，可以很好地推广到下游监督任务。我们表明，现有的多个对比学习方法可以被重新解释为学习核函数，近似一个固定的正对内核。然后，我们证明了一个简单的表示，通过结合这个内核与PCA证明最大限度地减少线性预测的最坏情况下的近似误差，在一个简单的假设下，积极的对有类似的标签。我们的分析是基于一个分解的目标函数的特征函数的正对马尔可夫链，和一个令人惊讶的等价性之间的这些特征函数和输出的核PCA。我们给下游线性预测的泛化范围使用我们的核PCA表示，并显示经验上的一组合成任务，应用核PCA的对比学习模型确实可以近似恢复马尔可夫链特征函数，虽然精度取决于内核参数化以及增强强度。
2023-02-14 cs.LG
Streaming Kernel Principal Component Analysis
University of Utah（犹他大学）
核主成分分析（KPCA）提供了一组简洁的基向量，可以捕获大型数据集中的非线性结构，是数据分析和学习的核心工具。为了允许非线性关系，通常在$n$数据点上构造完整的$n \times n$核矩阵，但是对于大的$n$值，这需要太多的空间和时间。Nyström方法和随机特征映射等技术可以帮助实现这一目标，但它们没有显式地维护流中的基向量，并且占用的空间比预期的要多。我们提出了一种新的方法流KPCA保持一个小的基本元素在流中，只需要空间的对数在$n$，也提高了对误差参数的依赖。我们的技术结合在一起的随机特征映射与矩阵素描的最新进展，它保证了谱范数误差界相对于原始的内核矩阵，它在实践中比较有利的国家的最先进的方法。
2015-12-16 cs.DS cs.LG stat.ML
Rethinking PCA Through Duality
本研究受自注意力与PCA的联系启发，基于凸差框架重新审视PCA基础，提出新公式与理论见解，揭示同时迭代法的DCA本质，设计PCA新算法并验证性能，还提出鲁棒PCA的可核化对偶公式。
2025-10-20 cs.LG math.OC stat.ML
Roweis Discriminant Analysis: A Generalized Subspace Learning Method
University of Waterloo（滑铁卢大学）
提出了一种基于特征值和广义特征值问题的子空间学习方法。这种方法，Roweis判别分析（RDA），是以Sam Roweis的名字命名的，他在子空间学习领域有着重要的贡献。RDA是一系列无限数量的算法，其中主成分分析（PCA）、监督PCA（SPCA）和Fisher判别分析（FDA）是特殊情况。一个极端的特殊情况，我们称之为双重监督判别分析（DSDA），使用两次标签;它是新颖的，并没有出现在其他地方。我们提出了一个双重的RDA的一些特殊情况。我们还提出了核RDA，推广核PCA，核SPCA和核FDA，使用双重RDA和表示理论。我们的理论分析解释了以前已知的事实，如为什么SPCA可以使用回归，但FDA不能，为什么PCA和SPCA有卷积，但FDA没有，为什么内核PCA和内核SPCA使用内核技巧，但内核FDA没有，以及为什么PCA是最好的线性重建方法。Roweisfaces和内核Roweisfaces也提出了推广的特征脸，Fisherfaces，监督特征脸，和他们的内核变种。我们还报告了一些基准数据集上的实验表明RDA和内核RDA的有效性。
2019-10-11 cs.CV cs.LG stat.ML
Extending Kernel PCA through Dualization: Sparsity, Robustness and Fast Algorithms
KU Leuven（鲁汶大学）
该研究通过凸函数差值的对偶化重新审视KPCA，提出可表示为Moreau envelopes的目标函数以兼顾鲁棒性与稀疏性，基于梯度的高效算法避免了格拉姆矩阵的昂贵SVD，实验证实训练速度显著提升且兼具鲁棒性和稀疏性优势。
2023-06-09 cs.LG stat.ML
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory（国家物理实验室）；FEMTO-ST Institute（FEMTO-ST研究所）；Université de Bourgogne Franche-Comté（勃艮第弗朗什-孔泰大学）
本文研究了随机梯度PCA算法的复杂性时，数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性，并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University（宾夕法尼亚州立大学）
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能，但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案，以减轻这些计算问题，近似核机器被证明保留的经验性能。然而，这些近似核机器的理论性质还不太清楚。在这项工作中，我们从理论上研究了Nyström近似核主成分分析（KPCA）的计算复杂性和统计精度之间的权衡，其中我们表明，Nyström近似KPCA匹配（非近似）KPCA的统计性能，同时保持计算上的优势。此外，我们表明，Nyström近似KPCA优于另一种流行的近似方案，随机特征近似，当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
Communication Efficient Distributed Kernel Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
核主成分分析（KPCA）是一种用于从数据中提取非线性特征的关键机器学习算法。在存在以分布式方式收集的大量高维数据的情况下，将所有这些数据传送到单个数据中心然后执行内核PCA变得非常昂贵。我们能否以分布式和通信高效的方式对整个数据集执行核PCA，同时保持解决方案质量的可证明和强有力的保证？在本文中，我们给出了一个肯定的答案，这个问题通过开发一个通信有效的算法来执行核PCA在分布式设置。该算法是子空间嵌入和自适应采样技术的巧妙结合，我们表明，该算法可以作为输入的任意配置的分布式数据集，并计算一组全球核主成分的相对误差保证独立的特征空间的维数或数据点的总数。特别地，计算$k$主成分时相对误差$ε$超过$s$工作者具有通信成本$\tilde{O}(s ρk/ε+s k^2/ε^3)$字，其中$ρ$是每个数据点中非零条目的平均数量。此外，我们用大规模的真实世界数据集对该算法进行了实验，结果表明，该算法产生了高质量的核PCA解决方案，同时使用的通信比其他方法少得多。
2016-02-13 cs.LG
Dimensionality Reduction of QAOA Parameter Space with Kernel PCA for Max-Cut
Naperville North High School（纳皮尔高中）；Independent Researcher（独立研究员）
针对QAOA参数优化在高电路深度下非线性增强的问题，提出使用核主成分分析(KPCA)进行非线性降维，在8层电路深度下近似比超过0.86，优于PCA的0.81-0.83，并减少93%以上的量子电路评估。
2026-06-24 cs.LG quant-ph
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Sparse Kernel PCA for Outlier Detection
Indian Institute of Technology Bombay（孟买印度理工学院）
在本文中，我们提出了一种新的方法来执行稀疏核主成分分析（SKPCA），并从数学上分析SKPCA的有效性。我们将SKPCA公式化为具有弹性网络正则化的约束优化问题（Hastie等人）。在核特征空间，并解决它。我们认为离群检测（其中采用KPCA）作为SKPCA的应用，使用RBF核。我们在5个真实世界的数据集上进行了测试，结果表明，仅使用4%（甚至更少）的主成分（PC），其中每个PC在所有5个数据集的最坏情况下平均具有不到12%的非零元素，我们能够几乎匹配，并且在3个数据集中甚至优于KPCA。我们还比较了我们的方法的性能与最近提出的SKPCA方法由王等人。并表明，我们的方法在精度和稀疏性方面表现更好。我们还提供了一个新的概率证明，证明稀疏解决方案的存在，使用RBF核的KPCA。据我们所知，这是第一次尝试从理论上分析SKPCA的有效性。
2018-09-13 cs.LG stat.ML
Robust Principal Component Analysis Using a Novel Kernel Related with the L1-Norm
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们考虑一个家庭的矢量点积，可以实现使用符号的变化和加法运算。点积是节能的，因为它们完全避免了乘法运算。此外，点积诱导$\ell_1$ -范数，从而提供对脉冲噪声的鲁棒性。首先，我们分析证明，点积产生对称的，半正定的广义协方差矩阵，从而使主成分分析（PCA）。此外，广义协方差矩阵可以构造在一个能量有效（EEF）的方式，由于乘法的基本向量产品的属性。我们提出的图像重建的例子中，我们的EEF PCA方法的结果在最高的峰值信噪比相比，普通的$\ell_2$ -PCA和递归$\ell_1$ -PCA。
2021-05-25 cs.LG eess.IV
Inferring relevant features: from QFT to PCA
Hanyang University (ERICA)（汉阳大学（ERICA校区））；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
在多体物理学中，重整化技术被用来提取在大尺度下相关的统计或量子态的方面，或用于低能实验。最近的工作提出，这些功能可以正式确定为那些扰动的状态，其可扩展性最抵制粗粒度。在这里，我们研究是否可以使用相同的策略来识别未标记数据集的重要特征。这种方法确实导致了一种非常类似于核PCA（主成分分析）的技术，但具有自动适应数据或“学习”的核函数。我们测试这种方法的手写数字，并发现，最相关的功能是显着更好的分类比从一个简单的高斯内核。
2018-02-16 cs.LG quant-ph stat.ML
TimeCluster with PCA is Equivalent to Subspace Identification of Linear Dynamical Systems
The Alan Turing Institute（艾伦·图灵研究所）；Camulos（卡姆洛斯）
本文证明 TimeCluster 结合 PCA 降维在数学上等价于线性动态系统的子空间辨识方法，两者提取相同的低维子空间，并探讨了该等价性带来的预测、在线扩展等未来机遇。
2025-09-16 cs.DS cs.LG
Fast Botnet Detection From Streaming Logs Using Online Lanczos Method
CA Technologies, Inc.（CA Technologies公司）；College of Computing & Informatics, Drexel University（德雷塞尔大学计算与信息学院）；Department of Mathematics, Temple University（Temple大学数学系）；Department of Computer Science, Maryland University at Baltimore County（马里兰大学巴尔的摩县计算机科学系）
本文提出了一种基于在线兰茨斯方法的僵尸网络检测方法，通过将PCA方法改进为亚立方复杂度，提高了实时检测的准确性和灵敏度，同时提出了通用的在线相关矩阵更新公式和新的终止条件。
2018-12-19 cs.CR cs.LG cs.NA
On the Optimality of the Oja's Algorithm for Online PCA
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文证明Oja算法在任意次高斯分布下可以高概率实现无谱隙的全局在线主子空间逼近，并首次说明其误差上界与经典离线PCA下界在常数因子内最优匹配。
2022-01-18 cs.LG math.OC
Learnable Faster Kernel-PCA for Nonlinear Fault Detection: Deep Autoencoder-Based Realization
Research Center of Precision Sensing and Control, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所精密感知与控制研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
针对 KPCA 核参数依赖试错且在线计算开销大的问题，提出基于深度自编码器的 DAE-FE/DAE-PCA 可学习快速实现，并在 TE 基准上验证其等价性、检测优势和约百倍在线加速。
2021-12-08 cs.LG cs.SY eess.SY
Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering
GIPSA-lab（格勒诺布尔阿尔卑斯大学物理与信息科学研究所）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；University Grenoble-Alps（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）
本文介绍了一种降低谱聚类和主成分分析的基本代价和存储量的方法。该方法包括通过伯努利掩码随机地“穿孔”数据矩阵$X\in\mathbb{C}^{p\times n}$（或$\mathbb{R}^{p\times n}$）及其对应的核（Gram）矩阵$K$：用于$X$的$S\in\{0,1\}^{p\times n}$和用于$K$的$B\in\{0,1\}^{n\times n}$。因此，所得到的“双向穿孔”内核由$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$给出。我们证明，$X$组成的独立列从高斯混合模型，$n,p\to\infty$与$p/n\to c_0\in(0,\infty)$，$K$的频谱行为-其限制本征值分布，以及其孤立的本征值和本征向量-是完全易于处理的，并表现出一系列的反直观的现象。我们特别证明，并在GAN生成的图像数据库上经验性地证实，有可能大幅刺穿数据，从而提供可能巨大的计算和存储增益，以实现几乎恒定的（PCA聚类）性能。这项初步研究从大维度的角度重新思考了基本机器学习模型的计算和存储成本。
2021-05-17 cs.LG stat.ML
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Preconditioned Data Sparsification for Big Data with Applications to PCA and K-means
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们分析了一个压缩方案的大型数据集，随机保持一小部分的组成部分，每个数据样本。其好处是输出是一个稀疏矩阵，因此后续处理（如PCA或K-means）速度明显更快，特别是在分布式数据设置中。此外，采样是单通道的，并且适用于流数据。采样机制是文献中提出的先前方法的变体，结合随机预处理来平滑数据。我们提供的协方差阵方面的PCA的保证，并保证在给定的步骤中的中心估计的误差方面的K-均值。我们提出的数值证据表明，我们的边界是近紧，我们的算法提供了一个真正的好处时，应用于标准的测试数据集，以及提供一定的好处，相关的采样方法。
2016-09-20 cs.LG stat.ML
Spatiotemporal Covariance Neural Networks
Delft University of Technology（代尔夫特理工大学）
针对多变量时间序列时空交互建模难、传统PCA类方法特征向量不稳定的问题，提出基于样本协方差矩阵和联合时空卷积的STVNN模型，支持在线更新且稳定性更优，在多变量时间序列处理中表现具竞争力。
2024-09-16 cs.LG stat.ML
Deep Kernel Principal Component Analysis for Multi-level Feature Learning
KU Leuven（鲁汶大学）
主成分分析（PCA）及其非线性扩展核PCA（KPCA）在科学和工业中广泛用于数据分析和降维。现代深度学习工具已经取得了巨大的经验成功，但仍然缺乏深度主成分分析的框架。在这里，我们开发了一种深度核PCA方法（DKPCA）来提取数据中信息量最大的多个层次。我们的方案可以有效地识别新的层次变量，称为深主成分，通过一个简单的和可解释的数值优化捕捉高维数据的主要特征。我们耦合多个KPCA级别的主成分，理论上表明DKPCA创建跨级别的向前和向后依赖性，这在内核方法中尚未探索，但对于提取更多信息的特征至关重要。多种数据类型上的各种实验评估表明，DKPCA发现更有效和解纠缠表示更高的解释方差在较少的主成分，相比浅KPCA。我们证明，我们的方法允许有效的分层数据探索，与分离的输入数据的关键生成因素的能力，无论是大数据集，当很少的训练样本是可用的。总的来说，DKPCA可以通过学习在不同层次上组织的更多信息特征来促进从高维数据中提取有用的模式，提供多样化的方面来探索数据中的变化因素，同时保持简单的数学公式。
2023-02-22 cs.LG
