Streaming Kernel PCA Algorithm With Small Space
University of Science and Technology of China（中国科学技术大学）；Adobe Research（奥多比研究院）；Stonybrook University（石溪大学）；University of Washington（华盛顿大学）
主成分分析（PCA）是机器学习、数据分析和信号处理中广泛使用的技术。随着数据集规模和复杂性的增加，开发低空间使用率的PCA算法变得重要。流PCA近年来受到了极大的关注，因为它可以有效地处理大型数据集。核方法，这是常用的学习算法，如支持向量机（SVMs），也已应用于PCA算法。我们提出了一个流算法的核心PCA问题的基础上，传统的方案Oja。我们的算法解决了减少PCA的内存使用，同时保持其准确性的挑战。我们通过研究成功的条件来分析我们算法的性能。具体来说，我们表明，当目标协方差矩阵的频谱比$R := λ_1/λ_2$是由$C \cdot \log n\cdot \log d$下界，流PCA可以解决与$O(d)$空间成本。我们提出的算法有几个优势，比现有的方法。首先，它是一种流算法，可以有效地处理大型数据集。其次，它采用了核方法，这使得它能够捕捉数据点之间复杂的非线性关系。第三，它具有低空间使用率，使其适用于内存有限的应用程序。
2023-03-08 cs.DS cs.LG
Streaming PCA: Matching Matrix Bernstein and Near-Optimal Finite Sample Guarantees for Oja's Algorithm
Microsoft Research India（微软印度研究院）；UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
这项工作提供了改进的保证流主成分分析（PCA）。给定独立于满足$Σ\succeq \mathbf{0}$的$\mathbb{E}[A_i] = Σ$的分布采样的$A_1, \ldots, A_n\in \mathbb{R}^{d\times d}$，本文提供了一种用于估计$Σ$的顶部特征向量的$O(d)$ -空间线性-时间单通流算法。该算法几乎匹配（并且在某些情况下改进）通过标准批处理方法获得的准确性，该方法计算通过矩阵Bernstein不等式分析的经验协方差$\frac{1}{n} \sum_{i \in [n]} A_i$的顶部特征向量。此外，为了实现恒定的准确性，我们的算法提高了最好的以前已知的样本复杂性的流算法的$O(d)$或$1/\mathrm{gap}$的乘法因子，其中$\mathrm{gap}$是$Σ$的前两个特征值之间的相对距离。这些结果是通过对经典Oja算法的新分析来实现的，Oja算法是最古老和最流行的流PCA算法之一。特别是，这项工作表明，简单地挑选一个随机的初始点$w_0$和应用更新规则$w_{i + 1} = w_i + η_i A_i w_i$足以准确地估计顶部特征向量，与适当的选择$η_i$。我们相信，我们的结果揭示了如何有效地执行流PCA在理论和实践中，我们希望我们的分析可以作为分析的基础上，流PCA的许多变种和扩展。
2016-03-28 cs.DS cs.LG cs.NE
Oja's Algorithm for Streaming Sparse PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对流式稀疏 PCA 中有效秩较大时缺乏高效单遍算法的问题，提出对 Oja 向量进行阈值化的简单单遍方法，并在正则性条件下以 O(d) 空间和 O(nd) 时间达到极小极大误差界。
2025-03-11 cs.LG math.ST stat.ML
Streaming PCA and Subspace Tracking: The Missing Data Case
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
对于科学和工程中的许多现代应用，数据是以流式方式收集的，携带时变信息，从业者需要及时地用有限的内存和计算资源来处理它们，以便做出决策。这通常与缺失数据问题相结合，使得仅观察到一小部分数据属性。这些复杂性对流式主成分分析（PCA）和子空间跟踪的问题施加了显著且非常规的约束，这是信号处理和机器学习中的许多推理任务的基本构建块。这篇综述文章回顾了各种经典和最新的算法，用于解决这个问题，具有较低的计算和内存复杂性，特别是那些适用于大数据制度与缺失数据。我们说明，流PCA和子空间跟踪算法可以通过代数和几何的角度来理解，他们需要仔细调整，以处理缺失数据。渐近和非渐近收敛保证进行审查。最后，我们基准的性能存在缺失数据的良好条件和病态系统的几个竞争力的算法。
2018-06-12 cs.IT cs.LG math.IT
Robust Streaming PCA
Columbia University（哥伦比亚大学）；KAIST（韩国科学技术院）
针对随机数据生成模型受扰动的流式主成分分析问题，提出协方差属于时间不确定性集合的鲁棒视角，论证噪声幂法速率最优，经合成与真实数据集实验验证分析有效性。
2026-09-03 cs.LG stat.ML
Inference and Uncertainty Quantification for Streaming $r$-PCA
University of Pennsylvania（宾夕法尼亚大学）
该研究针对流式r-PCA，通过Oja算法解决一般秩的收敛与分布推断问题，建立了收敛速率、高斯近似及在线自助法，拓展了非凸随机近似的推断技术。
2026-11-06 cs.LG stat.ML
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Streaming k-PCA: Efficient guarantees for Oja's algorithm, beyond rank-one updates
Institute for Advanced Study（高等研究院）
我们分析Oja的算法流$k$ -PCA，并证明它达到的性能接近匹配的最佳离线算法。如果能得到一系列的身份识别。$d \times d$对称矩阵，我们表明，Oja的算法可以获得一个准确的近似的子空间的顶部$k$特征向量的期望使用的样本数，规模与$d$。以前，这样的结果仅在更新具有排名1的情况下才知道。我们的分析是基于最近开发的矩阵浓度工具，这使我们能够证明强边界的随机矩阵的尾部出现在算法的执行过程中。
2021-02-06 cs.DS cs.LG math.PR
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory（国家物理实验室）；FEMTO-ST Institute（FEMTO-ST研究所）；Université de Bourgogne Franche-Comté（勃艮第弗朗什-孔泰大学）
本文研究了随机梯度PCA算法的复杂性时，数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性，并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML
ODE-Inspired Analysis for the Biological Version of Oja's Rule in Solving Streaming PCA
Harvard University（哈佛大学）
Oja规则[Oja，Journal of mathematical biology 1982]是一种众所周知的生物学上合理的算法，使用Hebbian型突触更新规则来解决流式主成分分析（PCA）。计算神经科学家已经知道，这种生物学版本的Oja规则在极限下收敛于输入的协方差矩阵的顶部特征向量。然而，在这项工作之前，它是开放的，以证明任何收敛速度保证。在这项工作中，我们给出了第一个收敛速度分析的生物版本的Oja的规则在解决流PCA。此外，我们的收敛速度匹配的信息理论下限的对数因子，并优于最先进的流PCA的上限。此外，我们开发了一个新的框架的启发常微分方程（ODE）来分析一般的随机动力学。该框架摒弃了传统的逐步分析，而是通过对整个动态给出封闭形式的解来一次性分析随机动态。单次框架允许我们应用停止时间和鞅技术来灵活和精确地控制动态。我们相信，这个一般的框架是强大的，并应导致有效而简单的分析一类问题的随机动力学。
2020-06-17 cs.DS cs.LG q-bio.NC
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University（哈佛大学）；George Washington University（乔治华盛顿大学）
本文提出基于旋转的更新机制，在再生核希尔伯特空间中向新样本旋转子空间估计，结合鲁棒影响函数抑制异常值，实现流式数据上核PCA的动态跟踪，实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Streaming PCA: averaging from a geometric perspective
University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文从几何视角研究流式PCA，通过外空间等价性建立Oja算法的收敛保证，提出自适应平均化估计量，无需预知特征间隙即可达到近最优收敛率，并应用于椭圆成分分析。
2026-10-14 math.ST stat.ME stat.TH
Rivalry of Two Families of Algorithms for Memory-Restricted Streaming PCA
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文研究了在数据流环境下，以$O(kd)$为存储边界，恢复$d$维数据的第一个$k$主成分所构成的子空间的问题。两个家庭的算法是已知的这个问题。第一个家族是基于随机梯度下降的框架。然而，该族的收敛速度可能会受到下降步骤的学习速度的严重影响，值得更认真的研究。第二个家族是基于数据块的幂方法，但是为其现有算法设置块大小并不是一件容易的事情。在本文中，我们分析了具有衰减的学习率（Oja和Karhunen，1985年）在一般的$k>1$情况下，在第一家庭的代表性算法的收敛速度。此外，我们提出了一种新的算法的第二个家庭，自动和动态地设置块的大小，具有更快的收敛速度。然后，我们进行实证研究，公平地比较两个家庭的真实世界的数据。这些研究揭示了这两个家庭的优势和劣势。
2015-10-12 cs.LG stat.ML
Spectral Guarantees for Adversarial Streaming PCA
UT Austin（德克萨斯大学奥斯汀分校）
本文研究对抗性流式 PCA 中谱比 R 所需的下界，证明可合并摘要需 R=Ω(√d)，并提出 Oja 算法变体在 R=O(log n log d) 时达到 o(1) 误差，为首次谱界应用。
2024-08-19 cs.DS cs.LG
Memory Limited, Streaming PCA
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research India（微软研究院印度分院）
我们认为，流，单程主成分分析（PCA），在高维制度，有限的内存。这里，顺序地呈现$p$维样本，并且目标是产生最接近这些点的$k$维子空间。标准算法需要$O(p^2)$内存;同时，没有算法能比$O(kp)$内存做得更好，因为这是输出本身所需要的。当在计算和样本复杂性的上下文中理解时，内存（或存储）复杂性是最有意义的。高维PCA的样本复杂性通常在{ \em尖峰协方差模型}的设置中进行研究，其中$p$维点从等于身份（白噪声）加上低维扰动（尖峰）的总体协方差生成，该低维扰动是要恢复的信号。现在已经很好地理解，当样本数$n$与维度$p$成比例缩放时，可以恢复尖峰。然而，所有可证明实现这一点的算法都具有内存复杂度$O(p^2)$。同时，具有存储器复杂度$O(kp)$的算法在样本复杂度上不具有与$p$可比的可证明的界限。我们提出了一个算法，实现了这两个：它使用$O(kp)$内存（任何类型的存储的意思），并能够计算$k$ -维尖峰与$O(p \log p)$样本复杂性-第一个算法的同类。虽然我们的理论分析集中在尖峰协方差模型上，但我们的模拟表明，我们的算法在更一般的数据模型上是成功的。
2013-06-28 cs.IT cs.LG math.IT
First Efficient Convergence for Streaming k-PCA: a Global, Gap-Free, and Near-Optimal Rate
Institute for Advanced Study（普林斯顿高等研究院）；Princeton University（普林斯顿大学）
本文研究流式PCA，提出改进的Oja算法变体Oja++，在O(dk)空间内实现全局收敛和无间隙收敛，匹配信息理论下限。
2017-04-17 cs.DS cs.LG cs.NA
Temporal Streaming Batch Principal Component Analysis for Time Series Classification
Harbin Engineering University（哈尔滨工程大学）；Qingdao Innovation and Development Center（青岛创新发展中心）
针对长序列多变量时间序列分类难题，提出TSBPCA流式压缩降维算法，显著提升多模型准确率与时间效率。
2024-10-28 cs.IR cs.LG
Incremental kernel PCA and the Nyström method
University College London（伦敦大学学院）
通常需要增量版本的批处理算法，以提高流数据设置中的时间效率，或提高总体内存效率。在本文中，我们提出了一种新的算法，增量核PCA，基于秩一更新的核矩阵的特征分解，这是计算效率比现有的算法。我们扩展我们的算法的增量计算的Nyström近似的核矩阵，第一个这样的算法提出。Nyström近似的增量计算导致内存效率的进一步提高，并允许在获得足够大小的子集时进行经验评估。
2018-01-31 cs.LG stat.ML
Fast Botnet Detection From Streaming Logs Using Online Lanczos Method
CA Technologies, Inc.（CA Technologies公司）；College of Computing & Informatics, Drexel University（德雷塞尔大学计算与信息学院）；Department of Mathematics, Temple University（Temple大学数学系）；Department of Computer Science, Maryland University at Baltimore County（马里兰大学巴尔的摩县计算机科学系）
本文提出了一种基于在线兰茨斯方法的僵尸网络检测方法，通过将PCA方法改进为亚立方复杂度，提高了实时检测的准确性和灵敏度，同时提出了通用的在线相关矩阵更新公式和新的终止条件。
2018-12-19 cs.CR cs.LG cs.NA
Preconditioned Data Sparsification for Big Data with Applications to PCA and K-means
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们分析了一个压缩方案的大型数据集，随机保持一小部分的组成部分，每个数据样本。其好处是输出是一个稀疏矩阵，因此后续处理（如PCA或K-means）速度明显更快，特别是在分布式数据设置中。此外，采样是单通道的，并且适用于流数据。采样机制是文献中提出的先前方法的变体，结合随机预处理来平滑数据。我们提供的协方差阵方面的PCA的保证，并保证在给定的步骤中的中心估计的误差方面的K-均值。我们提出的数值证据表明，我们的边界是近紧，我们的算法提供了一个真正的好处时，应用于标准的测试数据集，以及提供一定的好处，相关的采样方法。
2016-09-20 cs.LG stat.ML
Spatiotemporal Covariance Neural Networks
Delft University of Technology（代尔夫特理工大学）
针对多变量时间序列时空交互建模难、传统PCA类方法特征向量不稳定的问题，提出基于样本协方差矩阵和联合时空卷积的STVNN模型，支持在线更新且稳定性更优，在多变量时间序列处理中表现具竞争力。
2024-09-16 cs.LG stat.ML
On the Optimality of the Oja's Algorithm for Online PCA
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文证明Oja算法在任意次高斯分布下可以高概率实现无谱隙的全局在线主子空间逼近，并首次说明其误差上界与经典离线PCA下界在常数因子内最优匹配。
2022-01-18 cs.LG math.OC
The Noisy Power Method: A Meta Algorithm with Applications
IBM Research Almaden（IBM阿尔马登研究中心）
我们提供了一个新的强大的收敛性分析众所周知的功率方法计算的矩阵，我们称之为噪声功率方法的主导奇异向量。我们的结果表征了算法的收敛行为时，一个显着的量的噪声引入后，每个矩阵向量乘法。噪声功率方法可以被看作是一种元算法，最近在广泛的机器学习问题中发现了许多重要的应用，包括矩阵完成的交替最小化，流式主成分分析（PCA）和隐私保护频谱分析。我们的一般分析包括几个现有的ad-hoc收敛范围，并解决了一些开放的问题，在多个应用程序，包括流PCA和隐私保护奇异向量计算。
2015-02-03 cs.DS cs.LG
Beyond Sin-Squared Error: Linear-Time Entrywise Uncertainty Quantification for Streaming PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对流式PCA中估计特征向量逐项不确定性量化缺失的问题，基于Oja算法推导了逐项Bernstein型集中界和中心极限定理，并提出一种利用中位数均值的子采样方差估计算法，在保证统计一致性的同时显著降低计算成本。
2025-07-20 cs.LG math.ST stat.ML
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Empirical Evaluation of Kernel PCA Approximation Methods in Classification Tasks
Karunya Institute of Technology and Sciences（卡鲁尼亚科技学院）
核主成分分析（KPCA）是一种流行的降维技术，具有广泛的应用。然而，它存在可扩展性差的问题。过去已经提出了各种近似方法来克服这个问题。针对核主成分分析的可扩展性问题，提出了Nyström方法、随机非线性成分分析（RNCA）和流式核主成分分析（SKPCA）。尽管有理论上的保证，他们在现实世界中的学习任务的表现还没有被探索过。在这项工作中，SKPCA，RNCA和Nyström方法的分类任务的评估是针对几个真实世界的数据集。所获得的结果表明，SKPCA为基础的功能得到了更好的分类精度相比，其他方法的一个非常大的数据集。
2017-12-12 cs.DS cs.LG
Near-Optimal Stochastic Approximation for Online Principal Component Estimation
主成分分析（PCA）是高维数据分析的重要工具。通过处理流数据来估计主成分的在线算法具有巨大的实际和理论意义。尽管其丰富的应用，理论上的收敛分析仍然在很大程度上是开放的。本文将在线PCA问题转化为随机非凸最优化问题，并将在线PCA算法分析为随机逼近迭代。随机逼近迭代递增地处理数据点并保持主成分的运行估计。我们证明了第一次几乎最佳的有限样本误差界的在线PCA算法。在亚高斯假设下，我们证明了有限样本误差界与极大极小信息下界密切匹配。
2017-10-05 math.OC stat.ML
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
PCA-Driven Adaptive Sensor Triage for Edge AI Inference
Independent Researchers（独立研究人员）
本文提出PCA-Triage算法，通过将增量PCA负载转化为通道采样率，优化工业物联网多通道传感器网络的带宽使用，实现在有限带宽下提升边缘AI推理性能。
2026-04-06 cs.AI cs.LG cs.SY
Fixed-Rank Approximation of a Positive-Semidefinite Matrix from Streaming Data
Caltech（加州理工学院）；EPFL（洛桑联邦理工学院）；Cornell（康奈尔大学）
本文提出一种基于Nystrom方法和新秩截断机制的算法，用于从数据流中近似正定矩阵，理论分析证明其在Schatten 1范数下可达到任意给定的相对误差，并通过实验验证其在多种示例中的优越性。
2017-06-18 cs.DS cs.NA math.NA
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Single-Pass PCA of Large High-Dimensional Data
Department of Computer Science（计算机科学系）；Tsinghua National Lab of Information Science and Technology（清华大学信息科学与技术国家实验室）；Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息科学与工程研究院）；Department of Electronic Engineering（电子工程系）；Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Old Dominion University（老 Dominion 大学）
本文提出一种单次随机算法实现大规模高维数据的PCA，适用于存储在慢速存储器或流式生成的数据，实验验证其准确性，比现有算法误差小多个数量级，可在24分钟内计算50个主成分。
2017-04-25 cs.DS cs.LG cs.NA
A Hebbian/Anti-Hebbian Neural Network for Linear Subspace Learning: A Derivation from Multidimensional Scaling of Streaming Data
早期感觉处理的神经网络模型通常减少流输入数据的维度。这样的网络学习主子空间，在主成分分析（PCA）的意义上，通过调整突触权重根据活动相关的学习规则。当从原则成本函数导出时，这些规则是非局部的，因此在生物学上是不可信的。与此同时，生物学上合理的本地规则已被假定，而不是来自一个原则性的成本函数。在这里，为了弥合这一差距，我们通过最小化原则成本函数，推导出一个在流数据上进行子空间学习的生物学上合理的网络。在偏离以前的工作，其中成本量化的表示，或重建，错误，我们采用了多维尺度（MDS）的成本函数流数据。由此产生的算法只依赖于生物学上合理的赫布和反赫布的本地学习规则。在随机设置中，突触权重收敛到将输入数据投影到主子空间上的稳态。如果数据由非平稳分布生成，则网络可以跟踪主子空间。因此，我们的结果使一个算法理论的神经计算的一步。
2015-03-02 cs.NE q-bio.NC stat.ML
TimeCluster with PCA is Equivalent to Subspace Identification of Linear Dynamical Systems
The Alan Turing Institute（艾伦·图灵研究所）；Camulos（卡姆洛斯）
本文证明 TimeCluster 结合 PCA 降维在数学上等价于线性动态系统的子空间辨识方法，两者提取相同的低维子空间，并探讨了该等价性带来的预测、在线扩展等未来机遇。
2025-09-16 cs.DS cs.LG
Learning Mixture of Gaussians with Streaming Data
Stanford University（斯坦福大学）；Microsoft Research, India（微软印度研究院）
在本文中，我们研究了学习的混合高斯流数据的问题：给定一个流的$N$点的$d$维生成的一个未知的混合$k$球面高斯，目标是使用一个单一的数据流通过估计模型参数。我们分析了流行的劳埃德启发式的流媒体版本，并表明该算法估计的所有未知的中心的组件高斯准确，如果他们是足够的分离。假设每一对中心是$Cσ$远离$C=Ω((k\log k)^{1/4}σ)$和$σ^2$是任何高斯分量的最大方差，我们表明，渐近算法估计的中心最佳（常数），我们的中心分离要求匹配的最佳已知结果为球形高斯\citep{vempalawang}。对于有限样本，我们表明，基于初始估计的偏差项以$O(1/{\rm poly}(N))$速率减小，而方差以接近最佳速率$σ^2 d/N$减小。我们的分析需要播种的算法与一个很好的初始估计的真正的聚类中心，我们提供了一个在线的基于PCA的聚类算法。事实上，我们的算法的渐近每一步的时间复杂度是最佳的$d\cdot k$，而我们的算法的空间复杂度是$O(dk\log k)$。除了倾向于$0$的偏差和方差项之外，流式劳埃德算法的基于硬阈值的更新对数据分布是不可知的，因此引起无法避免的近似误差。然而，通过使用流版本的经典（软阈值为基础的）EM方法，明确利用高斯分布，我们表明，对于两个高斯的混合物的真实的手段可以估计一致，估计误差以接近最佳的速度下降，并倾向于$0$为$N\rightarrow …
2017-07-08 cs.LG stat.ML
An Incremental Dimensionality Reduction Method for Visualizing Streaming Multidimensional Data
University of California, Davis（加州大学戴维斯分校）；Bosch Research North America（博世北美研究院）
多维性约简（DR）方法通常用于分析和可视化多维数据。然而，当数据是实时流馈送时，由于常规DR方法的计算复杂性并且不能保留在先前时间点的投影数据位置，因此不能直接使用常规DR方法。此外，当动态数据记录具有在现实世界应用中经常发现的不同数量的维度时，问题变得更具挑战性。本文提出了一种增量式灾难恢复解决方案。我们增强了现有的增量PCA方法在几个方面，以确保其可用性可视化流多维数据。首先，我们使用几何变换和动画的方法，以帮助保持观众的心理地图时，可视化的增量结果。其次，为了处理数据维度变量，我们使用优化方法来估计投影数据的位置，并在可视化中传达由此产生的不确定性。我们证明了我们的设计与两个案例研究使用真实世界的数据集的有效性。
2019-10-15 cs.GR cs.HC cs.LG
Efficient Anomaly Detection via Matrix Sketching
Stanford University（斯坦福大学）；VMware Research（威睿研究院）
我们认为，在高维数据中使用流行的PCA异常分数发现异常的问题。用于计算这些分数的朴素算法显式地计算协方差矩阵的PCA，其在数据的维度中使用空间二次。我们给出了第一个流算法，使用的空间是线性或次线性的维度。我们证明一般结果表明，\emph{any}草图的矩阵，满足一定的运营商规范的保证，可以用来近似这些分数。我们实例化这些结果与强大的矩阵素描技术，如频繁的方向和随机投影，以获得有效和实用的算法，这些问题，我们验证了现实世界的数据集。我们的主要技术贡献是证明了这些测度计算中产生的算子的矩阵扰动不等式。
2018-11-27 cs.AI cs.LG stat.ML
An Improved Gap-Dependency Analysis of the Noisy Power Method
Carnegie Mellon University（卡内基梅隆大学）
本文改进了噪声幂方法对谱间隙的依赖性，通过引入中间参数q，提升了样本复杂度和噪声容忍度的界限，应用于分布式隐私PCA和内存高效流PCA。
2016-02-23 cs.LG cs.NA math.NA
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
The Phase Transition in Online PCA Depends on $n/d\log(d)$, not $n/d$
Washington University in St. Louis（华盛顿大学圣路易斯分校）
研究在线主成分分析中相变的决定因素，以Oja算法为例，发现当$n,d\to\infty$且$n/d\log d\to\gamma\in(0,\infty)$时存在相变，临界状态下相关性随机，与普通高维PCA在恒定$n/d$时情况不同。
2026-07-31 eess.SP math.PR math.ST
Federated Principal Component Analysis
University of Cambridge（剑桥大学）；Quine Technologies（奎因科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个联合的，异步的，和$(\varepsilon, δ)$差分私有算法PCA在内存有限的设置。我们的算法增量计算本地模型更新使用流程序，并自适应地估计其$r$领先的主成分时，只有$\mathcal{O}(dr)$内存是可用的$d$是数据的维数。我们通过一个输入扰动方案来保证差分隐私，在该方案中，数据集$\mathbf{X} \in \mathbb{R}^{d \times n}$的协方差矩阵被$\mathcal{O}\left(\left(\frac{d}{n}\right)^2 \log d \right)$中具有方差的非对称随机高斯矩阵扰动，从而改进了现有技术。此外，与以前的PCA联邦或分布式算法相反，我们的算法对输入数据中的排列也是不变的，这提供了对落后或故障节点的鲁棒性。数值模拟表明，在使用有限的内存，我们的算法表现出的性能，密切配合或优于传统的非联邦算法，在没有通信延迟，它表现出有吸引力的水平可扩展性。
2020-10-22 cs.IT cs.LG math.IT
Ares: Approximate Representations via Efficient Sparsification -- A Stateless Approach through Polynomial Homomorphism
University of Washington（华盛顿大学）
本文提出一种基于多项式同态的零状态压缩框架Ares，无需辅助数据即可实现高压缩比、可解释且可扩展的数据缩减，并支持压缩域直接代数运算，实验验证其保持重建精度。
2024-12-14 cs.LG
An Incremental Non-Linear Manifold Approximation Method
Michigan Technological University（密歇根理工大学）
针对高维数据分析的维度诅咒问题，本研究基于几何多分辨率分析（GMRA）框架开发增量非线性降维方法，通过增量更新聚类图等实现实时分析，实验证明其准确高效，可用于实时可视化等应用。
2025-04-12 cs.GR cs.LG stat.ML
Online Sparse Sliced Inverse Regression
针对高维协变量流数据处理的需求，提出了一种在线稀疏切片逆回归（OSSIR）方法，用于在线充分降降维。现有的在线充分降维方法主要针对维度$p$较小时的情况。在这篇文章中，我们表明，我们的方法可以实现更好的统计精度和计算速度时，维数$p$是大的。该方法包括两个重要步骤，一是扩展在线主成分分析迭代求核矩阵的特征值和特征向量，二是利用截断梯度实现在线$L_{1}$正则化。我们还分析了扩展的Candid无协方差增量PCA（CCIPCA）和我们的方法的收敛性。通过仿真和实际数据应用中的几种现有方法的比较，我们证明了我们的方法的有效性和效率。
2021-07-02 stat.CO
CND-IDS: Continual Novelty Detection for Intrusion Detection Systems
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对数据流持续变化且攻击标签缺失的问题，本文提出 CND-IDS 框架，结合可更新特征提取器与 PCA 重构新颖性检测器，在真实数据集上显著优于无监督持续学习基线。
2025-02-19 cs.CR cs.LG
