Streaming PCA for Markovian Data
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对马尔可夫链采样的流式PCA，本文提出Oja算法在全量数据上的首个尖锐收敛速率，消除了下采样导致的对样本量的对数依赖。
2023-06-16 cs.LG math.ST stat.ML
Low-Precision Streaming PCA
University of California San Diego（加州大学圣地亚哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究低精度流式PCA，提出量化Oja算法并证明其达到信息论下界，实现近维度无关的量化误差，实验验证性能接近标准算法。
2025-10-25 cs.LG stat.ML
First Efficient Convergence for Streaming k-PCA: a Global, Gap-Free, and Near-Optimal Rate
Institute for Advanced Study（普林斯顿高等研究院）；Princeton University（普林斯顿大学）
本文研究流式PCA，提出改进的Oja算法变体Oja++，在O(dk)空间内实现全局收敛和无间隙收敛，匹配信息理论下限。
2017-04-17 cs.DS cs.LG cs.NA
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Google Brain（谷歌大脑）
我们对在线$k$ -PCA问题的两个常用更新，即Krasulina和Oja的更新，提出了新的见解。我们发现，Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上，而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察，我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式，即尽可能多地使用未来梯度信息的版本。最有趣的是，我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明，新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明，隐式Krasulina更新产生优越的收敛性，同时显着更快。我们还提供了强有力的证据表明，新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
Spectral Guarantees for Adversarial Streaming PCA
UT Austin（德克萨斯大学奥斯汀分校）
本文研究对抗性流式 PCA 中谱比 R 所需的下界，证明可合并摘要需 R=Ω(√d)，并提出 Oja 算法变体在 R=O(log n log d) 时达到 o(1) 误差，为首次谱界应用。
2024-08-19 cs.DS cs.LG
Streaming Kernel PCA Algorithm With Small Space
University of Science and Technology of China（中国科学技术大学）；Adobe Research（奥多比研究院）；Stonybrook University（石溪大学）；University of Washington（华盛顿大学）
主成分分析（PCA）是机器学习、数据分析和信号处理中广泛使用的技术。随着数据集规模和复杂性的增加，开发低空间使用率的PCA算法变得重要。流PCA近年来受到了极大的关注，因为它可以有效地处理大型数据集。核方法，这是常用的学习算法，如支持向量机（SVMs），也已应用于PCA算法。我们提出了一个流算法的核心PCA问题的基础上，传统的方案Oja。我们的算法解决了减少PCA的内存使用，同时保持其准确性的挑战。我们通过研究成功的条件来分析我们算法的性能。具体来说，我们表明，当目标协方差矩阵的频谱比$R := λ_1/λ_2$是由$C \cdot \log n\cdot \log d$下界，流PCA可以解决与$O(d)$空间成本。我们提出的算法有几个优势，比现有的方法。首先，它是一种流算法，可以有效地处理大型数据集。其次，它采用了核方法，这使得它能够捕捉数据点之间复杂的非线性关系。第三，它具有低空间使用率，使其适用于内存有限的应用程序。
2023-03-08 cs.DS cs.LG
Streaming Kernel PCA with $\tilde{O}(\sqrt{n})$ Random Features
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的统计和计算方面的核主成分分析使用随机傅立叶特征，并表明，在温和的假设下，$O(\sqrt{n} \log n)$功能足以实现$O(1/ε^2)$样本的复杂性。此外，我们给出了一个内存有效的流算法的基础上，经典的Oja的算法，达到这个速度。
2018-11-15 cs.AI cs.LG stat.ML
The Fast Convergence of Incremental PCA
UC San Diego（加州大学圣迭戈分校）
我们考虑这样一种情况，即我们看到$\mathbb{R}^d$中的样本被i.i.d.抽取。来自于均值为零且协方差未知的分布我们希望以增量的方式计算A的顶特征向量-使用一种算法，该算法在O（d）空间中保持顶特征向量的估计，并随着每个新数据点的到来而增量地调整估计。Krasulina（1969）和Oja（1983）提出了两个经典的方案。我们给出了有限样本收敛速度。
2015-01-15 cs.LG stat.ML
Diffusion Approximations for Online Principal Component Estimation and Global Convergence
Princeton University（普林斯顿大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们建议采用扩散近似工具来研究动态Oja的迭代，这是一个在线的随机梯度下降方法的主成分分析。Oja的迭代维护了对流数据中真实主成分的运行估计，并且具有更低的时间和空间复杂性。我们表明，Oja的迭代的顶部特征向量生成一个连续状态的离散时间马尔可夫链的单位球。我们使用扩散近似和弱收敛工具将Oja迭代分为三个阶段。我们的三阶段分析进一步提供了一个有限样本误差界的运行估计，这匹配的极小极大信息下界的主成分分析下的附加假设的有界样本。
2018-08-29 cs.LG stat.ML
EigenGame: PCA as a Nash Equilibrium
DeepMind（深度思维）
我们提出了一个新的观点，主成分分析（PCA）作为一个竞争性的游戏中，每个近似的特征向量是由一个球员，其目标是最大化自己的效用函数控制。我们分析了这个PCA游戏的属性及其基于梯度的更新行为。由此产生的算法--它将Oja规则中的元素与广义Gram-Schmidt正交化相结合--自然是分散的，因此可以通过消息传递并行化。我们证明了该算法的可扩展性与实验上的大型图像数据集和神经网络激活。我们将讨论如何将PCA作为一个可微游戏的新观点，可以导致进一步的算法发展和见解。
2021-03-16 cs.LG stat.ML
Nearly-Linear Time and Streaming Algorithms for Outlier-Robust PCA
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
针对标准PCA易受离群点干扰、现有鲁棒PCA算法存在时间复杂度高或误差保证次优的问题，提出兼具近最优误差保证的近线性时间鲁棒PCA算法，以及内存与维度近线性相关的单遍流算法。
2023-05-04 cs.DS cs.LG math.ST
An Acceleration Scheme for Memory Limited, Streaming PCA
Trinity College Dublin（都柏林圣三一学院）
在本文中，我们提出了一个加速计划的在线内存有限的PCA方法。我们的计划收敛到第一个$k>1$特征向量在一个单一的数据通过。我们提供的经验收敛结果，我们的计划的基础上尖峰协方差模型。我们的计划不需要任何预定义的参数，如本征间隙，因此很好地促进了流数据的情况。此外，我们将我们的计划具有挑战性的时变系统，在线PCA方法无法收敛。具体来说，我们讨论了一个家庭的时变系统，是基于分子动力学模拟批PCA收敛到实际的分析解决方案，这样的系统。
2018-07-17 cs.CV cs.LG stat.ML
Speeding up PCA with priming
University of Geneva（日内瓦大学）
我们介绍了primed PCA（pPCA），一个两步算法，用于加快主成分的近似。该算法首先运行任何近似PCA方法以获得主成分的初始估计（启动），然后在它们所跨越的子空间中应用精确PCA。由于这个子空间在任何实际应用中都是小维度的，所以第二步在计算上是非常便宜的。尽管如此，对于跨数据集的给定计算预算，它显着提高了准确性。在此设置中，启动的目的是缩小搜索空间，并为第二步（精确计算）准备数据。我们正式表明，pPCA在非常温和的条件下改进了启动算法，并且我们在合成和真实的大规模数据集上提供了实验验证，表明它系统地转化为改进的性能。在我们的实验中，我们总理pPCA的几个近似算法和报告的平均加速比的一个因素的7.2 Oja的规则，和一个因素的10.5 EigenGame。
2022-05-20 cs.LG stat.ML
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University（哈佛大学）；George Washington University（乔治华盛顿大学）
本文提出基于旋转的更新机制，在再生核希尔伯特空间中向新样本旋转子空间估计，结合鲁棒影响函数抑制异常值，实现流式数据上核PCA的动态跟踪，实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Robust Streaming PCA
Columbia University（哥伦比亚大学）；KAIST（韩国科学技术院）
针对随机数据生成模型受扰动的流式主成分分析问题，提出协方差属于时间不确定性集合的鲁棒视角，论证噪声幂法速率最优，经合成与真实数据集实验验证分析有效性。
2026-09-03 cs.LG stat.ML
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。
2021-10-07 cs.LG stat.ML
Streaming PCA and Subspace Tracking: The Missing Data Case
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
对于科学和工程中的许多现代应用，数据是以流式方式收集的，携带时变信息，从业者需要及时地用有限的内存和计算资源来处理它们，以便做出决策。这通常与缺失数据问题相结合，使得仅观察到一小部分数据属性。这些复杂性对流式主成分分析（PCA）和子空间跟踪的问题施加了显著且非常规的约束，这是信号处理和机器学习中的许多推理任务的基本构建块。这篇综述文章回顾了各种经典和最新的算法，用于解决这个问题，具有较低的计算和内存复杂性，特别是那些适用于大数据制度与缺失数据。我们说明，流PCA和子空间跟踪算法可以通过代数和几何的角度来理解，他们需要仔细调整，以处理缺失数据。渐近和非渐近收敛保证进行审查。最后，我们基准的性能存在缺失数据的良好条件和病态系统的几个竞争力的算法。
2018-06-12 cs.IT cs.LG math.IT
Gen-Oja: A Two-time-scale approach for Streaming CCA
University of California Berkeley（加州大学伯克利分校）
本文研究了随机背景下的主广义特征向量计算和典型相关分析问题。我们提出了一个简单而有效的算法，Gen-Oja，这些问题。我们证明了我们的算法的全局收敛性，借用思想从理论的快速混合马尔可夫链和两个时间尺度的随机逼近，表明它达到了最佳的收敛速度。在这个过程中，我们开发工具来理解随机过程与马尔可夫噪声，这可能是独立的利益。
2020-02-01 cs.DS cs.LG cs.NE
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Memory Limited, Streaming PCA
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research India（微软研究院印度分院）
我们认为，流，单程主成分分析（PCA），在高维制度，有限的内存。这里，顺序地呈现$p$维样本，并且目标是产生最接近这些点的$k$维子空间。标准算法需要$O(p^2)$内存;同时，没有算法能比$O(kp)$内存做得更好，因为这是输出本身所需要的。当在计算和样本复杂性的上下文中理解时，内存（或存储）复杂性是最有意义的。高维PCA的样本复杂性通常在{ \em尖峰协方差模型}的设置中进行研究，其中$p$维点从等于身份（白噪声）加上低维扰动（尖峰）的总体协方差生成，该低维扰动是要恢复的信号。现在已经很好地理解，当样本数$n$与维度$p$成比例缩放时，可以恢复尖峰。然而，所有可证明实现这一点的算法都具有内存复杂度$O(p^2)$。同时，具有存储器复杂度$O(kp)$的算法在样本复杂度上不具有与$p$可比的可证明的界限。我们提出了一个算法，实现了这两个：它使用$O(kp)$内存（任何类型的存储的意思），并能够计算$k$ -维尖峰与$O(p \log p)$样本复杂性-第一个算法的同类。虽然我们的理论分析集中在尖峰协方差模型上，但我们的模拟表明，我们的算法在更一般的数据模型上是成功的。
2013-06-28 cs.IT cs.LG math.IT
Temporal Streaming Batch Principal Component Analysis for Time Series Classification
Harbin Engineering University（哈尔滨工程大学）；Qingdao Innovation and Development Center（青岛创新发展中心）
针对长序列多变量时间序列分类难题，提出TSBPCA流式压缩降维算法，显著提升多模型准确率与时间效率。
2024-10-28 cs.IR cs.LG
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
Machine Learning and Information Processing Group, KUIS AI Center（机器学习与信息处理组，KUIS人工智能中心）；Department of Electrical and Electronics Engineering（电子与电气工程系）
隐式归一化在线主成分分析（INO-PCA）通过动态范数演变和正则化更新，在高维极限下实现对问题相关信息的有效编码和利用，优于Oja算法并适应非平稳环境。
2025-12-01 cs.LG stat.ML
The Noisy Power Method: A Meta Algorithm with Applications
IBM Research Almaden（IBM阿尔马登研究中心）
我们提供了一个新的强大的收敛性分析众所周知的功率方法计算的矩阵，我们称之为噪声功率方法的主导奇异向量。我们的结果表征了算法的收敛行为时，一个显着的量的噪声引入后，每个矩阵向量乘法。噪声功率方法可以被看作是一种元算法，最近在广泛的机器学习问题中发现了许多重要的应用，包括矩阵完成的交替最小化，流式主成分分析（PCA）和隐私保护频谱分析。我们的一般分析包括几个现有的ad-hoc收敛范围，并解决了一些开放的问题，在多个应用程序，包括流PCA和隐私保护奇异向量计算。
2015-02-03 cs.DS cs.LG
Empirical Evaluation of Kernel PCA Approximation Methods in Classification Tasks
Karunya Institute of Technology and Sciences（卡鲁尼亚科技学院）
核主成分分析（KPCA）是一种流行的降维技术，具有广泛的应用。然而，它存在可扩展性差的问题。过去已经提出了各种近似方法来克服这个问题。针对核主成分分析的可扩展性问题，提出了Nyström方法、随机非线性成分分析（RNCA）和流式核主成分分析（SKPCA）。尽管有理论上的保证，他们在现实世界中的学习任务的表现还没有被探索过。在这项工作中，SKPCA，RNCA和Nyström方法的分类任务的评估是针对几个真实世界的数据集。所获得的结果表明，SKPCA为基础的功能得到了更好的分类精度相比，其他方法的一个非常大的数据集。
2017-12-12 cs.DS cs.LG
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory（国家物理实验室）；FEMTO-ST Institute（FEMTO-ST研究所）；Université de Bourgogne Franche-Comté（勃艮第弗朗什-孔泰大学）
本文研究了随机梯度PCA算法的复杂性时，数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性，并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML
Incremental kernel PCA and the Nyström method
University College London（伦敦大学学院）
通常需要增量版本的批处理算法，以提高流数据设置中的时间效率，或提高总体内存效率。在本文中，我们提出了一种新的算法，增量核PCA，基于秩一更新的核矩阵的特征分解，这是计算效率比现有的算法。我们扩展我们的算法的增量计算的Nyström近似的核矩阵，第一个这样的算法提出。Nyström近似的增量计算导致内存效率的进一步提高，并允许在获得足够大小的子集时进行经验评估。
2018-01-31 cs.LG stat.ML
Fast Botnet Detection From Streaming Logs Using Online Lanczos Method
CA Technologies, Inc.（CA Technologies公司）；College of Computing & Informatics, Drexel University（德雷塞尔大学计算与信息学院）；Department of Mathematics, Temple University（Temple大学数学系）；Department of Computer Science, Maryland University at Baltimore County（马里兰大学巴尔的摩县计算机科学系）
本文提出了一种基于在线兰茨斯方法的僵尸网络检测方法，通过将PCA方法改进为亚立方复杂度，提高了实时检测的准确性和灵敏度，同时提出了通用的在线相关矩阵更新公式和新的终止条件。
2018-12-19 cs.CR cs.LG cs.NA
TimeCluster with PCA is Equivalent to Subspace Identification of Linear Dynamical Systems
The Alan Turing Institute（艾伦·图灵研究所）；Camulos（卡姆洛斯）
本文证明 TimeCluster 结合 PCA 降维在数学上等价于线性动态系统的子空间辨识方法，两者提取相同的低维子空间，并探讨了该等价性带来的预测、在线扩展等未来机遇。
2025-09-16 cs.DS cs.LG
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Preconditioned Data Sparsification for Big Data with Applications to PCA and K-means
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们分析了一个压缩方案的大型数据集，随机保持一小部分的组成部分，每个数据样本。其好处是输出是一个稀疏矩阵，因此后续处理（如PCA或K-means）速度明显更快，特别是在分布式数据设置中。此外，采样是单通道的，并且适用于流数据。采样机制是文献中提出的先前方法的变体，结合随机预处理来平滑数据。我们提供的协方差阵方面的PCA的保证，并保证在给定的步骤中的中心估计的误差方面的K-均值。我们提出的数值证据表明，我们的边界是近紧，我们的算法提供了一个真正的好处时，应用于标准的测试数据集，以及提供一定的好处，相关的采样方法。
2016-09-20 cs.LG stat.ML
Spatiotemporal Covariance Neural Networks
Delft University of Technology（代尔夫特理工大学）
针对多变量时间序列时空交互建模难、传统PCA类方法特征向量不稳定的问题，提出基于样本协方差矩阵和联合时空卷积的STVNN模型，支持在线更新且稳定性更优，在多变量时间序列处理中表现具竞争力。
2024-09-16 cs.LG stat.ML
Gap-Free Streaming PCA Beyond Rank-One Updates: Near-Optimal Rates and Applications to Differential Privacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无特征间隙假设下流式PCA的Oja算法新分析，仅需二阶矩界实现近最优速率，并扩展至差分隐私应用，解决开放猜想。
2026-09-23 cs.DS cs.LG stat.ML
Stochastic Approximation Algorithms for Principal Component Analysis
IIT Bombay（印度理工学院孟买分校）
主成分分析是一种新颖的降维方法.这个问题本质上归结为找到数据协方差矩阵的顶部特征向量。大量的文献被发现的算法意味着这样做，如一个在线的方法是Warranty和Kuzmin，矩阵随机梯度阿罗拉，Oja的方法和许多其他人。在本文中，我们看到一些这些随机方法的PCA优化问题，并评论其收敛性和运行时间，以获得一个非次优的解决方案。我们重温凸松弛的主成分分析的随机优化方法。虽然直接解决非凸问题的方法已被证明是最佳的统计和计算效率方面，基于凸松弛的方法已被证明享有可比的，甚至优越的经验性能。这就需要对后者有更深入的正式了解。
2019-01-07 cs.LG stat.ML
Single-Pass PCA of Large High-Dimensional Data
Department of Computer Science（计算机科学系）；Tsinghua National Lab of Information Science and Technology（清华大学信息科学与技术国家实验室）；Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息科学与工程研究院）；Department of Electronic Engineering（电子工程系）；Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Old Dominion University（老 Dominion 大学）
本文提出一种单次随机算法实现大规模高维数据的PCA，适用于存储在慢速存储器或流式生成的数据，实验验证其准确性，比现有算法误差小多个数量级，可在24分钟内计算50个主成分。
2017-04-25 cs.DS cs.LG cs.NA
PCA-Driven Adaptive Sensor Triage for Edge AI Inference
Independent Researchers（独立研究人员）
本文提出PCA-Triage算法，通过将增量PCA负载转化为通道采样率，优化工业物联网多通道传感器网络的带宽使用，实现在有限带宽下提升边缘AI推理性能。
2026-04-06 cs.AI cs.LG cs.SY
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
An Incremental Dimensionality Reduction Method for Visualizing Streaming Multidimensional Data
University of California, Davis（加州大学戴维斯分校）；Bosch Research North America（博世北美研究院）
多维性约简（DR）方法通常用于分析和可视化多维数据。然而，当数据是实时流馈送时，由于常规DR方法的计算复杂性并且不能保留在先前时间点的投影数据位置，因此不能直接使用常规DR方法。此外，当动态数据记录具有在现实世界应用中经常发现的不同数量的维度时，问题变得更具挑战性。本文提出了一种增量式灾难恢复解决方案。我们增强了现有的增量PCA方法在几个方面，以确保其可用性可视化流多维数据。首先，我们使用几何变换和动画的方法，以帮助保持观众的心理地图时，可视化的增量结果。其次，为了处理数据维度变量，我们使用优化方法来估计投影数据的位置，并在可视化中传达由此产生的不确定性。我们证明了我们的设计与两个案例研究使用真实世界的数据集的有效性。
2019-10-15 cs.GR cs.HC cs.LG
Learning Mixture of Gaussians with Streaming Data
Stanford University（斯坦福大学）；Microsoft Research, India（微软印度研究院）
在本文中，我们研究了学习的混合高斯流数据的问题：给定一个流的$N$点的$d$维生成的一个未知的混合$k$球面高斯，目标是使用一个单一的数据流通过估计模型参数。我们分析了流行的劳埃德启发式的流媒体版本，并表明该算法估计的所有未知的中心的组件高斯准确，如果他们是足够的分离。假设每一对中心是$Cσ$远离$C=Ω((k\log k)^{1/4}σ)$和$σ^2$是任何高斯分量的最大方差，我们表明，渐近算法估计的中心最佳（常数），我们的中心分离要求匹配的最佳已知结果为球形高斯\citep{vempalawang}。对于有限样本，我们表明，基于初始估计的偏差项以$O(1/{\rm poly}(N))$速率减小，而方差以接近最佳速率$σ^2 d/N$减小。我们的分析需要播种的算法与一个很好的初始估计的真正的聚类中心，我们提供了一个在线的基于PCA的聚类算法。事实上，我们的算法的渐近每一步的时间复杂度是最佳的$d\cdot k$，而我们的算法的空间复杂度是$O(dk\log k)$。除了倾向于$0$的偏差和方差项之外，流式劳埃德算法的基于硬阈值的更新对数据分布是不可知的，因此引起无法避免的近似误差。然而，通过使用流版本的经典（软阈值为基础的）EM方法，明确利用高斯分布，我们表明，对于两个高斯的混合物的真实的手段可以估计一致，估计误差以接近最佳的速度下降，并倾向于$0$为$N\rightarrow …
2017-07-08 cs.LG stat.ML
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
An Improved Gap-Dependency Analysis of the Noisy Power Method
Carnegie Mellon University（卡内基梅隆大学）
本文改进了噪声幂方法对谱间隙的依赖性，通过引入中间参数q，提升了样本复杂度和噪声容忍度的界限，应用于分布式隐私PCA和内存高效流PCA。
2016-02-23 cs.LG cs.NA math.NA
Federated Principal Component Analysis
University of Cambridge（剑桥大学）；Quine Technologies（奎因科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个联合的，异步的，和$(\varepsilon, δ)$差分私有算法PCA在内存有限的设置。我们的算法增量计算本地模型更新使用流程序，并自适应地估计其$r$领先的主成分时，只有$\mathcal{O}(dr)$内存是可用的$d$是数据的维数。我们通过一个输入扰动方案来保证差分隐私，在该方案中，数据集$\mathbf{X} \in \mathbb{R}^{d \times n}$的协方差矩阵被$\mathcal{O}\left(\left(\frac{d}{n}\right)^2 \log d \right)$中具有方差的非对称随机高斯矩阵扰动，从而改进了现有技术。此外，与以前的PCA联邦或分布式算法相反，我们的算法对输入数据中的排列也是不变的，这提供了对落后或故障节点的鲁棒性。数值模拟表明，在使用有限的内存，我们的算法表现出的性能，密切配合或优于传统的非联邦算法，在没有通信延迟，它表现出有吸引力的水平可扩展性。
2020-10-22 cs.IT cs.LG math.IT
Optimal Principal Component Analysis in Distributed and Streaming Models
我们研究了主成分分析（PCA）问题在分布式和流式计算模型。给定矩阵$A \in R^{m \times n},$、秩参数$k < rank(A)$和精度参数$0 < ε< 1$，我们希望输出$m \times k$正交归一化矩阵$U$，其中$$ || A - U U^T A ||_F^2 \le \left(1 + ε\right) \cdot || A - A_k||_F^2, $$，其中$A_k \in R^{m \times n}$是对$A$的最佳秩- $k$近似。本文提出了改进的算法，分布式PCA和流式PCA。
2016-07-12 cs.DS
Adversarial Robustness of Streaming Algorithms through Importance Sampling
Google（谷歌）；MIT（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们介绍了中央机器学习和算法任务，如回归和聚类，以及他们更一般的同行，子空间嵌入，低秩近似，和coreset建设的adversarially强大的流算法。对于回归和其他数值线性代数相关的任务，我们考虑行到达流模型。我们的研究结果是基于一个简单的，但强大的，观察到许多重要性采样为基础的算法产生对抗性的鲁棒性，这是在对比素描为基础的算法，这是非常普遍的流媒体文学，但遭受对抗攻击。此外，我们表明，著名的合并和减少流的范例是adversarially强大的。由于合并和减少范例允许coreset建设在流设置，因此，我们获得强大的算法$k$ -手段，$k$ -中位数，$k$ -中心，布雷格曼聚类，投影聚类，主成分分析（PCA）和非负矩阵分解。据我们所知，这些是第一个对抗性强的结果，这些问题还不需要新的算法实现。最后，我们经验性地证实了我们的算法对各种对抗攻击的鲁棒性，并证明了相比之下，一些常见的现有算法是不鲁棒的。（摘要缩短以满足arXiv限制）
2021-10-26 cs.DS cs.LG
Fixed-Rank Approximation of a Positive-Semidefinite Matrix from Streaming Data
Caltech（加州理工学院）；EPFL（洛桑联邦理工学院）；Cornell（康奈尔大学）
本文提出一种基于Nystrom方法和新秩截断机制的算法，用于从数据流中近似正定矩阵，理论分析证明其在Schatten 1范数下可达到任意给定的相对误差，并通过实验验证其在多种示例中的优越性。
2017-06-18 cs.DS cs.NA math.NA
Improved Algorithms for White-Box Adversarial Streams
本文在白盒对抗流模型中结合密码学假设，提出稀疏恢复、低秩恢复及鲁棒主成分分析的高效算法，并应用于图匹配、非零元素计数和矩阵秩估计，改进了近似与内存权衡。
2023-07-07 cs.DS
