Fair PCA, One Component at a Time
Aalto University（阿尔托大学）
针对现有Min-Max Fair PCA方法缺失标准PCA子空间包含性的问题，研究定义了满足正交约束的公平主成分，提出迭代计算方法，兼具理论合理性与更优的实验性能。
2025-05-17 cs.LG stat.ML
High dimensional PCA: a new model selection criterion
给定一个多元总体中的随机样本，估计总体协方差阵的大特征值个数是统计学中的一个重要问题，在许多领域有着广泛的应用。在主成分分析（PCA）的上下文中，具有最大变化量的原始变量的线性组合由该数确定。在本文中，我们研究的高维渐近制度，其中的变量的数量以相同的速度增长的观测值的数量，并使用的尖峰协方差模型在Johnstone（2001），在此情况下，问题归结为模型选择。我们的重点是Akaike信息准则（AIC），已知该准则与Bai等人的工作高度一致。（2018）。然而，Bai et al.（2018）要求一定的“间隙条件”，确保主特征值高于严格大于BBP阈值的阈值（Baik et al.（2005），这两个量都取决于变量和观测值数量的限制比。众所周知，低于BBP阈值，尖峰协方差结构变得与没有尖峰的协方差结构无法区分。因此，AIC的强一致性需要一些额外的信号强度。在本文中，我们调查是否一致性继续举行，即使“差距”是较小的。我们表明，强一致性下任意小的差距是可以实现的，如果我们适当地改变AIC的惩罚项取决于目标差距。此外，惩罚的另一个直观的改变确实可以使间隙正好为零，尽管在这种情况下我们只能实现弱一致性。我们比较了两个新提出的估计与其他现有的估计在文献中，通过广泛的模拟研究，并显示，通过适当校准我们的建议，显着改善的均方误差是可以实现的。
2020-11-09 math.ST stat.ME stat.TH
ROIPCA: An online memory-restricted PCA algorithm based on rank-one updates
Tel-Aviv University（特拉维夫大学）
针对内存受限的流式 PCA 问题，提出基于秩一更新的 ROIPCA 与快速版 fROIPCA，并证明后者是最优学习率梯度算法，实验显示其在精度和运行时间上优于现有方法。
2023-06-07 cs.LG stat.ML
Projected Robust PCA with Application to Smooth Image Recovery
City University of Hong Kong（香港城市大学）
大多数高维矩阵恢复问题的研究都是在假设目标矩阵具有某种内在结构的前提下进行的。对于图像数据相关的矩阵恢复问题，近似低秩和平滑是两个最常见的强加的结构。对于近似低秩矩阵的恢复，稳健的主成分分析（PCA）被广泛研究并证明是有效的。对于光滑矩阵问题，二维融合Lasso和其他基于全变分的方法发挥了基础性作用。虽然低秩和平滑都是图像数据分析的关键假设，但这两条研究路线的相互作用非常有限。出于利用这两个功能，我们在本文中开发了一个框架，名为投影鲁棒PCA（PRPCA），低秩矩阵投影到光滑矩阵的空间。因此，一大类图像矩阵可以分解为低秩和平滑分量加上稀疏分量。这种分解的一个关键优点是，可以显着降低核心低秩分量的维数。因此，我们的框架是能够解决许多低秩矩阵问题的一个有问题的瓶颈：大矩阵上的奇异值分解（SVD）。理论上，我们提供了明确的统计恢复保证PRPCA，包括经典的鲁棒PCA作为一个特殊情况。
2021-04-07 cs.LG stat.ML
Efficient convex PCA with applications to Wasserstein GPCA and ranked data
本文研究凸主成分分析的理论性质与数值实现，提出有限维多面体凸集下的算法以近似Wasserstein广义主成分分析，并应用于股票收益排名分布和资本分布曲线两个金融问题。
2024-08-30 q-fin.ST stat.CO
Robust Kronecker Product PCA for Spatio-Temporal Covariance Estimation
Kronecker PCA涉及使用空间与时间Kronecker乘积分解来估计时空协方差。在这项工作中，被认为是一个稀疏的校正因子，这对应于一个模型的协方差作为一个低（分离）秩和稀疏矩阵的克罗内克产品的总和。这种稀疏校正扩展了[Greenewald et al 2013，2014]的对角校正Kronecker PCA，以允许协方差阵中任何地方的稀疏非结构化“离群值”，例如，由不适合Kronecker模型的变量或相关性引起，或由传感器噪声或传感器故障等来源引起。我们引入了一种稳健的基于PCA的算法来估计该模型下的协方差，扩展了[Greenewald et al 2014，Tsiligkarnovel et al 2013]的重排核范数惩罚LS Kronecker PCA方法。还提供了一个扩展Toeplitz时间因素，产生一个参数减少时间平稳的测量建模。高维MSE性能界限给出了这些扩展。最后，建议的扩展KronPCA的酵母细胞周期实验的模拟和真实数据进行评估。这确立了鲁棒Kronecker PCA在生物和其他应用中的实际效用。
2015-07-29 stat.ME
Byzantine-Resilient Federated PCA and Low Rank Column-wise Sensing
本文针对联邦学习中拜占庭攻击问题，提出Subspace-Median算法解决联邦PCA，并设计altGDmin算法实现拜占庭容错的联邦低秩逐列感知，同时给出样本与通信复杂度保证。
2024-08-09 cs.IT math.IT stat.ML
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Multiscale principal component analysis
主成分分析（PCA）是一种重要的数据挖掘工具。PCA的传统方法导致有利于具有大方差的结构的解决方案。这对异常值很敏感，可能会混淆有趣的底层结构。PCA的一个等价定义是，它寻找最大化数据投影之间的平方成对距离之和的子空间。这一定义为主成分分析提供了更大的灵活性，这对增强主成分分析很有用。在本文中，我们引入PCA尺度最大化的距离在选定的区间内的值[l，u]的数据点对的投影之间的成对距离的总和。在多尺度PCA中得到的主成分分解取决于平面上的点（l，u），并且对于每个点，我们定义投影到主成分上。这些投影仪的聚类分析揭示了数据在不同尺度上的结构。每个结构由代表该结构的簇的中心点处的特征向量来描述。我们还使用预测的失真作为选择适当尺度的标准，特别是对于具有离群值的数据。该方法在人工分布数据和真实数据上进行了测试。对于具有多尺度结构的数据，该方法能够揭示数据的不同结构，并能减少主成分分析中离群值的影响。
2013-07-31 stat.ME
Exponentially convergent stochastic k-PCA without variance reduction
Amazon AI（亚马逊人工智能（Amazon AI））
我们提出了矩阵Krasulina，在线k-PCA的算法，通过推广经典Krasulina的方法（Krasulina，1969）从向量矩阵的情况下。我们表明，理论和经验，该算法自然适应数据低秩和指数快速收敛到地面真理主子空间。值得注意的是，我们的结果表明，尽管最近的各种努力，以加快收敛的随机梯度为基础的方法，增加了O（n）时间的方差减少步骤，对于k-PCA问题，一个真正的在线SGD变量足以实现指数收敛的内在低秩数据。
2019-04-03 cs.LG stat.ML
Anchor PCA
ETH Zürich（苏黎世联邦理工学院）
针对多领域数据，提出Anchor PCA方法，通过修改目标矩阵进行主成分分析，在保留共享变异方向的同时权衡整体解释方差，实现鲁棒的降维。
2026-11-05 cs.LG stat.ME stat.ML
Augmented Robust PCA For Foreground-Background Separation on Noisy, Moving Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的基于全变分正则化的鲁棒PCA方法，用于对有噪声的运动摄像机视频进行前景-背景分离和去噪。我们提出的算法注册的原始（可能损坏）的视频帧，然后联合处理注册的帧，以产生一个分解的场景到一个低秩的背景组件，捕获的静态组件的场景，一个平滑的前景组件，捕获的动态组件的场景，和一个稀疏的组件，可以隔离腐败和其他非理想。与现有的方法不同，我们提出的算法产生一个全景低秩组件，跨越整个视野，自动拼接在一起损坏的数据从部分重叠的场景。我们的鲁棒PCA模型的低秩部分是基于最近发现的最佳低秩矩阵估计（OptShrink），不需要参数调整。我们证明了我们的算法在静态和移动摄像机视频被噪声和离群值破坏的性能。
2017-09-27 cs.CV stat.ML
RES-PCA: A Scalable Approach to Recovering Low-rank Matrices
Qingdao University（青岛大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
鲁棒主元分析（Robust Principal Component Analysis，RPCA）因其在低秩矩阵恢复方面的强大能力以及在实际问题中的成功应用而受到广泛关注。现有算法通常需要求解大型矩阵的奇异值分解，其复杂度一般至少为二次甚至三次。这一缺陷限制了RPCA在解决实际问题中的应用。为了克服这个缺点，在本文中，我们提出了一种新的类型的RPCA方法，RES-PCA，这是线性有效的，可扩展的数据大小和维度。为了比较的目的，AltProj，现有的RPCA的可扩展方法需要真实秩的精确知识;否则，它可能无法恢复低秩矩阵。相比之下，我们的方法在知道或不知道真实排名的情况下都有效;即使两种方法都有效，我们的方法也更快。大量的实验已经进行，并证明了所提出的方法的有效性定量和视觉质量，这表明我们的方法是适合作为一个轻量级的，可扩展的组件RPCA在任何应用程序的管道。
2019-04-16 cs.CV cs.LG stat.ML
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
Logistic principal component analysis via non-convex singular value thresholding
在当前的生物学研究中，多元二进制数据变得越来越丰富。逻辑主成分分析（PCA）是通过利用底层低秩结构来探索多元二进制数据集内部关系的常用工具之一。基于二值数据的广义线性模型的潜变量解释，我们重新表达了逻辑主成分分析模型。多元二进制数据集被假定为未观测的定量数据集的符号观测，其上假定存在低秩结构。然而，标准的逻辑主成分分析模型（使用精确的低秩约束）容易过拟合，这可能导致一些估计的参数朝着无穷大发散。我们建议通过非凸奇异值阈值来拟合Logistic PCA模型，以减轻过拟合问题。采用一种高效的优化-最小化算法对模型进行拟合，并引入一种基于缺失值的交叉验证（CV）过程进行模型选择。对不平衡二进制数据和低信噪比的真实模拟实验表明，基于CV误差的模型选择过程在选择所提出的模型方面是成功的。此外，所选择的模型表现出优越的性能，在恢复底层的低秩结构相比，模型与凸核范数惩罚和精确的低秩约束。一个二进制拷贝数畸变数据集被用来说明所提出的方法在实践中。
2019-02-25 stat.ME stat.ML
Low-Rank Principal Eigenmatrix Analysis
The University of California, Davis（加州大学戴维斯分校）；Google AI（谷歌人工智能）；Princeton University（普林斯顿大学）
稀疏PCA是一种广泛应用于高维数据分析的技术。在本文中，我们提出了一种新的方法称为低秩主特征矩阵分析。与稀疏PCA不同的是，主特征向量被允许是密集的，但被假设为具有低秩结构时，适当的矩阵化。这种结构在几种实际情况下自然出现：实际上，循环矩阵的顶部特征向量，当适当地矩阵化时，是秩1矩阵。我们提出了一个矩阵化的秩截断功率方法，可以有效地实现，并建立其计算和统计特性。在几个合成数据集上的大量实验证明了我们的方法具有竞争力的经验性能。
2019-04-28 cs.LG stat.ME stat.ML
Supervised Kernel PCA For Longitudinal Data
在统计学习中，协变量的高维性对稳健的预测和推断提出了挑战。为了解决这一挑战，通常执行监督降维，其中对于具有较小维度的所选协变量子空间，对结果的依赖性被最大化。普遍的降维技术假设数据是$i.i.d.$，这不适用于包含多个受试者的纵向数据，这些受试者随时间重复测量。在本文中，我们推导出一个分解的希尔伯特-施密特独立性准则作为监督损失函数的纵向数据，使集群之间和集群内分别降维，并提出了一个降维技术，$sklPCA$，执行这种分解的降维。我们还表明，这种技术产生优越的模型精度相比，它扩展的模型。
2018-08-23 stat.ME stat.ML
Cauchy Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）
主成分分析在机器学习、文本挖掘和计算机视觉等领域有着广泛的应用。基于高斯噪声模型的经典PCA对大幅度的噪声是脆弱的。基于拉普拉斯噪声假设的PCA方法不能有效地处理密集噪声。在本文中，我们提出了柯西主成分分析（柯西PCA），一个非常简单而有效的PCA方法，是强大的各种类型的噪声。我们利用柯西分布模型噪声和推导柯西主成分分析下的最大似然估计（MLE）框架下的低秩约束。无论噪声大小、密集或稀疏，我们的方法都能鲁棒地估计低秩矩阵。从稳健统计的角度分析了Cauchy PCA的稳健性，并提出了一种有效的奇异值投影优化方法。仿真数据和实际应用的实验结果表明，柯西PCA的各种噪声模式的鲁棒性。
2014-12-19 cs.LG stat.ML
Generalized Low Rank Models
主成分分析（PCA）是一种用于通过低秩矩阵来近似表格数据集的公知技术。在这里，我们扩展了PCA的思想来处理由数值，布尔，分类，有序和其他数据类型组成的任意数据集。这个框架包含了许多众所周知的技术在数据分析中，如非负矩阵分解，矩阵完成，稀疏和鲁棒PCA，$k$-手段，$k$-SVD，和最大间距矩阵分解。该方法处理异构数据集，并导致一致的计划，压缩，去噪，并同时在所有数据类型的缺失条目。它还承认一些有趣的解释，低排名的因素，允许聚类的例子或功能。我们提出了几个并行算法来拟合广义低秩模型，并描述了实现和数值结果。
2015-05-05 cs.LG math.OC stat.ML
Robust PCA via Nonconvex Rank Approximation
Southern Illinois University（南伊利诺伊大学）
本文提出非凸秩近似方法，以改进鲁棒PCA中核范数的局限性，通过高效算法提升准确性和效率。
2015-11-17 cs.CV cs.LG cs.NA
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo（滑铁卢大学）
这是一个详细的教程文件，其中解释了主成分分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，PCA与特征分解，PCA与一个和多个投影方向，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，PCA与奇异值分解，双PCA，核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法，然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后，在Frey和AT&T人脸数据集上进行了仿真，验证了理论的可行性。
2022-08-01 cs.LG stat.ML
ReFACTor: Practical Low-Rank Matrix Estimation Under Column-Sparsity
数据分析和统计遗传学中的各种问题都要求从噪声观测中恢复列稀疏的低秩矩阵。我们提出了ReFACTor，经典的截断奇异值分解（TSVD）算法的一个简单的变化。在以前的稀疏主成分分析（PCA）算法相比，我们的算法可以证明揭示一个低秩信号矩阵更好，往往显着优于，比广泛使用的TSVD，使之成为选择的算法列稀疏性被怀疑。从经验上讲，我们观察到，即使底层信号不稀疏，ReFACTor也始终优于TSVD，这表明使用ReFACTor而不是TSVD和PCA通常是安全的。该算法实现非常简单，其运行时间由PCA的运行时间决定，使其与标准主成分分析一样实用。
2017-05-22 stat.ML
Efficient fair PCA for fair representation learning
Amazon Web Services（亚马逊云科技）
我们重新审视公平主成分分析（PCA）的问题，其目标是学习混淆人口统计信息的数据的最佳低秩线性近似。我们提出了一个概念上简单的方法，允许类似于标准PCA的分析解决方案，可以内核化。我们的方法与标准PCA或内核PCA具有相同的复杂性，并且运行速度比基于半定规划或流形优化的公平PCA的现有方法快得多，同时获得类似的结果。
2023-02-26 cs.CY cs.LG stat.ML
Validation of nonlinear PCA
Edmund Mach Foundation – Research and Innovation Center（埃德蒙·马赫基金会——研究与创新中心）
利用人工神经网络可以将线性主成分分析（PCA）扩展为非线性主成分分析。但是，弯曲部件的好处需要仔细控制模型的复杂性。此外，用于模型选择的标准技术，包括交叉验证和更一般地使用独立测试集，在应用于非线性PCA时失败，因为其固有的无监督特性。本文提出了一种新的方法来验证非线性PCA模型的复杂性，通过使用缺失数据估计的误差作为模型选择的标准。它的动机是这样一个想法，即只有最佳复杂度的模型才能以最高的准确度预测缺失值。虽然标准测试集验证通常倾向于过拟合非线性PCA模型，但所提出的模型验证方法正确地选择了最佳模型复杂度。
2012-04-03 cs.AI cs.CV cs.LG
Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA
Swiss Federal Railways (SBB)（瑞士联邦铁路（SBB））；University of Berne（伯尔尼大学）
本文复现了Renold等人对1995-2020年美国航空公司利润周期的聚类实验，通过PCA和核PCA分析，发现六聚类分类在原始7维和3维PC空间中具有几何鲁棒性，并验证了数据的内在线性流形结构。
2026-07-17 cs.LG stat.ME
Inference and Uncertainty Quantification for Streaming $r$-PCA
University of Pennsylvania（宾夕法尼亚大学）
该研究针对流式r-PCA，通过Oja算法解决一般秩的收敛与分布推断问题，建立了收敛速率、高斯近似及在线自助法，拓展了非凸随机近似的推断技术。
2026-11-06 cs.LG stat.ML
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
A Fast Factorization-based Approach to Robust PCA
Southern Illinois University（南伊利诺伊大学）
鲁棒主元分析（RPCA）在数据采掘和机器学习问题中被广泛用于恢复低秩矩阵。它将数据矩阵分解为低秩部分和稀疏部分。文献中已经对凸方法进行了深入研究。然而，由于需要求解大型矩阵的（部分）奇异值分解，用于凸方法的最新算法通常具有相对较高的复杂度。一个非凸的方法，AltProj，也提出了更轻的复杂性和更好的可扩展性。给定底层低秩矩阵的真实秩$r$，AltProj具有$O(r^2dn)$的复杂度，其中$d\times n$是数据矩阵的大小。本文提出了一种新的基于因子分解的RPCA模型，其复杂度为$O(kdn)$，其中$k$是真秩的上界.我们的方法不需要真实秩的精确值。从大量的实验中，我们观察到，AltProj可以工作，只有当$r$是事先精确已知的;然而，当所需的排名参数$r$指定为一个值不同于真正的排名，AltProj不能完全分离的两个部分，而我们的方法成功。即使两者都起作用，我们的方法也比AltProj快4倍。我们的方法可以作为一个轻量级的，可扩展的工具，RPCA的真实排名的精确值的情况下。
2016-09-27 cs.AI cs.CV stat.ML
Non-convex Robust PCA
Microsoft Research（微软研究院）；The University of California at Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一种新的方法，强大的PCA -的任务，恢复一个低秩矩阵的稀疏腐败是未知的价值和支持。我们的方法涉及到适当的残差投影到低秩矩阵集和稀疏矩阵集之间的交替，每个投影是{ \em非凸}，但易于计算。尽管这种非凸性，我们建立精确的恢复的低秩矩阵，在相同的条件下，所需的现有方法（这是基于凸优化）。对于$m \times n$输入矩阵（$m \leq n)$），我们的方法每次迭代的运行时间为$O(r^2mn)$，需要$O(\log(1/ε))$迭代才能达到$ε$的精度。这接近于通过幂方法的简单PCA的运行时间，其需要$O(rmn)$每次迭代和$O(\log(1/ε))$迭代。相比之下，基于凸优化的鲁棒PCA的现有方法每次迭代具有$O(m^2n)$复杂度，并且进行$O(1/ε)$迭代，即，以指数方式进行更多的迭代以获得相同的精度。在合成和真实数据上的实验表明，我们的方法比现有的凸实现方法提高了速度和精度。
2014-10-28 cs.IT cs.LG math.IT
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Sparse Equisigned PCA: Algorithms and Performance Bounds in the Noisy Rank-1 Setting
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）
基于奇异值分解（SVD）的主成分分析（PCA）在高维和有限的样本量范围内失效，低于取决于系统的维数和样本的样本个数的某个临界特征SNR。低于这个临界特征SNR，SVD返回的估计值与潜在主成分渐近不相关。我们考虑一种设置，其中底层秩一信号矩阵的左奇异向量被假设为稀疏的，并且右奇异向量被假设为等符号的，即，具有仅非负或仅非正的条目。我们考虑六种不同的算法，估计稀疏的主成分基于不同的统计标准，并证明，通过利用稀疏性，我们恢复相合估计在低特征信噪比制度的SVD失败。我们的分析揭示了条件下，一个基于\textit{sum-type decision statistic}的坐标选择方案优于计划，利用$\ell_1$和$\ell_2$规范为基础的统计。我们推导出主左奇异向量的可检测坐标的大小的下界，并利用这些下界推导出最坏情况下的风险的下界。最后，我们用数值模拟验证了我们的发现，并用视频数据示例说明了性能，其中兴趣在于识别对象。
2019-12-16 cs.LG eess.SP math.ST
Phase Transitions in Sparse PCA
研究了稀疏主成分分析中非零元素个数较少但与数据维数同阶时的最优估计问题。我们采用近似消息传递（AMP）算法和它的状态演化来分析什么是信息理论上的最小均方误差和一个由AMP实现的限制，大尺寸。对于秩为1且非零点的密度足够大的特殊情况，Deshpande和Montanari [1]证明了AMP是渐近最优的。我们发现，无论是低密度和大秩的问题经历了一系列的相变，这表明存在的一个区域的参数估计是信息理论上是可能的，但AMP（大概每一个其他多项式算法）失败。对大秩极限的分析特别有指导意义。
2015-03-01 cond-mat.stat-mech cs.IT math.IT
Power Iteration for Tensor PCA
在本文中，我们研究了尖峰张量模型的幂迭代算法，如[44]中所介绍的。给出了幂迭代算法收敛的充要条件。当幂迭代算法收敛时，对于秩为1的尖峰张量模型，我们证明了信号的尖峰强度和线性泛函的估计是渐近高斯的;对于多秩尖峰张量模型，我们证明了估计是渐近高斯混合的.这一新现象与基质模型不同。使用这些渐近结果，我们的估计，我们构建有效和高效的置信区间的尖峰强度和线性泛函的信号。
2020-12-26 math.PR math.ST stat.TH
Sparse PCA through Low-rank Approximations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stochastic Technologies（Stochastic Technologies（随机科技公司））
我们介绍了一种新的算法，计算$k$ -稀疏的半正定矩阵$A$的主成分。我们的算法是组合的，并通过检查一组离散的特殊向量躺在一个低维的特征子空间的$A$。我们得到可证明的近似保证，依赖于矩阵的谱衰减曲线：特征值衰减越快，我们的近似质量越好。例如，如果$A$的本征值遵循幂律衰减，则我们可以获得任何所需精度的多项式时间近似算法。我们的计划的一个关键算法组件是一个组合特征消除步骤，可证明是安全的，并在实践中显着降低了我们的算法的运行复杂性。我们实现了我们的算法，并在多个人工和真实数据集上进行了测试。由于特征消除步骤，可以在几分钟内对由数百万个条目组成的数据集执行稀疏PCA。我们的实验评估表明，我们的计划是接近最佳的，而找到非常稀疏的向量。我们比较现有技术的状态，并表明我们的计划匹配或优于以前的算法在所有测试数据集。
2014-05-08 cs.IT cs.LG math.IT
Kronecker PCA Based Robust SAR STAP
在这项工作中，多天线合成孔径雷达运动目标的检测被认为是。作为一种高分辨率的雷达成像方式，SAR能够很好地检测和识别静止目标，这使其具有传统GMTI雷达所无法比拟的优势。运动目标检测是更具有挑战性的，由于“掩埋”的运动目标在杂波中，往往是实现使用空时自适应处理（STAP）（基于学习滤波器从时空杂波协方差），以消除静态杂波和增强运动目标。在这项工作中，它是注意到，除了经常提到的低秩结构，杂波协方差也自然的形式与低秩因子的空间与时间克罗内克积。提出了一种低秩KronPCA协方差估计算法来利用这种结构，并提出了一种基于Kronecker协方差估计的可分离杂波抵消滤波器。总之，这些提供了所需训练样本数量的数量级减少，以及对训练数据的损坏（例如，由于离群值和移动目标）的改进的鲁棒性。推导了该估计算法的理论性质，并在球不变随机向量模型（SIRV）下建立了训练复杂度的显着降低。最后，这种方法将多通道数据（变化检测）的扩展。仿真结果和实验使用真正的Gotcha SAR GMTI挑战数据集，证实了我们的方法相对于现有技术的优势。
2015-10-01 stat.AP stat.ME
A Dictionary Based Generalization of Robust PCA
University of Minnesota-Twin Cities（明尼苏达大学双城分校）
我们分析了数据矩阵的分解，假设是一个低秩分量和一个已知字典中稀疏的分量的叠加，使用凸分层方法。我们提供了一个统一的分析，包括欠完备和过完备字典的情况下，并表明，组成部分可以成功地恢复在一些相对温和的假设下，一定的$\textit{global}$稀疏水平。此外，我们证实了我们的理论结果，提出经验评估的相变在不同的字典大小的秩和稀疏性。
2019-02-21 cs.LG math.OC stat.ML
Phase Transition in the Recovery of Rank One Matrices Corrupted by Gaussian Noise
在参数数目固定、样本个数较大的数据集中，主成分分析（PCA）是一种有效的降维工具。然而，在许多当代数据集中，当参数的数量与样本量相当时，PCA可能会产生误导。一个密切相关的问题是：是否有可能在存在大量噪声的情况下恢复秩一矩阵？在这两种情况下，在矩阵的本征结构中存在相变。
2019-02-13 math.PR math.ST stat.TH
Sparse corruption in low-rank matrix inference: the PCA benchmark
King's College London, Department of Mathematics（伦敦国王学院数学系）；University of Bologna, Department of Mathematics（博洛尼亚大学数学系）
本文以PCA为基准，研究低秩矩阵推断中稀疏噪声损坏的情况，利用复制方法解析得到两个信号强度相变，通过数值对角化验证了理论，还恢复了密集噪声的相关结果。
2026-08-11 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
The bootstrap, covariance matrices and PCA in moderate and high-dimensions
我们认为，作为一种工具，推断有关的特征值的样本协方差阵计算从$n\times p$数据矩阵$X$的引导的属性。我们专注于现代的框架，其中$p/n$不接近0，但仍然有界的$n$和$p$趋于无穷大。通过混合的数值和理论的考虑，我们表明，在一般情况下，引导是不是一个可靠的推理工具，我们考虑的设置。然而，在总体协方差阵由有限秩矩阵很好地近似的情况下，自举的表现与其在有限维中的表现一样。
2016-08-02 math.ST stat.ME stat.TH
RELARM: A rating model based on relative PCA attributes and k-means clustering
根据视觉识别中广泛使用的相对属性概念，对一类由参数向量定义的对象，建立了相对PCA属性的定义。采用相对PCA属性排序函数描述评分对象，并结合k均值聚类算法，建立了一种新的评分模型（CARM）。每个评级对象的评级分配到一个评级类别的聚类中心投影的结果，特别选择的评级向量。实证研究表明，与现有的标准普尔、穆迪和惠誉评级非常接近。
2016-08-23 q-fin.CP q-fin.RM stat.AP
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析（PCA）被广泛用于降维，在涉及高维数据的各种应用中具有良好的记录优点，包括计算机视觉、偏好测量和生物信息学。在这种情况下，这里提倡的新外观渗透了变量选择和压缩采样的好处，以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -（伪）范数正则化的标准，鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛，这自然会导致一个家庭的强大的估计，包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值，这相当于控制离群值矩阵沿着（组）最小绝对收缩和选择算子（Lasso）解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外，所开发的离群感知PCA框架是通用的，以适应新的和可扩展的算法：i）随着新数据的实时获取，鲁棒地跟踪低秩信号子空间;以及ii）在（可能）无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性，当用于识别异常的反应，在人格评估调查，以及揭开社区的社交网络，和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
A Three-Stage PCA Procedure for Sequentially Arriving High-Dimensional Data
Florida State University（佛罗里达州立大学）；Krea University（克雷亚大学）；Indian Institute of Technology Jodhpur（印度理工学院乔德普尔分校）
提出一种三阶段自适应PCA程序，平衡压缩损失与采样成本，通过中间阶段更新避免依赖未知特征值，实现一阶和二阶效率，并在模拟和癌症基因数据中验证其性能。
2026-10-01 math.ST stat.ME stat.TH
Two Proposals for Robust PCA using Semidefinite Programming
主成分分析（PCA）的性能受到严重的离群值的存在。提出了两种基于半定规划的鲁棒主成分分析方法。第一种方法，最大平均绝对偏差舍入（MDR），寻求大的传播方向的数据，同时阻尼离群值的影响。第二种方法产生数据的低杠杆分解（LLD），试图通过分离出损坏的观察结果来形成数据的低秩模型。本文还提出了有效的计算方法来解决这些SDP。数值实验证实了这些新技术的价值。
2010-12-14 stat.CO
Information-theoretically Optimal Sparse PCA
稀疏主成分分析（PCA）是一种降维技术，其中人们寻求数据矩阵的低秩表示，并对所获得的表示进行额外的稀疏约束。我们考虑稀疏PCA的两个概率公式：尖峰Wigner和尖峰Wishart（或尖峰协方差）模型。我们分析了一个近似消息传递（AMP）算法来估计潜在的信号，并显示，在高维的限制，AMP的估计是信息理论上最优的。作为一个直接的推论，我们的研究结果表明，后验期望的基础信号，这往往是难以计算的，可以得到使用多项式时间计划。我们的研究结果还有效地提供了一个单一的字母特征的稀疏PCA问题。
2014-05-03 cs.IT math.IT math.ST
Panoramic Robust PCA for Foreground-Background Separation on Noisy, Free-Motion Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的鲁棒PCA方法，用于自由移动摄像机视频的前景-背景分离，可能存在密集和稀疏的损坏。我们所提出的方法注册的帧损坏的视频，然后编码的角度变化所产生的摄像机运动作为缺失数据在一个全球模型。该公式允许我们的算法产生一个全景背景组件，该组件自动将部分重叠帧中的损坏数据拼接在一起，以重建完整的视场。我们将注册的视频建模为捕获背景的低秩组件、捕获场景的动态前景的平滑组件以及隔离视频中可能的离群值和其他稀疏损坏的稀疏组件的总和。我们的模型的低秩部分是基于最近的低秩矩阵估计（OptShrink），已被证明在实践中产生优越的低秩子空间估计。为了估计我们模型的平滑前景分量，我们使用了一个加权总变差框架，使我们的方法能够可靠地将视频的真实前景与稀疏损坏解耦。我们对受到各种密集和稀疏损坏的静态和移动摄像机视频进行了广泛的数值实验。我们的实验表明，我们提出的方法相比，现有的方法在前景和背景估计精度方面的最先进的性能。
2019-01-04 cs.CV stat.ML
Provable Inductive Robust PCA via Iterative Hard Thresholding
Microsoft Corporation（微软公司）；Conduent Labs India（Conduent印度实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of California Irvine（加利福尼亚大学尔湾分校）；Xerox Research Centre India（施乐印度研究中心）
鲁棒PCA问题是机器学习中的一个研究得很好的问题，其中，给定的输入数据矩阵是低秩矩阵和稀疏矩阵的叠加，我们的目标是分离出低秩和稀疏分量。一个自然出现的问题是，就像在归纳设置中一样，如果特征也作为输入提供，我们还能希望做得更好吗？在肯定这一点的同时，本文的主要目标是研究鲁棒PCA问题，同时将特征信息。在以前的作品中，恢复保证是基于凸松弛的问题，我们提出了一个简单的迭代算法的基础上硬阈值适当的残差。在较弱的假设条件下，证明了迭代过程的全局收敛性，并且具有更快的收敛速度和更小的每次迭代的计算复杂性.在实践中，通过系统的合成和真实数据模拟，我们证实了我们的理论研究结果，通过使用特征信息获得的改进。
2017-07-04 cs.IT cs.LG math.IT
Wald Statistics in high-dimensional PCA
在本说明中，我们考虑PCA的高斯观测$X_1,\dots, X_n$与协方差$Σ=\sum_i λ_i P_i$在“有效秩”设置与模型复杂性由$\mathbf{r}(Σ):=\text{tr}(Σ)/\| Σ\|$。我们证明了光谱投影仪$\hat P_r$的Wald统计量的Berry-Essen类型界。这可用于构造非渐近置信椭圆和光谱投影仪$P_r$的测试。利用高阶微扰理论，我们能够证明，我们的定理仍然有效，即使当$\mathbf{r}(Σ) \gg \sqrt{n}$。
2018-05-10 math.ST stat.TH
Functional Data Analysis by Matrix Completion
函数数据分析通常通过平滑进行，然后进行函数PCA。这种范例隐含地假设粗糙的变化是由于滋扰噪声。尽管如此，相关的功能特征，如时间局部化或短尺度波动可能确实是粗糙的相对于全球尺度，但仍然在较短的尺度平滑。这些可能与平滑和PCA的全局平滑变化分量混淆，可能会扭曲分析的简约性和可解释性。本文的目标是研究如何平滑和粗糙的变化可以恢复离散观测的功能数据的基础上。假设一个功能数据产生的两个不相关的组件，一个光滑和粗糙的总和，我们开发的两个相应的协方差算子的恢复可识别性条件。关键的见解是，它们应该具有互补形式的简约性：一个光滑和有限的秩（大规模），另一个带状和潜在的无限秩（小规模）。我们的条件阐明了等级，带宽和网格分辨率之间的精确相互作用。在这些条件下，我们表明，恢复问题是等价的秩约束矩阵完成，并利用这两个协方差的估计，而不假设知识的真实带宽或秩，我们研究其渐近行为，然后用它们来恢复每个功能数据的平滑和粗糙的组成部分，最好的线性预测。因此，我们有效地产生单独的功能PCA的平滑和粗糙的变化。
2018-09-18 math.ST stat.ME stat.TH
MM-PCA: Integrative Analysis of Multi-group and Multi-view Data
数据整合是将多个数据组（研究，队列）和/或多个数据视图（变量，特征）相结合的问题。由于大型和异构数据集的普遍存在，这项任务在许多学科中变得越来越重要。数据集成通常旨在识别跨多个群组和特征集一致的结构。虽然这种联合分析可以从单个数据集中获得更多信息，但也有可能对异构数据进行全球限制性整合，从而掩盖感兴趣的信号。因此，在这里，我们提出了一种数据自适应集成方法，允许在数据中的结构被共享在一个先验未知的\emph{subset of cohorts and views}。该方法，多组多视图主成分分析（MM-PCA），确定部分共享，稀疏的低秩组件。这也导致跨群组和视图的综合双聚类。MM-PCA的优势在模拟数据和来自癌症基因组图谱的组学数据上进行了说明。MM-PCA可作为R包提供。关键词：数据集成，多视图，多组，双聚类
2019-11-12 q-bio.GN stat.AP stat.ME
ALPCAH: Sample-wise Heteroscedastic PCA with Tail Singular Value Regularization
本文提出ALPCAH方法，用于估计样本级噪声方差并改进PCA子空间估计，无需分布假设或已知噪声方差，模拟实验验证了其有效性，并与PCA、RPCA和HePPCAT等方法进行了比较。
2023-11-12 eess.SP stat.ML
Tensor PCA for Factor Models
针对高维面板数据，提出张量因子模型及张量主成分分析算法，证明其在强因子下最优，弱因子下可通过交替最小二乘法提升收敛速度，并首次提出因子数量检验方法及缺失值填补应用。
2025-03-06 econ.EM math.ST stat.AP
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis
Duke University（杜克大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们开发了一个新的框架，捕捉常见的非凸低秩矩阵问题，包括矩阵传感，矩阵完成和强大的PCA的共同景观。特别地，我们证明了所有上述问题（包括非对称情况）：1）所有局部极小值也是全局最优的; 2）不存在高阶鞍点。这些结果解释了为什么简单的算法，如随机梯度下降具有全局收敛性，并在实践中有效地优化这些非凸目标函数。我们的框架连接和简化了现有的分析优化景观矩阵传感和对称矩阵完成。该框架自然会导致新的结果，非对称矩阵完成和强大的PCA。
2017-04-03 cs.LG math.OC stat.ML
Influential Feature PCA for high dimensional clustering
我们考虑一个聚类问题，我们观察特征向量$X_i \in R^p$，$i = 1, 2, \ldots, n$，从$K$可能的类。类标签是未知的，主要的兴趣是估计它们。我们主要感兴趣的是现代政权的$p \gg n$，经典的聚类方法面临的挑战。我们提出了影响特征PCA（IF-PCA）作为一种新的聚类过程。在IF-PCA中，我们选择了一小部分的功能与最大的Kolmogorov-Smirnov（KS）的分数，其中的阈值是通过调整最近的概念更高的批评，获得的第一个$(K-1)$左奇异向量的后选择归一化的数据矩阵，然后估计标签通过应用经典的k-均值对这些奇异向量。可以看出，IF-PCA是一种免调谐的聚类方法。我们将IF-PCA应用于$10$基因微阵列数据集。该方法在聚类方面具有较好的性能。特别是，在三个数据集，IF-PCA的错误率只有$29\%$或更少的错误率的其他方法。我们还重新发现了\cite{Efron}对微阵列数据的经验无效现象。通过细致的分析，特别是后选择特征分析，我们得到严格的概率界的Kolmogorov-Smirnov统计，并表明，IF-PCA产生聚类一致性在广泛的背景下。聚类问题与稀疏PCA和低秩矩阵恢复问题有关，但在重要方面有所不同。我们揭示了一个有趣的相变现象与这些问题，并确定每个感兴趣的范围。
2015-12-16 math.ST stat.ME stat.TH
