Sparse Kernel PCA for Outlier Detection
Indian Institute of Technology Bombay（孟买印度理工学院）
在本文中，我们提出了一种新的方法来执行稀疏核主成分分析（SKPCA），并从数学上分析SKPCA的有效性。我们将SKPCA公式化为具有弹性网络正则化的约束优化问题（Hastie等人）。在核特征空间，并解决它。我们认为离群检测（其中采用KPCA）作为SKPCA的应用，使用RBF核。我们在5个真实世界的数据集上进行了测试，结果表明，仅使用4%（甚至更少）的主成分（PC），其中每个PC在所有5个数据集的最坏情况下平均具有不到12%的非零元素，我们能够几乎匹配，并且在3个数据集中甚至优于KPCA。我们还比较了我们的方法的性能与最近提出的SKPCA方法由王等人。并表明，我们的方法在精度和稀疏性方面表现更好。我们还提供了一个新的概率证明，证明稀疏解决方案的存在，使用RBF核的KPCA。据我们所知，这是第一次尝试从理论上分析SKPCA的有效性。
2018-09-13 cs.LG stat.ML
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology（大连理工大学）
主成分分析（PCA）作为机器学习中一种广泛应用的方法，具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题，许多鲁棒主成分分析（RPCA）已经改善了这一问题。然而，现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题，本文提出了角度嵌入（AE）制定一个简单的RPCA方法的基础上的角度密度，这是改进的大规模或高维数据。此外，一个修剪AE（TAE）被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明，所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Robust factored principal component analysis for matrix-valued outlier accommodation and detection
Yunnan University of Finance and Economics（云南财经大学）
针对FPCA在矩阵数据上易受异常值影响的问题，提出基于矩阵变量t分布的RFPCA及快速EM型估计算法，实现鲁棒降参与异常值检测。
2021-12-13 cs.LG stat.ML
Sparse outlier-robust PCA for multi-source data
本文提出一种稀疏鲁棒PCA方法，用于多源数据联合分析，同时选择重要特征、检测稀疏模式并鲁棒于异常值。
2024-07-23 stat.ME stat.ML
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析（PCA）被广泛用于降维，在涉及高维数据的各种应用中具有良好的记录优点，包括计算机视觉、偏好测量和生物信息学。在这种情况下，这里提倡的新外观渗透了变量选择和压缩采样的好处，以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -（伪）范数正则化的标准，鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛，这自然会导致一个家庭的强大的估计，包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值，这相当于控制离群值矩阵沿着（组）最小绝对收缩和选择算子（Lasso）解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外，所开发的离群感知PCA框架是通用的，以适应新的和可扩展的算法：i）随着新数据的实时获取，鲁棒地跟踪低秩信号子空间;以及ii）在（可能）无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性，当用于识别异常的反应，在人格评估调查，以及揭开社区的社交网络，和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
Principal Component Analysis Based on T$\ell_1$-norm Maximization
Capital University of Economics and Business（首都经济贸易大学）；Hainan University（海南大学）；China Agricultural University（中国农业大学）
经典的主成分分析（PCA）可能会受到异常值和噪声的敏感性。因此，本文研究了基于$\ell_1$ -范数和$\ell_p$ -范数（$0 < p < 1$）的主成分分析.其中，基于$\ell_p$ -范数的算法从鲁棒性的角度来看是最有趣的。然而，它们的数值性能并不令人满意。注意，虽然T $\ell_1$ -norm在某种意义上类似于$\ell_p$ -norm（$0 < p < 1$），但它对离群值具有更强的抑制作用，并且具有更好的连续性。为此，本文提出了基于T $\ell_1$ -范数的主成分分析方法。数值实验表明，它的性能明显优于PCA- $\ell_p$和$\ell_p$ SPCA以及PCA，PCA- $\ell_1$.
2020-05-23 cs.LG stat.ML
Refined Complexity of PCA with Outliers
University of Bergen（卑尔根大学）
主成分分析（PCA）是探索性数据分析中最基本的程序之一，是从定量金融和生物信息学到图像分析和神经科学等应用的基本步骤。然而，有充分的证据表明，PCA在许多实际情况下的适用性可能受到对异常值（如损坏的观察结果）的“免疫缺陷”的限制。我们考虑以下关于具有离群值的PCA的算法问题。对于$\mathbb{R}^{d}$中的一组$n$点，如何学习点的子集，比如点总数的1%，使得点的剩余部分最好地拟合到某个未知的$r$维子空间中？我们提供了一个严格的算法分析的问题。我们证明了这个问题在时间上是可解的$n^{O(d^2)}$。特别地，对于常数维数，该问题在多项式时间内是可解的。我们通过下界对算法结果进行了补充，表明除非指数时间假设在时间$f(d)n^{o(d)}$上失败，否则对于$d$的任何函数$f$，不仅不可能精确地解决问题，甚至不可能在常数因子内对其进行近似。
2019-05-10 cs.DS cs.LG
Coherence Pursuit: Fast, Simple, and Robust Principal Component Analysis
University of Central Florida（中佛罗里达大学）
本文提出了一种非常简单，但功能强大，算法称为相干追踪（CoP）的强大的主成分分析（PCA）。由于内点位于低维子空间中并且大部分是相关的，因此内点可能与大量数据点具有强的互相关性。相比之下，离群值要么不承认低维结构，要么形成小集群。在这两种情况下，离群值不太可能与大量数据点有很强的相似性。考虑到这一点，CoP通过比较它们与其余数据点的一致性来将离群值与内点区分开来。通过形成归一化数据点的Gram矩阵来计算相互相干性。随后，从与其余数据表现出强相干性的数据点的子集的跨度中恢复所寻找的子空间。由于CoP仅涉及一个简单的矩阵乘法，因此它比最先进的鲁棒PCA算法快得多。我们得到分析性能保证CoP在不同的模型下的分布的内点和离群点在无噪声和噪声设置。CoP是第一个鲁棒的PCA算法，它同时是非迭代的，可证明对非结构化和结构化离群值都是鲁棒的，并且可以容忍大量的非结构化离群值。
2017-07-13 cs.LG stat.ML
Optimal Bound for PCA with Outliers using Higher-Degree Voronoi Diagrams
mathdep.iust.ac.ir（伊朗伊斯兰科技与应用科学大学数学系）；iust.ac.ir（伊朗伊斯兰科技与应用科学大学）
针对含异常值的PCA问题，提出基于高阶Voronoi图的最优算法及基于Grassmann流形采样的随机算法，给出相应时间复杂度与成功概率，在高维大数据场景下具备优势。
2025-10-06 cs.LG
Consistent Estimation for PCA and Sparse Regression with Oblivious Outliers
ETH Zürich（苏黎世联邦理工学院）
我们开发的机械设计有效的可计算和一致的估计，实现估计误差接近零的观测数量的增长，当面对一个不经意的对手，可能会腐败的响应，但$α$部分的样本。作为具体的例子，我们研究两个问题：稀疏回归和主成分分析（PCA）。对于稀疏回归，我们实现了最佳样本量$n\gtrsim (k\log d)/α^2$和最佳错误率$O(\sqrt{(k\log d)/(n\cdot α^2)})$的一致性，其中$n$是观测值的数量，$d$是维度的数量，$k$是参数向量的稀疏性，允许内点的分数在样本数量中是逆多项式。在此之前的工作，没有估计是一致的内点$α$的分数是$o(1/\log \log n)$，即使是（非球形）高斯设计矩阵。在弱设计假设和存在这种一般噪声的情况下，结果仅在密集设置中显示（即，一般线性回归）最近由d'Orsi等人[dNS 21]。在PCA的上下文中，我们在参数矩阵（通常用于矩阵完成）的广泛尖峰假设下获得最佳误差保证。先前的工作仅在假设对应于内点的测量噪声在$n$中多项式地小（例如，具有方差的高斯$1/n^2$）。为了设计我们的估计，我们配备了Huber损失与非光滑正则化，如$\ell_1$规范或核规范，并扩展d'Orsi等人。的方法[dNS21]以一种新的方式来分析损失函数。我们的机器似乎很容易适用于广泛的估计问题。
2021-11-04 cs.LG stat.ML
Robust PCA via Outlier Pursuit
Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
奇异值分解（和主成分分析）是最广泛使用的降维技术之一：成功且可有效计算，但它仍然受到众所周知的，有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而，在SVD或PCA的应用中，如鲁棒协同过滤或生物信息学，恶意代理，有缺陷的基因，或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法，我们称之为离群值追踪，在一些温和的假设下，对未损坏的点（满足，例如，通过PCA问题中的标准生成假设）恢复精确的最优低维子空间，并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解，然而，我们的结果，设置和方法，必然与矩阵完成和矩阵分解中的现有工作线有很大不同，因为我们开发了一种方法来恢复未损坏矩阵的正确列空间，而不是确切的矩阵本身。在任何问题中，人们试图恢复一个结构，而不是确切的初始矩阵，迄今为止开发的技术依赖于证书的最优性，将失败。我们提出了一个重要的扩展这些方法，允许治疗这样的问题。
2010-12-31 cs.IT cs.LG math.IT
Modal Principal Component Analysis
University of Tsukuba（筑波大学）；The Institute of Statistical Mathematics（统计数理研究所）
主成分分析（PCA）是一种广泛用于数据处理的方法，例如用于降维和可视化。已知标准PCA对异常值敏感，因此，已经提出了各种鲁棒PCA方法。它已被证明，许多统计方法的鲁棒性可以提高使用模式估计，而不是平均估计，因为模式估计是不显着的离群值的存在影响。因此，本研究提出一种模态主成分分析（MPCA），这是一种基于模态估计的稳健PCA方法。该方法通过估计投影数据点的模式来找到次要分量。作为理论贡献，我们推导了该算法的概率收敛性、影响函数、有限样本崩溃点及其下界。实验结果表明，该方法比传统方法具有优势。
2020-08-07 cs.LG stat.ML
Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
本文在存在（1）随机噪声、（2）稀疏粗离群值和（3）缺失数据的情况下，为低秩矩阵估计的凸规划方法提供了改进的理论保证。这个问题，通常被称为鲁棒主成分分析（鲁棒PCA），发现在各个领域的应用。尽管凸松弛的广泛适用性，可用的统计支持（特别是相对于随机噪声的稳定性分析）仍然是高度次优的，我们在本文中加强。当未知矩阵是良好的条件下，不连贯的，和恒定的秩，我们证明了一个原则性的凸计划达到接近最佳的统计精度，在欧几里得损失和$\ell_{\infty}$损失。所有这一切都发生在几乎恒定比例的观测值被任意大小的离群值破坏的情况下。其关键的分析思想在于将所使用的凸规划与一个辅助的非凸优化算法连接起来，这也是本文的题目。
2021-02-28 cs.IT cs.LG eess.SP
MacroPCA: An all-in-one PCA method allowing for missing values as well as cellwise and rowwise outliers
多元数据通常由矩形矩阵（表格）表示，其中行是对象（案例），列是变量（测量）。当存在许多变量时，人们通常通过主成分分析（PCA）来降低维度，其基本形式对离群值不鲁棒。许多研究都集中在处理行离群值，即偏离数据中大多数行的行（例如，它们可能属于不同的总体）。近年来，细胞离群值也受到关注。这些是可疑单元格（条目），可能出现在表中的任何位置。即使是相对较小比例的外围单元也会污染超过一半的行，这会导致行级鲁棒方法崩溃。本文提出了一种新的PCA方法，它结合了现有的两个强大的方法的优势，以是强大的对细胞和行离群值。同时，该算法可以处理缺失值。到目前为止，它是唯一可以同时处理所有三个问题的PCA方法。MacroPCA是PCA的缩写，允许Missingness和Cellwise & Rowwise Outliers。几个模拟和真实数据集说明了它的鲁棒性。引入了新的残差图，这有助于确定哪些变量负责离群行为。该方法非常适合在线过程控制。
2018-12-09 stat.ME
Robust Singular Values based on L1-norm PCA
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
奇异值分解（SVD）是工程、科学和统计学中普遍存在的数据分析方法。特别地，奇异值估计在一系列工程应用中是至关重要的，例如通信系统中的信道估计、肌电图信号分析和图像压缩，仅举几例。数据矩阵的常规SVD与标准主成分分析（PCA）一致。PCA的L2范数（平方值之和）公式化促进外围数据点，并且因此使PCA对离群值敏感。自然地，SVD继承了这种离群值敏感性。在这项工作中，我们提出了一种新的鲁棒非参数方法的SVD和奇异值估计的基础上的L1范数（绝对值之和）制定，我们命名为L1-cSVD。因此，所提出的方法显示出对异常值的强大抵抗力，并且可以在广泛的工程应用中促进更可靠的数据分析和处理。
2022-10-21 cs.LG eess.SP
Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection
University of California, Los Angeles（加州大学洛杉矶分校）；Damo Academy, Alibaba US（阿里巴巴美国达摩院）
鲁棒主元分析（RPCA）是现代机器学习中的一个重要工具，用于检测低秩矩阵重构任务中的异常值。在本文中，我们提出了一个可扩展的和可学习的非凸的高维RPCA问题，我们称之为学习鲁棒PCA（LRPCA）的方法。LRPCA是高效的，其自由参数可以通过深度展开有效地学习以进行优化。此外，我们通过一种新的前馈-递归-混合神经网络模型，将深度展开从有限迭代扩展到无限迭代。我们建立了恢复保证LRPCA温和的假设下RPCA。数值实验表明，LRPCA优于最先进的RPCA算法，如ScaledGD和AltProj，在合成数据集和现实世界的应用。
2021-10-11 cs.CV cs.IT cs.LG
Adaptive PCA-Based Outlier Detection for Multi-Feature Time Series in Space Missions
KTH Royal Institute of Technology, Computer Science Dept.（皇家理工学院）；Johns Hopkins University Applied Physics Laboratory（约翰·霍普金斯大学应用物理实验室）
本文提出一种基于增量PCA重建误差的自适应异常检测算法，用于航天任务多特征时间序列的实时事件检测，并通过MMS和THEMIS数据验证了其有效性。
2025-10-23 cs.LG physics.space-ph
Robust PCA: Optimization of the Robust Reconstruction Error over the Stiefel Manifold
Saarland University（萨尔兰大学）
主成分分析（PCA）受异常值的影响很大，人们对PCA的鲁棒性进行了大量的研究。在本文中，我们提出了一种新的算法，鲁棒PCA最小化修剪重建误差。通过直接在Stiefel流形上最小化，我们避免了投影寻踪方法经常使用的紧缩。与其他鲁棒PCA方法不同，我们的方法没有自由参数，计算效率非常高。我们说明了各种数据集上的性能，包括应用背景建模和减法。我们的方法执行更好或类似于当前最先进的方法，同时更快。
2015-06-01 cs.LG stat.ML
Capturing the Denoising Effect of PCA via Compression Ratio
University of Southern California（南加州大学）
本文提出了一种名为压缩比的新度量标准，以量化主成分分析（PCA）对高维噪声数据的去噪效果，并基于该指标设计了一种异常值检测算法，在理论和实验上证明了其在提升聚类准确性方面与现有流行工具同样具有竞争力。
2024-04-22 cs.LG
Robust PCA with FastHCS
主成分分析（PCA）被广泛用于分析高维数据，但它对异常值非常敏感。稳健的PCA方法寻求不受离群值影响的拟合，因此可以信任它们。FastHCS（High-dimensional Congruent Subsets）是一种强大的PCA算法，适用于高维应用，包括变量数量超过观测数量的情况。在详细介绍了FastHCS算法之后，我们进行了广泛的仿真研究和三个实际数据应用，结果表明FastHCS比最先进的方法对离群值具有更强的鲁棒性。
2015-09-24 math.ST stat.AP stat.CO
Riemannian CUR Decompositions for Robust Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）
稳健主成分分析（PCA）近年来受到广泛关注。它的目的是恢复一个低秩矩阵和稀疏矩阵从他们的总和。本文提出了一种新的非凸鲁棒PCA算法，创造黎曼CUR（RieCUR），它利用黎曼优化和鲁棒CUR分解的思想。该算法与目前最先进的迭代鲁棒CUR算法具有相同的计算复杂度，但对离群值更具鲁棒性。RieCUR也能够容忍大量的离群值，并且与加速交替投影相当，加速交替投影具有高离群值容限，但计算复杂度比所提出的方法更差。因此，该算法在计算复杂度和离群值容限方面都实现了鲁棒PCA的最新性能。
2022-06-17 cs.LG cs.NA math.NA
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Pre-treatment of outliers and anomalies in plant data: Methodology and case study of a Vacuum Distillation Unit
The University of Manchester（曼彻斯特大学）；Process Integration Limited（Process Integration有限公司）
数据预处理在提高数据质量方面起着重要作用，从而可以从原始数据中提取准确的信息。异常值检测是数据预处理中常用的技术之一。所谓的3 $σ$方法是识别异常值的常用方法。如手稿所示，它没有识别所有离群值，导致数据的总体统计可能失真。这个问题可能会对进一步的数据分析产生重大影响，并可能导致预测模型的准确性降低。异常值检测有很多种技术，但是，除了理论工作之外，它们都需要案例研究工作。考虑了两种类型的离群值：短期（错误数据、噪声）和长期离群值（例如，故障持续时间较长）。所用数据取自亚洲一家炼油厂的真空蒸馏装置，包括40个物理传感器（温度、压力和流速）。我们使用了一种改进的3个$σ$阈值的方法来识别短期离群值，即将传感器数据划分为由变化点确定的块，并在每个块内计算3个$σ$阈值，表示接近正态分布。我们已经表明，分段3 $σ$方法提供了一个更好的方法来检测短期离群值比3 $σ$方法适用于整个时间序列。然而，这对于长期离群值（可能代表数据中的另一种状态）表现不佳。在这种情况下，我们使用主成分分析（PCA）与霍特林的$T^2$统计，以确定长期离群值。用主成分分析得到的结果进行DBSCAN聚类分析。DBSCAN也正确识别了离群值（视觉上明显，并通过PCA方法正确检测到），这支持了PCA方法的一致性和准确性。
2021-06-17 cs.LG stat.AP
Pseudo-Bayesian Robust PCA: Algorithms and Analyses
KAIST（韩国科学技术院）；Osaka University（大阪大学）；Microsoft Research（微软研究院）
通常用于计算机视觉和其他应用中，鲁棒PCA代表了降低经典PCA对离群值的敏感性的算法尝试。其基本思想是学习将感兴趣的一些数据矩阵分解为低秩和稀疏分量，后者表示不需要的离群值。虽然由此产生的优化问题通常是NP难的，凸松弛提供了一个计算上方便的替代理论支持。然而，在实际制度的性能保证打破和各种非凸的替代方案，包括贝叶斯启发的模型，已被提出，以提高估计质量。然而不幸的是，在没有额外的先验知识的情况下，这些方法都不能显著地扩展临界操作范围，使得精确的主子空间恢复是可能的。到这个组合中，我们提出了一种新的伪贝叶斯算法，明确补偿设计的弱点，在许多现有的非凸的方法，导致国家的最先进的性能与健全的分析基础。令人惊讶的是，我们的算法甚至可以优于凸矩阵完成，尽管事实上，后者提供了完美的知识，其中条目没有损坏。
2016-10-07 cs.CV cs.LG stat.ML
Principal Component Analysis: A Generalized Gini Approach
提出了一种基于广义基尼相关指数的主成分分析方法（Gini PCA）。Gini PCA是基于方差的标准PCA的推广。它示出，在高斯的情况下，标准的PCA是等效的基尼PCA。它还证明了基于广义基尼相关矩阵的降维，依赖于城市街区的距离，是强大的离群值。蒙特卡罗模拟和应用程序的汽车数据（离群值）显示了基尼PCA的鲁棒性，并提供不同的解释相比，方差PCA的结果。
2019-10-22 econ.EM stat.CO stat.ME
Provable Dynamic Robust PCA or Robust Subspace Tracking
动态鲁棒PCA是指鲁棒PCA的动态（时变）扩展（RPCA）。它假设真实的（未损坏的）数据位于低维子空间中，该子空间可以随时间变化，尽管变化很慢。我们的目标是在稀疏离群值存在的情况下跟踪随时间变化的子空间。我们开发和研究一种新的算法，我们称之为简单的ReProCS，基于最近推出的递归投影压缩感知（ReProCS）框架。我们的工作提供了第一个保证，动态RPCA的标准RPCA假设，慢子空间变化和最离群值幅度的下限假设下，削弱版本。我们的结果是重要的，因为（i）它消除了之前两个基于ReProCS的算法的完全保证所需的强假设;（ii）它表明，与所有现有的RPCA或动态RPCA解决方案相比，通过利用上述两个简单的额外假设，可以实现显着改善的离群值容限;以及（iii）证明了simple-ReProCS是在线的（在初始化之后）、快速的，并且具有接近最优的存储器复杂度。
2018-09-19 cs.IT math.IT stat.ML
Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery
Iowa State University（爱荷华州立大学）；Université de La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）
PCA是最广泛使用的降维技术之一。一个相关的更简单的问题是“子空间学习”或“子空间估计”。给定相对干净的数据，两者都可以通过奇异值分解（SVD）轻松求解。存在离群值的子空间学习或PCA问题称为鲁棒子空间学习或鲁棒PCA（RPCA）。对于长数据序列，如果试图使用单个低维子空间来表示数据，则所需的子空间维度可能会非常大。对于这样的数据，一个更好的模型是假设它位于一个低维子空间，可以随着时间的推移而变化，尽管是逐渐变化的。跟踪这样的数据（和子空间），同时对离群值具有鲁棒性的问题被称为鲁棒子空间跟踪（Robust Subspace Tracking，简称SVM）。这篇文章提供了一个杂志式的概述整个领域的鲁棒子空间学习和跟踪。特别是三个问题的解决方案进行了详细讨论：通过稀疏+低秩矩阵分解（S+LR）的RPCA，通过S+LR，和“鲁棒子空间恢复（RSR）”的恢复。RSR假设整个数据向量要么是离群值，要么是内点。相反，S+LR公式假设离群值仅出现在少数数据向量索引上，因此被很好地建模为稀疏损坏。
2018-07-05 cs.CV cs.IT math.IT
Combining Structured and Unstructured Randomness in Large Scale PCA
Microsoft（微软）
主成分分析（PCA）是一种无处不在的工具，在机器学习中有许多应用，包括特征构建，子空间嵌入和离群点检测。在本文中，我们提出了一种算法，用于计算具有大量行（示例）和列（特征）的数据集的顶部主成分。我们的算法利用结构化和非结构化的随机投影，以保持良好的精度，同时计算效率。我们展示的技术上的获奖提交的KDD 2010杯。
2013-10-24 cs.LG
Towards a Theoretical Analysis of PCA for Heteroscedastic Data
主成分分析（PCA）是一种在给定噪声样本的情况下估计子空间的方法。它在从降维到异常检测和高维数据的可视化等各种问题中都很有用。PCA在存在中等噪声甚至缺失数据的情况下表现良好，但对离群值也很敏感。PCA也被称为具有相变时，噪声是独立的和相同的分布;恢复的子空间急剧下降阈值噪声方差。有效使用PCA需要对这些行为有严格的理解。本文为具有异方差噪声的样本（即具有非均匀噪声方差因此不再同分布的样本）的PCA分析迈出了一步。特别是，我们提供了一个简单的渐近预测恢复的一维子空间从嘈杂的异方差样本。该预测能够：a）简单有效地计算渐近性能，以及b）定性推理，以了解PCA如何受到异方差（如离群值）的影响。
2016-10-12 math.ST stat.ML stat.TH
Two Proposals for Robust PCA using Semidefinite Programming
主成分分析（PCA）的性能受到严重的离群值的存在。提出了两种基于半定规划的鲁棒主成分分析方法。第一种方法，最大平均绝对偏差舍入（MDR），寻求大的传播方向的数据，同时阻尼离群值的影响。第二种方法产生数据的低杠杆分解（LLD），试图通过分离出损坏的观察结果来形成数据的低秩模型。本文还提出了有效的计算方法来解决这些SDP。数值实验证实了这些新技术的价值。
2010-12-14 stat.CO
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
On the asymptotic properties of product-PCA under the high-dimensional setting
本文利用随机矩阵理论研究高维情形下乘积主成分分析（PPCA）特征值的渐近性质，推导出临界值、极限值及谱分布，并验证其相对PCA的优越性。
2024-12-14 math.ST stat.TH
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
On the efficiency-loss free ordering-robustness of product-PCA
针对PCA估计领先特征子空间时的特征值排序鲁棒性问题，提出更稳定的product-PCA（PPCA），证明其靠随机划分获得的鲁棒性无效率损失，可在有无异常值场景下替代常规PCA。
2025-03-21 stat.ME
A Fast Iterative Robust Principal Component Analysis Method
提出快速迭代鲁棒PCA方法，通过增量PCA迭代估计内点位置和协方差，减轻离群值影响，在模拟和真实数据上验证了竞争性精度与更强鲁棒性。
2025-06-19 cs.CE math.ST stat.TH
Highly robust factored principal component analysis for matrix-valued outlier accommodation and explainable detection via matrix minimum covariance determinant
本文提出高鲁棒因子主成分分析HRFPCA，利用MMCD估计量处理矩阵值重尾数据与异常值，并通过SODA图实现可解释检测。
2025-09-30 stat.ME
Outlier Detection and Data Clustering via Innovation Search
Baidu Research（百度研究院）
创新搜索的思想被提出作为一种数据聚类方法，其中利用新息的方向来计算邻接矩阵，它被证明是创新追求可以显着优于基于自我表示的子空间聚类方法。在本文中，我们提出了一个新的发现，创新的方向可以用来设计一个可证明的和强大的鲁棒性（离群）PCA方法。所提出的方法，被称为iSearch，使用方向搜索优化问题来计算对应于每个数据点的最佳方向。iSearch利用创新方向来衡量数据点的创新性，并将离群值识别为最具创新性的数据点。分析性能保证来自不同的模型下的离群值，包括随机分布的离群值，聚集的离群值，和线性相关的离群值的分布，建议的鲁棒PCA方法。此外，我们研究了子空间的联合中的离群点检测问题，并且证明了当内点位于子空间的联合中时，iSearch可证明地恢复了内点的跨度。此外，我们提出的理论研究表明，所提出的措施的创新仍然是稳定的存在噪声和iSearch的性能是强大的噪声数据。在具有挑战性的情况下，其中离群值彼此接近或接近内点的跨度，iSearch被证明显着优于大多数现有的方法。所提出的方法表明，新息方向是数据的有用表示，可用于执行数据聚类和离群值检测。
2019-12-30 cs.IT cs.LG math.IT
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University（首尔大学）
本文研究Winsorized主成分分析（WPCA）在子空间恢复中的理论性质，证明其一致性并推导扰动界限与崩溃点下界，表明其对异常值具有强鲁棒性，并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Higher degree sum-of-squares relaxations robust against oblivious outliers
ETH Zürich（苏黎世联邦理工学院）；Google Zürich（谷歌苏黎世）
我们考虑估计模型的形式$Y=X^*+N$，其中$X^*$是一些$m$维信号，我们希望恢复，和$N$是对称分布的噪声，可能是无界的，但在所有的小$α$分数的条目。我们介绍了一个家庭的算法，在温和的假设下恢复信号$X^*$在所有的估计问题，存在一个平方和算法，成功地恢复信号$X^*$时，噪声$N$是高斯的。这基本上表明，为了得到适用于对称噪声模型的算法，设计用于高斯噪声估计问题的平方和算法是足够的。我们的框架远远超出了以前的结果对称噪声模型，甚至是强大的对抗扰动。作为具体的例子，我们研究了两个问题，没有有效的算法已知的工作重尾噪声：张量PCA和稀疏PCA。对于前者，我们的算法恢复的主成分在多项式时间的信噪比至少为$\tilde{O}(n^{p/4}/α)$，匹配（对数因子）目前最知名的算法保证高斯噪声时。对于后者，我们的算法运行在准多项式时间，并匹配的准多项式时间算法的高斯噪声的情况下，最先进的保证。使用减少种植集团的问题，我们提供的证据表明，准多项式时间可能是必要的稀疏PCA与对称噪声。在我们的证明中，我们使用的覆盖数的伪期望，我们通过证明在平方和上界的高斯复杂性的解决方案集的范围。这种方法用于界定伪期望集合的覆盖数，其本身可能是有趣的，并且可能在未来的工作中找到其他应用。
2022-11-14 cs.LG stat.ML
Low Rank Matrix Recovery with Simultaneous Presence of Outliers and Sparse Corruption
University of Central Florida（中佛罗里达大学）
本文研究了一个数据模型，其中数据矩阵D可以表示为D = L + S + C，其中L是低秩矩阵，S是元素稀疏矩阵，C是非零列为离群数据点的矩阵。到目前为止，强大的PCA算法只考虑S或C的模型，而不是两者都考虑。因此，现有的算法不能同时考虑元素和列的腐败。本文提出了一种新的鲁棒PCA算法，该算法对同时发生的腐败类型具有鲁棒性。我们的方法依赖于稀疏损坏列的稀疏近似，使得列相对于其他数据点的稀疏扩展用于区分稀疏损坏的内点列和外围数据点。我们还开发了一个随机设计，提供了一个可扩展的实施所提出的方法。稀疏近似的核心思想进行了分析，我们表明，潜在的ell_1-范数最小化可以获得一个内点的稀疏腐败的存在下的表示。
2017-02-07 cs.CV cs.LG stat.ML
Robust Orthogonal Complement Principal Component Analysis
近年来，主成分分析的鲁棒性问题引起了统计学家、工程师和计算机科学家的广泛关注。在这项工作中，我们研究的离群值，不一定是明显的原始观测空间，但可以严重影响主子空间估计的类型。在此基础上，提出了一种新的鲁棒正交互补主成分分析（ROC-PCA）方法。该框架结合了流行的稀疏执行和低秩正则化技术来处理行方向的离群值以及元素方向的离群值。一个非渐近的预言不等式保证了ROC-PCA在有限样本下的准确性和高故障性能。为了解决计算的挑战，一个有效的算法的基础上Stiefel流形优化和迭代阈值。此外，提出了一种批量变体，以显着降低超高尺寸的成本。本文还指出了一个陷阱的SVD减少鲁棒PCA的一种常见做法。实验表明，ROC-PCA在合成和真实数据的有效性和效率。
2016-01-28 stat.CO stat.ME
Fun with Flags: Robust Principal Directions via Flag Manifolds
University of Valencia（瓦伦西亚大学）；Imperial College London（伦敦帝国学院）
本文提出基于线性子空间旗流形的统一PCA框架，将鲁棒、对偶及tangent-PCA形式化为旗上优化，并给出收敛求解器，提升流形数据上的离群点鲁棒性。
2024-08-04 cs.CV cs.LG math.DG
A Simple and Fast Algorithm for L1-norm Kernel PCA
Northwestern University（西北大学）
本文提出了一种L1范数核PCA算法，并给出了算法的收敛性分析，L2范数核PCA的最优解可以通过矩阵分解得到，而L1范数核PCA的最优解由于其非凸性和非光滑性而不易得到。我们提供了一个新的重新制定，通过它得到一个等价的，几何可解释的问题。基于重新表述的问题的几何解释，我们提出了一个不动点类型的算法，迭代计算每个观察的二进制权重。由于该算法只需要数据向量的内积，因此计算效率高，核技巧也适用。在收敛性分析中，我们证明了算法在有限步内收敛到局部最优解。此外，我们提供了一个收敛速度分析，这是从来没有做过的任何L1范数PCA算法，证明目标值的序列以线性速度收敛。在数值实验中，我们表明，该算法是强大的，在存在的条目方面的扰动和计算可扩展性，特别是在一个大规模的设置。最后，我们介绍了一个应用程序的离群点检测模型的基础上提出的算法优于基准算法。
2020-06-11 cs.LG stat.ML
Self-paced Principal Component Analysis
University of Electronic Science and Technology of China（电子科技大学）
主成分分析（PCA）已被广泛用于降维和特征提取。鲁棒PCA（RobustPCA）在不同的鲁棒距离度量下，如l1范数和l2，p范数，可以在一定程度上处理噪声或离群点。然而，真实世界的数据可能会显示这些简单函数无法完全捕获的结构。此外，现有的方法同等对待复杂和简单的样本。相比之下，人类通常采用的学习模式是从简单到复杂，从少到多。基于这一原则，我们提出了一种新的方法称为自步调PCA（SPCA），以进一步减少噪声和离群值的影响。值得注意的是，在每次迭代开始时计算每个样本的复杂度，以便将从简单到更复杂的样本整合到训练中。基于交替优化，SPCA找到一个最佳的投影矩阵，并过滤掉离群迭代。理论分析表明了SPCA的合理性。在流行数据集上的大量实验表明，该方法可以大大提高最先进的结果。
2021-06-25 cs.AI cs.CV cs.LG
Incorporating prior knowledge about structural constraints in model identification
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
模型辨识是化工过程中的一个重要问题。近年来，人们对利用感兴趣系统的部分知识来学习数据驱动模型的兴趣越来越大。模型识别的大多数技术不提供结合任何部分信息（例如模型的结构）的自由。在这篇文章中，我们提出了模型识别技术，可以利用这样的部分信息，以产生更好的估计。具体来说，我们提出了结构主成分分析（SPCA），它通过利用模型的基本结构信息来改进现有的方法，如PCA。大多数现有的方法或密切相关的方法使用稀疏约束，这可能是计算昂贵的。我们提出的方法是一个明智的修改PCA利用结构信息。所提出的方法的有效性证明使用合成和工业案例研究。
2020-07-08 cs.LG stat.ML
Robust self-tuning semiparametric PCA for contaminated elliptical distribution
主成分分析（PCA）是最常用的降维方法之一。已知通常的PCA对异常值的存在敏感，因此已经开发了许多鲁棒的PCA方法。其中，泰勒的M-估计被证明是最强大的散布估计下的椭圆分布。然而，当潜在的分布被污染，偏离椭圆，泰勒的M-估计可能无法很好地工作。在这篇文章中，我们应用半参数理论，提出了一个强大的半参数PCA。我们的建议有两个优点。首先，它对重尾椭圆分布以及非椭圆离群值具有鲁棒性。其次，它与数据驱动的调优过程很好地结合在一起，该调优过程基于活动比率，可以适应不同程度的数据异常。理论性质的推导，包括各种统计泛函的影响函数和渐近正态性。仿真研究和数据分析证明了该方法的优越性。
2022-06-08 stat.ME
Sparse corruption in low-rank matrix inference: the PCA benchmark
King's College London, Department of Mathematics（伦敦国王学院数学系）；University of Bologna, Department of Mathematics（博洛尼亚大学数学系）
本文以PCA为基准，研究低秩矩阵推断中稀疏噪声损坏的情况，利用复制方法解析得到两个信号强度相变，通过数值对角化验证了理论，还恢复了密集噪声的相关结果。
2026-08-11 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Robust PCA for High Dimensional Data based on Characteristic Transformation
本文提出了一种新的鲁棒的主成分分析（PCA）方法，用于处理高维数据中存在的各种异质性，特别是重尾和离群数据。构造了一种由特征函数驱动的变换，以提高经典PCA的鲁棒性。除了典型的离群值，该方法具有独特的优势，处理重尾分布的数据，其协方差可能是不存在的（正无穷大，例如）。该方法也是核主成分分析（KPCA）方法的一种，通过一个有界的非线性核函数，采用了鲁棒性和非线性特性。新方法的优点说明了一些统计性质，包括上界的超额误差和行为的大特征值下的尖峰协方差模型。此外，我们通过各种模拟显示了我们的方法相对于经典PCA的优势。最后，我们将新的鲁棒PCA应用于生物学研究中不同基因型小鼠的蛋白质表达数据分类，发现我们的方法比经典PCA更准确地识别异常小鼠。
2022-04-03 stat.ME
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University（哈佛大学）；George Washington University（乔治华盛顿大学）
本文提出基于旋转的更新机制，在再生核希尔伯特空间中向新样本旋转子空间估计，结合鲁棒影响函数抑制异常值，实现流式数据上核PCA的动态跟踪，实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Web3 Foundation（Web3基金会）
我们研究高维稀疏估计任务中的一个强大的设置，其中一个恒定的分数的数据集是adversarially损坏。具体而言，我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说，我们的算法是样本和计算效率，并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比，我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明，我们的算法是可扩展的，并显着优于以前的方法，几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
Ensemble Principal Component Analysis
提出 Ensemble PCA（EPCA），通过自助法 PCA 与 k-means 聚类同时实现抗噪声、异常值鲁棒性及主成分不确定性量化，并以更低计算成本取得优于或可比 RPCA 的效果。
2023-11-03 stat.CO
Multiscale principal component analysis
主成分分析（PCA）是一种重要的数据挖掘工具。PCA的传统方法导致有利于具有大方差的结构的解决方案。这对异常值很敏感，可能会混淆有趣的底层结构。PCA的一个等价定义是，它寻找最大化数据投影之间的平方成对距离之和的子空间。这一定义为主成分分析提供了更大的灵活性，这对增强主成分分析很有用。在本文中，我们引入PCA尺度最大化的距离在选定的区间内的值[l，u]的数据点对的投影之间的成对距离的总和。在多尺度PCA中得到的主成分分解取决于平面上的点（l，u），并且对于每个点，我们定义投影到主成分上。这些投影仪的聚类分析揭示了数据在不同尺度上的结构。每个结构由代表该结构的簇的中心点处的特征向量来描述。我们还使用预测的失真作为选择适当尺度的标准，特别是对于具有离群值的数据。该方法在人工分布数据和真实数据上进行了测试。对于具有多尺度结构的数据，该方法能够揭示数据的不同结构，并能减少主成分分析中离群值的影响。
2013-07-31 stat.ME
TimeCluster with PCA is Equivalent to Subspace Identification of Linear Dynamical Systems
The Alan Turing Institute（艾伦·图灵研究所）；Camulos（卡姆洛斯）
本文证明 TimeCluster 结合 PCA 降维在数学上等价于线性动态系统的子空间辨识方法，两者提取相同的低维子空间，并探讨了该等价性带来的预测、在线扩展等未来机遇。
2025-09-16 cs.DS cs.LG
