Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
Intrinsic Grassmann Averages for Online Linear, Robust and Nonlinear Subspace Learning
University of Florida（佛罗里达大学）；Technical University of Denmark（丹麦技术大学）
主成分分析（PCA）和核主成分分析（KPCA）是机器学习中降维的基本方法。前者是在有限维中找到这种近似的技术，后者通常是在无限维再生核希尔伯特空间（RKHS）中。在本文中，我们提出了一个几何框架计算的主要线性子空间在这两种情况下，以及强大的PCA的情况下，这相当于计算的内在平均空间的所有子空间：格拉斯曼流形。这个流形上的点被定义为观测的$K$ -元组所张成的子空间。这些子空间的内在格拉斯曼平均值与观测的主成分一致，当它们是从高斯分布中得出的。我们在RKHS的情况下，类似的结果，并提供了一个有效的算法计算到这个平均子空间的投影。其结果是一种类似于KPCA的方法，其速度要快得多。此外，我们提出了一个新的在线版本的KPCA使用我们的几何框架。我们所有的算法的竞争力表现证明了各种真实和合成数据集。
2018-07-10 cs.CV cs.LG
A Bias Trick for Centered Robust Principal Component Analysis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
基于离群值的鲁棒主成分分析（RPCA）需要对非离群值进行中心化。我们展示了一个“偏差技巧”，自动将这些非离群值集中起来。使用这种偏置技巧，我们获得了第一个RPCA算法，这是最佳的中心。
2019-11-19 cs.LG stat.ML
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University（北京大学）
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用，但其关键问题是如何最小化张量秩，这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解（T-SVD），用奇异值的$\ell_1-$范数来近似张量秩。此外，张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而，$\ell_1$罚分本质上是有偏差的，因此结果将偏离。为了避免这种偏差，我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中，通过使用的凸性，而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外，我们分析了它的理论性质。最后，自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Robust Principal Component Analysis Based On Maximum Correntropy Power Iterations
Imperial College London（帝国理工学院）
主成分分析（PCA）被认为是描述数据集特征之间线性关系的典型数据分析技术。然而，PCA对非高斯样本和/或离群值的众所周知的敏感性通常使其在实践中不可靠。为此，一个强大的PCA公式推导出基于最大相关熵准则（MCC），以最大限度地提高高斯分布的重建误差的预期可能性。通过这种方式，所提出的解决方案减少到广义幂迭代，从而：（i）即使在存在离群值的情况下也可以获得主成分的鲁棒估计;（ii）不需要预先指定主成分的数量;以及（iii）可以获得整个主成分集合，这与现有方法不同。通过一个直观的数值算例说明了最大相关熵幂迭代法的优点。
2019-10-24 cs.IT cs.LG eess.SP
Informed Non-convex Robust Principal Component Analysis with Features
Imperial College London（帝国理工学院）
我们重新审视的问题，强大的主成分分析的功能作为先验信息。为此，提出了一种新颖的，优雅的，非凸的优化方法，将给定的观测矩阵分解成一个低秩的核心和相应的稀疏残差。严格的理论分析所提出的算法的结果在准确的恢复保证低计算复杂度。适当设计的合成实验表明，我们的方法是第一个完全利用凸性的非凸性在可恢复性和速度方面的权力。也就是说，所提出的非凸方法是更准确，更快的最佳算法相比，研究中的问题。两个实际应用，即图像分类和人脸去噪进一步证明了所提出的方法的实用优势。
2017-09-14 cs.CV cs.LG stat.ML
Robust Principal Component Analysis: A Construction Error Minimization Perspective
Clemson University（克莱姆森大学）
在本文中，我们提出了一种新的优化框架，系统地解决强大的PCA问题，严格的理论保证，在此基础上，我们研究非常计算经济的更新算法。
2021-11-23 cs.LG
On the Optimality of the Oja's Algorithm for Online PCA
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文证明Oja算法在任意次高斯分布下可以高概率实现无谱隙的全局在线主子空间逼近，并首次说明其误差上界与经典离线PCA下界在常数因子内最优匹配。
2022-01-18 cs.LG math.OC
Exactly Robust Kernel Principal Component Analysis
City University of Hong Kong（香港城市大学）
鲁棒主元分析（RPCA）可以在低秩矩阵被稀疏噪声污染时恢复低秩矩阵。然而，在实践中，许多矩阵是高秩的，因此不能通过RPCA恢复。我们提出了一种新的方法称为鲁棒核主成分分析（RKPCA）分解部分损坏的矩阵作为稀疏矩阵加上高或满秩矩阵具有低潜在维度。RKPCA可以应用于噪声去除和子空间聚类等许多问题，并且仍然是唯一对稀疏噪声具有鲁棒性的无监督非线性方法。理论分析表明，RKPCA具有较高的恢复精度。RKPCA的优化涉及非凸和不可微问题。我们提出了两个非凸优化算法的RKPCA。这两种方法分别是带回溯线搜索的交替方向乘子法和自适应步长的近似线性化极小化法。在噪声去除和鲁棒子空间聚类方面的比较研究证实了RKPCA的有效性和优越性。
2019-04-17 cs.LG stat.ML
Estimation of heterogeneous principal effects under principal ignorability
School of Statistics, University of Minnesota（明尼苏达大学统计学院）；Division of Biostatistics and Health Data Science, School of Public Health, University of Minnesota（明尼苏达大学公共卫生学院生物统计与健康数据科学系）
本文提出在主忽略性假设下估计异质主因果效应的方法框架，开发了多种稳健性不同的估计量，并通过实验证明其在高维情况下的性能。
2026-03-09 stat.ME stat.ML
Approximation errors of online sparsification criteria
Institut Charles Delaunay (CNRS)（查尔斯·德洛奈研究所（法国国家科学研究中心））；Université de technologie de Troyes（特鲁瓦技术大学）
许多机器学习框架，如资源分配网络，基于核的方法，高斯过程和径向基函数网络，需要一个稀疏化方案，以解决在线学习范式。为此，已经提出了几个在线稀疏化标准，以限制模型定义的样本的子集。最著名的标准是（线性）近似标准，它丢弃任何可以很好地由已经贡献的样本表示的样本，这是一种具有过度计算复杂性的操作。一些计算效率高的稀疏化标准已经在文献中介绍，如距离，相干性和巴贝尔标准。在本文中，我们提供了一个框架，这些稀疏化标准的问题，近似样本，通过推导理论界的近似误差。此外，我们调查近似任何功能的错误，提出了上述稀疏化标准的近似误差的上限。详细描述了核主成分分析中的两类特征：经验均值和主轴。
2014-09-21 cs.CV cs.IT cs.LG
Cauchy Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）
主成分分析在机器学习、文本挖掘和计算机视觉等领域有着广泛的应用。基于高斯噪声模型的经典PCA对大幅度的噪声是脆弱的。基于拉普拉斯噪声假设的PCA方法不能有效地处理密集噪声。在本文中，我们提出了柯西主成分分析（柯西PCA），一个非常简单而有效的PCA方法，是强大的各种类型的噪声。我们利用柯西分布模型噪声和推导柯西主成分分析下的最大似然估计（MLE）框架下的低秩约束。无论噪声大小、密集或稀疏，我们的方法都能鲁棒地估计低秩矩阵。从稳健统计的角度分析了Cauchy PCA的稳健性，并提出了一种有效的奇异值投影优化方法。仿真数据和实际应用的实验结果表明，柯西PCA的各种噪声模式的鲁棒性。
2014-12-19 cs.LG stat.ML
Riemannian CUR Decompositions for Robust Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）
稳健主成分分析（PCA）近年来受到广泛关注。它的目的是恢复一个低秩矩阵和稀疏矩阵从他们的总和。本文提出了一种新的非凸鲁棒PCA算法，创造黎曼CUR（RieCUR），它利用黎曼优化和鲁棒CUR分解的思想。该算法与目前最先进的迭代鲁棒CUR算法具有相同的计算复杂度，但对离群值更具鲁棒性。RieCUR也能够容忍大量的离群值，并且与加速交替投影相当，加速交替投影具有高离群值容限，但计算复杂度比所提出的方法更差。因此，该算法在计算复杂度和离群值容限方面都实现了鲁棒PCA的最新性能。
2022-06-17 cs.LG cs.NA math.NA
Bandit Principal Component Analysis
Poznań University of Technology（波兹南理工大学）；Universitat Pompeu Fabra（庞培法布拉大学）
我们认为一个部分反馈的变体，研究在线PCA问题，学习者试图预测一个序列的$d$维向量的二次损失，而只有有限的反馈环境的选择。我们专注于一个自然的概念，强盗反馈的学习者只观察到与自己的预测相关的损失。基于经典的观察，这个决策问题可以提升到密度矩阵的空间，我们提出了一个算法，该算法被证明在最坏的情况下，在$T$轮后实现$O(d^{3/2}\sqrt{T})$的遗憾。我们还证明了数据依赖的界限，改善的基本结果时，环境的损失矩阵有界秩或损失的最佳行动是有界的。我们的算法的一个版本在每次试验中运行$O(d)$时间，这大大改善了以前已知的在线PCA方法。我们补充这些结果的下限$Ω(d\sqrt{T})$。
2019-02-08 cs.LG stat.ML
Distributed Robust Principal Component Analysis
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
研究了分布式环境下的鲁棒主元分析问题。RPCA的目标是当数据矩阵受到粗稀疏误差的破坏时，为原始数据矩阵找到一个潜在的低秩估计。以前的研究已经开发出RPCA算法，提供稳定的解决方案，快速收敛。然而，这些算法通常难以扩展，并且由于使用SVD或大型矩阵乘法而无法分布式实现。在本文中，我们提出了第一个分布式鲁棒主分析算法的一致性分解的基础上，称为DCF-PCA。我们证明了DCF-PCA的收敛性，并在各种问题设置上评估了DCF-PCA
2022-08-13 cs.DC cs.LG
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology（大连理工大学）
主成分分析（PCA）作为机器学习中一种广泛应用的方法，具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题，许多鲁棒主成分分析（RPCA）已经改善了这一问题。然而，现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题，本文提出了角度嵌入（AE）制定一个简单的RPCA方法的基础上的角度密度，这是改进的大规模或高维数据。此外，一个修剪AE（TAE）被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明，所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Distributionally Robust Fair Principal Components via Geodesic Descents
VinAI Research（VinAI 研究院）；Hong Kong Polytechnic University（香港理工大学）
主成分分析是现代机器学习管道中一种简单而有用的降维技术。在大学入学、医疗保健和信贷审批等重要领域，必须考虑新兴标准，如学习预测的公平性和稳健性。在本文中，我们提出了一个分布鲁棒优化问题的主成分分析，内在的公平性标准的目标函数。因此，学习的投影平衡了总重构误差与子组之间的重构误差间隙之间的权衡，在基于矩的模糊度集合中的所有分布上在最小-最大意义上采取。由此产生的Stiefel流形上的优化问题可以有效地解决了黎曼次梯度下降算法的次线性收敛速度。我们在真实世界数据集上的实验结果显示了我们所提出的方法在最先进的基线上的优点。
2022-02-07 cs.LG math.OC stat.ML
Manifold Denoising by Nonlinear Robust Principal Component Analysis
Michigan State University（密歇根州立大学）
本文将鲁棒主元分析（RPCA）推广到非线性流形。假设观测数据矩阵是一个稀疏分量和一个从某个低维流形中提取的分量之和。有没有可能通过使用与RPCA类似的想法将它们分开？与单独处理每个局部区域相比，将流形作为一个整体来处理有什么好处吗？我们肯定地回答这两个问题，提出并分析了一个优化框架，分离的稀疏成分下的噪声数据的流形。当流形的切空间满足一定的非相干条件时，给出了理论误差界。我们还提供了一个接近最优的选择的调整参数建议的优化配方的帮助下，一个新的曲率估计方法。我们的方法的有效性在合成和真实数据集上都得到了证明。
2019-11-10 cs.LG stat.ML
Fast Robust Tensor Principal Component Analysis via Fiber CUR Decomposition
University of California, Los Angeles（加州大学洛杉矶分校）
研究了张量鲁棒主成分分析（TRPCA）问题，该方法的目的是从低多线性秩张量和稀疏离群张量的和中分离出一个潜在的低多线性秩张量。在这项工作中，我们提出了一个快速的非凸算法，创造鲁棒张量CUR（RTCUR），大规模的TRPCA问题。RTCUR考虑了交替投影的框架，并利用最近开发的张量Fiber CUR分解来显著降低计算复杂性。RTCUR的性能优势在合成数据集上得到了经验验证，并在彩色视频背景减除等实际应用中得到了进一步证明。
2021-08-23 cs.CV cs.LG eess.IV
Robust Principal Component Completion
School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学）；National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing（空间智能信息处理国家重点实验室）；Department of Electrical and Computer Engineering, Mississippi State University（电气与计算机工程系，密苏里州立大学）；National Research Council, Institute of Methodologies for Environmental Analysis (CNR-IMAA)（国家研究理事会，环境分析方法研究所（CNR-IMAA））
本文提出鲁棒主成分补全方法，通过间接确定稀疏成分的支持集来解决稀疏前景遮挡低秩背景的问题，采用变分贝叶斯推断实现全概率贝叶斯稀疏张量分解，实验显示其在合成数据和真实数据中表现优异。
2026-04-22 cs.CV cs.LG
Exact Recovery of Tensor Robust Principal Component Analysis under Linear Transforms
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
本文研究了张量鲁棒主成分分析（TRPCA）问题，其目的是从它们的和中准确地恢复低秩和稀疏分量。我们的模型的动机是最近提出的基于张量-张量积和张量SVD的线性变换。我们定义了一个新的依赖于张量秩的变换和相应的张量核范数。然后，我们解决了TRPCA问题的凸优化，其目标是一个新的张量核范数和$\ell_1$ -范数的加权组合。在理论上，我们证明了在一定的不相干条件下，凸规划精确地恢复了底层的低秩和稀疏分量。我们的新TRPCA模型推广了现有的工作，这是非常有趣的。特别是，如果研究的张量减少到一个矩阵，我们的TRPCA模型减少到已知的矩阵RPCA。我们的新TRPCA可以使用一般的线性变换，可以被视为我们以前的TRPCA工作，使用离散傅立叶变换的扩展。但他们的追偿担保证明是不同的。数值实验验证了我们的结果，图像恢复的应用表明了我们的方法的优越性。
2019-07-16 cs.CV cs.LG stat.ML
Quantum Annealing for Robust Principal Component Analysis
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出QAPCA方法，利用量子退火硬件基于鲁棒L1范数求解主成分分析，展示了其收敛条件、潜在加速效果，并在合成数据、故障检测和乳腺癌诊断实验中验证了与L1-BF相当的重建误差。
2025-01-25 cs.ET cs.LG quant-ph
Modal Principal Component Analysis
University of Tsukuba（筑波大学）；The Institute of Statistical Mathematics（统计数理研究所）
主成分分析（PCA）是一种广泛用于数据处理的方法，例如用于降维和可视化。已知标准PCA对异常值敏感，因此，已经提出了各种鲁棒PCA方法。它已被证明，许多统计方法的鲁棒性可以提高使用模式估计，而不是平均估计，因为模式估计是不显着的离群值的存在影响。因此，本研究提出一种模态主成分分析（MPCA），这是一种基于模态估计的稳健PCA方法。该方法通过估计投影数据点的模式来找到次要分量。作为理论贡献，我们推导了该算法的概率收敛性、影响函数、有限样本崩溃点及其下界。实验结果表明，该方法比传统方法具有优势。
2020-08-07 cs.LG stat.ML
Coherence Pursuit: Fast, Simple, and Robust Principal Component Analysis
University of Central Florida（中佛罗里达大学）
本文提出了一种非常简单，但功能强大，算法称为相干追踪（CoP）的强大的主成分分析（PCA）。由于内点位于低维子空间中并且大部分是相关的，因此内点可能与大量数据点具有强的互相关性。相比之下，离群值要么不承认低维结构，要么形成小集群。在这两种情况下，离群值不太可能与大量数据点有很强的相似性。考虑到这一点，CoP通过比较它们与其余数据点的一致性来将离群值与内点区分开来。通过形成归一化数据点的Gram矩阵来计算相互相干性。随后，从与其余数据表现出强相干性的数据点的子集的跨度中恢复所寻找的子空间。由于CoP仅涉及一个简单的矩阵乘法，因此它比最先进的鲁棒PCA算法快得多。我们得到分析性能保证CoP在不同的模型下的分布的内点和离群点在无噪声和噪声设置。CoP是第一个鲁棒的PCA算法，它同时是非迭代的，可证明对非结构化和结构化离群值都是鲁棒的，并且可以容忍大量的非结构化离群值。
2017-07-13 cs.LG stat.ML
Rapid Robust Principal Component Analysis: CUR Accelerated Inexact Low Rank Estimation
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Sun Yat-sen University（中山大学）
鲁棒主成分分析（RPCA）是一种广泛应用的降维工具。在这项工作中，我们提出了一种新的非凸算法，创造迭代鲁棒CUR（IRCUR），解决RPCA问题，这大大提高了计算效率相比，现有的算法。IRCUR通过在更新低秩分量时采用CUR分解来实现这种加速，这使得我们可以仅通过三个小的子矩阵来获得准确的低秩近似。因此，IRCUR是能够处理只有小的子矩阵，并避免昂贵的计算上的整个算法的全矩阵。数值实验建立了IRCUR的计算优势，在合成和真实世界的数据集上的最先进的算法。
2021-02-07 cs.AI cs.IT cs.LG
Outlier Robust Online Learning
National University of Singapore（新加坡国立大学）；Georgia Institute of Technology（佐治亚理工学院）；Technion – Israel Institute of Technology（以色列理工学院）
我们考虑在实际环境中的数据的大小是太大，存储在一台机器上的噪声数据的学习问题。更具挑战性的是，来自野外的数据可能包含恶意离群值。为了解决可扩展性和鲁棒性问题，我们提出了一个在线鲁棒学习（ORL）的方法。ORL易于实现，并且具有可证明的鲁棒性保证-与现有的在线学习方法形成鲜明对比，这些方法通常对离群值很脆弱。我们专门的ORL方法的两个具体情况下：在线强大的主成分分析和在线线性回归。我们证明了ORL的效率和鲁棒性的优势，通过全面的模拟和预测图像标签的大规模数据集。我们还讨论了扩展的ORL分布式学习，并提供实验评估。
2017-01-01 cs.LG stat.ML
Fun with Flags: Robust Principal Directions via Flag Manifolds
University of Valencia（瓦伦西亚大学）；Imperial College London（伦敦帝国学院）
本文提出基于线性子空间旗流形的统一PCA框架，将鲁棒、对偶及tangent-PCA形式化为旗上优化，并给出收敛求解器，提升流形数据上的离群点鲁棒性。
2024-08-04 cs.CV cs.LG math.DG
Robust factored principal component analysis for matrix-valued outlier accommodation and detection
Yunnan University of Finance and Economics（云南财经大学）
针对FPCA在矩阵数据上易受异常值影响的问题，提出基于矩阵变量t分布的RFPCA及快速EM型估计算法，实现鲁棒降参与异常值检测。
2021-12-13 cs.LG stat.ML
Exact Guarantees on the Absence of Spurious Local Minima for Non-negative Rank-1 Robust Principal Component Analysis
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
这项工作是关于非负秩-1鲁棒主成分分析（RPCA），其目标是恢复占主导地位的非负主成分的数据矩阵精确，其中一些测量可能严重损坏稀疏和任意大的噪声。大多数已知的求解RPCA的技术都依赖于凸松弛方法，将问题提升到更高的维度，从而显着增加了变量的数量。作为替代方案，可以使用众所周知的Burer-Monteiro方法将RPCA转换为具有显著更少数量的变量的非凸和非光滑的$\ell_1$优化问题。在这项工作中，我们证明了基于Burer-Monteiro方法的对称和非对称正秩1 RPCA的低维公式具有良好的景观，即，1)它不具有任何伪局部解，2）具有唯一的全局解，以及3）其唯一的全局解与真实分量一致。这个结果的一个含义是，简单的局部搜索算法保证实现零全局最优性差距时，直接应用到低维配方。此外，我们提供了强有力的确定性和概率保证真正的主成分的精确恢复。特别是，它表明，一个恒定的分数的测量可能会严重损坏，但他们不会创建任何虚假的本地解决方案。
2019-09-03 cs.LG stat.ML
Stochastic Approximation Algorithms for Principal Component Analysis
IIT Bombay（印度理工学院孟买分校）
主成分分析是一种新颖的降维方法.这个问题本质上归结为找到数据协方差矩阵的顶部特征向量。大量的文献被发现的算法意味着这样做，如一个在线的方法是Warranty和Kuzmin，矩阵随机梯度阿罗拉，Oja的方法和许多其他人。在本文中，我们看到一些这些随机方法的PCA优化问题，并评论其收敛性和运行时间，以获得一个非次优的解决方案。我们重温凸松弛的主成分分析的随机优化方法。虽然直接解决非凸问题的方法已被证明是最佳的统计和计算效率方面，基于凸松弛的方法已被证明享有可比的，甚至优越的经验性能。这就需要对后者有更深入的正式了解。
2019-01-07 cs.LG stat.ML
Principal Component Analysis with Contaminated Data: The High Dimensional Case
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technion（以色列理工学院）
我们认为降维问题（找到一个子空间近似的观测数据）污染的数据在高维制度，其中的观测数量是相同的数量级的变量的每个观察，和数据集包含一些（任意）损坏的意见。我们提出了一种高维鲁棒主成分分析（HR-PCA）算法，该算法易于处理，对污染点具有鲁棒性，并且易于核化。所得到的子空间有一个有界的偏离所需的，实现最大的鲁棒性-一个故障点的50%，而所有现有的算法有一个故障点为零，不像普通的PCA算法，达到最优的极限情况下，损坏点的比例为零。
2010-05-13 cs.LG stat.ME stat.ML
Enhanced Principal Component Analysis under A Collaborative-Robust Framework
School of Computer Science（计算机学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN)（人工智能、光学与电子学院（iOPEN））；Northwestern Polytechnical University（西北工业大学）
主成分分析（PCA）经常受到异常值的干扰，因此已经开发了PCA的鲁棒扩展和变化谱。然而，现有的PCA扩展同样对待所有的样本，即使是那些大噪声。在本文中，我们首先介绍了一个通用的协作强大的权重学习框架，结合权重学习和鲁棒损失在一个非平凡的方式。更重要的是，在所提出的框架下，只有一部分拟合良好的样本被激活，这表明在训练过程中更重要，而其他误差较大的样本不会被忽略。特别地，通过稳健的损失函数减轻了失活样品的负面影响。在此基础上，我们进一步提出了一种改进的PCA，该PCA采用了一种插值于L_2，1-范数和平方Frobenius-范数之间的逐点sigma-损失函数，同时保持了旋转不变性。从重建误差和聚类精度两个方面对遮挡数据集进行了大量的实验。实验结果证明了该模型的优越性和有效性。
2021-03-22 cs.LG
Submodular Load Clustering with Robust Principal Component Analysis
GEIRI North America（北美电力可靠性公司研究院）；State Grid Jiangsu Electric Power Company Ltd.（国网江苏省电力有限公司）；State Grid Nanjing Power Supply Company（国网南京供电公司）
由于需求响应以及分布式发电（包括光伏（PV），电动汽车（EV）和储能系统（ESS））的部署增加，传统的负荷分析正面临新的用电模式的挑战。在输电系统中，尽管不同区域的负荷行为不规则，但高度聚合的负荷形状仍然具有相似的特征。负荷聚类就是为了发现这些内在模式，并为负荷预测和负荷建模等其他负荷应用提供有用的信息。提出了一种有效的传输级负载区域子模块化负载聚类方法。鲁棒主成分分析（R-PCA）首先将年负荷剖面分解为低秩分量和稀疏分量，提取关键特征。一种新的子模块聚类中心选择技术，然后应用到确定最佳的聚类中心，通过构造的相似图。根据选择结果，负载区域被有效地分配到不同的集群，以进行进一步的负载分析和应用。PJM载荷下的数值结果验证了该方法的有效性。
2019-02-20 cs.LG stat.ML
Deep Unrolling for Nonconvex Robust Principal Component Analysis
National University of Singapore（新加坡国立大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）
本文针对非凸RPCA提出基于加速交替投影的深度展开算法，融合神经网络与算法可解释性并自动学习超参数，在合成数据和人脸建模任务上取得更优数值与视觉效果。
2023-07-12 cs.LG eess.SP
Tensor Robust Principal Component Analysis with A New Tensor Nuclear Norm
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
在本文中，我们考虑张量鲁棒主成分分析（TRPCA）问题，其目的是从它们的和中准确地恢复低秩和稀疏的成分。我们的模型是基于最近提出的张量积（或t-产品）。由t-积导出了张量谱范数、张量核范数和张量平均秩，证明了张量核范数是张量平均秩在张量谱范数单位球内的凸包络.这些定义、它们之间的关系和性质与矩阵情况是一致的。在此基础上，通过求解一个凸规划来求解TRPCA问题，为精确恢复提供了理论保证。我们的TRPCA模型和恢复保证包括矩阵RPCA作为特例。数值实验验证了我们的结果，并应用于图像恢复和背景建模问题证明了我们的方法的有效性。
2019-03-07 cs.LG stat.ML
Robust Principal Component Analysis Using a Novel Kernel Related with the L1-Norm
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们考虑一个家庭的矢量点积，可以实现使用符号的变化和加法运算。点积是节能的，因为它们完全避免了乘法运算。此外，点积诱导$\ell_1$ -范数，从而提供对脉冲噪声的鲁棒性。首先，我们分析证明，点积产生对称的，半正定的广义协方差矩阵，从而使主成分分析（PCA）。此外，广义协方差矩阵可以构造在一个能量有效（EEF）的方式，由于乘法的基本向量产品的属性。我们提出的图像重建的例子中，我们的EEF PCA方法的结果在最高的峰值信噪比相比，普通的$\ell_2$ -PCA和递归$\ell_1$ -PCA。
2021-05-25 cs.LG eess.IV
Global Weighted Tensor Nuclear Norm for Tensor Robust Principal Component Analysis
张量鲁棒主元分析（TRPCA）是一种用于恢复被稀疏噪声污染的低秩张量的方法，在实际应用中受到了广泛的关注。本文提出了一种新的全局加权TRPCA方法（GWTRPCA），该方法首次同时考虑了傅立叶域中额内切片和额间切片奇异值的重要性。利用这种全局信息，GWTRPCA惩罚较大的奇异值较少，并分配较小的权重给他们。因此，我们的方法可以更准确地恢复低管秩分量。此外，我们提出了一个有效的自适应权重学习策略的修正柯西估计（MCE），因为权重设置GWTRPCA的成功起着至关重要的作用。为了实现GWTRPCA方法，我们设计了一个优化算法，使用交替方向乘法（ADMM）方法。在真实数据集上的实验验证了该方法的有效性。
2023-01-05 cs.LG
A Robust Optimization Approach to Sparse Principal Component Analysis
Uppsala University, Sweden（乌普萨拉大学，瑞典）；PSL Research University / INRIA, France（巴黎社会科学大学 / INRIA，法国）；Science for Life Laboratory, Sweden（生命科学实验室，瑞典）
提出AdvPCA方法，通过鲁棒优化在重建目标中引入最坏情况潜在空间扰动实现稀疏性，并给出闭式解和迭代算法。
2026-06-02 cs.LG math.OC stat.ML
Scale-Calibrated Median-of-Means for Robust Distributed Principal Component Analysis
Baruch College（巴彻学院）；The Graduate Center, City University of New York（纽约市立大学研究生中心）
本文研究了基于尺度校准的中位数-均值估计器，用于鲁棒分布式主成分分析，通过欧几里得空间和格拉斯曼流形的产品几何结构，提出了一个节点级PCA展开，证明了所提出的产品流形中位数-均值估计器的渐近等价性，并展示了鲁棒块尺度和推断最优校准规则，以及高概率中位数-均值界限。
2026-05-20 cs.LG stat.ME
Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
越来越多的数据科学和机器学习问题依赖于张量计算，张量比矩阵更好地捕捉数据的多路关系和交互。当利用这一关键优势时，一个关键的挑战是开发计算效率高且可证明正确的算法，用于从张量数据中提取有用的信息，同时对腐败和病态具有鲁棒性。本文研究了张量鲁棒主成分分析（RPCA）方法，该方法的目的是在Tucker分解下从被稀疏污染的观测值中恢复低秩张量。为了最大限度地减少计算和内存占用，我们建议直接恢复低维张量因子-从定制的频谱初始化开始-通过缩放梯度下降（ScaledGD），再加上迭代变化的阈值操作，以自适应地消除腐败的影响。从理论上讲，我们建立了该算法线性收敛到真正的低秩张量在一个恒定的速度是独立于其条件数，只要腐败的水平不是太大。经验上，我们证明，该算法实现了更好的和更可扩展的性能比国家的最先进的矩阵和张量RPCA算法，通过合成实验和现实世界的应用。
2023-02-22 cs.LG eess.SP math.OC
Sparse Principal Component Analysis via Variable Projection
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
稀疏主成分分析（Sparse Principal Component Analysis，SPCA）是现代数据分析中的一种强有力的技术，它通过识别数据中的局部空间结构和消除不同时间尺度之间的歧义来改善对低秩结构的解释。我们证明了一个强大的和可扩展的SPCA算法，制定它作为一个值函数优化问题。这种观点导致一个灵活的和计算效率的算法。此外，我们可以利用线性代数的随机方法将该方法扩展到大规模（大数据）设置。我们提出的创新还允许一个强大的SPCA制定，获得有意义的稀疏主成分，尽管严重损坏的输入数据。所提出的算法证明使用合成和真实世界的数据，并显示出卓越的计算效率和诊断性能。
2020-12-28 cs.LG stat.ML
Outlier-aware Tensor Robust Principal Component Analysis with Self-guided Data Augmentation
School of Mathematics and Statistics, Hunan Normal University（湖南师范大学数学与统计学学院）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
提出自引导数据增强方法，通过自适应加权抑制离群值影响，将TRPCA问题转化为标准TPCA问题，并开发高效算法，在准确性和计算效率上优于现有方法。
2025-04-25 cs.CV cs.LG cs.NA
Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了两种方法用于以下基本统计任务：给定来自$d$维亚高斯分布的$n$样本的$ε$损坏集，返回协方差矩阵的近似顶部特征向量。我们的第一个强大的PCA算法在多项式时间内运行，返回一个$1 - O(ε\logε^{-1})$近似的顶部特征向量，并基于一个简单的迭代滤波方法。我们的第二个，它达到了一个稍微差的近似因子，运行在一个温和的频谱间隙假设下，在接近线性的时间和样本的复杂性。这些是第一个多项式时间算法产生的非平凡的信息的协方差损坏的次高斯分布，而不需要额外的代数结构的时刻。作为一个关键的技术工具，我们开发了$p$范数填充半定规划的第一个宽度无关的求解器，在$O(p\log(\tfrac{nd}ε)ε^{-1})$输入稀疏时间迭代中给出了$(1 + ε)$ -近似解（其中$n$，$d$是问题维数）。
2020-06-12 cs.DS cs.LG math.OC
Robust Tensor Principal Component Analysis: Exact Recovery via Deterministic Model
本文提出了一种基于张量-张量积和t-SVD的鲁棒张量主成分分析方法，通过确定性模型实现张量低秩和稀疏成分的精确恢复。
2025-12-17 cs.LG math.ST stat.ML
Enhancing Distributional Robustness in Principal Component Analysis by Wasserstein Distances
The Hong Kong Polytechnic University（香港理工大学）；Chinese Academy of Sciences（中国科学院）；Academy of Mathematics and Systems Science（数学系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对PCA的分布鲁棒优化问题，提出平滑流形近端梯度算法，解决Stiefel流形上的非光滑极小化挑战，并证明其全局收敛性与O(ε^{-3})复杂度。
2025-07-11 cs.LG math.OC stat.ML
Robust and Differentially Private Principal Component Analysis
Department of Statistics, Seoul National University（首尔国立大学统计系）；Institute for Data Innovation in Science, Seoul National University（科学数据创新研究所，首尔国立大学）
针对重尾和污染数据，提出一种基于椭圆分布协方差矩阵特征向量保持性质的差分隐私PCA方法，通过有界变换实现鲁棒且隐私保护的主成分计算，理论分析与实验证明其统计效用优于现有方法。
2026-06-23 cs.LG stat.ME
Denise: Deep Robust Principal Component Analysis for Positive Semidefinite Matrices
ETH Zürich（苏黎世联邦理工学院）；McMaster University（麦克马斯特大学）；Google（谷歌）
提出基于深度学习的 Denise，用于学习对称半正定矩阵的低秩加稀疏稳健 PCA 分解函数，并给出通用逼近与收敛保证，在同等分解质量下显著快于 PCP 和 fast PCP。
2023-06-06 cs.LG math.OC q-fin.CP
Strongly Convex Programming for Exact Matrix Completion and Robust Principal Component Analysis
National University of Defense Technology（国防科技大学）；University of Iowa（爱荷华大学）
在矩阵完备（MC）和鲁棒主元分析（RPCA）中，一个共同的任务是从给定的数据矩阵中恢复一个低秩矩阵。近年来，特别是Cand`es等人的开创性工作发表后，这些问题引起了应用科学各领域的极大关注。MC和RPCA中的一个基本结果是，基于核范数的凸优化在适当的条件下导致精确的低秩矩阵恢复。在本文中，我们扩展了这一结果表明，强凸优化可以保证准确的低秩矩阵恢复以及。本文的结果不仅提供了强凸模型导致精确低秩矩阵恢复的充分条件，而且对实际算法中如何选择合适的参数具有指导意义。
2012-01-05 cs.IT cs.LG math.IT
Parallel Active Subspace Decomposition for Scalable and Efficient Tensor Robust Principal Component Analysis
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出并行主动子空间分解方法，通过将张量展开的每个模式分解为正交矩阵和小矩阵，降低核范数最小化问题的规模，提升张量鲁棒主成分分析的效率和精度。
2017-12-28 cs.LG cs.NA math.NA
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
Variational Bayesian Inference for Tensor Robust Principal Component Analysis
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Lingnan University（岭南大学）；Key Laboratory of Computing and Stochastic Mathematics (LCSM), School of Mathematics and Statistics, Hunan Normal University（计算与随机数学重点实验室（LCSM），数学与统计学学院，湖南师范大学）
本文提出基于贝叶斯框架的TRPCA方法，通过整合低秩核范数和稀疏诱导先验，自动优化张量核范数并提升在混合噪声下的性能。
2026-01-14 cs.LG cs.NA math.NA
Accelerated Alternating Projections for Robust Principal Component Analysis
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Department of Mathematics, Hong Kong University of Science and Technology（香港理工大学数学系）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出了一种加速交替投影算法，用于鲁棒主成分分析，显著提高了现有交替投影方法在更新低秩因子时的计算效率，并证明了该算法的精确恢复保证和线性收敛性。
2019-02-11 cs.IT cs.LG cs.NA
Dynamic Principal Projection for Cost-Sensitive Online Multi-Label Classification
CSIE Department, National Taiwan University（台湾大学计算机科学与信息工程学系（CSIE Department, National Taiwan University）/ 台湾大学（National Taiwan University））
我们研究多标签分类（MLC）与三个重要的现实世界的问题：在线更新，标签空间降维（LSDR），成本敏感性。目前的MLC算法还没有被设计为同时解决这三个问题。在本文中，我们提出了一种新的算法，成本敏感的动态主投影（CS-DPP），解决了这三个问题。CS-DPP的基础是一个在线LSDR框架，该框架源自领先的LSDR算法。特别是，CS-DPP配备了一个有效的在线降维矩阵随机梯度的动机，并建立其理论骨干时，再加上精心设计的在线回归学习。此外，CS-DPP将成本信息嵌入到标签权重中，以实现成本敏感性以及理论保证。实验结果验证了CS-DPP在不同的评价标准下比现有的MLC算法具有更好的实际性能，并证明了同时解决这三个问题的重要性。
2018-12-10 cs.LG
Learning in Online Principal-Agent Interactions: The Power of Menus
The University of Chicago（芝加哥大学）；University of Virginia（弗吉尼亚大学）
本文研究在线委托-代理问题中委托人通过菜单策略学习代理人私人信息的方法，刻画了多种设置的样本复杂度，并应用于Stackelberg博弈、契约设计和信息设计，同时解决了Peng等人（2019）的一个关键困难实例。
2023-12-28 cs.GT cs.LG
