Multi-centrality Graph Spectral Decompositions and their Application to Cyber Intrusion Detection
许多现代数据集可以表示为图，因此谱分解，如图主成分分析（PCA）可能是有用的。与先前的基于单个拓扑特征的子空间投影的图分解方法不同，中心图邻接矩阵的Fiedler向量（图Laplacian），我们提出了用于图PCA和图字典学习的谱分解方法，该方法集成了多个特征，包括图行走统计，中心性度量和图到参考节点的距离。在本文中，我们提出了一种新的PCA方法，称为多中心图PCA（MC-GPCA），和一个新的字典学习方法的集成图，称为多中心图字典学习（MC-GDL），都基于多中心矩阵的谱分解。作为网络入侵检测的一个应用，MC-GPCA可以是一个有效的异常连接模式的指示器和MC-GDL可以提供攻击分类的判别依据。
2016-03-10 cs.CR cs.SI stat.ML
On the Convergence of the Dynamic Inner PCA Algorithm
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Southern California（南加利福尼亚大学）
动态内主成分分析（DiPCA）是一种分析时变多变量数据的有效方法。DiPCA通过求解大规模、密集和非凸非线性规划（NLP）来提取动态潜变量，这些动态潜变量捕获最主要的时间趋势。最近文献中提出了一种可扩展的分解算法来解决这些具有挑战性的NLP。分解算法在实践中表现良好，但其收敛性还没有得到很好的理解。在这项工作中，我们表明，该算法是一个专门的坐标最大化算法的变体。这一观察使我们能够解释为什么分解算法在实践中可能有效（或无效），并可以指导改进。我们比较的分解策略的性能与现成的求解器Ipopt。结果表明，分解更具可扩展性，并且令人惊讶的是，提供了更高质量的解决方案。
2020-03-12 cs.LG cs.SY eess.SY
Streaming Kernel PCA with $\tilde{O}(\sqrt{n})$ Random Features
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的统计和计算方面的核主成分分析使用随机傅立叶特征，并表明，在温和的假设下，$O(\sqrt{n} \log n)$功能足以实现$O(1/ε^2)$样本的复杂性。此外，我们给出了一个内存有效的流算法的基础上，经典的Oja的算法，达到这个速度。
2018-11-15 cs.AI cs.LG stat.ML
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析（PCA）被广泛用于降维，在涉及高维数据的各种应用中具有良好的记录优点，包括计算机视觉、偏好测量和生物信息学。在这种情况下，这里提倡的新外观渗透了变量选择和压缩采样的好处，以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -（伪）范数正则化的标准，鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛，这自然会导致一个家庭的强大的估计，包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值，这相当于控制离群值矩阵沿着（组）最小绝对收缩和选择算子（Lasso）解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外，所开发的离群感知PCA框架是通用的，以适应新的和可扩展的算法：i）随着新数据的实时获取，鲁棒地跟踪低秩信号子空间;以及ii）在（可能）无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性，当用于识别异常的反应，在人格评估调查，以及揭开社区的社交网络，和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
Regularized Singular Value Decomposition and Application to Recommender System
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
奇异值分解（SVD）是主成分分析（PCA）的数学基础。SVD和PCA是机器学习、数据采掘、模式识别、人工智能、计算机视觉、信号处理等领域中最广泛使用的数学形式主义/分解之一。本文提出了一种正则化奇异值分解（RSVD），给出了一种有效的计算算法，并给出了一些理论分析。我们表明，虽然RSVD是非凸的，它有一个封闭形式的全局最优解。最后，我们将RSVD应用于推荐系统中，实验结果表明RSVD的性能明显优于SVD。
2018-04-13 cs.IR cs.LG stat.ML
Tutorial: Complexity analysis of Singular Value Decomposition and its variants
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
比较了常规的奇异值分解、截断奇异值分解、Krylov方法和随机PCA方法的时间和空间复杂度。众所周知，Krylov方法和随机PCA仅在k << n时表现良好，即所需的特征对的数量远远小于矩阵大小。我们比较了它们来计算所有的特征对。讨论了主成分分析与奇异值分解的关系。
2019-10-14 cs.LG cs.NA math.NA
Projected Robust PCA with Application to Smooth Image Recovery
City University of Hong Kong（香港城市大学）
大多数高维矩阵恢复问题的研究都是在假设目标矩阵具有某种内在结构的前提下进行的。对于图像数据相关的矩阵恢复问题，近似低秩和平滑是两个最常见的强加的结构。对于近似低秩矩阵的恢复，稳健的主成分分析（PCA）被广泛研究并证明是有效的。对于光滑矩阵问题，二维融合Lasso和其他基于全变分的方法发挥了基础性作用。虽然低秩和平滑都是图像数据分析的关键假设，但这两条研究路线的相互作用非常有限。出于利用这两个功能，我们在本文中开发了一个框架，名为投影鲁棒PCA（PRPCA），低秩矩阵投影到光滑矩阵的空间。因此，一大类图像矩阵可以分解为低秩和平滑分量加上稀疏分量。这种分解的一个关键优点是，可以显着降低核心低秩分量的维数。因此，我们的框架是能够解决许多低秩矩阵问题的一个有问题的瓶颈：大矩阵上的奇异值分解（SVD）。理论上，我们提供了明确的统计恢复保证PRPCA，包括经典的鲁棒PCA作为一个特殊情况。
2021-04-07 cs.LG stat.ML
The Exact Solution to Rank-1 L1-norm TUCKER2 Decomposition
Rochester Institute of Technology（罗切斯特理工学院）；University of California Riverside（加州大学河滨分校）
我们研究秩1 {L1-norm为基础的TUCKER 2}（L1-TUCKER 2）分解的3路张量，作为一个集合的$N$ $D \times M$矩阵被联合分解。我们的贡献如下。i）证明了该问题等价于$N$对映二元变量的组合优化问题。ii）我们推导了文献中的前两个算法的精确解。第一个算法在$N$中具有成本指数，第二个算法在$N$中具有成本多项式（在温和的假设下）。我们的算法是伴随着正式的复杂性分析。iii）我们进行了数值研究，以比较精确的L1-TUCKER 2（建议）与标准HOSVD，HOOI，GLRAM，PCA，L1-PCA和TPCA-L1的性能。我们的研究表明，L1-TUCKER 2优于（在张量近似）所有上述同行时，处理的数据是离群损坏。
2017-10-31 cs.DS cs.LG stat.ML
Riemannian CUR Decompositions for Robust Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）
稳健主成分分析（PCA）近年来受到广泛关注。它的目的是恢复一个低秩矩阵和稀疏矩阵从他们的总和。本文提出了一种新的非凸鲁棒PCA算法，创造黎曼CUR（RieCUR），它利用黎曼优化和鲁棒CUR分解的思想。该算法与目前最先进的迭代鲁棒CUR算法具有相同的计算复杂度，但对离群值更具鲁棒性。RieCUR也能够容忍大量的离群值，并且与加速交替投影相当，加速交替投影具有高离群值容限，但计算复杂度比所提出的方法更差。因此，该算法在计算复杂度和离群值容限方面都实现了鲁棒PCA的最新性能。
2022-06-17 cs.LG cs.NA math.NA
Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated
给定一个观测数据矩阵，主成分分析（PCA）计算包含其大部分变异性的少量正交方向。可以证明精确的PCA解决方案已经使用了很长时间。然而，据我们所知，所有现有的理论保证都假设数据和破坏性噪声是相互独立的，或者至少是不相关的。这在实践中经常有效，但并不总是有效。在本文中，我们研究的PCA问题中的数据和噪声可以相关的设置。这种噪声通常也被称为“数据相关噪声”。我们得到了一个正确的结果为标准的特征值分解（EVD）为基础的解决方案PCA在简单的假设下的数据噪声相关性。我们还开发和分析了EVD，集群EVD，提高EVD在某些制度的泛化。
2016-10-31 cs.LG stat.ML
Robust CUR Decomposition: Theory and Imaging Applications
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文考虑使用鲁棒PCA的CUR分解框架及其应用。我们的主要算法产生一个强大的版本的列-行分解矩阵$\mathbf{D}=\mathbf{L}+\mathbf{S}$，其中$\mathbf{L}$是低秩和$\mathbf{S}$包含稀疏离群值。这些方法以低计算成本产生可解释的因子分解，并提供新的CUR分解，与以前的方法相比，对稀疏离群值具有鲁棒性。我们考虑鲁棒PCA的两个关键成像应用：视频前景-背景分离和人脸建模。本文研究了我们的鲁棒CUR分解在基准视频和人脸数据集上的定性行为，发现我们的方法与标准的鲁棒PCA一样有效，同时速度明显更快。此外，我们考虑混合随机和确定性采样方法，产生一个紧凑的CUR分解一个给定的矩阵，并将其应用到视频序列，以产生规范的帧。
2021-08-05 cs.CV cs.LG eess.IV
Identification of Stochasticity by Matrix-decomposition: Applied on Black Hole Data
International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）
提出一种结合SVD拓扑分析与PCA特征及SVM的双分支矩阵分解算法，用于判别时间序列是否随机，并在合成数据和黑洞GRS 1915+105数据上验证，12类中11类标签一致。
2023-07-15 cs.LG
DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors
Rice University（莱斯大学）
DeepTensor是一个计算效率高的框架，用于使用深度生成网络对矩阵和张量进行低秩分解。我们将张量分解为低秩张量因子的乘积（例如，作为两个向量的外积的矩阵），其中每个低秩张量由以自监督方式训练的深度网络（DN）生成，以最小化均方近似误差。我们的关键观察是，DN中固有的隐式正则化使它们能够捕获非线性信号结构（例如，流形），这是经典的线性方法，如奇异值分解（SVD）和主成分分析（PCA）无法达到的。此外，与SVD和PCA相比，当张量的条目偏离加性高斯白噪声时，其性能会恶化，我们证明了DeepTensor的性能对广泛的分布具有鲁棒性。我们通过探索一系列现实世界的应用，包括高光谱图像去噪，3D MRI断层扫描和图像分类，验证了DeepTensor是SVD，PCA，非负矩阵分解（NMF）和类似分解的强大且计算效率高的替代品。特别是，DeepTensor为泊松噪声破坏的信号提供了比标准去噪方法高出6dB的信噪比，并且学习分解3D张量的速度比配备3D卷积的单个DN快60倍。
2022-04-07 cs.LG stat.AP stat.ML
Regression-aware decompositions
Facebook Artificial Intelligence Research（脸书人工智能研究）
本文提出了一种回归感知的分解方法，通过结合线性最小二乘回归模型与插值分解，实现了对矩阵B的监督降维，从而揭示了B中与A回归相关的结构。
2018-02-12 cs.LG cs.NA math.NA
A Decomposition Framework for Certifiably Optimal Orthogonal Sparse PCA
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Aerospace Information Technology University（航空航天信息技术大学）；Academy of Mathematics and Systems Science（数学与系统科学学院）；Chinese Academy of Sciences（中国科学院）
本文提出GS-SPCA算法和分解框架，解决稀疏PCA中稀疏性、正交性和最优性的平衡问题，通过分支定界和分解方法提升计算效率。
2026-03-01 cs.LG
Robust PCA via Outlier Pursuit
Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
奇异值分解（和主成分分析）是最广泛使用的降维技术之一：成功且可有效计算，但它仍然受到众所周知的，有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而，在SVD或PCA的应用中，如鲁棒协同过滤或生物信息学，恶意代理，有缺陷的基因，或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法，我们称之为离群值追踪，在一些温和的假设下，对未损坏的点（满足，例如，通过PCA问题中的标准生成假设）恢复精确的最优低维子空间，并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解，然而，我们的结果，设置和方法，必然与矩阵完成和矩阵分解中的现有工作线有很大不同，因为我们开发了一种方法来恢复未损坏矩阵的正确列空间，而不是确切的矩阵本身。在任何问题中，人们试图恢复一个结构，而不是确切的初始矩阵，迄今为止开发的技术依赖于证书的最优性，将失败。我们提出了一个重要的扩展这些方法，允许治疗这样的问题。
2010-12-31 cs.IT cs.LG math.IT
Efficient Tensor Robust PCA under Hybrid Model of Tucker and Tensor Train
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量鲁棒主元分析（TRPCA）是机器学习和计算机视觉中的一个基本模型。最近，张量训练（TT）分解已被证明有效地捕捉全球低秩相关的张量恢复任务。然而，由于实际应用中张量数据的规模较大，以往的TRPCA模型往往存在较高的计算复杂性。在这封信中，我们提出了一个有效的TRPCA下的混合模型的Tucker和TT。具体来说，在理论上，我们揭示了TT核范数（TTNN）的原始大张量可以等价地转换为一个更小的张量通过塔克压缩格式，从而显着降低奇异值分解（SVD）的计算成本。人工和真实世界张量数据的数值实验验证了所提出的模型的优越性。
2021-12-20 cs.LG
PCA in Data-Dependent Noise (Correlated-PCA): Nearly Optimal Finite Sample Guarantees
我们研究主成分分析（PCA）的设置中的一部分，腐败的噪声是数据相关的，因此，噪声和真实的数据是相关的。在对真实数据和噪声的有界性假设以及对数据-噪声相关性的简单假设下，我们获得了最常用的PCA解决方案奇异值分解（SVD）的近最佳样本复杂度界。这个界限比Vaswani和Guo在最近的工作（NIPS 2016）中获得的界限有了显着的改进，其中第一次研究了这个“相关PCA”问题;并且它在比这个早期结果所用的数据-噪声相关性假设明显更弱的情况下成立。
2017-10-31 cs.IT math.IT stat.ML
Large-Scale Learning with Fourier Features and Tensor Decompositions
Delft University of Technology（代尔夫特理工大学）
随机傅立叶特征提供了一种用核方法解决大规模机器学习问题的方法。他们缓慢的蒙特卡罗收敛速度激发了确定性傅立叶特征的研究，其近似误差可以在基函数的数量上呈指数下降。然而，由于它们的张量积扩展到多个维度，这些方法严重地遭受维度灾难，限制了它们对一维，二维或三维场景的适用性。在我们的方法中，我们通过利用确定性傅立叶特征的张量积结构来克服所述维数灾难，这使我们能够将模型参数表示为低秩张量分解。我们推导出一个单调收敛的块坐标下降算法，在正则化平方损失函数的输入的样本大小和维度上都具有线性复杂度，允许学习使用确定性傅立叶特征的分解形式的简约模型。我们通过数值实验证明了我们的低秩张量方法如何获得与相应的非参数模型相同的性能，始终优于随机傅立叶特征。
2021-10-19 cs.LG stat.ML
Multivariate Analysis for Multiple Network Data via Semi-Symmetric Tensor PCA
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；University of Florida（佛罗里达大学）
网络数据通常在各种应用中收集，表示感兴趣的特征之间的直接测量或统计推断的连接。在越来越多的领域中，这些网络是随着时间的推移而收集的，例如社交媒体平台的用户在不同日期之间的交互，或者跨多个主题的交互，例如在大脑连接的多主题研究中。在分析多个大型网络时，通常使用降维技术将网络嵌入到更易处理的低维空间中。为此，我们通过专门的张量分解开发了一个网络集合上的主成分分析（PCA）框架，我们称之为半对称张量PCA或SS-TPCA。我们推导出计算效率高的算法来计算我们提出的SS-TPCA分解，并建立一个标准的低秩信号加噪声模型下，我们的方法的统计效率。值得注意的是，我们表明，SS-TPCA达到了与经典矩阵PCA相同的估计精度，误差与网络中顶点数的平方根成比例，而不是与预期的边数成比例。我们的框架继承了经典PCA的许多优点，适用于广泛的无监督学习任务，包括识别主要网络，隔离有意义的变点或离群观测，以及表征最变化边缘的“变异网络”。最后，我们证明了我们的建议的有效性模拟数据和实证法律研究的一个例子。用于建立我们的主要一致性结果的技术令人惊讶地简单，并可能在各种其他网络分析问题中找到用途。
2022-09-02 cs.LG cs.SI stat.ME
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Google Brain（谷歌大脑）
我们对在线$k$ -PCA问题的两个常用更新，即Krasulina和Oja的更新，提出了新的见解。我们发现，Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上，而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察，我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式，即尽可能多地使用未来梯度信息的版本。最有趣的是，我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明，新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明，隐式Krasulina更新产生优越的收敛性，同时显着更快。我们还提供了强有力的证据表明，新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
Robust PCA by Manifold Optimization
鲁棒PCA是一种广泛使用的统计过程，用于恢复具有严重损坏的观测值的底层低秩矩阵。本文将鲁棒PCA问题视为低秩矩阵流形上的非凸优化问题，提出了两种基于流形优化的鲁棒PCA算法。结果表明，与一个适当的设计初始化，所提出的算法是保证收敛到底层的低秩矩阵线性。与基于低秩矩阵Burer-Monterio分解的算法相比，该算法在理论上降低了对低秩矩阵条件数的依赖性.仿真和实际数据的例子证实了我们的方法的竞争力。
2017-09-01 stat.CO stat.ML
Microwave breast cancer detection using Empirical Mode Decomposition features
基于微波的乳腺癌检测已经被提出作为补充方法，以补偿现有乳腺癌检测技术的一些缺点。在现有的微波乳腺癌检测方法中，机器学习类型的算法最近变得更加流行。这些技术的重点是检测乳腺肿瘤的存在，而不是通过成像来确定肿瘤的确切位置。机器学习方法的关键步骤是特征提取。主成分分析（PCA）是最常用的特征提取方法之一。然而，它可能对信号未对准敏感。本文提出了一种基于经验模态分解（EMD）的特征提取方法，该方法对失调具有较强的鲁棒性。涉及临床数据集结合数值模拟的肿瘤反应的实验结果表明，EMD和PCA的组合功能提高了集成选择为基础的分类器的检测性能。
2017-02-24 stat.ML
Shifted Randomized Singular Value Decomposition
Uppsala University（乌普萨拉大学）
我们扩展的随机奇异值分解（SVD）算法\citep{Halko2011finding}估计的SVD的移位数据矩阵，而无需显式地构建在内存中的矩阵。在不损失原算法精度的情况下，扩展算法提供了一种更有效的矩阵分解方法。该算法有利于低秩近似和主成分分析（PCA）的偏离中心的数据矩阵。当应用到不同类型的数据矩阵，我们的实验结果证实了原算法的扩展的优点。
2019-11-28 cs.LG stat.ML
A Simple and Fast Algorithm for L1-norm Kernel PCA
Northwestern University（西北大学）
本文提出了一种L1范数核PCA算法，并给出了算法的收敛性分析，L2范数核PCA的最优解可以通过矩阵分解得到，而L1范数核PCA的最优解由于其非凸性和非光滑性而不易得到。我们提供了一个新的重新制定，通过它得到一个等价的，几何可解释的问题。基于重新表述的问题的几何解释，我们提出了一个不动点类型的算法，迭代计算每个观察的二进制权重。由于该算法只需要数据向量的内积，因此计算效率高，核技巧也适用。在收敛性分析中，我们证明了算法在有限步内收敛到局部最优解。此外，我们提供了一个收敛速度分析，这是从来没有做过的任何L1范数PCA算法，证明目标值的序列以线性速度收敛。在数值实验中，我们表明，该算法是强大的，在存在的条目方面的扰动和计算可扩展性，特别是在一个大规模的设置。最后，我们介绍了一个应用程序的离群点检测模型的基础上提出的算法优于基准算法。
2020-06-11 cs.LG stat.ML
A Dictionary Based Generalization of Robust PCA
University of Minnesota-Twin Cities（明尼苏达大学双城分校）
我们分析了数据矩阵的分解，假设是一个低秩分量和一个已知字典中稀疏的分量的叠加，使用凸分层方法。我们提供了一个统一的分析，包括欠完备和过完备字典的情况下，并表明，组成部分可以成功地恢复在一些相对温和的假设下，一定的$\textit{global}$稀疏水平。此外，我们证实了我们的理论结果，提出经验评估的相变在不同的字典大小的秩和稀疏性。
2019-02-21 cs.LG math.OC stat.ML
A Functional SVD Framework for Regularized Multivariate Functional PCA with Dual Penalization
University of Minnesota（明尼苏达大学）；Persian Gulf University（波斯湾大学）；Marquette University（马凯特大学）
本文提出基于函数奇异值分解的正则化多元函数主成分分析框架，通过双惩罚同时正则化主成分及得分，增强可解释性，并借助幂算法与交叉验证提升提取效果。
2026-09-15 cs.LG stat.ME stat.ML
Heteroskedastic PCA: Algorithm, Optimality, and Applications
提出了一种在异方差噪声背景下的主成分分析（PCA）方法。我们提出了一种算法称为HeteroPCA，它涉及迭代插补的样本协方差阵的对角元素，以消除估计偏差，由于异方差。该方法在广义协方差模型下计算效率高，且可证明是最优的。一个关键的技术步骤是奇异子空间上的确定性鲁棒扰动分析，这可以是独立的利益。该算法的有效性被证明在一系列的问题，在高维统计，包括奇异值分解（SVD）下异方差噪声，泊松PCA和奇异值分解异方差和不完全数据。
2021-04-01 math.ST stat.CO stat.ME
A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate
Weizmann Institute of Science（魏茨曼科学研究所）
提出VR-PCA算法，通过低计算成本的随机迭代实现快速收敛，解决传统方法收敛慢或计算强度大的问题。
2015-07-31 cs.LG cs.NA math.NA
CUR from a Sparse Optimization Viewpoint
CUR分解提供了矩阵$X$的近似，该矩阵具有低重建误差，并且在所得近似仅位于$X$的几列的范围内的意义上是稀疏的。在这方面，它似乎类似于许多稀疏PCA方法。然而，CUR采用随机算法方法，而大多数稀疏PCA方法都是凸优化问题。在本文中，我们试图从稀疏优化的观点来理解CUR。我们表明，CUR是隐式优化稀疏回归目标，而且，不能直接铸造作为一个稀疏PCA方法。我们还观察到，稀疏性达到CUR拥有一个有趣的结构，这使我们制定一个稀疏PCA方法，实现了CUR-like稀疏。
2010-11-01 cs.DS stat.AP stat.ML
Robust Singular Values based on L1-norm PCA
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
奇异值分解（SVD）是工程、科学和统计学中普遍存在的数据分析方法。特别地，奇异值估计在一系列工程应用中是至关重要的，例如通信系统中的信道估计、肌电图信号分析和图像压缩，仅举几例。数据矩阵的常规SVD与标准主成分分析（PCA）一致。PCA的L2范数（平方值之和）公式化促进外围数据点，并且因此使PCA对离群值敏感。自然地，SVD继承了这种离群值敏感性。在这项工作中，我们提出了一种新的鲁棒非参数方法的SVD和奇异值估计的基础上的L1范数（绝对值之和）制定，我们命名为L1-cSVD。因此，所提出的方法显示出对异常值的强大抵抗力，并且可以在广泛的工程应用中促进更可靠的数据分析和处理。
2022-10-21 cs.LG eess.SP
Two Proposals for Robust PCA using Semidefinite Programming
主成分分析（PCA）的性能受到严重的离群值的存在。提出了两种基于半定规划的鲁棒主成分分析方法。第一种方法，最大平均绝对偏差舍入（MDR），寻求大的传播方向的数据，同时阻尼离群值的影响。第二种方法产生数据的低杠杆分解（LLD），试图通过分离出损坏的观察结果来形成数据的低秩模型。本文还提出了有效的计算方法来解决这些SDP。数值实验证实了这些新技术的价值。
2010-12-14 stat.CO
Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery
Iowa State University（爱荷华州立大学）；Université de La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）
PCA是最广泛使用的降维技术之一。一个相关的更简单的问题是“子空间学习”或“子空间估计”。给定相对干净的数据，两者都可以通过奇异值分解（SVD）轻松求解。存在离群值的子空间学习或PCA问题称为鲁棒子空间学习或鲁棒PCA（RPCA）。对于长数据序列，如果试图使用单个低维子空间来表示数据，则所需的子空间维度可能会非常大。对于这样的数据，一个更好的模型是假设它位于一个低维子空间，可以随着时间的推移而变化，尽管是逐渐变化的。跟踪这样的数据（和子空间），同时对离群值具有鲁棒性的问题被称为鲁棒子空间跟踪（Robust Subspace Tracking，简称SVM）。这篇文章提供了一个杂志式的概述整个领域的鲁棒子空间学习和跟踪。特别是三个问题的解决方案进行了详细讨论：通过稀疏+低秩矩阵分解（S+LR）的RPCA，通过S+LR，和“鲁棒子空间恢复（RSR）”的恢复。RSR假设整个数据向量要么是离群值，要么是内点。相反，S+LR公式假设离群值仅出现在少数数据向量索引上，因此被很好地建模为稀疏损坏。
2018-07-05 cs.CV cs.IT math.IT
Orthogonal rotation in PCAMIX
Kiers（1991）考虑了PCAMIX中的正交旋转，这是一种定性和定量变量混合的主成分方法。PCAMIX包括普通的主成分分析（PCA）和作为特殊情况的多重对应分析（MCA）。在本文中，我们给出了一个新的介绍PCAMIX的主成分和平方载荷从奇异值分解。定量变量的载荷和定性变量范畴的主坐标也可直接求出。在这方面，我们提出了一个计算效率的程序方差最大旋转PCAMIX和直接解决方案的最佳旋转角度。仿真研究表明，所提出的算法具有良好的计算性能。真实数据集上的应用程序说明了在MCA中使用旋转的兴趣。所有源代码都可以在R包“PCAmixdata”中找到。
2011-12-01 stat.CO
Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated
Iowa State University（爱荷华州立大学）
给定一个观测数据矩阵，主成分分析（PCA）计算包含其大部分变异性的少量正交方向。可以证明精确的PCA解决方案已经使用了很长时间。然而，据我们所知，所有现有的理论保证都假设数据和破坏性噪声是相互独立的，或者至少是不相关的。这在实践中经常有效，但并不总是有效。在本文中，我们研究的PCA问题中的数据和噪声可以相关的设置。这种噪声通常也被称为“数据相关噪声”。我们得到了一个正确的结果为标准的特征值分解（EVD）为基础的解决方案PCA在简单的假设下的数据噪声相关性。我们还开发和分析了EVD，集群EVD，提高EVD在某些制度的泛化。
2016-11-02 cs.IT cs.LG math.IT
Pseudo-Bayesian Robust PCA: Algorithms and Analyses
KAIST（韩国科学技术院）；Osaka University（大阪大学）；Microsoft Research（微软研究院）
通常用于计算机视觉和其他应用中，鲁棒PCA代表了降低经典PCA对离群值的敏感性的算法尝试。其基本思想是学习将感兴趣的一些数据矩阵分解为低秩和稀疏分量，后者表示不需要的离群值。虽然由此产生的优化问题通常是NP难的，凸松弛提供了一个计算上方便的替代理论支持。然而，在实际制度的性能保证打破和各种非凸的替代方案，包括贝叶斯启发的模型，已被提出，以提高估计质量。然而不幸的是，在没有额外的先验知识的情况下，这些方法都不能显著地扩展临界操作范围，使得精确的主子空间恢复是可能的。到这个组合中，我们提出了一种新的伪贝叶斯算法，明确补偿设计的弱点，在许多现有的非凸的方法，导致国家的最先进的性能与健全的分析基础。令人惊讶的是，我们的算法甚至可以优于凸矩阵完成，尽管事实上，后者提供了完美的知识，其中条目没有损坏。
2016-10-07 cs.CV cs.LG stat.ML
Graph Regularized PCA
Shell Information Technology Limited（Shell信息科技有限公司）；University College London（伦敦大学学院）；Department of Computer Science（计算机科学系）；Systemic Risk Centre（系统性风险中心）；London School of Economics and Political Sciences（伦敦政治经济学院）；Shell Information Technology International B.V.（Shell信息科技国际有限公司）
针对多变量数据复杂依赖性问题，提出图正则化主成分分析（GR - PCA），通过学习稀疏精度图等纳入数据特征依赖结构，在合成数据上评估，与主流方法比有优势，能防止高频信号过拟合，为有结构感知的降维提供实用途径。
2026-07-15 cs.LG
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Curvature-Aware PCA with Geodesic Tangent Space Aggregation for Semi-Supervised Learning
Computing Department（计算部门）；Federal University of São Carlos（萨o卡洛斯联邦大学）
本文提出GTSA-PCA，通过曲率感知和测地一致性统一框架，改进半监督学习中的降维方法，提升小样本和高曲率场景下的性能。
2026-04-20 cs.AI cs.LG
Augmented Robust PCA For Foreground-Background Separation on Noisy, Moving Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的基于全变分正则化的鲁棒PCA方法，用于对有噪声的运动摄像机视频进行前景-背景分离和去噪。我们提出的算法注册的原始（可能损坏）的视频帧，然后联合处理注册的帧，以产生一个分解的场景到一个低秩的背景组件，捕获的静态组件的场景，一个平滑的前景组件，捕获的动态组件的场景，和一个稀疏的组件，可以隔离腐败和其他非理想。与现有的方法不同，我们提出的算法产生一个全景低秩组件，跨越整个视野，自动拼接在一起损坏的数据从部分重叠的场景。我们的鲁棒PCA模型的低秩部分是基于最近发现的最佳低秩矩阵估计（OptShrink），不需要参数调整。我们证明了我们的算法在静态和移动摄像机视频被噪声和离群值破坏的性能。
2017-09-27 cs.CV stat.ML
Regularized Tensor Factorizations and Higher-Order Principal Components Analysis
高维张量或多维数据在生物医学成像、化学计量学、网络和文献计量学等领域变得越来越普遍。寻找张量数据的低维表示的传统方法包括将数据平坦化并应用矩阵分解，例如主成分分析（PCA）或采用张量分解，例如CANDECOMP / PARAFAC（CP）和Tucker分解。前者可能会丢失数据中的重要结构，而后者的高阶PCA（HOPCA）方法在具有许多不相关特征的高维中可能存在问题。我们引入框架稀疏张量因子分解或稀疏HOPCA的启发式算法的方法的基础上，并通过解决相关的CP分解的惩罚优化问题。这些方法的扩展导致一般正则化张量因子分解，多路功能HOPCA和结构化数据的HOPCA的推广方法。我们说明了我们的方法的效用降维，特征选择，和信号恢复模拟数据和多维微阵列和功能MRI。
2012-02-11 stat.ML
Neural Component Analysis for Fault Detection
主元分析（PCA）被广泛地应用于化工过程的监测，许多基于PCA的系统已经被开发出来，以解决各种故障检测和诊断问题。由于基于PCA的方法假设被监测的过程是线性的，非线性PCA模型，如自动编码器模型和核主元分析（KPCA），已被提出并应用于非线性过程监测。然而，基于KPCA的方法需要对核Gram矩阵进行特征分解（ED），其维数取决于训练数据的数量。此外，对于不同的故障，可能需要不同的参数来最大化它们各自的检测性能，前缀核参数不能是最有效的。自动编码器模型缺乏对正交约束的考虑，而正交约束对于基于PCA的算法至关重要。为了解决这些问题，本文提出了一种新的非线性方法，称为神经元分析（NCA），它旨在训练前馈神经工作与正交约束，如PCA中使用的。NCA可以通过反向传播自适应地学习其参数，并且非线性特征的维数与训练样本的数量无关。在Tennessee Eastman（TE）基准过程上的大量实验结果表明，NCA在漏检率（MDR）和虚警率（FAR）方面具有优越性。NCA的源代码可以在https://github.com/haitaozhao/Neural-Component-Analysis.git中找到。
2017-12-12 cs.LG cs.NE stat.ML
Supervised Kernel PCA For Longitudinal Data
在统计学习中，协变量的高维性对稳健的预测和推断提出了挑战。为了解决这一挑战，通常执行监督降维，其中对于具有较小维度的所选协变量子空间，对结果的依赖性被最大化。普遍的降维技术假设数据是$i.i.d.$，这不适用于包含多个受试者的纵向数据，这些受试者随时间重复测量。在本文中，我们推导出一个分解的希尔伯特-施密特独立性准则作为监督损失函数的纵向数据，使集群之间和集群内分别降维，并提出了一个降维技术，$sklPCA$，执行这种分解的降维。我们还表明，这种技术产生优越的模型精度相比，它扩展的模型。
2018-08-23 stat.ME stat.ML
Dimensionality Reduction for Binary Data through the Projection of Natural Parameters
二进制数据的主成分分析（PCA），称为逻辑PCA，已经成为二进制数据降维的一种流行的替代方法。它的动机是通过矩阵分解，类似于奇异值分解，最大化伯努利对数似然的普通PCA的扩展。我们提出了一个新的制剂的逻辑PCA扩展皮尔逊的制定低维数据表示与最小误差的二进制数据。我们的公式不需要矩阵分解，因为以前的方法，而是寻找从饱和模型的自然参数的投影。由于这种差异，参数的数量不会随着观测值的数量而增加，并且可以通过简单的矩阵乘法来计算新数据的主成分得分。我们推导出特殊结构的数据矩阵的显式解决方案，并提供计算效率高的算法求解主成分负荷。通过模拟实验和对医疗诊断数据的分析，我们将我们的逻辑PCA公式与以前的公式以及普通PCA进行了比较，以证明其优点。
2015-10-21 stat.ME stat.ML
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
A Kernelizable Primal-Dual Formulation of the Multilinear Singular Value Decomposition
Delft University of Technology（代尔夫特理工大学）
本文为多线性奇异值分解（MLSVD）建立了原始-对偶表述，统一了PCA与SVD，并通过特征映射提出核化非线性扩展，从而在信号分析和深度学习中实现计算增益与非线性建模能力。
2024-10-21 cs.LG cs.NA math.NA
RES-PCA: A Scalable Approach to Recovering Low-rank Matrices
Qingdao University（青岛大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
鲁棒主元分析（Robust Principal Component Analysis，RPCA）因其在低秩矩阵恢复方面的强大能力以及在实际问题中的成功应用而受到广泛关注。现有算法通常需要求解大型矩阵的奇异值分解，其复杂度一般至少为二次甚至三次。这一缺陷限制了RPCA在解决实际问题中的应用。为了克服这个缺点，在本文中，我们提出了一种新的类型的RPCA方法，RES-PCA，这是线性有效的，可扩展的数据大小和维度。为了比较的目的，AltProj，现有的RPCA的可扩展方法需要真实秩的精确知识;否则，它可能无法恢复低秩矩阵。相比之下，我们的方法在知道或不知道真实排名的情况下都有效;即使两种方法都有效，我们的方法也更快。大量的实验已经进行，并证明了所提出的方法的有效性定量和视觉质量，这表明我们的方法是适合作为一个轻量级的，可扩展的组件RPCA在任何应用程序的管道。
2019-04-16 cs.CV cs.LG stat.ML
A Survey of Singular Value Decomposition Methods for Distributed Tall/Skinny Data
奇异值分解（SVD）是最重要的矩阵分解之一，在众多应用领域中有着广泛的应用。在统计学和数据分析中，奇异值分解的常见应用如主成分分析（PCA）和线性回归。通常这些应用程序出现在行比列多得多的数据上，即所谓的“高/瘦”矩阵。在大数据分析背景下，这可能采取数亿到数十亿行的形式，只有几百列。因此，需要能够充分利用现代计算资源的快速、准确和可扩展的高/瘦SVD实现。为此，我们提出了一个调查的三种不同的算法来计算SVD的这些种高/瘦的数据布局使用MPI通信。我们将这些与常见的大数据分析技术（主要是PCA）结合起来。最后，我们提出了CPU和GPU的首脑会议超级计算机的时间结果，并讨论可能的替代方法。
2020-09-02 cs.MS stat.CO
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
On the Multiway Principal Component Analysis
多路数据变得越来越普遍。虽然有许多方法可以将主成分分析（PCA）从通常的数据矩阵扩展到多路阵列，但它们与通常的PCA的概念差异以及这种差异的方法学含义仍然在很大程度上未知。这项工作旨在具体解决这些问题。特别是，我们澄清PCA和奇异值分解（SVD）的多路数据之间的细微差别，并表明，多路主成分（PC）可以可靠地估计在没有通常的PCA所需的特征间隙，并在一般情况下更有效地比通常的PC。此外，样本多路PC是渐近独立的，因此允许对总体PC进行单独和更准确的推断。通过数值模拟和实际数据的例子，多路PCA的实际优点进一步证明。
2023-02-14 math.ST stat.ME stat.TH
Tucker tensor factor models: matricization and mode-wise PCA estimation
针对高阶张量因子模型低秩结构估计的统计推断理论不足问题，研究通过张量矩阵化将其转化为按模式的高维因子模型，用模式PCA结合投影迭代提升信噪比，建立了推断理论并验证了其在张量重构与聚类中的有效性。
2024-12-13 stat.ME
Robust Kronecker Product PCA for Spatio-Temporal Covariance Estimation
Kronecker PCA涉及使用空间与时间Kronecker乘积分解来估计时空协方差。在这项工作中，被认为是一个稀疏的校正因子，这对应于一个模型的协方差作为一个低（分离）秩和稀疏矩阵的克罗内克产品的总和。这种稀疏校正扩展了[Greenewald et al 2013，2014]的对角校正Kronecker PCA，以允许协方差阵中任何地方的稀疏非结构化“离群值”，例如，由不适合Kronecker模型的变量或相关性引起，或由传感器噪声或传感器故障等来源引起。我们引入了一种稳健的基于PCA的算法来估计该模型下的协方差，扩展了[Greenewald et al 2014，Tsiligkarnovel et al 2013]的重排核范数惩罚LS Kronecker PCA方法。还提供了一个扩展Toeplitz时间因素，产生一个参数减少时间平稳的测量建模。高维MSE性能界限给出了这些扩展。最后，建议的扩展KronPCA的酵母细胞周期实验的模拟和真实数据进行评估。这确立了鲁棒Kronecker PCA在生物和其他应用中的实际效用。
2015-07-29 stat.ME
Low-Rank Denoising for Predict-then-Optimize
针对预测后优化在模型设定错误下性能下降的问题，提出利用协方差矩阵特征值分解直接去噪含噪成本向量，在网格最短路径基准上以k=5匹配潜在维度，使去噪Dijkstra优于SPO+。
2026-11-03 cs.LG econ.EM math.OC
