arXiv 1102.55592011-02cs.ITmath.IT

基于支持度预测的改进CS算法的递归鲁棒主成分追踪

Support-Predicted Modified-CS for Recursive Robust Principal Components' Pursuit

Chenlu Qiu, Namrata Vaswani

摘要：

本文提出了一种因果递归算法来解决“鲁棒”主成分分析（PCA）问题。我们主要关注相关离群值的鲁棒性。在最近的工作中，我们提出了一种新的方法来看待这个问题，并展示了其解决策略的关键部分如何涉及解决噪声压缩感知（CS）问题。然而，如果对于当前PC空间的给定维度，离群值的支持大小变得太大，则可用于CS的“测量”的数量可能变得太小。在这项工作中，我们展示了如何通过利用离群值的相关性来预测它们在当前时间的支持度来解决这个问题;并将其用作“部分支持度知识”来解决Modified-CS而不是CS。

英文摘要：

This work proposes a causal and recursive algorithm for solving the "robust" principal components' analysis (PCA) problem. We primarily focus on robustness to correlated outliers. In recent work, we proposed a new way to look at this problem and showed how a key part of its solution strategy involves solving a noisy compressive sensing(CS) problem. However, if the support size of the outliers becomes too large, for a given dimension of the current PC space, then the number of "measurements" available for CS may become too small. In this work, we show how to address this issue by utilizing the correlation of the outliers to predict their support at the current time; and using this as "partial support knowledge" for solving Modified-CS instead of CS.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

减少线性测量的主成分追踪算法

Principal Component Pursuit with Reduced Linear Measurements

本文研究了当线性测量相对较少时，低秩矩阵和稀疏矩阵的叠加分解问题。这个问题出现在许多数据处理任务中，例如对齐多个图像或校正规则纹理，其中目标是在存在非线性域变换的情况下恢复具有大部分损坏条目的低秩矩阵。我们认为这个问题是一个自然的凸启发式最近提出的主成分追踪的一个变种。我们证明，在适当的条件下，这个凸计划保证恢复正确的低秩和稀疏的组件，尽管减少测量。我们的分析涵盖了随机和确定性测量模型。

2012-02-29cs.ITmath.IT

基于主成分追踪的低秩矩阵稠密误差校正

Dense Error Correction for Low-Rank Matrices via Principal Component Pursuit

我们考虑的问题，恢复低秩矩阵时，它的一些条目，其位置是不知道的先验，被损坏的错误任意大的幅度。最近的研究表明，这个问题可以有效地解决了一个凸计划命名为主成分追踪（PCP），只要损坏的条目和矩阵的秩都足够小的分数。在本文中，我们扩展的结果表明，相同的凸计划，略有改善的加权参数，准确地恢复低秩矩阵，即使“几乎所有”的条目是任意损坏的，提供的错误的符号是随机的。我们证实了我们的结果与随机生成的矩阵和错误的模拟。

2010-01-22cs.ITmath.IT

稳定主成分追踪

Stable Principal Component Pursuit

在本文中，我们研究的问题，恢复一个低秩矩阵（主成分）从高维数据矩阵，尽管小条目的噪声和粗稀疏误差。最近，它已被证明，凸规划，名为主成分追踪（PCP），可以恢复低秩矩阵时，数据矩阵被破坏的粗稀疏误差。我们进一步证明了一个相关的凸规划（一个放松的PCP）的解决方案给出了一个估计的低秩矩阵，同时是稳定的小entrywise噪声和鲁棒的粗稀疏误差。更确切地说，我们的结果表明，所提出的凸计划恢复低秩矩阵，即使其条目的正分数是任意损坏的，与噪声水平成正比的误差界。我们提出的模拟结果来支持我们的结果，并证明了新的凸计划准确地恢复主成分（低秩矩阵）在相当广泛的条件下。据我们所知，这是第一个结果，表明经典的主成分分析（PCA），最佳的小i.i.d.噪声，可以鲁棒的粗稀疏误差;或第一，表明新提出的PCP可以稳定的小条目的扰动。

2010-01-14cs.ITmath.IT

压缩主成分追踪

Compressive Principal Component Pursuit

我们考虑的问题，恢复的目标矩阵是低秩和稀疏分量的叠加，从一个小的线性测量。这个问题出现在压缩感知的结构化高维信号，如视频和高光谱图像，以及在分析变换不变的低秩恢复。我们分析了自然凸启发式算法解决这个问题的性能，假设测量值是随机均匀选择的。我们证明，这种启发式准确地恢复低秩和稀疏的条款，提供的观测数量超过了一个多对数因子的分量信号的固有自由度的数量。我们的分析介绍了几个想法，可能是独立的兴趣压缩感知和分解叠加的多个结构化信号的更一般的问题。

2012-02-21cs.ITmath.IT

主成分追踪的强凸规划

Strongly Convex Programming for Principal Component Pursuit

the School of Electronic Engineering University of Electronic Science and Technology of China（电子科技大学电子工程学院）；Department of Electrical Engineering, ESAT-SCD / IBBT - KU Leuven Future Health Department, KU Leuven（荷语鲁汶大学电气工程系、ESAT-SCD/IBBT未来健康部门）

本文针对降维线性测量下的主成分追踪问题，提出强凸规划模型，给出精确恢复低秩和稀疏矩阵的充分条件及参数选择建议。

2012-09-20cs.ITcs.NAmath.IT

实时的鲁棒主元追踪

Real-time Robust Principal Components' Pursuit

Iowa State University（爱荷华州立大学）

Candes等人最近的工作中，恢复被i.i.d.破坏的低秩矩阵的问题。稀疏离群值的研究，并提出了一个非常优雅的解决方案，主成分追求。它被激励作为一种工具，用于视频监控应用与背景图像序列形成的低秩部分和运动的物体/人/异常形成稀疏部分。每帧图像被视为由低秩矩阵和稀疏腐败矩阵组成的数据矩阵的列向量。主成分追踪算法是在低秩矩阵的奇异向量是分散的，稀疏矩阵的稀疏模式是一致随机的假设下求解的。然而，在实践中，稀疏部分（移动的人/物体）的稀疏模式和信号值通常随时间以相关的方式改变，例如，物体缓慢地和/或以大致恒定的速度移动。这通常会导致低秩稀疏矩阵。对于视频监控应用来说，拥有一个实时的【形】解决方案会有用得多。在这项工作中，我们研究了上述问题的在线版本，并提出了一个自动处理相关稀疏离群值的解决方案。本工作的核心思想如下。给定低秩部分的主方向的初始估计，我们通过解决有噪声的压缩感知类型的问题，在每个时间因果地保持估计稀疏部分。低秩部分的主方向每隔一段时间更新。在两个更新时间之间，如果出现新的主成分的方向，则压缩感测步骤所看到的“噪声”可能会增加。这个问题部分地通过利用低秩部分的时间相关模型来解决。我们称之为“实时的【形】鲁棒主成分追踪”的解决方案。

2011-02-12cs.CVcs.ITmath.IT

更多相关论文收起更多论文

基于松弛主成分追踪的网络流量矩阵结构分析

Structural Analysis of Network Traffic Matrix via Relaxed Principal Component Pursuit

网络流量矩阵在网络运营管理中有着广泛的应用。因此，分析网络流量矩阵的组成和结构至关重要，为此提出了几种数学方法，如主成分分析（PCA）。在本文中，我们首先认为，PCA分析流量矩阵是由大量的异常污染表现不佳，然后提出了一个新的分解模型的网络流量矩阵。根据该模型，我们通过将网络流量矩阵分解为三个子矩阵，即确定性流量、异常流量和噪声流量矩阵来进行结构分析，这类似于先前在[13]中研究的鲁棒主成分分析（RPCA）问题。基于松弛主成分追踪（Relaxed PCP）方法和加速邻近梯度（Accelerated Proximal Gradient，APG）算法，提出了一种分解流量矩阵的迭代方法，并通过实验验证了该方法的有效性和灵活性。最后，我们进一步讨论了确定性和噪声业务的几个特点。我们的研究开发了一种新的方法的流量矩阵的结构分析问题，这是强大的大体积异常的污染。

2012-03-06cs.ITcs.NIcs.PF

后向优化正交匹配追踪算法

Backward Optimized Orthogonal Matching Pursuit

提出了一种原子分解收缩系数的递归方法。相应的算法进化，以便在每次迭代时提供a）信号到缩减子空间上的正交投影和b）要忽略的系数的索引，以便构造使残差的范数最小化的较粗略的近似。

2004-01-21cs.ITmath.GMmath.IT

支持度部分已知的噪声压缩感知的改进基追踪去噪（MODIFIED-BPDN）

Modified Basis Pursuit Denoising(MODIFIED-BPDN) for Noisy Compressive Sensing with Partially Known Support

在这项工作中，我们研究的问题重建稀疏信号从有限数量的线性“不相干”噪声测量，当它的支持的一部分是已知的。支持的已知部分可以从先验知识或从先前时刻（在需要稀疏信号的时间序列的递归重建的应用中，例如动态MRI）获得。研究了一种改进的基追踪去噪算法（BPDN），并对其重构误差进行了限制.我们的工作的一个关键特征是，我们得到的界限是可计算的。因此，我们能够使用Monte Carlo来研究它们的平均行为，因为未知支持的大小增加。我们还表明，当未知的支持大小是小的，修改BPDN的界限比BPDN更紧，并在更弱的充分条件下（需要更少的测量）。

2009-10-08cs.ITmath.IT

稳健主成分分析

Robust Principal Component Analysis?

这篇文章是关于一个奇怪的现象。假设我们有一个数据矩阵，它是一个低秩分量和一个稀疏分量的叠加。我们可以单独回收每个组件吗？我们证明，在一些适当的假设下，它是可能的，以恢复低秩和稀疏的组件，正是通过解决一个非常方便的凸计划称为主成分追踪;在所有可行的分解，简单地最小化核范数和L1范数的加权组合。这表明一个原则性的方法来强大的主成分分析的可能性，因为我们的方法和结果断言，一个可以恢复的数据矩阵的主成分，即使其条目的正分数是任意损坏。这也延伸到一小部分条目丢失的情况。我们讨论了解决这个优化问题的算法，并提出了在视频监控领域的应用，在那里我们的方法允许在杂乱的背景中检测对象，并在人脸识别领域，它提供了一个原则性的方法来消除阴影和镜面反射在图像中的脸。

2009-12-18cs.ITmath.IT

Douglas-Rachford迭代在基追踪中的最终线性收敛性

Eventual linear convergence of the Douglas Rachford iteration for basis pursuit

Massachusetts Institute of Technology（麻省理工学院）

本文通过主角度量化了Douglas-Rachford分裂算法在ℓ1最小化问题中的渐近线性收敛率，并展示了在压缩感知中如何用受限等距常数界定该速率，同时分析了ℓ2正则化和过松弛等更一般的迭代方案。

2013-05-29cs.ITcs.NAmath.IT

在大的但结构化的噪声中的递归鲁棒PCA或递归稀疏恢复

Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise

本文研究递归鲁棒主元分析问题。这里，“鲁棒”是指对独立和相关稀疏离群值的鲁棒性。如果离群值是感兴趣的信号，则该问题可以被解释为在存在大的但结构化的噪声Lt的情况下递归地恢复稀疏向量St的时间序列中的一个。我们在Lt上假设的结构是Lt是密集的并且位于固定的或“足够缓慢地”改变的低维子空间中。出现这个问题的一个关键应用是视频监控，其目标是将缓慢变化的背景（Lt）与移动的前景对象（St）分离。为了解决上述问题，我们引入了一种新的解决方案，称为递归投影CS（ReProCS）。在温和的假设下，我们表明，以高概率（w. h. p.），ReProCS能够始终精确地恢复St的支撑集;并且St和Lt的重建误差始终由时不变的小值上界。

2014-08-19cs.ITmath.IT

递归鲁棒PCA或递归稀疏恢复在大但结构化的噪声（第1和第2部分合并）

Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise (parts 1 and 2 combined)

本文研究递归鲁棒主元分析问题。如果离群值是感兴趣的信号，则该问题可以被解释为在存在大的但结构化的噪声$L_t$的情况下递归地恢复稀疏向量的时间序列$S_t$中的一个。我们假设$L_t$的结构是$L_t$是稠密的，并且位于固定或变化“足够慢”的低维子空间中。出现该问题的关键应用是视频监控，其中目标是在运行中将缓慢变化的背景（$L_t$）与移动的前景对象（$S_t$）分离。为了解决上述问题，在最近的工作中，我们引入了一种新的解决方案，称为递归投影CS（ReProCS）。在这项工作中，我们开发了一个简单的修改原来的ReProCS的想法和分析它。这个修改假定知识的子空间变化模型的$L_t$的。在温和的假设和稠密假设的子空间的未估计部分的$L_t$在不同的时间，我们表明，以高概率（w.h.p.），该方法能够始终准确地恢复$S_t$的支持集，并且$S_t$和$L_t$的重建误差都是一个时不变的小值的上界.在模拟实验中，我们观察到，只要每隔几帧有$S_t$的一些支持变化，最后一个假设就成立。

2014-03-27cs.ITmath.IT

ReProCS：相关大噪声下递归鲁棒PCA与递归稀疏恢复之间缺失的一环

ReProCS: A Missing Link between Recursive Robust PCA and Recursive Sparse Recovery in Large but Correlated Noise

本文研究递归鲁棒主元分析问题。这里，“鲁棒性”是指对独立和相关稀疏离群值的鲁棒性，尽管我们关注的是后者。出现此问题的一个关键应用是视频监控，其目标是将缓慢变化的背景与动态移动的前景对象分开。背景序列被很好地建模为位于一个低维子空间，可以随着时间的推移逐渐变化，而运动的前景对象构成相关的稀疏离群值。在这个和许多其他应用中，前景是PCA的离群值，但实际上是应用的“感兴趣的信号”;而背景是腐败或噪声。因此，我们的问题也可以解释为递归恢复的稀疏信号的时间序列中存在的大，但空间相关的噪声之一。这项工作有两个关键贡献。首先，我们提供了一种看待这个问题的新方法，并展示了我们的解决方案策略的关键部分是如何解决噪声压缩感知（CS）问题的。其次，我们展示了如何利用离群值的相关性来处理非常大的支持度离群值。主要思想如下。应用于先前支持估计的相关模型有助于预测当前支持。此预测作为“部分支持知识”，用于解决修改的CS问题，而不是CS。修改的CS重建的支持估计又用于使用卡尔曼滤波器（或任何自适应滤波器）来更新相关模型参数。我们称之为“支持预测修改CS”的方法。

2011-06-16cs.ITmath.IT

基于离群值追踪的稳健PCA

Robust PCA via Outlier Pursuit

Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）

奇异值分解（和主成分分析）是最广泛使用的降维技术之一：成功且可有效计算，但它仍然受到众所周知的，有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而，在SVD或PCA的应用中，如鲁棒协同过滤或生物信息学，恶意代理，有缺陷的基因，或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法，我们称之为离群值追踪，在一些温和的假设下，对未损坏的点（满足，例如，通过PCA问题中的标准生成假设）恢复精确的最优低维子空间，并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解，然而，我们的结果，设置和方法，必然与矩阵完成和矩阵分解中的现有工作线有很大不同，因为我们开发了一种方法来恢复未损坏矩阵的正确列空间，而不是确切的矩阵本身。在任何问题中，人们试图恢复一个结构，而不是确切的初始矩阵，迄今为止开发的技术依赖于证书的最优性，将失败。我们提出了一个重要的扩展这些方法，允许治疗这样的问题。

2010-12-31cs.ITcs.LGmath.IT

稀疏主成分分析与能量剖面依赖的样本复杂度

Sparse Principal Component Analysis with Energy Profile Dependent Sample Complexity

Fudan University（复旦大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Northeastern University（东北大学）

SEP通过适应能量剖面的样本复杂度，有效解决稀疏主成分分析中的样本限制问题，适用于不同能量分布情况，优于现有算法。

2026-08-25cs.ITmath.ITmath.ST

压缩在线鲁棒主成分分析中先验信息的消除

Incorporating Prior Information in Compressive Online Robust Principal Component Analysis

Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；iMinds；Technical University of Denmark（丹麦技术大学）

我们考虑一个在线版本的强大的主成分分析（PCA），这自然会出现在随时间变化的声源分离，如视频前景背景分离。本文提出了一种具有先验信息的压缩在线鲁棒PCA，用于递归地将帧序列从一小组测量中分离为稀疏和低秩分量。与直接处理所有帧的传统的基于批处理的PCA相比，所提出的方法处理从每个帧获取的测量。此外，该方法可以有效地结合多个先验信息，即先前的重构帧，以改善分离，并且此后，更新下一帧的先验信息。我们利用多个先验信息解决$n\text{-}\ell_{1}$最小化，将以前的稀疏成分，并使用增量奇异值分解（$\mathrm{SVD}$）利用以前的低秩成分。我们还建立了理论上的界限，以保证成功的分离下的静态或缓慢变化的低秩组件的假设所需的测量数量。使用数值实验，我们评估我们的界限和所提出的算法的性能。此外，我们将该算法应用于在线视频的前景和背景分离压缩测量。实验结果表明，该方法优于现有的方法。

2017-05-27cs.AIcs.ITmath.IT