ReProCS: A Missing Link between Recursive Robust PCA and Recursive Sparse Recovery in Large but Correlated Noise
本文研究递归鲁棒主元分析问题。这里，“鲁棒性”是指对独立和相关稀疏离群值的鲁棒性，尽管我们关注的是后者。出现此问题的一个关键应用是视频监控，其目标是将缓慢变化的背景与动态移动的前景对象分开。背景序列被很好地建模为位于一个低维子空间，可以随着时间的推移逐渐变化，而运动的前景对象构成相关的稀疏离群值。在这个和许多其他应用中，前景是PCA的离群值，但实际上是应用的“感兴趣的信号”;而背景是腐败或噪声。因此，我们的问题也可以解释为递归恢复的稀疏信号的时间序列中存在的大，但空间相关的噪声之一。这项工作有两个关键贡献。首先，我们提供了一种看待这个问题的新方法，并展示了我们的解决方案策略的关键部分是如何解决噪声压缩感知（CS）问题的。其次，我们展示了如何利用离群值的相关性来处理非常大的支持度离群值。主要思想如下。应用于先前支持估计的相关模型有助于预测当前支持。此预测作为“部分支持知识”，用于解决修改的CS问题，而不是CS。修改的CS重建的支持估计又用于使用卡尔曼滤波器（或任何自适应滤波器）来更新相关模型参数。我们称之为“支持预测修改CS”的方法。
2011-06-16 cs.IT math.IT
Fast Robust Subspace Tracking via PCA in Sparse Data-Dependent Noise
Iowa State University（爱荷华州立大学）
本文研究了鲁棒子空间跟踪问题。鲁棒ST可以简单地理解为鲁棒PCA的（慢）时变子空间扩展。它假设真实数据位于一个低维子空间中，该子空间要么是固定的，要么随时间缓慢变化。我们的目标是在存在可加稀疏离群值的情况下跟踪随时间变化的子空间，并快速完成（具有短延迟）。我们引入了一个“快速”的小批量强大的ST解决方案，是可证明正确的温和的假设下。这里“快速”意味着两件事：（i）可以检测到子空间变化，并且可以以接近最优的延迟跟踪子空间，以及（ii）这样做的时间复杂度与简单（非鲁棒）PCA的时间复杂度相同。我们的主要结果假设分段常数子空间（需要可识别性），但我们也提供了一个推论的情况下，每次有一点变化。第二个贡献是一个新的非渐近保证PCA在线性数据相关的噪声。这是有用的一个重要设置是用于线性数据相关噪声，该噪声是稀疏的，支持随时间变化足够。我们提出的鲁棒ST解决方案的子空间更新步骤的分析使用这个结果。
2020-12-04 cs.IT cs.LG math.IT
Information-theoretic bounds and phase transitions in clustering, sparse PCA, and submatrix localization
我们研究的问题，检测结构化的，低秩的信号矩阵损坏加性高斯噪声。这包括高斯混合模型中的聚类、稀疏PCA和子矩阵定位。这些问题中的每一个都被证明表现出一个尖锐的信息理论阈值，低于该阈值的信号太弱，任何算法都无法检测到。我们推导出这些阈值的上限和下界，通过应用第一和第二矩方法的似然比之间的“种植模型”和空模型的信号矩阵为零。当秩很大（在聚类和子矩阵定位问题中，当聚类或块的数量很大时）或信号矩阵非常稀疏时，我们的边界最多相差根2的因子。此外，我们的上界表明，对于这些问题中的每一个，存在一个重要的制度，其中可靠的检测是信息-理论上是可能的，但已知的算法，如PCA完全失败，因为所观察到的矩阵的频谱是没有信息的。这种机制类似于稀疏图中社区检测的“硬但可检测”机制。
2017-01-23 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Online Matrix Completion and Online Robust PCA
本文研究了两个相互关联的问题--在线鲁棒PCA（RPCA）和在线低秩矩阵完备化（MC）。在Candès等人最近的工作中，RPCA已被定义为将低秩矩阵（真实数据）$L:=[\ell_1, \ell_2, \dots \ell_{t}, \dots , \ell_{t_{\max}}]$和稀疏矩阵（离群值）$S:=[x_1, x_2, \dots x_{t}, \dots, x_{t_{\max}}]$与它们的和$M:=L+S$分离的问题。我们的工作使用RPCA的这个定义。出现这两个问题的重要应用是在视频分析中尝试分离稀疏前景（例如，移动物体）和缓慢变化的背景。虽然最近有大量的工作都在开发和分析批量RPCA和批量MC算法，在线问题在很大程度上是开放的。在这项工作中，我们开发了一个实际的修改我们最近提出的算法来解决在线RPCA和在线MC问题。这项工作的主要贡献是，我们得到的正确性结果所提出的算法在温和的假设。我们需要的假设是：（a）初始子空间的良好估计是可用的（在视频监视中使用仅背景帧的短序列容易获得）;（b）$\ell_t$服从“慢子空间变化”假设;（c）用于从中生成$\ell_t$的子空间的基向量是密集的（非稀疏）;（d）$x_t$的支持至少每隔一段时间改变至少一定量;以及（e）适当地设置算法参数
2015-06-26 cs.IT math.IT stat.ML
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文讨论了如何以及我们可以恢复一个数据矩阵时，只有几个元素。我们提出了一个随机算法，元素明智的稀疏的数据，只保留了几个元素。我们的新算法使用依赖于条目的平方（$\ell_2$采样）和绝对值（$\ell_1$采样）的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小：混合-（$\ell_1,\ell_2$）继承了$\ell_2$的能力，以采样的重要元素，以及$\ell_1$采样的正则化属性，并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法，并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
Sparse Joint Transmission for Cell-Free Massive MIMO: A Sparse PCA Approach
无小区大规模多输入多输出（MIMO）是一种很有前途的蜂窝网络。在该网络中，大量分布的多天线接入点（AP）使用相同的时频资源共同为多个单天线用户提供服务。因此，它可能通过经由以用户为中心的联合传输消除小区边界处的干扰来向用户提供统一的服务体验，而不管用户的位置如何。然而，这种联合传输需要极高的信令开销以用于经由回程链路的数据共享，并且导致高的网络范围的功耗。为了解决这些问题，在本文中，我们提出了一种新的联合传输方法，这是被称为稀疏联合传输（sparse-JT），无小区大规模多输入多输出网络有限的回程容量的限制。稀疏JT联合地标识以用户为中心的协作AP集合、用于波束成形和压缩的预编码向量、以及在每个联合传输的活动AP的总数是稀疏的约束下最大化和频谱效率的下限的功率分配。该算法保证确定一个放松的和谱最大化问题的局部最优解。通过仿真，我们表明，稀疏JT实现更高的遍历频谱效率比所达到的多小区迫零预编码与用户为中心的AP聚类算法在所有系统配置。
2021-07-29 cs.IT eess.SP math.IT
Sparse Phase Retrieval via Sparse PCA Despite Model Misspecification: A Simplified and Extended Analysis
University of Michigan（密歇根大学）
我们考虑高维误指定相位恢复的问题。这是我们在$\mathbb{R}^n$中具有$s$ -稀疏信号矢量$\mathbf{x}_*$的地方，我们希望使用采样矢量$\textbf{a}_1,\ldots,\textbf{a}_m$和测量$y_1,\ldots,y_m$来恢复$\mathbf{x}_*$，测量$y_1,\ldots,y_m$通过等式$f(\left<\textbf{a}_i,\textbf{x}_*\right>) = y_i$相关。这里，$f$是满足与二次函数的正相关的未知链接函数。Neykov，Wang和Liu在最近的一篇论文中分析了这个问题，他们为样本复杂度为$m = O(s^2\log n)$的两阶段算法提供了恢复保证。在本文中，我们表明，他们的算法的第一阶段足以与相同的样本复杂度的信号恢复，并扩展到非高斯测量的分析。此外，我们展示了该算法可以推广到恢复信号矢量$\textbf{x}_*$有效地给出几何先验信息，而不是稀疏性。
2017-12-13 cs.IT cs.LG math.IT
Phase Transitions in Sparse PCA
研究了稀疏主成分分析中非零元素个数较少但与数据维数同阶时的最优估计问题。我们采用近似消息传递（AMP）算法和它的状态演化来分析什么是信息理论上的最小均方误差和一个由AMP实现的限制，大尺寸。对于秩为1且非零点的密度足够大的特殊情况，Deshpande和Montanari [1]证明了AMP是渐近最优的。我们发现，无论是低密度和大秩的问题经历了一系列的相变，这表明存在的一个区域的参数估计是信息理论上是可能的，但AMP（大概每一个其他多项式算法）失败。对大秩极限的分析特别有指导意义。
2015-03-01 cond-mat.stat-mech cs.IT math.IT
Sparse PCA through Low-rank Approximations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stochastic Technologies（Stochastic Technologies（随机科技公司））
我们介绍了一种新的算法，计算$k$ -稀疏的半正定矩阵$A$的主成分。我们的算法是组合的，并通过检查一组离散的特殊向量躺在一个低维的特征子空间的$A$。我们得到可证明的近似保证，依赖于矩阵的谱衰减曲线：特征值衰减越快，我们的近似质量越好。例如，如果$A$的本征值遵循幂律衰减，则我们可以获得任何所需精度的多项式时间近似算法。我们的计划的一个关键算法组件是一个组合特征消除步骤，可证明是安全的，并在实践中显着降低了我们的算法的运行复杂性。我们实现了我们的算法，并在多个人工和真实数据集上进行了测试。由于特征消除步骤，可以在几分钟内对由数百万个条目组成的数据集执行稀疏PCA。我们的实验评估表明，我们的计划是接近最佳的，而找到非常稀疏的向量。我们比较现有技术的状态，并表明我们的计划匹配或优于以前的算法在所有测试数据集。
2014-05-08 cs.IT cs.LG math.IT
Online (and Offline) Robust PCA: Novel Algorithms and Performance Guarantees
在这项工作中，我们研究了在线鲁棒主成分分析（RPCA）问题。在最近的工作中，RPCA已被定义为一个问题的分离低秩矩阵（真实数据），$L$，和稀疏矩阵（离群值），$S$，从他们的总和，$M:=L + S$。该问题的更一般的版本是从$M:=L + S + W$恢复$L$和$S$，其中$W$是非结构化小噪声/破坏的矩阵。出现该问题的重要应用是在视频分析中尝试分离稀疏前景（例如，移动物体）从缓慢变化的背景中。虽然有大量的解决方案和保证批量RPCA问题的最新工作，在线问题在很大程度上是开放的。“在线”RPCA是在运行中进行上述操作的问题，其中额外假设初始子空间是准确已知的，并且生成$l_t$的子空间随时间缓慢变化。我们开发和研究一种新的“在线”RPCA算法的基础上最近推出的递归投影压缩感知（ReProCS）框架。我们的算法改进了原始的ReProCS算法，它还返回更准确的离线估计。这项工作的关键贡献是一个正确的结果（完整的性能保证），该算法在合理的温和的假设。通过使用额外的假设-准确的初始子空间知识，缓慢的子空间变化和聚类特征值-我们能够消除批量RPCA结果的一个重要限制和ReProCS在线RPCA最近结果的两个关键限制。据我们所知，这项工作是在线RPCA的前几个正确性结果之一。大多数早期的结果只是部分结果，即，它们需要对中间算法估计进行假设。
2016-01-29 cs.IT math.IT
Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise (parts 1 and 2 combined)
本文研究递归鲁棒主元分析问题。如果离群值是感兴趣的信号，则该问题可以被解释为在存在大的但结构化的噪声$L_t$的情况下递归地恢复稀疏向量的时间序列$S_t$中的一个。我们假设$L_t$的结构是$L_t$是稠密的，并且位于固定或变化“足够慢”的低维子空间中。出现该问题的关键应用是视频监控，其中目标是在运行中将缓慢变化的背景（$L_t$）与移动的前景对象（$S_t$）分离。为了解决上述问题，在最近的工作中，我们引入了一种新的解决方案，称为递归投影CS（ReProCS）。在这项工作中，我们开发了一个简单的修改原来的ReProCS的想法和分析它。这个修改假定知识的子空间变化模型的$L_t$的。在温和的假设和稠密假设的子空间的未估计部分的$L_t$在不同的时间，我们表明，以高概率（w.h.p.），该方法能够始终准确地恢复$S_t$的支持集，并且$S_t$和$L_t$的重建误差都是一个时不变的小值的上界.在模拟实验中，我们观察到，只要每隔几帧有$S_t$的一些支持变化，最后一个假设就成立。
2014-03-27 cs.IT math.IT
Scaling Limit: Exact and Tractable Analysis of Online Learning Algorithms with Applications to Regularized Regression and PCA
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Mathematics, Duke University（杜克大学数学系）
我们提出了一个框架，用于分析一类在线学习算法在高维尺度极限下的精确动力学。我们的结果被应用到两个具体的例子：在线正则化线性回归和主成分分析。由于周围的维度趋于无穷大，并与适当的时间尺度，我们表明，随时间变化的联合经验措施的目标特征向量和它的算法提供的估计将弱收敛到一个确定性的测量值的过程，可以被描述为一个非线性偏微分方程的唯一解决方案。可以有效地获得该偏微分方程的数值解。这些解决方案导致算法性能的精确预测，因为许多实际的性能指标是联合经验措施的线性泛函。除了表征在线学习算法的动态性能，我们的渐近分析也提供了有用的见解。特别是，在高维极限，由于交换，与算法相关联的原始耦合动力学将渐近“解耦”，每个坐标独立地通过随机梯度下降求解1-D有效的最小化问题。利用这一洞察力的非凸优化问题可能会证明一个有趣的未来的研究。
2017-12-08 cs.IT cs.LG math.IT
Incorporating Prior Information in Compressive Online Robust Principal Component Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；iMinds；Technical University of Denmark（丹麦技术大学）
我们考虑一个在线版本的强大的主成分分析（PCA），这自然会出现在随时间变化的声源分离，如视频前景背景分离。本文提出了一种具有先验信息的压缩在线鲁棒PCA，用于递归地将帧序列从一小组测量中分离为稀疏和低秩分量。与直接处理所有帧的传统的基于批处理的PCA相比，所提出的方法处理从每个帧获取的测量。此外，该方法可以有效地结合多个先验信息，即先前的重构帧，以改善分离，并且此后，更新下一帧的先验信息。我们利用多个先验信息解决$n\text{-}\ell_{1}$最小化，将以前的稀疏成分，并使用增量奇异值分解（$\mathrm{SVD}$）利用以前的低秩成分。我们还建立了理论上的界限，以保证成功的分离下的静态或缓慢变化的低秩组件的假设所需的测量数量。使用数值实验，我们评估我们的界限和所提出的算法的性能。此外，我们将该算法应用于在线视频的前景和背景分离压缩测量。实验结果表明，该方法优于现有的方法。
2017-05-27 cs.AI cs.IT math.IT
