稳定主成分追踪（Stable Principal Component Pursuit，SPCP）问题是一个非光滑的凸优化问题，理论和实践都证明了该问题的解可以恢复被高斯噪声污染的矩阵的低秩和稀疏分量。在本文中，我们将展示如何快速的一阶方法可以非常有效地应用到这个问题。具体而言，我们表明，子问题时，应用最佳梯度法的Nesterov，交替线性化方法和交替方向增广拉格朗日方法的SPCP问题要么有封闭形式的解决方案，或有解决方案，可以得到非常温和的努力。除了一个分析的方法，要求至少有一个非光滑项的目标函数被平滑，并获得一个eps-最优解的SPCP问题在O（1/eps）迭代。该方法直接适用于完全非光滑的目标函数，并证明了该方法在较弱的条件下对所用的参数序列是收敛的。我们的初步计算测试表明，后者的方法，虽然其复杂性是未知的，是最快的，大大优于现有的方法的SPCP问题。据我们所知，一个算法的SPCP问题，具有O（1/eps）的迭代复杂性，并有一个每次迭代的复杂性等于一个奇异值分解的第一次。
英文摘要：
The stable principal component pursuit (SPCP) problem is a non-smooth convex optimization problem, the solution of which has been shown both in theory and in practice to enable one to recover the low rank and sparse components of a matrix whose elements have been corrupted by Gaussian noise. In this paper, we show how several fast first-order methods can be applied to this problem very efficiently. Specifically, we show that the subproblems that arise when applying optimal gradient methods of Nesterov, alternating linearization methods and alternating direction augmented Lagrangian methods to the SPCP problem either have closed-form solutions or have solutions that can be obtained with very modest effort. All but one of the methods analyzed require at least one of the non-smooth terms in the objective function to be smoothed and obtain an eps-optimal solution to the SPCP problem in O(1/eps) iterations. The method that works directly with the fully non-smooth objective function, is proved to be convergent under mild conditions on the sequence of parameters it uses. Our preliminary computational tests show that the latter method, although its complexity is not known, is fastest and substantially outperforms existing methods for the SPCP problem. To best of our knowledge, an algorithm for the SPCP problem that has O(1/eps) iteration complexity and has a per iteration complexity equal to that of a singular value decomposition is given for the first time.
Efficient Algorithms for Robust and Stable Principal Component Pursuit Problems
鲁棒主成分分析（Robust Principal Component Analysis，RPCA）是从一组含有稀疏粗差的观测值中恢复低秩矩阵的方法，在计算机视觉、图像处理和网络数据排序等领域有着广泛的应用。在一定条件下，NP难RPCA问题的解可以通过求解一个凸优化问题，即鲁棒主元追踪（RPCP）来得到。此外，如果观察到的数据矩阵也被破坏的密集噪声矩阵，除了粗稀疏误差，然后稳定的主成分追踪（SPCP）问题的解决，以恢复低秩矩阵。在本文中，我们开发了有效的算法与可证明的迭代复杂性界解决RPCP和SPCP。对数百万变量和约束条件的问题（如从监控视频中提取前景，从人脸图像中去除阴影和镜面反射以及从严重损坏的数据中去除视频去噪）的数值结果表明，我们的算法在精度和速度方面与当前最先进的RPCP和SPCP求解器具有竞争力。
An Alternating Direction Method with Increasing Penalty for Stable Principal Component Pursuit
稳定主元追踪（Stable Principal Component Pursuit，SPCP）是一个非光滑的凸优化问题，它的解使得即使只有一小部分数据是可观测的，也能可靠地恢复被密集噪声矩阵破坏的数据矩阵的低秩和稀疏分量。本文提出了一种求解SPCP的新算法。该算法是一个修改的交替方向法的乘法器（ADMM），我们使用一个递增序列的罚参数，而不是一个固定的罚款。该算法是基于部分变量分裂和工作直接与非光滑目标函数。我们证明了原始序列和对偶序列在罚参数序列上在较弱的条件下收敛。据我们所知，这是第一个收敛结果的可变罚款ADMM时，罚款是没有界的，目标函数是非光滑的，它的次微分不是一致有界的。使用部分变量分裂和采用递增序列的惩罚乘数，一起，显着减少所需的迭代次数，以实现实际的可行性。我们的初步计算测试表明，该算法在实践中非常好，并优于ASALM，一个国家的最先进的ADMM算法的SPCP问题与一个常数罚参数。
College of Information Sciences and Technology（信息科学与技术学院）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
Efficient Relaxed Gradient Support Pursuit for Sparsity Constrained Non-convex Optimization
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
