Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化（NNM）最近获得了显着的关注，其用于秩最小化问题。类似于压缩感知，使用零空间表征，在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而，仿真结果表明，阈值是远离最佳的，特别是在低秩区域。在本文中，我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好，特别是我们的弱阈值似乎与模拟结果相匹配。此外，我们的曲线表明，对于任何秩与矩阵大小$n$线性增长，我们只需要三倍的过采样（模型复杂度）弱恢复。与\cite{arxiv}类似，我们分析了弱阈值、分段阈值和强阈值的条件。另外，对正半定矩阵的特殊情况，也作了单独的分析。最后，我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品，本文的目标是建立确定性的条件下，精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关，并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力，制定了一个凸规划来估计未知数。分析和仿真证实，所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数，随着压缩矩阵具有等距属性时，限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时，可以确定精确的恢复是可能的，具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性，以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs（雅虎实验室）；UT Austin（得克萨斯大学奥斯汀分校）；Colorado School of Mines（科罗拉多矿业学院）
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中，目标张量通常是低秩的，即，可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子，我们专注于两种不同类型的可分离测量机制（a）随机投影，其中每个测量对应于张量与合适的随机张量的内积，以及（b）完成问题，其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法，严格和顺序最优的样本复杂性的结果（对数因子）张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果，高阶张量，并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
Improved Algorithms for Matrix Recovery from Rank-One Projections
我们考虑的问题估计的低秩矩阵从有限数量的噪声秩一的预测。特别是，我们提出了两个快速的，非凸的\emph{proper}算法矩阵恢复和支持他们严格的理论分析。我们证明了所提出的算法具有线性收敛性，并且它们的样本复杂度与未知真低秩矩阵的条件数无关。通过利用低秩矩阵逼近技术的最新进展，我们表明，我们的算法实现了计算速度比现有的方法。最后，我们补充我们的理论与一些数值实验。
2017-05-21 stat.ML
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；University of Denver（丹佛大学）
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量，没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战，未知的秩通过使用一个超指定的因子表示的矩阵变量。然后，我们解决了相关的非凸非光滑问题，使用次梯度方法与递减步长。我们表明，下的规则性条件下的传感矩阵和腐败，我们称之为限制方向保持属性（RDPP），即使秩超指定，次梯度方法收敛到准确的低秩解的次线性率。此外，我们的结果是更一般的意义上，它自动加速到一个线性速率，一旦因子秩匹配未知秩。另一方面，我们证明了RDPP条件在通用设置下成立，例如独立或对抗性稀疏腐败下的高斯测量，其中结果可能具有独立利益。在超定区域，数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外，我们的实验进一步表明，我们减小步长的特定设计有效地防止了过参数化模型下的过拟合，例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Global Optimality of Local Search for Low Rank Matrix Recovery
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们表明，有没有虚假的局部极小值的非凸分解参数化的低秩矩阵恢复非相干线性测量。有噪声的测量，我们表明所有的局部极小值非常接近一个全球最佳。再加上鞍点处的曲率界，这产生了随机梯度下降{ \em from random initialization}的多项式时间全局收敛保证。
2016-05-27 cs.LG math.OC stat.ML
Compressed Sensing and Affine Rank Minimization under Restricted Isometry
本文建立了压缩感知和仿射秩最小化的新的约束等距条件。它示出的压缩感知，$δ_{k}^A+θ_{k,k}^A < 1$保证精确恢复的所有$k$稀疏信号在无噪声的情况下，通过约束$\ell_1$最小化。此外，上界1在以下意义上是尖锐的：对于任何$ε> 0$，条件$δ_k^A + θ_{k, k}^A < 1+ε$不足以保证使用任何恢复方法的这种精确恢复。类似地，对于仿射秩最小化，如果$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$，则所有秩至多为$r$的矩阵可以通过约束核范数最小化在无噪声情况下精确地重建;并且对于任何$ε> 0$，$δ_r^\mathcal{M} +θ_{r,r}^\mathcal{M} < 1+ε$不确保使用任何方法进行这样的精确恢复。此外，在噪声情况下，条件$δ_{k}^A+θ_{k,k}^A < 1$和$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$也足以分别稳定恢复稀疏信号和低秩矩阵。还讨论了应用和扩展。
2013-04-12 cs.IT math.IT math.ST
Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University（东北大学）
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性，导致稀疏主成分分析问题。不幸的是，有强有力的证据表明，这个问题受到计算到统计差距的影响，这可能是根本性的。在这项工作中，我们研究了另一种先验，其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性，对数因子，秩一矩阵恢复下的扩展高斯网络之前。具体来说，我们建立了一个有利的全局优化景观的非线性最小二乘目标，提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明，生成先验在有限数据，非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下，Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
Bures-Wasserstein Barycenters and Low-Rank Matrix Recovery
我们重新审视的问题，恢复一个低秩正半定矩阵从秩一投影使用的工具，从最优输运。更具体地说，我们表明，这个问题的变分公式相当于计算Wasserstein重心。反过来，这种新的视角，使新的几何一阶方法的发展具有强大的收敛保证Bures-Wasserstein距离。模拟数据的实验表明，我们的新方法比现有的方法的优势。
2022-10-26 math.OC math.ST stat.TH
Lecture notes on non-convex algorithms for low-rank matrix recovery
低秩矩阵恢复问题是在信号处理、成像和机器学习等各个领域中自然出现的逆问题。它们是非凸的，是NP-困难的。因此，这是一个微妙的问题，设计有效的恢复算法，并提供严格的理论见解，这些算法的行为。这些笔记的目的是回顾最近的进展，在这个方向上的类所谓的“非凸算法”，特别关注的证明技术。虽然他们的目的是介绍最近的研究工作，这些笔记已经写的意图，尽可能多地，非专业人士访问。
2021-05-21 math.OC math.ST stat.TH
An iterative hard thresholding estimator for low rank matrix recovery with explicit limiting distribution
我们考虑随机噪声高维背景下的低秩矩阵恢复问题。我们提出了一种新的估计的低秩矩阵，基于迭代硬阈值方法，这是计算效率和简单。我们证明了我们的估计是有效的，无论是在Frobenius风险，并在条目明智的风险一致的任何变化的规范正交基。这个结果允许我们，在设计是高斯的情况下，提供的估计，这是非常感兴趣的低维子集的条目的低秩矩阵的构造测试和置信度集的限制分布。
2016-03-01 math.ST stat.TH
A Universal Variance Reduction-Based Catalyst for Nonconvex Low-Rank Matrix Recovery
我们提出了一个通用框架的基础上，一个新的随机方差减少梯度下降算法加速非凸低秩矩阵恢复。从一个适当的初始估计，我们提出的算法进行投影梯度下降的基础上，一种新的半随机梯度专门设计用于低秩矩阵恢复。基于弱约束强凸性和光滑性条件，我们导出了约束Lipschitz连续梯度性质的投影概念，并证明了算法对未知低秩矩阵具有线性收敛速度，同时降低了计算复杂度.此外，我们的算法可以用于无噪声和噪声观测，其中最佳的样本复杂度和最小最大最优统计率可以分别获得。我们进一步说明了我们的通用框架的优越性，通过几个具体的例子，理论和实验。
2017-01-19 stat.ML
Sign-RIP: A Robust Restricted Isometry Property for Low-rank Matrix Recovery
Industrial and Operations Engineering, University of Michigan（密歇根大学工业与运筹工程学院）
限制等距性（RIP）本质上是指线性度量近似保范，在研究低秩矩阵恢复问题中起着至关重要的作用。然而，RIP在鲁棒设置中失败，当测量的子集被噪声严重破坏时。在这项工作中，我们提出了一个强大的限制等距属性，称为Sign-RIP，并显示其在鲁棒低秩矩阵恢复的广泛应用。特别是，我们表明，Sign-RIP可以保证一致收敛的鲁棒矩阵恢复的次微分与非光滑损失函数，即使在存在任意密集和任意大的离群值。基于Sign-RIP，我们刻画了鲁棒秩1矩阵恢复中临界点的位置，并证明了它们要么接近真解，要么具有小范数。此外，在过参数化制度，其中的真解的秩被高估，我们表明，次梯度法收敛到真解（几乎）无量纲的速度。最后，我们表明，签署RIP享有几乎相同的复杂性，其经典的同行，但提供了显着更好的鲁棒性对噪声。
2021-09-28 cs.LG stat.ML
Robust Low-rank Tensor Recovery: Models and Algorithms
鲁棒张量恢复在鲁棒张量分解中起着重要作用，用于多线性数据分析，以防止异常值，严重损坏和缺失值，并具有多种应用。在本文中，我们研究了鲁棒的低秩张量恢复问题的凸优化框架，鲁棒主成分分析和张量完成的最新进展。我们提出了定制的优化算法与全局收敛的保证，解决约束和拉格朗日公式的问题。这些算法是基于高效的交替方向增广拉格朗日和加速邻近梯度方法。我们还提出了一个非凸模型，往往可以改善凸模型的恢复结果。我们调查的经验可恢复性的凸和非凸的配方和模拟数据上的算法的计算性能进行比较。我们通过一些实际应用证明了这种凸优化框架的鲁棒低秩张量恢复的实际有效性。
2013-11-24 stat.ML
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校）
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值，挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Low-Rank Matrix Recovery from Row-and-Column Affine Measurements
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出并研究了一种用于低秩矩阵恢复的行列仿射测量方案。每个测量是矩阵$X$的一行或一列中的元素的线性组合。这种设置在不同领域的应用程序中自然出现。然而，目前的算法开发的标准矩阵恢复问题不执行，在我们的情况下，因此需要开发新的算法和理论，我们的问题。我们提出了一个简单的算法的基础上奇异值分解（$SVD$）和最小二乘（$LS$），我们称之为\alg的问题。我们证明，（一个简化版本）我们的算法可以恢复$X$正是在无噪声的情况下，尽可能少的测量。在一般的嘈杂的情况下，我们证明性能保证重建精度下的Frobenius规范。在模拟中，我们的行列设计和\alg算法显示出改进的速度，和可比的，在某些情况下更好的精度相比，标准的测量设计和算法。我们的理论和实验结果表明，建议的行列仿射测量计划，连同我们的恢复算法，可以提供一个强大的框架仿射矩阵重建。
2015-05-23 cs.IT cs.LG math.IT
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Low-rank matrix recovery via nonconvex optimization methods with application to errors-in-variables matrix regression
研究低秩矩阵恢复的非凸正则化方法，利用正则性条件推导出稳定点的恢复界，证明其比凸核范数方法更紧，并应用于变量含误差矩阵回归验证了优势。
2024-12-20 math.OC math.ST stat.TH
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
Projected Robust PCA with Application to Smooth Image Recovery
City University of Hong Kong（香港城市大学）
大多数高维矩阵恢复问题的研究都是在假设目标矩阵具有某种内在结构的前提下进行的。对于图像数据相关的矩阵恢复问题，近似低秩和平滑是两个最常见的强加的结构。对于近似低秩矩阵的恢复，稳健的主成分分析（PCA）被广泛研究并证明是有效的。对于光滑矩阵问题，二维融合Lasso和其他基于全变分的方法发挥了基础性作用。虽然低秩和平滑都是图像数据分析的关键假设，但这两条研究路线的相互作用非常有限。出于利用这两个功能，我们在本文中开发了一个框架，名为投影鲁棒PCA（PRPCA），低秩矩阵投影到光滑矩阵的空间。因此，一大类图像矩阵可以分解为低秩和平滑分量加上稀疏分量。这种分解的一个关键优点是，可以显着降低核心低秩分量的维数。因此，我们的框架是能够解决许多低秩矩阵问题的一个有问题的瓶颈：大矩阵上的奇异值分解（SVD）。理论上，我们提供了明确的统计恢复保证PRPCA，包括经典的鲁棒PCA作为一个特殊情况。
2021-04-07 cs.LG stat.ML
Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数，并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形，这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明，在某些假设下，黎曼梯度下降开始从一个随机的初始化，以高概率避免这些虚假的临界点，只有在接近线性收敛速度收敛到地面真相，即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代，以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性，但除了多了一个鞍集外，其行为与第一个相似。我们的收敛保证是接近最优的，几乎是无量纲的，这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
Flat minima generalize for low-rank matrix recovery
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
经验证据表明，对于各种过度参数化的非线性模型，最明显的是在神经网络训练中，最小化周围的损失的增长强烈影响其性能。平坦的最小值--那些损失缓慢增长的最小值--似乎很好地推广。这项工作采取了一个步骤来理解这种现象，专注于最简单的类overparameterized非线性模型：低秩矩阵恢复中产生的。我们分析了过参数化矩阵和双线性传感，鲁棒PCA，协方差矩阵估计，和单隐层神经网络与二次激活函数。在所有情况下，我们表明，平坦的最小值，测量的跟踪的海森，准确地恢复地面真相下的标准统计假设。对于矩阵完成，我们建立弱恢复，虽然经验证据表明，确切的恢复在这里举行。最后，我们的合成实验，说明我们的研究结果，并讨论了深度的影响，平坦的解决方案。
2023-02-17 cs.LG math.OC stat.ML
Approximately low-rank recovery from noisy and local measurements by convex program
从经典的系统辨识到信号处理和统计学中的更现代的矩阵补全，低秩矩阵模型已经普遍地用于许多应用。由于核范数可以导出反问题的低秩解，因此它被用作低秩的凸替代。虽然用于低秩的核范数与通过奇异值分解用于稀疏性的$\ell_1$范数具有很好的相似性，但其他矩阵范数也会导致低秩。特别是作为一个解释矩阵作为一个线性算子之间的巴拿赫空间，各种张量积规范推广的作用，核规范。我们提供了一个张量范数约束估计恢复近似低秩矩阵从本地测量损坏的噪声。张量范数正则化器的设计，以适应当地的结构。通过对巴拿赫空间的张量积应用Maurey的经验方法，得到了矩阵完备化和分散作图下估计量的统计分析.估计器提供了一个接近最优的误差界在极大极小意义上，并承认这些应用程序的多项式时间算法。
2023-03-03 math.FA math.ST stat.TH
Phase Transition in the Recovery of Rank One Matrices Corrupted by Gaussian Noise
在参数数目固定、样本个数较大的数据集中，主成分分析（PCA）是一种有效的降维工具。然而，在许多当代数据集中，当参数的数量与样本量相当时，PCA可能会产生误导。一个密切相关的问题是：是否有可能在存在大量噪声的情况下恢复秩一矩阵？在这两种情况下，在矩阵的本征结构中存在相变。
2019-02-13 math.PR math.ST stat.TH
A Unified Framework for Low-Rank plus Sparse Matrix Recovery
我们提出了一个统一的框架来解决基于矩阵分解的一般低秩加稀疏矩阵恢复问题，它涵盖了满足限制性强凸性和光滑性条件的广泛目标函数族。基于投影梯度下降和双阈值算子，我们提出的遗传算法保证以局部线性速度收敛到未知的低秩和稀疏矩阵，同时匹配最知名的鲁棒性保证（即，稀疏性的容忍度）。在我们的理论的核心是一个新的结构Lipschitz梯度条件的低秩加稀疏矩阵，这是必不可少的证明我们的算法的线性收敛速度，我们相信是独立的兴趣，以证明一般的叠加结构模型的快速速度。我们通过两个具体的例子来说明我们的框架的应用：鲁棒矩阵传感和鲁棒PCA。合成和真实数据集上的实验证实了我们的理论。
2018-02-20 stat.ML
Fast Algorithm for Low-rank matrix recovery in Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种从受泊松噪声污染的低秩矩阵的线性测量中恢复低秩矩阵的快速算法：泊松噪声极大似然奇异值阈值（PMLSV）算法。我们提出了一个凸优化公式，其代价函数由一个似然函数和一个正则化函数组成，正则化函数是矩阵的核范数。本文通过扩展似然函数，提出了一种迭代奇异值阈值算法，而不是直接用半定规划（SDP）求解最优化问题。我们证明了所提出的算法恢复太阳耀斑图像与泊松噪声的良好性能：该算法是更有效的比求解SDP使用的邻域点算法，它产生了一个很好的近似解相比，从SDP解决。
2014-12-19 cs.LG math.ST stat.ML
Stochastic Variance-reduced Gradient Descent for Low-rank Matrix Recovery from Linear Measurements
我们研究了从线性测量估计低秩矩阵的问题（也称为，矩阵传感）通过非凸优化。提出了一种有效的随机方差缩减梯度下降算法来求解矩阵传感的非凸优化问题。我们的算法是适用于噪声和无噪声的设置。在噪声观测的情况下，我们证明了我们的算法收敛到未知的低秩矩阵的线性速率最小最大的最佳统计误差。在无噪声环境下，我们的算法保证线性收敛到未知的低秩矩阵，并以最佳的样本复杂度实现精确恢复。最值得注意的是，我们提出的算法的整体计算复杂度，这是定义为迭代复杂度倍每迭代时间复杂度，是低于最先进的算法的基础上梯度下降。合成数据上的实验证实了所提出的算法的优越性比国家的最先进的算法。
2017-01-16 stat.ML
Dynamic matrix recovery from incomplete observations under an exact low-rank constraint
Georgia Institute of Technology（佐治亚理工学院）
低秩矩阵分解出现在各种各样的应用中--包括推荐系统、主题模型和源分离，仅举几例。在这些和许多其他应用中，人们广泛注意到，通过纳入时间信息并考虑到时变模型的可能性，在实践中可能会有重大改进。然而，尽管这些动态模型的经验表现优于静态模型，但引入这些更复杂的模型的理论依据有限。在本文中，我们的目标是解决这一差距，通过研究从不完整的观察恢复一个动态演变的低秩矩阵的问题。首先，我们提出了局部加权矩阵平滑（LOWEMS）框架作为一种可能的方法来动态矩阵恢复。然后，我们建立误差界LOWEMS在{ \em矩阵传感}和{ \em矩阵完成}的观察模型。我们的研究结果量化了利用动态约束在恢复精度和样本复杂性方面的潜在好处。为了说明这些好处，我们提供了合成和真实世界的实验结果。
2016-10-28 cs.LG stat.ML
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数，以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题，我们提出了一种带外推的交替优化-最小化（AMM）方法，以及一种混合AMM方法，该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对，然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法，并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验，并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较，结果表明，列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Exact Low Tubal Rank Tensor Recovery from Gaussian Measurements
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；AI Institute（360人工智能研究院）
最近提出的张量核范数（TNN）[Lu et al.，2016; 2018 a]是由张量SVD引起的一个有趣的凸惩罚[Kilmer和Martin，2011]。它起着类似于矩阵核范数的作用，是矩阵秩的凸代理。考虑到基于TNN的张量鲁棒PCA [Lu等人，2018 a]是Robust PCA的一个优雅扩展，具有类似的紧恢复界，很自然地解决了从矩阵情况扩展的其他低秩张量恢复问题。然而，扩展和证明通常是繁琐的。一般原子范数提供了低复杂度结构诱导范数的统一视图，例如，$\ell_1$ -范数和核范数。精确恢复的基础上原子规范的通用测量所需的数量的尖锐估计是已知的文献。在本文中，通过对原子集的仔细选择，我们证明了TNN是一个特殊的原子范数。然后，通过计算高斯宽度的某些锥，这是必要的尖锐估计，我们得到了一个简单的界保证低管秩张量恢复高斯测量。具体来说，我们表明，通过解决TNN最小化问题，潜在的张量的大小$n_1\times n_2\times n_3$与管秩$r$可以完全恢复时，给定的高斯测量数是$O(r(n_1+n_2-r)n_3)$。与自由度$r(n_1+n_2-r)n_3$相比，它是阶次最优的.在高斯映射的基础上，通过TNN极小化给出了基于均匀随机映射的张量完备化的恢复保证。数值实验验证了我们的理论结果。
2018-06-07 cs.LG stat.ML
Sharp recovery and landscape guarantees for the nonconvex matrix LASSO
Dept. of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）
本文研究了在RIP条件下非凸矩阵LASSO的第二阶临界点恢复性能，揭示了核范数正则化的作用，并探讨了秩过参数化对优化景观的影响，提出在特定条件下非凸方法可近似恢复凸问题的低秩极值。
2026-04-21 math.OC math.ST stat.TH
Guaranteed Tensor Recovery Fused Low-rankness and Smoothness
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）；Macau Institute of Systems Engineering, Macau University of Science and Technology（澳门科技大学澳门系统工程研究所）
针对现有融合低秩性与光滑性的张量恢复方法缺乏理论保证的问题，本研究构建了可同时编码两种先验的单一正则化项，首次证明了张量补全与鲁棒主成分分析任务的精确恢复保证，且在高缺失率等场景下性能显著优于现有最优方法。
2023-02-04 cs.AI cs.CV cs.LG
Low-rank Matrix Recovery With Unknown Correspondence
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Georgia State University（佐治亚州立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
研究了一个对应关系未知的矩阵恢复问题：给定观测矩阵$M_o=[A,\tilde P B]$，其中$\tilde P$是一个未知置换矩阵，我们的目标是恢复底层矩阵$M=[A,B]$ .这样的问题通常出现在许多应用中，其中使用异构数据并且它们之间的对应关系是未知的，例如，因为隐私问题。我们证明了在$M$上适当的低秩条件下，通过求解核范数最小化问题来恢复$M$是可能的，并且$M$的恢复具有可证明的非渐近误差界。我们提出了一个算法，$\text{M}^3\text{O}$（矩阵恢复通过最小最大优化），将这个组合问题转化为一个连续的最小最大优化问题，并解决了它的最大-Oracle的近似梯度。$\text{M}^3\text{O}$还可以应用于更一般的场景，在这种场景中，我们在$M_o$中丢失了条目，并且多组数据具有不同的未知对应关系。在模拟数据、MovieLens 100 K数据集和Yale B数据库上的实验表明，$\text{M}^3\text{O}$在多个基线上实现了最先进的性能，并且可以高精度地恢复地面实况对应。
2021-10-18 cs.IR cs.LG stat.ML
Sparse Bayesian Methods for Low-Rank Matrix Estimation
提出基于稀疏贝叶斯学习的矩阵补全和鲁棒主成分分析算法，通过稀疏约束自动确定秩并实现高恢复性能。
2011-09-09 cs.LG cs.SY eess.SY
Comparison of Several Sparse Recovery Methods for Low Rank Matrices with Random Samples
Sharif University of Technology（谢里夫理工大学）
本文将研究IMAT（迭代法）在数据缺失的线性模型中恢复稀疏信号（参数）的有效性。稀疏恢复在压缩传感和机器学习问题中有所增加，并且具有各种应用，特别是当我们处理大数据时，需要可行的重建方法。本文将着重比较IMAT与LASSO在重建所需稀疏信号方面的能力。此外，我们将假设模型具有随机缺失信息。缺失数据最近在大数据和机器学习问题中引起了人们的兴趣，因为它们出现在许多情况下，包括但不限于医学成像数据集、医院数据集和大规模MIMO。IMAT相对于著名的LASSO的优势将在不同的情况下考虑。仿真和数值结果也提供了验证的论点。
2016-06-12 cs.LG stat.ML
