An unbiased approach to low rank recovery
近年来，低秩恢复问题一直是研究的热点。虽然秩函数对于正则化是有用的，但是由于其非凸性和不连续性而难以优化。对此的标准补救措施是将秩函数交换为凸核范数，已知凸核范数在某些条件下有利于低秩解。在缺点上，核范数表现出收缩的偏差，在存在噪声的情况下会严重扭曲解决方案，这促使使用更强的非凸替代方案。在本文中，我们研究两个这样的配方。我们刻画了临界点的特征，并给出了低秩不动点唯一的充分条件。此外，我们推导出的条件，确保全局最优的低秩平稳点，并表明这些举行下适度的噪声水平。
2021-08-15 math.OC
A multi-stage convex relaxation approach to noisy structured low-rank matrix recovery
本文研究了一个带噪声的结构化低秩矩阵恢复问题，该问题可以建模为一个结构化秩最小化问题。我们将这个问题转化为一个带有广义互补约束（MPGCC）的数学规划，并证明了当罚参数超过一个阈值时，通过将广义互补约束移到目标上得到的罚函数具有与MPGCC相同的全局最优解集.然后，通过交替求解精确罚问题，得到了一个多阶段凸松弛方法。我们提供了理论保证，我们的方法在一个温和的限制特征值条件下，通过量化减少的误差和近似的秩界的第一阶段凸松弛（这正是核范数松弛）在随后的阶段，并建立几何收敛的差错序列在统计意义上。数值实验进行了一些结构化的低秩矩阵恢复的例子，以证实我们的理论研究结果。
2017-03-11 math.OC
Zeroth-order Low-rank Hessian Estimation via Matrix Recovery
本文从矩阵恢复视角研究低秩Hessian的零阶估计，提出基于适当矩阵测量的估计方法，证明仅需O(nr²log²n)次有限差分即可高概率精确恢复，无需非相干性假设，大幅降低计算开销。
2024-02-08 math.OC
Exact recovery low-rank matrix via transformed affine matrix rank minimization
仿射矩阵秩最小化问题的目标是在线性约束下重构一个低秩或近似低秩的矩阵。一般来说，这个问题是组合的和NP-难的。本文研究了一个非凸分式函数来近似矩阵的秩，并将这个NP难问题转化为一个变换的仿射矩阵秩最小化问题。建立了这两个问题之间的等价性，证明了变换后的仿射矩阵秩最小化问题的全局最小解的唯一性在满足一定条件的情况下也解决了仿射矩阵秩最小化问题。证明了变换后的仿射矩阵秩最小化问题的最优解可以通过求解其正则化问题来近似得到，并给出了适当的小$λ>0$ .最后，利用DC算法求解正则化变换后的仿射矩阵秩最小化问题，并对图像修复问题进行了数值实验，结果表明，与现有的一些算法相比，该方法在恢复低秩图像方面具有较好的效果。
2018-06-20 math.OC
An efficient asymptotic DC method for sparse and low-rank matrix recovery
针对稀疏与低秩矩阵恢复问题，提出渐近DC方法结合筛选策略的非精确DC算法，利用半光滑牛顿法求解子问题，实验证明其在效率和恢复误差上优于现有方法。
2024-03-15 math.OC
RIP-based Performance Guarantee for Low Rank Matrix Recovery via $L_{*-F}$ Minimization
本文研究欠定线性系统中低秩矩阵恢复问题，提出以核范数与Frobenius范数之差为秩函数替代的 $L_{*-F}$ 最小化非凸松弛方法，并基于RIP条件分别给出无噪声和有噪声情形下的恢复误差上界与精确恢复充分条件。
2023-08-07 math.OC
On Convergence of the Alternating Projection Method for Matrix Completion and Sparse Recovery Problems
本文研究了交替投影（AP）算法在矩阵完备化和压缩感知问题中的收敛性。我们还提出了计算证据的算法的优异性能。在最后一节中，我们还利用代数几何技巧证明了，在已知的位置不变的情况下，如果一个秩为r的矩阵可以用一组已知元素以多种方式完成，那么，对于几乎所有已知元素的集合，该矩阵只能以多种方式完成为一个秩为r的矩阵。
2017-11-06 math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
A Single-Mode Quasi Riemannian Gradient Descent Algorithm for Low-Rank Tensor Recovery
针对低秩张量从不完整测量中恢复的问题，提出结合黎曼梯度下降切空间投影与ST-HOSVD的SM-QRGD算法，理论上证明收敛，实验验证其准确性与高效性。
2024-01-29 math.OC
Iterative Singular Tube Hard Thresholding Algorithms for Tensor Recovery
本文提出一类基于低管秩张量近似的迭代奇异管硬阈值算法，包括基础、加速确定性和随机版本，用于解决管秩先验已知的低秩张量恢复问题，并提供收敛性保证及在张量压缩感知和彩色图像修复上的实验验证。
2023-12-26 math.OC
Regularization parameter selection for low rank matrix recovery
低秩矩阵恢复是许多应用的热点，但它是一个NP难问题。处理这个问题的一个流行的方法是解决它的凸松弛，核范数正则化最小化问题（NRM），其中包括LASSO作为一个特殊情况。在向量情形下，给出了LASSO正则化参数的选择结果，如筛选规则等，提高了算法的效率。然而，对于矩阵情况下的NRM，没有相应的参数选择结果。在本文中，我们建立了一个新的规则来选择正则化参数的NRM的对偶理论的帮助下。该规则要求当期望解的秩不超过给定的常数时，正则化参数可以很容易地由NRM及其对偶问题的可行点来选择。特别地，我们将这一思想应用于最小二乘和Huber函数的NRM，并建立了正则化参数的计算公式。最后，我们报告了一些信号形状的数值结果，表明我们提出的规则有效地缩小了正则化参数的区间。
2019-09-16 math.OC
Adapting Regularized Low Rank Models for Parallel Architectures
我们引入了正则化低秩恢复模型的重新表述，以利用GPU，多CPU和混合架构。低秩恢复通常涉及通过奇异值的迭代阈值化的核范数最小化。这些模型拟合缓慢，并且难以并行化，因为它们依赖于在每次迭代时计算奇异值分解。正则化的低秩恢复模型还包含非平滑项，以将结构化分量（例如稀疏离群值）与低秩分量分离，使这些问题更加困难。使用Burer-Monteiro分裂和边缘化，我们开发了一个光滑的，非凸的正则化低秩恢复模型，可以与一阶求解器。我们开发了一个可计算的证书，这个非凸的程序的收敛性，并使用它来建立任何点的次优性的界限。使用强大的主成分分析（RPCA）作为一个例子，我们包括数值实验表明，这种方法是一个数量级的速度比现有的RPCA求解器上的GPU。我们还表明，这种加速允许新的应用RPCA，包括实时背景减法和MR图像分析。
2017-10-04 math.OC
Rank-sparsity decomposition for planted quasi clique recovery
针对NP难的植入式最大准团簇问题，提出基于低秩加稀疏矩阵分裂的秩-稀疏分解方法，推导对偶矩阵范数新界证明满足条件时可精确恢复，经数值实验验证理论有效性。
2024-09-17 math.OC
Sufficient Conditions for Low-rank Matrix Recovery, Translated from Sparse Signal Recovery
低秩矩阵恢复（LMR）是一个线性等式约束下的秩最小化问题，它广泛存在于信号与图像处理、统计学、计算机视觉、系统辨识和控制等领域。这类优化问题是$\N¶$ -困难的，并且流行的方法用矩阵变量的核范数代替秩函数。在本文中，我们将稀疏信号恢复中的感知矩阵的$s$ -优度的概念（由Juditsky和Nemirovski [Math Program，2011]提出）扩展到LMR中的线性变换。然后，我们给出了LMR背景下的$s$ -优性的刻画。利用线性变换的两个特征$s$ -优度常数$γ_s$和$\hatγ_s$，我们不仅得到了线性变换是$s$ -优的充要条件，而且在温和的假设下，通过核范数极小化给出了精确稳定的$s$ -秩矩阵恢复的充分条件.此外，我们给出了可计算的上界之一的$s$ -善良的特点，从而导致可验证的充分条件，准确的低秩矩阵恢复。
2011-06-16 cs.IT math.IT math.OC
Low-Rank Tensor Recovery via Theta Nuclear p-Norm
本文利用theta体松弛核p-范数解决低秩张量恢复问题，给出范数的代数描述与Gröbner基，建立几何性质，并通过数值实验证明$O(n)$次测量即可恢复低秩张量。
2025-04-11 math.AG math.OC
Riemannian thresholding methods for row-sparse and low-rank matrix recovery
在本文中，我们提出了修改的迭代硬阈值（IHT）方法恢复联合行稀疏和低秩矩阵。特别是一个黎曼版本的IHT被认为是显着降低计算成本的梯度投影的情况下，秩一测量算子，这在盲反卷积的具体应用。实验结果表明，高斯和秩一测量接近最佳的恢复，自适应步长提供了至关重要的改善。对于稀疏性未知的特殊情况，导出了一种黎曼近似梯度法.
2022-09-30 cs.NA math.NA math.OC
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；University of Denver（丹佛大学）
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量，没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战，未知的秩通过使用一个超指定的因子表示的矩阵变量。然后，我们解决了相关的非凸非光滑问题，使用次梯度方法与递减步长。我们表明，下的规则性条件下的传感矩阵和腐败，我们称之为限制方向保持属性（RDPP），即使秩超指定，次梯度方法收敛到准确的低秩解的次线性率。此外，我们的结果是更一般的意义上，它自动加速到一个线性速率，一旦因子秩匹配未知秩。另一方面，我们证明了RDPP条件在通用设置下成立，例如独立或对抗性稀疏腐败下的高斯测量，其中结果可能具有独立利益。在超定区域，数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外，我们的实验进一步表明，我们减小步长的特定设计有效地防止了过参数化模型下的过拟合，例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Global Optimality of Local Search for Low Rank Matrix Recovery
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们表明，有没有虚假的局部极小值的非凸分解参数化的低秩矩阵恢复非相干线性测量。有噪声的测量，我们表明所有的局部极小值非常接近一个全球最佳。再加上鞍点处的曲率界，这产生了随机梯度下降{ \em from random initialization}的多项式时间全局收敛保证。
2016-05-27 cs.LG math.OC stat.ML
Rank $2r$ iterative least squares: efficient recovery of ill-conditioned low rank matrices from few entries
Weizmann Institute of Science（魏茨曼科学研究所）
提出了一种新的、简单的、计算效率高的低秩矩阵完备化迭代法。我们的方法的灵感来自一类的因式分解型迭代算法，但实质上不同于他们的问题是铸造的方式。确切地说，给定目标秩$r$，而不是在秩$r$矩阵的流形上优化，我们允许我们的临时估计矩阵具有特定的过参数化秩$2r$结构。我们的算法，表示R2 RILS秩$2r$迭代最小二乘，具有较低的内存需求，并在每次迭代，它解决了一个计算便宜的稀疏最小二乘问题。我们激励我们的算法，其理论分析的秩为1矩阵的简化情况下。经验上，R2 RILS能够从非常少的观测值恢复病态低秩矩阵-接近信息极限，并且对加性噪声是稳定的。
2020-10-28 cs.LG math.OC
Bures-Wasserstein Barycenters and Low-Rank Matrix Recovery
我们重新审视的问题，恢复一个低秩正半定矩阵从秩一投影使用的工具，从最优输运。更具体地说，我们表明，这个问题的变分公式相当于计算Wasserstein重心。反过来，这种新的视角，使新的几何一阶方法的发展具有强大的收敛保证Bures-Wasserstein距离。模拟数据的实验表明，我们的新方法比现有的方法的优势。
2022-10-26 math.OC math.ST stat.TH
Lecture notes on non-convex algorithms for low-rank matrix recovery
低秩矩阵恢复问题是在信号处理、成像和机器学习等各个领域中自然出现的逆问题。它们是非凸的，是NP-困难的。因此，这是一个微妙的问题，设计有效的恢复算法，并提供严格的理论见解，这些算法的行为。这些笔记的目的是回顾最近的进展，在这个方向上的类所谓的“非凸算法”，特别关注的证明技术。虽然他们的目的是介绍最近的研究工作，这些笔记已经写的意图，尽可能多地，非专业人士访问。
2021-05-21 math.OC math.ST stat.TH
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science（魏茨曼科学研究所）
低秩矩阵恢复问题，包括矩阵补全和矩阵检测，出现在广泛的应用。在这项工作中，我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复，基于高斯-牛顿线性化。在理论方面，我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面，我们表明，对于均匀采样的矩阵完成，GNMR比几种流行的方法表现得更好，特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校）
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值，挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Relations among Some Low Rank Subspace Recovery Models
Peking University（北京大学）；Charles Sturt University（查尔斯特大学）
从分布在其上的数据恢复固有低维子空间是许多应用的关键预处理步骤。近年来，已经有大量的工作，模型的子空间恢复低秩最小化问题。我们发现，一些代表性的模型，如鲁棒主成分分析（R-PCA），鲁棒低秩表示（R-LRR）和鲁棒潜在低秩表示（R-LatLRR），实际上是深连接的。更具体地说，我们发现，一旦一个模型的解决方案是获得，我们可以获得其他模型的解决方案在封闭形式的配方。由于R-PCA是最简单的，我们的发现使它成为低秩子空间恢复模型的中心。我们的工作有两个重要意义。首先，R-PCA具有坚实的理论基础。在一定的条件下，我们可以找到更好的解决方案，这些低秩模型在压倒性的概率，虽然这些模型是非凸的。其次，我们可以通过首先求解R-PCA来获得这些模型的更快算法。通过应用低复杂度的随机算法，例如，我们的新的$\ell_{2,1}$滤波算法，R-PCA。实验结果表明，该算法优于其他基于交替方向法的算法。
2014-12-06 cs.LG math.OC
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
Parameter optimization for low-rank matrix recovery in hyperspectral imaging
本文针对高光谱成像中的低秩矩阵恢复方法提出参数优化框架，以计算时间、内存和峰值信噪比为指标，在 Indian Pines、Pavia Centre 和 Pavia University 等公开数据集上验证了优化初始参数对降噪性能的改善。
2023-08-09 cs.NA math.NA math.OC
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Low-rank matrix recovery via nonconvex optimization methods with application to errors-in-variables matrix regression
研究低秩矩阵恢复的非凸正则化方法，利用正则性条件推导出稳定点的恢复界，证明其比凸核范数方法更紧，并应用于变量含误差矩阵回归验证了优势。
2024-12-20 math.OC math.ST stat.TH
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数，以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题，我们提出了一种带外推的交替优化-最小化（AMM）方法，以及一种混合AMM方法，该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对，然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法，并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验，并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较，结果表明，列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Low-rank matrix recovery landscapes beyond RIP with application to rank-one measurements
CERMICS, ENPC, Institut Polytechnique de Paris, CNRS（巴黎高等师范学院计算数学与控制系统实验室，巴黎高等师范工程学校，巴黎理工学院，法国国家科学研究中心）
本文研究低秩矩阵恢复的非凸景观，提出在更弱的等距条件下（仅要求低秩切空间上的等距性）保证良性景观，并应用于秩一测量，获得统计上接近最优的样本复杂度和恢复误差。
2026-09-09 cs.IT math.IT math.OC
An analysis of noise folding for low-rank matrix recovery
先前关于低秩矩阵恢复的工作集中在矩阵无噪声且测量被噪声破坏的情况下。然而，在实际应用中，矩阵本身通常会受到随机噪声的干扰。本文简要地研究了这种情况下，并证明，对于大多数测量方案中使用的压缩感知，这两个模型是等效的，与（\ref{eq.3}）相关的噪声是由一个因子大到$mn/M$，其中$m,~n$是矩阵的维数和$M$是测量的数量的中心区别。此外，本文还讨论了低秩矩阵的重构问题，基于关联零空间的性质，给出了保证鲁棒恢复的充分条件，并得到了观测值的个数。在此基础上，对非高斯噪声情况下的非高斯噪声进行了进一步的研究，并给出了相应的结果。仿真实验一方面显示了噪声方差对恢复性能的影响，另一方面验证了所提模型的可验证性。
2020-03-06 cs.IT math.IT math.OC
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化（NNM）最近获得了显着的关注，其用于秩最小化问题。类似于压缩感知，使用零空间表征，在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而，仿真结果表明，阈值是远离最佳的，特别是在低秩区域。在本文中，我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好，特别是我们的弱阈值似乎与模拟结果相匹配。此外，我们的曲线表明，对于任何秩与矩阵大小$n$线性增长，我们只需要三倍的过采样（模型复杂度）弱恢复。与\cite{arxiv}类似，我们分析了弱阈值、分段阈值和强阈值的条件。另外，对正半定矩阵的特殊情况，也作了单独的分析。最后，我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
Flat minima generalize for low-rank matrix recovery
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
经验证据表明，对于各种过度参数化的非线性模型，最明显的是在神经网络训练中，最小化周围的损失的增长强烈影响其性能。平坦的最小值--那些损失缓慢增长的最小值--似乎很好地推广。这项工作采取了一个步骤来理解这种现象，专注于最简单的类overparameterized非线性模型：低秩矩阵恢复中产生的。我们分析了过参数化矩阵和双线性传感，鲁棒PCA，协方差矩阵估计，和单隐层神经网络与二次激活函数。在所有情况下，我们表明，平坦的最小值，测量的跟踪的海森，准确地恢复地面真相下的标准统计假设。对于矩阵完成，我们建立弱恢复，虽然经验证据表明，确切的恢复在这里举行。最后，我们的合成实验，说明我们的研究结果，并讨论了深度的影响，平坦的解决方案。
2023-02-17 cs.LG math.OC stat.ML
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
Unicity conditions for low-rank matrix recovery
本文研究了通过任意方法（包括不可行方法）恢复低秩矩阵所需的最少测量次数，给出了随机测量系综下保证秩最小化均匀恢复所有秩r矩阵的充分必要条件，并与核范数最小化的性能进行了比较。
2011-03-28 cs.IT cs.NA cs.SY
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces（KSS）方法是子空间聚类的K-means方法的推广。在这项工作中，我们提出了局部收敛分析和恢复保证KSS，假设数据产生的半随机联盟的子空间模型，其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明，如果KSS方法的初始分配位于一个真正的聚类邻域内，它以超线性速度收敛，并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外，我们提出了一个阈值内积为基础的谱方法的初始化，并证明它产生一个点在这个邻域。我们还提出了所研究的方法，以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
Minimization of Nonsmooth Weakly Convex Function over Prox-regular Set for Robust Low-rank Matrix Recovery
Institute of Science Tokyo（东京科学大学）
本文提出了一种基于弱凸函数的非凸非光滑优化模型，用于鲁棒低秩矩阵恢复，通过投影变量平滑算法和收敛性分析，提升了对异常值的鲁棒性。
2026-02-02 eess.SP math.OC
A Fast Algorithm for Convolutional Structured Low-Rank Matrix Recovery
University of Michigan（密歇根大学）；University of Iowa（爱荷华大学）
本文提出GIRAF算法，利用卷积结构在原始域中操作，有效降低计算复杂度和内存需求，提升大规模图像超分辨恢复效率。
2017-06-25 cs.NA math.NA math.OC
A Perturbation Inequality for the Schatten-$p$ Quasi-Norm and Its Applications to Low-Rank Matrix Recovery
本文建立了关于矩阵奇异值的扰动结果：设$A,B \in \mathbb{R}^{m\times n}$为给定矩阵，$f:\mathbb{R}_+\rightarrow\mathbb{R}_+$为满足$f(0)=0$的凹函数.然后，我们有$$ \sum_{i=1}^{\min\{m,n\}} \big| f(σ_i(A)) - f(σ_i(B)) \big| \le \sum_{i=1}^{\min\{m,n\}} f(σ_i(A-B)), $$，其中$σ_i(\cdot)$表示矩阵的第$i$个最大奇异值。这回答了压缩感知和线性代数社区都感兴趣的一个开放问题。特别是，通过采取$f(\cdot)=(\cdot)^p$的任何$p \in (0,1]$，我们得到了一个扰动不等式的所谓的Schatten $p$ -准范数，这使我们能够确认的有效性，以前的一些条件，通过流行的Schatten $p$ -准范数启发式的恢复低秩矩阵。我们相信，我们的结果将找到进一步的应用，特别是在低秩矩阵恢复的研究。
2014-06-27 cs.IT math.IT math.OC
Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery
本文首次为鲁棒子空间恢复中的IRLS提供了全局收敛性保证，并扩展到仿射子空间估计，展示了其在低维神经网络训练中的实际应用价值。
2026-11-03 cs.LG math.OC stat.ML
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs（雅虎实验室）；UT Austin（得克萨斯大学奥斯汀分校）；Colorado School of Mines（科罗拉多矿业学院）
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中，目标张量通常是低秩的，即，可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子，我们专注于两种不同类型的可分离测量机制（a）随机投影，其中每个测量对应于张量与合适的随机张量的内积，以及（b）完成问题，其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法，严格和顺序最优的样本复杂性的结果（对数因子）张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果，高阶张量，并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Joint Block Low Rank and Sparse Matrix Recovery in Array Self-Calibration Off-Grid DoA Estimation
这封信解决了阵列校准误差和离网方向存在的情况下，使用稀疏模型的传感器阵列的到达方向（DoA）的估计。所接收的信号利用先前使用的用于校准中的未知误差的模型和离网效应的结构化线性表示。一个凸优化问题，制定了一个目标函数，以促进两层联合块稀疏与其二阶锥规划（SOCP）表示。通过数值模拟证明了所提出的方法的性能，并与Cramer-Rao界（CRB），和几个以前提出的方法进行了比较。
2019-06-03 cs.IR eess.SP math.OC
Sharp recovery and landscape guarantees for the nonconvex matrix LASSO
Dept. of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）
本文研究了在RIP条件下非凸矩阵LASSO的第二阶临界点恢复性能，揭示了核范数正则化的作用，并探讨了秩过参数化对优化景观的影响，提出在特定条件下非凸方法可近似恢复凸问题的低秩极值。
2026-04-21 math.OC math.ST stat.TH
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Time-Varying Graph Signal Recovery Using High-Order Smoothness and Adaptive Low-rankness
针对时变图信号恢复问题，提出结合高阶Sobolev光滑性与误差函数加权核范数正则化的方法，设计两种高效算法并证明其一收敛性，实验验证其效果优于现有最优方法。
2024-05-16 cs.NA eess.SP math.NA
A Simplified Approach to Recovery Conditions for Low Rank Matrices
California Institute of Technology（加州理工学院）；University of Washington, Seattle（华盛顿大学）
本文通过一种关键的奇异值不等式将向量恢复条件扩展到矩阵，简化了低秩矩阵恢复的鲁棒性条件分析，得到了目前最优的受限等距性和零空间条件。
2011-11-09 cs.IT cs.SY eess.SY
Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University（东北大学）
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性，导致稀疏主成分分析问题。不幸的是，有强有力的证据表明，这个问题受到计算到统计差距的影响，这可能是根本性的。在这项工作中，我们研究了另一种先验，其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性，对数因子，秩一矩阵恢复下的扩展高斯网络之前。具体来说，我们建立了一个有利的全局优化景观的非线性最小二乘目标，提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明，生成先验在有限数据，非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下，Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
Harmonic Mean Iteratively Reweighted Least Squares for Low-Rank Matrix Recovery
Technische Universität München（慕尼黑工业大学）
本文提出一种新的迭代加权最小二乘算法，用于从不完整线性观测中恢复低秩矩阵，通过解决一系列低复杂度线性问题，实现低秩性促进，并在矩阵补全中表现出优异的全局收敛性、恢复概率和局部超线性收敛速度。
2018-02-27 cs.IT cs.NA math.IT
Sparse Bayesian Methods for Low-Rank Matrix Estimation
提出基于稀疏贝叶斯学习的矩阵补全和鲁棒主成分分析算法，通过稀疏约束自动确定秩并实现高恢复性能。
2011-09-09 cs.LG cs.SY eess.SY
Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数，并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形，这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明，在某些假设下，黎曼梯度下降开始从一个随机的初始化，以高概率避免这些虚假的临界点，只有在接近线性收敛速度收敛到地面真相，即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代，以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性，但除了多了一个鞍集外，其行为与第一个相似。我们的收敛保证是接近最优的，几乎是无量纲的，这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
