A Preconditioned Riemannian Gradient Descent Algorithm for Low-Rank Matrix Recovery
针对低秩矩阵恢复问题，本文提出基于行列范数加权的预处理黎曼梯度下降算法，在限制等距性质下给出理论保证，实验显示其较传统RGD最多提速十倍。
2023-05-04 math.OC
Efficient Recovery of Low Rank Tensor via Triple Nonconvex Nonsmooth Rank Minimization
最近提出了一种基于张量核范数（TNN）的方法来解决张量恢复问题，并取得了最先进的性能。然而，它可能无法产生高度准确的解决方案，因为它倾向于平等地对待每个正面切片和每个正面切片的每个秩分量。为了得到高精度的恢复，我们提出了一种通用的、灵活的秩松弛函数--双加权非凸非光滑秩（DWNNR）松弛函数，以有效地解决三阶张量恢复问题.通过将权向量设为某个凹函数的超梯度值，从而自适应地选择权向量，可以从三重非凸非光滑秩（TNR）松弛函数导出DWNNR松弛函数.为了加速该模型，我们发展了一般的惯性平滑近似梯度法。进一步证明了生成子序列的任一极限点都是临界点。结合Kurdyka-Lojasiewicz（KL）性质和一些较温和的假设，我们进一步给出了它的整体收敛保证.在一个实际的张量补全问题上的实验结果表明了该算法的有效性和优越性。
2022-05-12 math.OC
An Adaptive Rank Continuation Algorithm for General Weighted Low-rank Recovery
本文致力于提出一个通用的加权低秩恢复模型，并设计一个快速的无SVD计算方案来求解它。首先，我们的通用加权低秩恢复模型统一了文献中现有的几种方法。此外，我们的模型很容易扩展到非凸设置。在低秩恢复的文献中，大多数一阶近似算法都需要计算奇异值分解（SVD）。由于奇异值分解不随矩阵的维数适当地缩放，当问题规模变得更大时，这些算法变得更慢。通过将核范数的变分公式化到邻近梯度下降的子问题中，我们避免了计算SVD，从而显著提高了速度。此外，我们的算法保留了核范数[33]的秩识别性质，这进一步允许我们设计一个渐进实现最小迭代复杂度的秩连续方案。玩具的例子和现实世界的问题，包括结构从运动（SfM）和光度立体，背景估计，矩阵完成的数值实验，证明了我们所提出的算法的优越性。
2022-08-01 math.OC
A Splitting Augmented Lagrangian Method for Low Multilinear-Rank Tensor Recovery
本文研究了在一般情况下寻找满足某些线性约束的低多线性秩张量的恢复问题，该问题在计算机视觉和图形学中有着广泛的应用。这个问题被称为低多线性秩张量恢复问题。利用变量分裂技术和凸松弛技术将该问题转化为一个易于处理的约束最优化问题。考虑到问题的有利结构，我们发展了一个分裂增广拉格朗日方法来解决所产生的问题。该算法易于实现，并在一定条件下证明了算法的收敛性。对随机生成和真实张量完备化问题的初步数值结果表明，该算法对处理低多线性秩张量完备化问题是非常有效和鲁棒的.
2013-10-07 math.OC
An unbiased approach to low rank recovery
近年来，低秩恢复问题一直是研究的热点。虽然秩函数对于正则化是有用的，但是由于其非凸性和不连续性而难以优化。对此的标准补救措施是将秩函数交换为凸核范数，已知凸核范数在某些条件下有利于低秩解。在缺点上，核范数表现出收缩的偏差，在存在噪声的情况下会严重扭曲解决方案，这促使使用更强的非凸替代方案。在本文中，我们研究两个这样的配方。我们刻画了临界点的特征，并给出了低秩不动点唯一的充分条件。此外，我们推导出的条件，确保全局最优的低秩平稳点，并表明这些举行下适度的噪声水平。
2021-08-15 math.OC
Sparsity-Enhanced Multilayered Non-Convex Regularization with Epigraphical Relaxation for Debiased Signal Recovery
本文提出一种基于上层图松弛（ER）的多层非凸正则化方法，通过分解正则化函数以计算近端算子并集成到凸优化模型中，解决了信号恢复中多层非凸正则化闭式算子不可用和易陷入局部最优的问题，有效减少了估计偏差。
2024-09-23 eess.SP math.OC
SPOQ $\ell_p$-Over-$\ell_q$ Regularization for Sparse Signal Recovery applied to Mass Spectrometry
欠定或不适定的反问题需要额外的信息\ldd{d}声音解决方案与易处理的优化算法。稀疏性产生了对这一问题的后续分析，在信号恢复，图像恢复或机器学习中有许多应用。由于$\ell_0$计数度量几乎无法处理，因此许多统计或学习方法都投资于可计算代理，例如$\ell_1$范数。然而，后者并没有表现出理想的属性的稀疏数据的尺度不变性。扩展的SOOT欧几里德/Taxicab $\ell_1$上的$\ell_2$范数比最初引入盲反卷积，我们提出了SPOQ，一个家庭的平滑（近似）尺度不变的惩罚函数。它由$\ell_p$对$\ell_q$的准范数/范数比的Lipschitz可微替代物与$p\in\,]0,2[$和$q\ge 2$组成。该代理被嵌入到一种新的优化最小化信赖域方法中，推广了变尺度前向-后向算法。对于自然稀疏的质谱信号，我们表明，SPOQ显着优于$\ell_0$，$\ell_1$，柯西，Welsch，SCAD和Celo的处罚几个性能指标。还提供了SPOQ超参数调整的指导方针，建议简单的数据驱动的选择。
2020-09-22 math.OC
A multi-stage convex relaxation approach to noisy structured low-rank matrix recovery
本文研究了一个带噪声的结构化低秩矩阵恢复问题，该问题可以建模为一个结构化秩最小化问题。我们将这个问题转化为一个带有广义互补约束（MPGCC）的数学规划，并证明了当罚参数超过一个阈值时，通过将广义互补约束移到目标上得到的罚函数具有与MPGCC相同的全局最优解集.然后，通过交替求解精确罚问题，得到了一个多阶段凸松弛方法。我们提供了理论保证，我们的方法在一个温和的限制特征值条件下，通过量化减少的误差和近似的秩界的第一阶段凸松弛（这正是核范数松弛）在随后的阶段，并建立几何收敛的差错序列在统计意义上。数值实验进行了一些结构化的低秩矩阵恢复的例子，以证实我们的理论研究结果。
2017-03-11 math.OC
The Global Geometry of Centralized and Distributed Low-rank Matrix Recovery without Regularization
本研究针对低秩矩阵恢复中理论依赖平衡正则项但实践无需的差距，证明无正则化的分解非凸低秩恢复问题具备良性全局几何结构，且将结果拓展至分布式优化场景。
2020-07-09 math.OC
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中，$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术，从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性，所提出的估计保持了$\ell_1$估计的崩溃点，并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
$\ell_{1}^{2}-η\ell_{2}^{2}$ regularization for sparse recovery
针对产生稀疏解的不适定线性问题，提出$\u2113_{1}^{2}-η\u2113_{2}^{2}$非凸非光滑正则化方法，证明其适定性与收敛速率，设计两种高效数值算法，实验验证其在压缩感知等任务上的性能优于多种现有正则化方法。
2025-06-13 math.OC
Conditions on optimal support recovery in unmixing problems by means of multi-penalty regularization
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory AS（Simula研究实验室有限公司）
本文研究了通过多惩罚正则化方法在混叠逆问题中实现最佳支持恢复的条件，通过数值模拟验证了其在稀疏恢复中的优越性。
2016-01-07 cs.NA math.NA math.OC
Efficient Low Rank Matrix Recovery With Flexible Group Sparse Regularization
本文提出灵活组稀疏正则化器（FLGSR）解决低秩矩阵恢复问题，将任意数量矩阵列作为单元分组，并设计非精确重启增广拉格朗日方法，通过外推线性化交替最小化实现快速收敛，实验验证了其优越性。
2024-01-18 math.OC
Zeroth-order Low-rank Hessian Estimation via Matrix Recovery
本文从矩阵恢复视角研究低秩Hessian的零阶估计，提出基于适当矩阵测量的估计方法，证明仅需O(nr²log²n)次有限差分即可高概率精确恢复，无需非相干性假设，大幅降低计算开销。
2024-02-08 math.OC
Exact recovery low-rank matrix via transformed affine matrix rank minimization
仿射矩阵秩最小化问题的目标是在线性约束下重构一个低秩或近似低秩的矩阵。一般来说，这个问题是组合的和NP-难的。本文研究了一个非凸分式函数来近似矩阵的秩，并将这个NP难问题转化为一个变换的仿射矩阵秩最小化问题。建立了这两个问题之间的等价性，证明了变换后的仿射矩阵秩最小化问题的全局最小解的唯一性在满足一定条件的情况下也解决了仿射矩阵秩最小化问题。证明了变换后的仿射矩阵秩最小化问题的最优解可以通过求解其正则化问题来近似得到，并给出了适当的小$λ>0$ .最后，利用DC算法求解正则化变换后的仿射矩阵秩最小化问题，并对图像修复问题进行了数值实验，结果表明，与现有的一些算法相比，该方法在恢复低秩图像方面具有较好的效果。
2018-06-20 math.OC
A Novel Regularization Based on the Error Function for Sparse Recovery
正则化在解决不适定问题中起着重要的作用，它通过添加关于所需解的额外信息，如稀疏性。许多正则化项通常涉及一些向量范数，例如，$L_1$和$L_2$规范。在本文中，我们提出了一种新的正则化框架，使用误差函数来近似单位阶跃函数。它可以被认为是$L_0$范数的代理函数。误差函数关于其内参数的渐近行为表明，当参数分别逼近$0$和$\infty,$时，所提出的正则化方法可以逼近标准的$L_0$和$L_1$范数.从统计学上讲，它也比$L_1$方法偏倚更小。然后，我们将误差函数的约束或无约束的模型时，从欠定线性系恢复稀疏信号。在计算上，这两个问题都可以通过迭代加权$L_1$（IRL 1）算法保证收敛。大量的实验结果表明，所提出的方法优于国家的最先进的方法在各种稀疏恢复场景。
2020-07-06 cs.NA math.NA math.OC
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题，应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹（称为DYS），以解决由此产生的可能非凸问题，并发展的收敛理论，这三个算子分裂算法在非凸的情况下。我们表明，如果选择的步长小于小于一个可计算的阈值，那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数，在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下，我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明，DYS方法优于现有的方法，这些特定的应用。
2020-06-16 math.OC
$\ell_{1\text{-}2}$ Regularization for Sparse Optimization: Consistency and Global Convergence
Shenzhen University（深圳大学）；ShanghaiTech University（上海科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出$\ell_{1\text{-}2}$正则化问题的一致性理论和全局收敛算法，通过引入受限特征值条件和两种迭代阈值算法，提升了稀疏恢复能力。
2026-03-03 math.OC
Exact recovery of the support of piecewise constant images via total variation regularization
本文针对含噪线性测量下的分段常数图像恢复问题，证明在全变差正则化方法中，当未知图像由少数简单形状叠加且满足非退化源条件时，低噪声下重建图像保持相同结构，且形状与强度随噪声趋于零而收敛到真值。
2024-03-29 cs.NA eess.SP math.NA
A Lifted $\ell_1 $ Framework for Sparse Recovery
受重新加权的$\ell_1$方法稀疏恢复的启发，我们提出了一个提升的$\ell_1$（LL1）正则化，这是在文献中几个流行的正则化的推广形式。通过探索这种联系，我们发现有两种类型的提升函数，可以保证所提出的方法是等价的$\ell_0$最小化。在计算上，我们通过交替方向乘子法（ADMM）设计了一个有效的算法，并建立了一个无约束的配方的收敛性。实验结果表明，这种泛化如何提高稀疏恢复的最先进的。
2022-05-12 eess.SP math.OC
Sufficient Conditions for Low-rank Matrix Recovery, Translated from Sparse Signal Recovery
低秩矩阵恢复（LMR）是一个线性等式约束下的秩最小化问题，它广泛存在于信号与图像处理、统计学、计算机视觉、系统辨识和控制等领域。这类优化问题是$\N¶$ -困难的，并且流行的方法用矩阵变量的核范数代替秩函数。在本文中，我们将稀疏信号恢复中的感知矩阵的$s$ -优度的概念（由Juditsky和Nemirovski [Math Program，2011]提出）扩展到LMR中的线性变换。然后，我们给出了LMR背景下的$s$ -优性的刻画。利用线性变换的两个特征$s$ -优度常数$γ_s$和$\hatγ_s$，我们不仅得到了线性变换是$s$ -优的充要条件，而且在温和的假设下，通过核范数极小化给出了精确稳定的$s$ -秩矩阵恢复的充分条件.此外，我们给出了可计算的上界之一的$s$ -善良的特点，从而导致可验证的充分条件，准确的低秩矩阵恢复。
2011-06-16 cs.IT math.IT math.OC
Multi-mode Tensor Train Factorization with Spatial-spectral Regularization for Remote Sensing Images Recovery
Hangzhou Dianzi University（杭州电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Huawei（华为技术有限公司）
张量训练（TT）分解及其对应的TT秩能很好地表达高阶张量的低阶性和模态相关性，近年来受到了广泛的关注。然而，基于TT分解的方法通常不足以表征沿三阶张量的每个模式的低秩。受此启发，我们将张量训练分解推广到模k张量训练分解，并引入相应的多模张量训练（MTT）秩.然后，我们提出了一种新的低MTT秩张量完成模型，通过多模式TT分解和空间谱平滑正则化。为了解决该模型，我们开发了一个有效的近似交替最小化（PAM）算法。大量的数值实验结果表明，所提出的MTTD3R方法优于比较方法的视觉和定量措施。
2022-05-05 cs.CV eess.IV math.OC
Low-Rank Tensor Recovery via Theta Nuclear p-Norm
本文利用theta体松弛核p-范数解决低秩张量恢复问题，给出范数的代数描述与Gröbner基，建立几何性质，并通过数值实验证明$O(n)$次测量即可恢复低秩张量。
2025-04-11 math.AG math.OC
Quaternion Optimized Model with Sparse Regularization for Color Image Recovery
University of Macau（澳门大学）；Zhejiang Normal University（浙江师范大学）
本文根据变换域中稀疏正则化的特点，提出了低秩四元数矩阵优化的彩色图像补全问题。这项研究的灵感来自于这样一个事实，即不同的信号类型，包括音频格式和图像，拥有固有的稀疏结构，在其各自的基础。由于彩色图像可以在四元数域中作为一个整体进行处理，我们在四元数离散余弦变换（QDCT）域中描述了彩色图像的稀疏性。此外，彩色图像固有的低秩结构的表示是四元数矩阵完备问题中的一个至关重要的问题。为了获得更好的低秩近似，基于四元数的截断核范数（QTNN）被用于所提出的模型。此外，该模型是由一个主管交替方向的乘子法（ADMM）的基础上的算法。大量的实验结果表明，所提出的方法可以产生非常优越的完成性能相比，最先进的低秩矩阵/四元数矩阵近似方法测试的彩色图像恢复。
2022-04-19 cs.CV eess.IV math.OC
Riemannian thresholding methods for row-sparse and low-rank matrix recovery
在本文中，我们提出了修改的迭代硬阈值（IHT）方法恢复联合行稀疏和低秩矩阵。特别是一个黎曼版本的IHT被认为是显着降低计算成本的梯度投影的情况下，秩一测量算子，这在盲反卷积的具体应用。实验结果表明，高斯和秩一测量接近最佳的恢复，自适应步长提供了至关重要的改善。对于稀疏性未知的特殊情况，导出了一种黎曼近似梯度法.
2022-09-30 cs.NA math.NA math.OC
Risk estimation for matrix recovery with spectral regularization
CEREMADE, CNRS, Université Paris-Dauphine（巴黎第九大学法国国家科学研究中心CEREMADE研究所）；GREYC, CNRS-ENSICAEN-Université de Caen（卡昂大学法国国家科学研究中心-卡昂国立高等工程师学院GREYC研究所）；IMB, Université Bordeaux 1（波尔多第一大学IMB研究所）
在本文中，我们开发了一种方法来递归估计的二次风险的矩阵恢复问题正则化谱函数。为了达到这个目的，在SURE理论的精神，一个关键的步骤是计算一个解相对于观测的（弱）导数和发散。由于这样的解决方案是不可用的封闭形式，而是通过一个近似的分裂算法，我们建议递归计算的发散迭代序列。我们解锁的第二个挑战是计算谱函数的邻近算子的（弱）导数。为了显示我们的方法的潜在适用性，我们将其应用于矩阵补全问题，以客观地自动选择正则化参数。
2012-11-01 cs.IT cs.LG math.IT
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；University of Denver（丹佛大学）
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量，没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战，未知的秩通过使用一个超指定的因子表示的矩阵变量。然后，我们解决了相关的非凸非光滑问题，使用次梯度方法与递减步长。我们表明，下的规则性条件下的传感矩阵和腐败，我们称之为限制方向保持属性（RDPP），即使秩超指定，次梯度方法收敛到准确的低秩解的次线性率。此外，我们的结果是更一般的意义上，它自动加速到一个线性速率，一旦因子秩匹配未知秩。另一方面，我们证明了RDPP条件在通用设置下成立，例如独立或对抗性稀疏腐败下的高斯测量，其中结果可能具有独立利益。在超定区域，数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外，我们的实验进一步表明，我们减小步长的特定设计有效地防止了过参数化模型下的过拟合，例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Global Optimality of Local Search for Low Rank Matrix Recovery
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们表明，有没有虚假的局部极小值的非凸分解参数化的低秩矩阵恢复非相干线性测量。有噪声的测量，我们表明所有的局部极小值非常接近一个全球最佳。再加上鞍点处的曲率界，这产生了随机梯度下降{ \em from random initialization}的多项式时间全局收敛保证。
2016-05-27 cs.LG math.OC stat.ML
Rank $2r$ iterative least squares: efficient recovery of ill-conditioned low rank matrices from few entries
Weizmann Institute of Science（魏茨曼科学研究所）
提出了一种新的、简单的、计算效率高的低秩矩阵完备化迭代法。我们的方法的灵感来自一类的因式分解型迭代算法，但实质上不同于他们的问题是铸造的方式。确切地说，给定目标秩$r$，而不是在秩$r$矩阵的流形上优化，我们允许我们的临时估计矩阵具有特定的过参数化秩$2r$结构。我们的算法，表示R2 RILS秩$2r$迭代最小二乘，具有较低的内存需求，并在每次迭代，它解决了一个计算便宜的稀疏最小二乘问题。我们激励我们的算法，其理论分析的秩为1矩阵的简化情况下。经验上，R2 RILS能够从非常少的观测值恢复病态低秩矩阵-接近信息极限，并且对加性噪声是稳定的。
2020-10-28 cs.LG math.OC
Bures-Wasserstein Barycenters and Low-Rank Matrix Recovery
我们重新审视的问题，恢复一个低秩正半定矩阵从秩一投影使用的工具，从最优输运。更具体地说，我们表明，这个问题的变分公式相当于计算Wasserstein重心。反过来，这种新的视角，使新的几何一阶方法的发展具有强大的收敛保证Bures-Wasserstein距离。模拟数据的实验表明，我们的新方法比现有的方法的优势。
2022-10-26 math.OC math.ST stat.TH
Lecture notes on non-convex algorithms for low-rank matrix recovery
低秩矩阵恢复问题是在信号处理、成像和机器学习等各个领域中自然出现的逆问题。它们是非凸的，是NP-困难的。因此，这是一个微妙的问题，设计有效的恢复算法，并提供严格的理论见解，这些算法的行为。这些笔记的目的是回顾最近的进展，在这个方向上的类所谓的“非凸算法”，特别关注的证明技术。虽然他们的目的是介绍最近的研究工作，这些笔记已经写的意图，尽可能多地，非专业人士访问。
2021-05-21 math.OC math.ST stat.TH
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science（魏茨曼科学研究所）
低秩矩阵恢复问题，包括矩阵补全和矩阵检测，出现在广泛的应用。在这项工作中，我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复，基于高斯-牛顿线性化。在理论方面，我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面，我们表明，对于均匀采样的矩阵完成，GNMR比几种流行的方法表现得更好，特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计，结合最大范数和核范数正则化，基于此，我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设，并使低秩矩阵恢复在更实际的环境中变得可行。理论上，我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上，我们提出了一种交替方向的乘子算法来有效地计算估计量，它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外，我们提供了彻底的数值研究，以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校）
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值，挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Relations among Some Low Rank Subspace Recovery Models
Peking University（北京大学）；Charles Sturt University（查尔斯特大学）
从分布在其上的数据恢复固有低维子空间是许多应用的关键预处理步骤。近年来，已经有大量的工作，模型的子空间恢复低秩最小化问题。我们发现，一些代表性的模型，如鲁棒主成分分析（R-PCA），鲁棒低秩表示（R-LRR）和鲁棒潜在低秩表示（R-LatLRR），实际上是深连接的。更具体地说，我们发现，一旦一个模型的解决方案是获得，我们可以获得其他模型的解决方案在封闭形式的配方。由于R-PCA是最简单的，我们的发现使它成为低秩子空间恢复模型的中心。我们的工作有两个重要意义。首先，R-PCA具有坚实的理论基础。在一定的条件下，我们可以找到更好的解决方案，这些低秩模型在压倒性的概率，虽然这些模型是非凸的。其次，我们可以通过首先求解R-PCA来获得这些模型的更快算法。通过应用低复杂度的随机算法，例如，我们的新的$\ell_{2,1}$滤波算法，R-PCA。实验结果表明，该算法优于其他基于交替方向法的算法。
2014-12-06 cs.LG math.OC
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
Parameter optimization for low-rank matrix recovery in hyperspectral imaging
本文针对高光谱成像中的低秩矩阵恢复方法提出参数优化框架，以计算时间、内存和峰值信噪比为指标，在 Indian Pines、Pavia Centre 和 Pavia University 等公开数据集上验证了优化初始参数对降噪性能的改善。
2023-08-09 cs.NA math.NA math.OC
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Low-rank matrix recovery via nonconvex optimization methods with application to errors-in-variables matrix regression
研究低秩矩阵恢复的非凸正则化方法，利用正则性条件推导出稳定点的恢复界，证明其比凸核范数方法更紧，并应用于变量含误差矩阵回归验证了优势。
2024-12-20 math.OC math.ST stat.TH
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Low-rank matrix recovery landscapes beyond RIP with application to rank-one measurements
CERMICS, ENPC, Institut Polytechnique de Paris, CNRS（巴黎高等师范学院计算数学与控制系统实验室，巴黎高等师范工程学校，巴黎理工学院，法国国家科学研究中心）
本文研究低秩矩阵恢复的非凸景观，提出在更弱的等距条件下（仅要求低秩切空间上的等距性）保证良性景观，并应用于秩一测量，获得统计上接近最优的样本复杂度和恢复误差。
2026-09-09 cs.IT math.IT math.OC
An analysis of noise folding for low-rank matrix recovery
先前关于低秩矩阵恢复的工作集中在矩阵无噪声且测量被噪声破坏的情况下。然而，在实际应用中，矩阵本身通常会受到随机噪声的干扰。本文简要地研究了这种情况下，并证明，对于大多数测量方案中使用的压缩感知，这两个模型是等效的，与（\ref{eq.3}）相关的噪声是由一个因子大到$mn/M$，其中$m,~n$是矩阵的维数和$M$是测量的数量的中心区别。此外，本文还讨论了低秩矩阵的重构问题，基于关联零空间的性质，给出了保证鲁棒恢复的充分条件，并得到了观测值的个数。在此基础上，对非高斯噪声情况下的非高斯噪声进行了进一步的研究，并给出了相应的结果。仿真实验一方面显示了噪声方差对恢复性能的影响，另一方面验证了所提模型的可验证性。
2020-03-06 cs.IT math.IT math.OC
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化（NNM）最近获得了显着的关注，其用于秩最小化问题。类似于压缩感知，使用零空间表征，在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而，仿真结果表明，阈值是远离最佳的，特别是在低秩区域。在本文中，我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好，特别是我们的弱阈值似乎与模拟结果相匹配。此外，我们的曲线表明，对于任何秩与矩阵大小$n$线性增长，我们只需要三倍的过采样（模型复杂度）弱恢复。与\cite{arxiv}类似，我们分析了弱阈值、分段阈值和强阈值的条件。另外，对正半定矩阵的特殊情况，也作了单独的分析。最后，我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
Flat minima generalize for low-rank matrix recovery
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
经验证据表明，对于各种过度参数化的非线性模型，最明显的是在神经网络训练中，最小化周围的损失的增长强烈影响其性能。平坦的最小值--那些损失缓慢增长的最小值--似乎很好地推广。这项工作采取了一个步骤来理解这种现象，专注于最简单的类overparameterized非线性模型：低秩矩阵恢复中产生的。我们分析了过参数化矩阵和双线性传感，鲁棒PCA，协方差矩阵估计，和单隐层神经网络与二次激活函数。在所有情况下，我们表明，平坦的最小值，测量的跟踪的海森，准确地恢复地面真相下的标准统计假设。对于矩阵完成，我们建立弱恢复，虽然经验证据表明，确切的恢复在这里举行。最后，我们的合成实验，说明我们的研究结果，并讨论了深度的影响，平坦的解决方案。
2023-02-17 cs.LG math.OC stat.ML
Time-Varying Graph Signal Recovery Using High-Order Smoothness and Adaptive Low-rankness
针对时变图信号恢复问题，提出结合高阶Sobolev光滑性与误差函数加权核范数正则化的方法，设计两种高效算法并证明其一收敛性，实验验证其效果优于现有最优方法。
2024-05-16 cs.NA eess.SP math.NA
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
Unicity conditions for low-rank matrix recovery
本文研究了通过任意方法（包括不可行方法）恢复低秩矩阵所需的最少测量次数，给出了随机测量系综下保证秩最小化均匀恢复所有秩r矩阵的充分必要条件，并与核范数最小化的性能进行了比较。
2011-03-28 cs.IT cs.NA cs.SY
Sparse Recovery via Partial Regularization: Models, Theory and Algorithms
Simon Fraser University（西蒙弗雷泽大学）
在稀疏恢复的上下文中，已知大多数现有的正则化器（诸如$\ell_1$）遭受由相关联的向量的一些前导条目（在幅度上）引起的一些偏差。为了消除这种偏见，我们提出了一类模型与部分正则化恢复稀疏解的线性系。我们发现，这些模型的每一个局部极小是足够稀疏的或其所有的非零项的幅度是以上的一个统一的常数只依赖于数据的线性系。此外，对于一类部分正则化子，这些模型的任何全局极小解都是线性系的稀疏解。我们还建立了线性系稀疏解局部或整体恢复的充分条件，其中一个条件弱于$\ell_1$关于稀疏恢复的最佳限制等距性（RIP）条件.此外，一阶可行的增广拉格朗日（FAL）方法，提出了解决这些模型，其中每个子问题是由一个非单调近似梯度（NPG）方法求解。尽管部分正则化的复杂性，我们表明，在NPG中的每个邻近子问题可以解决一定数量的一维最优化问题，通常有一个封闭的形式的解决方案。我们还证明了FAL产生的序列的任何聚点都是模型的一阶平稳点。压缩感知和稀疏逻辑斯谛回归的数值结果表明，所提出的模型大大优于文献中广泛使用的解决方案的质量。
2015-11-23 cs.IT cs.LG math.IT
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs（雅虎实验室）；UT Austin（得克萨斯大学奥斯汀分校）；Colorado School of Mines（科罗拉多矿业学院）
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中，目标张量通常是低秩的，即，可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子，我们专注于两种不同类型的可分离测量机制（a）随机投影，其中每个测量对应于张量与合适的随机张量的内积，以及（b）完成问题，其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法，严格和顺序最优的样本复杂性的结果（对数因子）张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果，高阶张量，并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University（东北大学）
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性，导致稀疏主成分分析问题。不幸的是，有强有力的证据表明，这个问题受到计算到统计差距的影响，这可能是根本性的。在这项工作中，我们研究了另一种先验，其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性，对数因子，秩一矩阵恢复下的扩展高斯网络之前。具体来说，我们建立了一个有利的全局优化景观的非线性最小二乘目标，提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明，生成先验在有限数据，非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下，Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
