An Adaptive Rank Continuation Algorithm for General Weighted Low-rank Recovery
本文致力于提出一个通用的加权低秩恢复模型，并设计一个快速的无SVD计算方案来求解它。首先，我们的通用加权低秩恢复模型统一了文献中现有的几种方法。此外，我们的模型很容易扩展到非凸设置。在低秩恢复的文献中，大多数一阶近似算法都需要计算奇异值分解（SVD）。由于奇异值分解不随矩阵的维数适当地缩放，当问题规模变得更大时，这些算法变得更慢。通过将核范数的变分公式化到邻近梯度下降的子问题中，我们避免了计算SVD，从而显著提高了速度。此外，我们的算法保留了核范数[33]的秩识别性质，这进一步允许我们设计一个渐进实现最小迭代复杂度的秩连续方案。玩具的例子和现实世界的问题，包括结构从运动（SfM）和光度立体，背景估计，矩阵完成的数值实验，证明了我们所提出的算法的优越性。
2022-08-01 math.OC
Exact recovery low-rank matrix via transformed affine matrix rank minimization
仿射矩阵秩最小化问题的目标是在线性约束下重构一个低秩或近似低秩的矩阵。一般来说，这个问题是组合的和NP-难的。本文研究了一个非凸分式函数来近似矩阵的秩，并将这个NP难问题转化为一个变换的仿射矩阵秩最小化问题。建立了这两个问题之间的等价性，证明了变换后的仿射矩阵秩最小化问题的全局最小解的唯一性在满足一定条件的情况下也解决了仿射矩阵秩最小化问题。证明了变换后的仿射矩阵秩最小化问题的最优解可以通过求解其正则化问题来近似得到，并给出了适当的小$λ>0$ .最后，利用DC算法求解正则化变换后的仿射矩阵秩最小化问题，并对图像修复问题进行了数值实验，结果表明，与现有的一些算法相比，该方法在恢复低秩图像方面具有较好的效果。
2018-06-20 math.OC
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Generalized singular value thresholding operator to affine matrix rank minimization problem
众所周知，仿射矩阵秩最小化问题是NP-难的，并且由于秩函数的组合性质，所有已知的精确求解它的算法在理论上和实践中都是双指数的。本文提出了一种广义奇异值阈值算子来解决仿射矩阵秩最小化问题。数值实验表明，我们的算法执行有效地找到一个低秩矩阵相比，一些国家的最先进的方法。
2018-04-21 math.OC
Revisiting Non-Convexity in Topology Optimization of Compliance Minimization Problems
目的：这是一个尝试，以更好地弥合数学和工程/物理方面的主题之间的差距。我们跟踪不同来源的非凸化的背景下，拓扑最优化问题从域离散化，通过惩罚的离散性和过滤方法的影响，并结束与连续方法的说明。设计/方法/途径：从顺应性最小化问题的全局最优值出发，我们采用分析工具来研究中间密度惩罚如何影响问题的凸性，各种滤波技术的潜在惩罚效应，如何使用连续方法来接近全局最优值，以及初始猜测如何在确定最终最优值时具有一定的权重。调查结果：惩罚的非凸化效果的中间密度元素只是盖过任何其他类型的非凸化引入到问题中，主要是由于其严重性和局部性。强烈建议使用延拓方法来克服局部最小值问题，尽管其步骤和收敛标准取决于应用类型而留给用户。创意/价值：在这篇文章中，我们提出了一个基于密度的拓扑最优化问题的非凸性的来源，重点是线弹性柔度最小化的全面处理。我们特别强调了潜在的惩罚样的各种过滤技术的影响，通过详细的数学处理。
2022-01-28 cs.CE math.OC
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的，例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛，核范数，是一种有效的技术来解决问题的强性能保证。然而，非凸松弛比核范数具有更小的估计偏差，并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上，迭代重加权核范数计划，同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势，凸松弛和交替最小化方法。此外，我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法，使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决，但一般的仿射秩最小化问题是NP难的。在本文中，我们表明，如果一定的限制等距性质成立的线性变换定义的约束，最小秩的解决方案可以恢复通过解决一个凸优化问题，即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念，并概述了一个字典有关的概念，从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
A Penalty Method for Rank Minimization Problems in Symmetric Matrices
最小化对称正半定矩阵的秩问题可以等价地转化为带互补约束的半定规划问题。该公式要求两个正半定矩阵互补。这是一个连续的和非凸的重新制定的秩最小化问题。我们研究了SDCMPCC方程的局部最优解的镇定性，从而证明了任何局部最优解都是KKT点。我们开发了一个惩罚制定的问题。我们提出了冷静的结果，局部最优解的处罚制定。我们还开发了一个近端交替线性化最小化（PALM）计划的惩罚制定，并调查纳入一个动量项的算法。计算结果。
2018-02-01 math.OC
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Continuation methods for Riemannian Optimization
本文将数值连续方法扩展到黎曼优化，通过构造同伦并设计流形上的路径跟踪算法，在 Karcher 均值计算和低秩矩阵补全两个应用中验证了该方法能改善困难实例的收敛性能。
2023-05-27 math.OC
The Minimum-Rank Gram Matrix Completion via Modified Fixed Point Continuation Method
Key Laboratory of Mathematics Mechanization（数学机械化重点实验室）；Academy of Mathematics and System Sciences（数学与系统科学研究院）；Academia Sinica（中国科学院）
针对最小秩Gram矩阵补全问题，提出基于修正不动点延拓的算法，结合BB技术和线性组合加速收敛，用于多项式有理平方和分解。
2011-01-27 cs.NA cs.SY eess.SY
Affine matrix rank minimization problem via non-convex fraction function penalty
仿射矩阵秩最小化问题是一个在许多领域有着重要应用的基本问题。这是众所周知的，这个问题是组合和NP-困难的一般。本文研究了一个连续提升的低秩非凸分式函数来代替该NP难问题中的秩函数。受压缩感知研究的启发，提出了一种迭代奇异值阈值算法来解决正则化变换后的仿射矩阵秩最小化问题。对于不同的$a>0$，通过调整不同的$a$值，可以得到更好的结果，这也是迭代奇异值阈值分割算法相对于现有方法的优点之一。数值实验表明，该阈值算法对于求解正则化变换后的仿射矩阵秩最小化问题是可行的。证明了正则化参数$λ>0$的取值不能太大。实际上，存在$\barλ>0$，使得正则化变换的仿射矩阵秩最小化问题的最优解对于任何$λ>\barλ$都等于零。对矩阵补全问题的数值实验表明，该算法在寻找低秩矩阵方面具有很强的性能，对图像修复问题的数值实验表明，该算法比现有的一些方法具有更好的性能。
2017-04-30 math.OC
Quartic First-Order Methods for Low-Rank Minimization
研究了低秩极小化问题的一个推广的非凸Burer-Monteiro公式。我们使用最近的结果，非欧几里德一阶方法，提供高效和可扩展的算法。我们的方法使用的几何形状诱导的四次内核矩阵空间;对于无约束的情况下，我们引入了一个新的家庭的革兰氏内核，大大提高了数值性能。欧氏距离矩阵完成和对称非负矩阵分解的数值实验表明，我们的算法规模以及达到最先进的性能相比，专门的方法。
2021-02-17 math.OC
Several classes of stationary points for rank regularized minimization problems
对于秩正则化极小化问题，我们通过问题本身及其等价的变换形式引入了几种稳定点，包括带平衡约束的数学规划（MPEC）、MPEC的全局精确罚函数、通过消除精确罚函数中的对偶部分而产生的替代函数.为这些平稳点建立了一个清晰的关系图，指导用户选择合适的重构来寻求低秩解。作为一个副产品，我们还提供了一个较弱的条件，局部极小的MPEC是M-稳定点的特征的方向限制法锥的图的法锥映射的半正定（PSD）锥。
2019-06-26 math.OC
A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank
秩最小化由于其在数据恢复中的鲁棒性而引起了广泛的关注。为了克服计算上的困难，通常用核范数代替秩。对于几个秩最小化问题，这种替换在理论上已被证明是有效的，即，核范数最小化问题的解也是秩最小化问题的解。虽然很容易相信，这样的替代可能并不总是有效的，没有具体的例子已经被发现，我们认为，这样的有效性检查不能通过数值计算和显示，通过分析无噪声潜在的低秩表示（LatLRR）模型，即使是非常简单的秩最小化问题的有效性仍然可能会打破。作为一个副产品，我们发现，解决方案的核范数最小化制定LatLRR是非唯一的。因此，文献中报告的LatLRR结果可能存在疑问。
2013-07-01 math.OC stat.ML
Uniqueness Conditions for A Class of l0-Minimization Problems
研究了一类l0-极小化问题，即寻找具有附加约束的欠定线性方程组的部分稀疏解。引入lp-诱导范数（0 < p < 1）、最大标度火花和标度互相关等概念，给出了这类l0-极小化问题部分稀疏解的唯一性条件.通过所谓的概念，如最大缩放（子）相干秩，也实现了这些唯一性标准中的一些的进一步改进。
2013-12-16 cs.IT math.IT math.OC
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化（AMRM）问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而，由于矩阵秩函数的组合性质，问题（AMRM）一般是NP-难的。许多替代函数被提出来代替矩阵秩函数，从而产生了许多相应的替代极小化问题，这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数（含$0\leqα<1$和$ε>0$）来逼近秩函数，并将NP难问题（AMRM）转化为$TL_{p}^ε$函数仿射矩阵秩最小化（TLAMRM）问题.首先研究了问题（AMRM）与（TLAMRM）的等价性，证明了当线性映射$\mathcal{A}$满足限制等距性（RIP）时，问题（TLAMRM）的全局极小解的唯一性也是NP-难问题（AMRM）的唯一解.其次，提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题（RTLAMRM）。最后，通过对低秩矩阵补全问题的数值实验，证明了该算法能够恢复低秩矩阵，通过对图像修复问题的大量数值实验，证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
Efficient Rank Minimization to Tighten Semidefinite Programming for Unconstrained Binary Quadratic Optimization
本文提出了一种低秩半定规划方法，并将其应用于无约束二元二次问题的半定松弛。该方法改进了半定规划松弛问题的现有解，得到了较低秩的解。该方法不需要在正半定矩阵的锥上进行投影，因而计算效率高。它的性能方面的目标改进和降秩测试多个图的大规模Gset图集合和二进制最优化问题从Biq Mac集合。
2017-08-05 cs.CC math.OC
Penalty Decomposition Methods for Rank Minimization
本文提出罚分解方法求解目标或约束中含秩的秩最小化问题，通过块坐标下降法求解子问题，并证明序列聚点满足一阶最优性条件，在矩阵补全和最近低秩相关矩阵问题上表现优于或持平现有方法。
2012-05-29 cs.LG cs.NA cs.SY
Approximation Theory of Matrix Rank Minimization and Its Application to Quadratic Equations
University of Birmingham（伯明翰大学）
本文提出矩阵秩最小化问题的逼近理论，证明可通过连续优化（特别是线性和非线性半定规划）任意精度逼近，并应用于二次方程组解的存在性判定。
2010-10-05 cs.NA math.NA math.OC
RIP-based Performance Guarantee for Low Rank Matrix Recovery via $L_{*-F}$ Minimization
本文研究欠定线性系统中低秩矩阵恢复问题，提出以核范数与Frobenius范数之差为秩函数替代的 $L_{*-F}$ 最小化非凸松弛方法，并基于RIP条件分别给出无噪声和有噪声情形下的恢复误差上界与精确恢复充分条件。
2023-08-07 math.OC
Low-rank Matrix Completion using Alternating Minimization
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
交替最小化代表了一种广泛适用且经验上成功的方法，用于找到最适合给定数据的低秩矩阵。例如，对于低秩矩阵完成问题，这种方法被认为是最准确和最有效的方法之一，并成为Netflix挑战赛获奖作品的主要组成部分。在交替最小化方法中，低秩目标矩阵被写成双线性形式，即$X = UV^†$ ;然后算法在寻找最佳$U$和最佳$V$之间交替。通常，孤立的每个交替步骤是凸的和易处理的。然而，整个问题变得非凸，几乎没有理论上的理解，当这种方法产生一个很好的结果。在本文中，我们提出了第一个理论分析的交替最小化矩阵完成的性能，以及相关的矩阵检测问题。对于这两个问题，著名的最近的结果表明，他们成为适定性和易于处理的，一旦某些（现在的标准）条件施加在问题上。我们表明，交替最小化也成功在类似的条件下。此外，与现有的结果相比，我们的论文表明，交替最小化保证更快（特别是几何）收敛到真正的矩阵，同时允许一个更简单的分析。
2012-12-03 cs.LG math.OC stat.ML
Necessary and Sufficient Conditions for Success of the Nuclear Norm Heuristic for Rank Minimization
在控制理论、机器学习和离散几何学的许多应用中，最小化受约束的矩阵的秩是一个具有挑战性的问题。这类最优化问题，称为秩最小化，是NP难的，对于大多数实际问题，没有有效的算法产生精确解。一种流行的启发式算法用决策变量的核范数（等于奇异值之和）代替秩函数。在本文中，我们提供了一个量化的充要条件时，这种启发式成功地找到了最小秩的解决方案的线性约束集。我们还提供了一个概率分布的仿射秩最小化问题的实例，使从这个分布中采样的实例满足我们的条件，以压倒性的概率成功提供的约束的数量是适当的大。最后，我们给出了经验证据，这些概率界提供了准确的预测的启发式的性能在非渐近的情况下。
2008-09-07 math.OC stat.CO stat.ML
General inertial smoothing proximal gradient algorithm for the relaxation of matrix rank minimization problem
我们考虑了Yu和Zhang（Comput.Optim.Appl. 1-20，2022）提出的矩阵秩最小化问题的精确连续松弛模型。受惯性技术的启发，我们提出了一种求解这类问题的通用惯性平滑近似梯度算法（GIMSPG）。证明了任意聚点的奇异值有一个公共的支撑集，非零奇异值有一个统一的下界。此外，在有限次迭代中，可以达到聚点的零奇异值。此外，我们证明了GIMSPG算法产生的序列的任何聚点是柔性参数约束下的连续松弛模型的提升平稳点。最后，分别对随机数据和图像数据进行了数值实验，验证了GIMSPG算法的有效性。
2022-04-15 math.OC
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法（ProPPA）.该算法迭代计算最后估计的解的邻近点投影到一个仿射空间，这本身是平行的，并接近可行集。我们提供了理论上支持的一般算法的收敛性分析，然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中，包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明，该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
Efficient Structured Matrix Rank Minimization
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Massachusetts Institute of Technology（麻省理工学院）
本文研究利用核范数正则化寻找结构低秩矩阵的问题，采用通用条件梯度方法提升效率，优于现有方法，在随机系统实现和谱压缩感知中有效恢复低秩解。
2015-09-08 cs.SY eess.SY math.OC
Efficient Recovery of Low Rank Tensor via Triple Nonconvex Nonsmooth Rank Minimization
最近提出了一种基于张量核范数（TNN）的方法来解决张量恢复问题，并取得了最先进的性能。然而，它可能无法产生高度准确的解决方案，因为它倾向于平等地对待每个正面切片和每个正面切片的每个秩分量。为了得到高精度的恢复，我们提出了一种通用的、灵活的秩松弛函数--双加权非凸非光滑秩（DWNNR）松弛函数，以有效地解决三阶张量恢复问题.通过将权向量设为某个凹函数的超梯度值，从而自适应地选择权向量，可以从三重非凸非光滑秩（TNR）松弛函数导出DWNNR松弛函数.为了加速该模型，我们发展了一般的惯性平滑近似梯度法。进一步证明了生成子序列的任一极限点都是临界点。结合Kurdyka-Lojasiewicz（KL）性质和一些较温和的假设，我们进一步给出了它的整体收敛保证.在一个实际的张量补全问题上的实验结果表明了该算法的有效性和优越性。
2022-05-12 math.OC
A Unified Framework for Rank-based Loss Minimization
本文提出了一种基于近端交替方向乘子法的统一框架，用于优化基于排名的损失，证明了算法在温和条件下的收敛性，并通过实验验证了其有效性和效率。
2024-01-03 math.OC
Unicity conditions for low-rank matrix recovery
本文研究了通过任意方法（包括不可行方法）恢复低秩矩阵所需的最少测量次数，给出了随机测量系综下保证秩最小化均匀恢复所有秩r矩阵的充分必要条件，并与核范数最小化的性能进行了比较。
2011-03-28 cs.IT cs.NA cs.SY
Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization
The Chinese University of Hong Kong（香港中文大学）
引入Schatten拟范数来弥补迹范数与秩函数之间的不足。然而，现有的算法是太慢，甚至不切实际的大规模问题。基于迹范数与其双线性谱罚之间的等价关系，我们定义了两个易于处理的Schatten范数，即给出了双迹和三迹范数的定义，并证明了它们本质上分别是Schatten- $1/2$和$1/3$拟范数.通过将这两个定义的Schatten拟范数应用于各种秩最小化问题，如MC和RPCA，我们只需要求解小得多的因子矩阵。我们设计了两个有效的线性化交替最小化算法来解决我们的问题，并建立我们的算法产生的每个有界序列收敛到一个临界点。我们还提供了基于约束强凸性（RSC）和MC误差界的算法。我们的实验结果验证了我们的算法的效率和有效性相比，国家的最先进的方法。
2018-02-28 cs.LG math.OC stat.ML
A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题，提出精确连续松弛方法与光滑近似梯度（SPG）算法，证明算法收敛于松弛问题的提升平稳点，数值实验验证了算法效率。
2021-03-17 math.OC
How robust is randomized blind deconvolution via nuclear norm minimization against adversarial noise?
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
本文研究了从两个未知信号的卷积中恢复两个未知信号的问题，即通常所说的盲反卷积。在过去的十年中，由于核范数最小化启发式的成功，盲反卷积作为一个低秩恢复问题的重新表述导致了多个理论恢复保证。特别是，在没有噪声的情况下，精确的恢复已经建立了足够的非相干信号包含在低维子空间。然而，如果卷积被加性有界噪声破坏，恢复问题的稳定性仍然不太清楚。特别是，现有的重建界涉及大的维度因子，因此无法解释核范数最小化的维度无关鲁棒性的经验证据。最近，理论上的证据已经出现了病态行为的低秩矩阵恢复足够小的噪声水平。在这项工作中，我们开发了改进的恢复保证盲反卷积与对抗性噪声表现出平方根缩放的噪声水平。因此，我们的研究结果与现有的反例是一致的，这些反例反对相关的低秩矩阵恢复问题所证明的噪声水平的线性缩放。
2023-03-17 cs.IT cs.LG eess.SP
Multiplicative Noise Removal: Nonlocal Low-Rank Model and Its Proximal Alternating Reweighted Minimization Algorithm
本文的目标是发展一种新的数值方法，有效地消除乘性噪声。自然图像的非局部自相似性意味着它们的非局部相似块构成的矩阵是低秩的。通过利用这个低秩的应用程序与乘性噪声去除前，我们提出了一个非局部低秩模型，这项任务，并开发了一个近端交替重加权最小化（PARM）算法来解决该模型产生的最优化问题。具体地说，我们利用广义非凸替代的秩函数正则化的补丁矩阵，并开发了一个新的非局部低秩模型，这是一个非凸的非光滑最优化问题具有分片数据保真度和广义非局部低秩正则化项。为了解决这个最优化问题，我们提出了PARM算法，它有一个近似的交替计划，其子问题的重新加权近似。对所提出的PARM算法进行了理论分析，以保证其整体收敛到一个临界点。数值实验表明，该方法在去噪图像的视觉质量、峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标上均优于SAR-BM 3D方法.
2020-02-18 cs.NA math.NA math.OC
Fast Rank One Alternating Minimization Algorithm for Phase Retrieval
相位恢复问题是许多领域的基础性问题，也是一个非常有研究价值的课题。它是从一组$N$测量值$b_n=|f^*_n\tilde{x}|^2,\ n=1,\cdots, N$中恢复信号矢量$\tilde{x}\in\mathbb{C}^d$，其中$\{f_n\}_{n=1}^N$形成$\mathbb{C}^d$的帧。它通常是一个非凸极小化问题，是NP-困难的。现有的算法通常使用最小二乘拟合的测量，产生四次多项式最小化。在本文中，我们采用了一种新的策略，通过分裂的变量，我们解决了一个二元最优化问题，是在每个变量的二次。提出了一种交替梯度下降算法，并证明了它对任意初始值的收敛性。由于较小的Hessian允许较大的步长，因此交替梯度下降算法比应用于四次目标的梯度下降算法（称为Wirtinger流算法）收敛得更快，而不分裂变量。数值结果表明，我们提出的算法需要更少的迭代比Wirtinger流，以达到相同的精度。
2017-08-16 math.OC
Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation
Simons Institute for the Theory of Computing, UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）；Rice University（莱斯大学）；Massachusetts Institute of Technology（麻省理工学院）
针对加权低秩近似这一NP难问题，提出高效鲁棒的交替最小化框架，通过高精度多响应回归求解器改进运行时间，从$||W||_0k^2$降至$||W||_0 k$，为数值线性代数和机器学习应用提供支持。
2025-02-16 cs.LG math.OC
Minimization of Nonsmooth Weakly Convex Function over Prox-regular Set for Robust Low-rank Matrix Recovery
Institute of Science Tokyo（东京科学大学）
本文提出了一种基于弱凸函数的非凸非光滑优化模型，用于鲁棒低秩矩阵恢复，通过投影变量平滑算法和收敛性分析，提升了对异常值的鲁棒性。
2026-02-02 eess.SP math.OC
Determining inscribability of polytopes via rank minimization based on slack matrices
University of Coimbra（科英布拉大学）；University of British Columbia（不列颠哥伦比亚大学）
本文通过松弛矩阵的秩最小化问题，提供多面体可内接性的充要条件，并提出SDP近似方法，用于判断多面体的可内接性。
2025-02-03 math.CO math.OC
Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Center for Applied Mathematics of Henan Province, Henan University（河南大学河南省应用数学中心）
本文提出加速迭代重加权核范数方法，用于高效求解非凸低秩最小化问题，具有秩识别和自适应平滑参数策略，保证全局收敛并优于现有方法。
2024-06-26 cs.LG math.OC
Analogue of Pontryagin's maximum principle for multiple integrals minimization problems
证明了多重积分的类似庞特里亚金最大值原理的定理。与通常的最大值原理不同，最大值不应在所有矩阵上取，而只应在秩为1的矩阵上取。并给出了实例。
2016-10-26 math.OC
On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems
Technion - Israel Institute of Technology（以色列理工学院）
单位迹范数球上的光滑凸最小化问题是机器学习、信号处理、统计等领域中的一个重要最优化问题，它是恢复低秩矩阵的基础。虽然凸优化的一阶方法具有最优的收敛速度，但在最坏的情况下，它们需要在每次迭代时计算满秩SVD，以便计算到迹范数球上的投影。然而，这些满秩SVD计算禁止将此类方法应用于大型问题。一个简单而自然的启发式，以减少计算成本是近似的投影只使用低秩SVD。这就提出了一个问题，如果，在什么条件下，这个简单的启发式确实可以导致可证明的收敛到最优解。本文证明了任何最优解都是欧氏空间的中心。球内投影梯度映射允许的秩至多是梯度向量的最大奇异值的重数。此外，球的半径与该梯度向量的谱间隙成比例。我们展示了这如何容易地暗示局部收敛（即，从“热启动”初始化）的标准一阶方法，仅使用低秩SVD计算。我们还量化了“过度参数化”的影响，即，在这个球的半径上使用更高秩的SVD计算，显示它可以随着适度的更大秩而显着增加。我们还将我们的结果扩展到具有迹范数正则化的优化和有界迹正半定矩阵上的优化。我们的理论研究得到了具体的经验证据的支持，这些证据证明了\textit{correct}在现实世界数据集上具有低秩投影的一阶方法的收敛性。
2020-11-28 cs.LG math.OC
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
On solving a rank regularized minimization problem via equivalent factorized column-sparse regularized models
本文研究秩正则化最小化的矩阵分解列稀疏模型，建立其与原问题及非凸松弛在全局极小点和强驻点意义下的等价性，并提出两种自适应高效算法。
2024-05-20 math.OC
On a fixed-point continuation method for a convex optimization problem
本文提出一种用于求解两项凸代价函数最小化的不动点连续方法，可一次性逼近惩罚参数全范围的权衡曲线，并证明其收敛性、收敛速率及其与 ε-次微分迭代算法的联系。
2022-12-23 cs.NA math.NA math.OC
Low-Thrust Lyapunov to Lyapunov and Halo to Halo with $L^2$-Minimization
在这项工作中，我们开发了一种新的方法来设计能量最小的小推力任务（L2最小化）。在圆形限制三体问题中，利用不变流形的知识，可以初步建立一种求解周期李雅普诺夫轨道间转移问题的间接方法。事实上，使用PMP，最优控制问题是使用牛顿式算法找到射击函数的零点。为了计算一个李雅普诺夫到李雅普诺夫的任务，我们首先使用两个周期轨道之间的异宿轨道来计算一个容许的轨道。然后，它用于初始化多重打靶法，以释放约束。最后对周期轨道上的终点进行了优化。此外，我们使用连续的方法上的位置和推力，以获得鲁棒性。一个更一般的Halo to Halo任务，具有不同的能量，在最后一节中计算，没有异宿轨道，但使用不变流形初始化打靶法与类似的方法。
2016-07-01 math.DS math.OC
Recovering rank-one matrices via rank-r matrices relaxation
由E. J. Candès等人提出的PhaseLift，是一种用于相位恢复的凸松弛方法。松弛将解集从秩一矩阵扩大到正半定矩阵。本文将一种松弛方法应用于非凸交替极小化方法，以恢复秩为1的矩阵。一般的测量矩阵可以被标准化为由标准正交列组成的矩阵。为了恢复秩1矩阵，使用标准化的帧在秩$r$矩阵中选择具有最大前导特征值的矩阵。实证研究进行了验证这种松弛方法的有效性。在高斯随机矩阵具有足够数量的近似正交感测向量的情况下，我们证明了最小奇异值对应的奇异向量与未知信号接近，从而可以作为非凸最小化算法的一个很好的初始化.
2014-05-07 math.OC
Asymptotic Log-Det Rank Minimization via (Alternating) Iteratively Reweighted Least Squares
仿射秩最小化（ARM）问题是众所周知的，因为它的应用和事实，它是NP-难的。最成功的方法之一是迭代加权最小二乘（IRLS），更具体地说是$\mathrm{IRLS}$ - $0$。尽管有全面的经验证据表明，它总体上优于核范数最小化和相关方法，但它仍然没有被理解到令人满意的程度。特别地，其中出现的表示为$γ$的正则化参数的缓慢减小的意义提出了有趣的问题。虽然通常等同于基质回收，但我们在此独立考虑ARM。我们研究了$\mathrm{IRLS}$ - $0$所基于的log-det目标函数的渐近最小化背后的特殊结构和整体收敛性。我们扩大了局部收敛定理，现在的重点是$γ$的下降，并提供了代表性的例子，以及反例，如发散$\mathrm{IRLS}$ - $0$序列，澄清理论限制。我们提出了一个数据稀疏，交替实现$\mathrm{AIRLS}$ - $p$（与以前的工作下的名称$\mathrm{SALSA}$），连同其余的这项工作，作为基础和介绍更一般的张量设置。总之，数值灵敏度实验进行，重新确认成功的$\mathrm{IRLS}$ - $0$，并表明，在令人惊讶的许多情况下，一个较慢的衰减$γ$还将导致解决的ARM问题，直到点，可以观察到的确切的理论相变通用可恢复性。同样地，这表明，非凸性对于log-det方法来说比它最初可能出现的要少。
2021-06-28 cs.NA math.NA math.OC
Continuation methods for higher-order topology optimization
本文提出一种结合同伦方法和屏障策略的连续方法，用于解决高阶拓扑优化问题，以克服非凸问题中的收敛难题。
2026-01-07 math.OC
1-norm minimization and minimum-rank structured sparsity for symmetric and ah-symmetric generalized inverses: rank one and two
广义逆在统计学和应用矩阵代数的其他领域中很重要。实矩阵$A$的\emph{generalized inverse}是满足Moore-Penrose（M-P）性质$AHA=A$的矩阵$H$。如果$H$也满足M-P性质$HAH=H$，则称为\emph{reflexive}。广义逆的自反性等价于最小秩，这是一个非常理想的性质。我们认为方面的对称性有关的计算各种\emph{sparse}自反广义逆的$A$。通常，我们使用（向量）1-范数最小化来诱导稀疏性并保持条目的大小处于控制之下。当$A$是对称的时，对称的$H$是非常理想的，但是通常对$H$的这种限制不会导致1-范数最小化自反广义逆。我们研究了一个块构造方法，以产生一个对称的自反广义逆的结构，并保证稀疏性。设$A$的秩为$r$，证明了当（i）$r=1$和（ii）$r=2$和$A$非负时，这类1-范数极小化广义逆是1-范数极小化对称广义逆.我们考虑的对称性的另一个方面与另一个M-P性质有关：如果$AH$是对称的，则$H$是\emph{ah-symmetric}。ah-对称性足以使广义逆用于通过$x:=Hb$使用$H$求解最小二乘问题$\min\{\|Ax-b\|_2:~x\in\mathbb{R}^n\}$。本文研究了一种列块构造方法来构造具有稀疏性的对称自反广义逆。证明了当（i）$r=1$和（ii）$r=2$和$A$满足技术条件时，这类…
2020-10-20 math.OC math.ST stat.TH
PhaseLiftOff: an Accurate and Stable Phase Retrieval Method Based on Difference of Trace and Frobenius Norms
相位恢复旨在从信号的幅度测量值$|<x, a_i > |^2$、$i=1,2,...,m$恢复信号$x \in \mathbb{C}^{n}$，其中$a_i$是过完备基向量，$m$至少为$3n -2$以确保直到恒定相位因子的唯一解。二次测量就秩一矩阵$X = x x^*$而言变为线性。相位恢复是一个受线性约束约束的秩一最小化问题，最近已经广泛研究了基于迹范数最小化的凸松弛（PhaseLift）。在$m=O(n)$，PhaseLift以高概率恢复秩1解。在本文中，我们提出了一个精确的代理的秩一条件，通过不同的跟踪和Frobenius范数，我们称之为PhaseLiftOff。与此相关的最小二乘最小化惩罚作为正则化是等价的秩一最小二乘问题在一个温和的条件下的测量噪声。稳定的恢复误差估计值在$m=O(n)$中以高概率有效。采用一种收敛的凸函数差分算法进行相位提升最小化的计算。在我们的数值例子中，$a_i$是高斯分布的。数值结果表明，PhaseLiftOff优于PhaseLift及其非凸变体（对数行列式正则化），并成功地恢复信号接近理论下限的测量数量没有噪声。
2014-10-07 math.OC
Robust low-rank tensor completion via factorized weighted tensor schatten-p norm minimization
Southwest University（西南大学）
针对低秩张量补全中无加权谱正则化过度衰减主导分量的问题，提出两种加权Schatten-p因子化模型WSpTFI和WSpTFII，分别采用ADMM和IRLS-BSUM求解，在多个任务上验证了鲁棒性和重建质量。
2026-09-15 cs.CV math.OC
Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints
Massachusetts Institute of Technology（麻省理工学院）
所谓的Burer-Monteiro方法是一种通过低秩分解求解大规模半定规划（SDP）的技术。其主要思想是解决排名限制，虽然非凸，代理人，而不是SDP。最近的工作表明，在一类重要的SDP优雅的几何结构，可以找到全局最优解的SDP通过寻找秩亏二阶临界点的无约束黎曼最优化问题。因此，在这样的问题中，Burer-Monteiro方法可以提供一个可扩展的和可靠的替代方案，可扩展性差的邻域点方法。在众多的黎曼最优化方法中，块坐标最小化方法因其简单性而备受关注。Erdogdu等人在他们最近的工作中提出了单位球面上笛卡儿积问题的迭代算法，并给出了算法的整体收敛速度估计。本文将Erdogdu等人的算法和整体收敛率分析从单位球面的笛卡儿积问题推广到Stiefel流形的笛卡儿积问题.后者更一般的设置有重要的应用，如同步的特殊正交（SO）和特殊欧几里德（SE）组。
2019-08-28 cs.LG math.OC
Convergence analysis of a primal-dual optimization-by-continuation algorithm
本文提出一种原始-对偶连续优化算法，可在单次迭代中同时逼近不同参数权重下由可微项、邻近简单项及线性复合邻近简单项构成的凸代价函数的最小化子，并给出基于非精确变尺度方法的收敛性证明，统一推广了 Chambolle-Pock 原始-对偶算法和邻近梯度算法。
2024-10-03 cs.NA math.NA math.OC
