Burer-Monteiro ADMM for Large-scale SDPs
我们提出了一个双线性分解的Burer-Monteiro方法，并将其与半定规划乘子算法的标准交替方向法相结合。双线性分解将增广拉格朗日的次数从4次减少到2次，这使得每个子问题都是一个二次规划，因此计算效率很高。我们的方法是能够解决一类大规模的对角约束的SDP。我们证明了我们的ADMM算法全局收敛到一个一阶稳定点，并显示利用负曲率的算法收敛到一个点内的最佳目标值的$O(1-1/r)$。此外，该算法的邻近变体可以解决块对角约束的SDP与整体收敛到一阶稳定点。数值结果表明，无论是我们的ADMM算法和近端变体优于最先进的黎曼流形算法，并可以达到全局最优值经验。
2023-02-08 math.OC
Provable Burer-Monteiro factorization for a class of norm-constrained matrix problems
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在强凸目标下的低秩矩阵问题的投影梯度下降法，采用Burer-Monteiro分解隐式约束低秩性，并在正定约束和特定矩阵范数约束下展示局部线性收敛性。
2016-10-01 cs.DS cs.IT cs.NA
Local and Global Convergence of General Burer-Monteiro Tensor Optimizations
张量优化对于大规模机器学习和信号处理任务至关重要。在本文中，我们考虑张量优化与凸和良好的条件目标函数，并将其转化为一个非凸优化使用Burer-Monteiro型参数化。我们分析了将香草梯度下降应用于因子化公式的局部收敛，并在温和的假设下建立了局部正则性条件。我们还提供了一个线性收敛分析的梯度下降算法开始在附近的真正的张量因子。作为对局部分析的补充，本文还刻画了最佳秩一张量逼近问题的全局几何特征，并证明了对于正交可分张量，该问题没有虚假的局部极小值，并且除了在零处的一个三阶鞍点外，所有的鞍点都是严格的.
2022-02-17 cs.IT math.IT math.OC
Polynomial time guarantees for the Burer-Monteiro method
Burer-Monteiro方法是求解大规模半定规划（SDP）最常用的方法之一。其基本思想是在$Y$中求解一个非凸规划，其中$Y$是一个$n \times p$矩阵，使得$X = Y Y^T$。在本文中，我们表明，这种方法可以解决SDPs在多项式时间内平滑的分析设置。更准确地说，我们考虑一个SDP，其域满足一些紧性和光滑性假设，并稍微扰动成本矩阵和约束。我们表明，如果$p \gtrsim \sqrt{2(1+η)m}$，其中$m$是约束的数量和$η>0$是任何固定的常数，那么Burer-Monteiro方法可以解决SDP在多项式时间内，在设置的平滑分析的任何所需的精度。当$η$趋于零时，我们在$p$上的界在极限上接近著名的Barvinok-Pataki界，在该极限之下，已知非凸规划可能是次优的。以前的分析无法给出多项式时间的保证Burer-Monteiro方法，因为他们要么假设临界条件完全满足，或者忽略了计算近似可行解的非平凡问题。我们解决第一个问题，通过一个新的连接与管状邻域的代数簇。对于可行性问题，我们考虑一个最小二乘制定，并提供第一个保证，不依赖于限制等距属性。
2021-05-07 math.OC stat.ML
Non-square matrix sensing without spurious local minima via the Burer-Monteiro approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文在受限等距性质假设下研究非正方形矩阵感知问题，通过非凸方法证明矩阵分解在RIP条件下不引入虚假局部极小值。
2016-09-27 cs.IT cs.LG cs.NA
Tightness of SDP and Burer-Monteiro Factorization for Phase Synchronization in High-Noise Regime
该研究针对相位同步问题，量化了高噪声情形下SDP松弛与MLE的指数级微小偏差，还推导了涵盖SDP的BM因子分解的相关结果，并提出了超越现有ℓ_∞分析的精细化MLE逐元素分析方法。
2025-10-01 math.OC
Convergence Rate of Block-Coordinate Maximization Burer-Monteiro Method for Solving Large SDPs
University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
带对角约束的半定规划问题在最大割、社团检测、群同步等最优化问题中得到了广泛的应用。虽然SDPs可以在多项式时间内求解到任意精度，但通用凸解算器不能很好地与问题的维度相匹配。为了解决这个问题，Burer和Monteiro提出通过低秩分解来降低问题的维数，并解决随后的非凸问题。在本文中，我们提出了基于坐标上升的方法来解决这个非凸问题，可证明的收敛保证。更具体地说，我们证明了适用于非凸Burer-Monteiro方法的块坐标最大化算法全局收敛到一个一阶稳定点，具有次线性速率，而无需对问题进行任何假设。我们进一步表明，该算法的收敛线性局部极大值的目标函数呈现二次衰减。我们建立了这个条件一般成立时，因式分解的秩是足够大的。此外，将Lanczos方法的块坐标最大化，我们提出了一种算法，保证返回一个解决方案，提供$1-O(1/r)$近似的原始SDP没有任何假设，其中$r$是排名的因式分解。这个近似比在唯一博弈猜想下是最优的（直到常数），我们可以明确量化迭代次数以获得这样的解。
2019-11-26 cs.LG math.OC stat.ML
A Block Tensor Train Burer-Monteiro Framework for Low-Rank Quantum State Tomography
提出基于块张量列分解的低秩量子态层析框架，将密度矩阵参数化压缩至线性规模，并开发DMRG算法，实现从有限测量中高效精确重建量子态。
2026-09-10 cs.LG cs.NA eess.SP
Burer-Monteiro factorizability of nuclear norm regularized optimization
Columbia University（哥伦比亚大学）；The Hong Kong Polytechnic University（香港理工大学）
研究核范数正则化最小化问题与其Burer-Monteiro因子分解问题之间的对应关系，在RIP型假设下证明因子问题的二阶稳定点对应全局最小解，并给出紧的RIP常数。
2026-06-29 math.OC
Semidefinite Programming versus Burer-Monteiro Factorization for Matrix Sensing
UC Berkeley（加州大学伯克利分校）
许多基本的低秩最优化问题，如矩阵完备化、相位同步/恢复、电力系统状态估计和鲁棒PCA，都可以用矩阵传感问题来表示。求解矩阵传感问题的两种主要方法是基于半定规划（SDP）和Burer-Monteiro（B-M）分解。SDP方法具有较高的计算复杂度和空间复杂度，而B-M方法由于问题的非凸性可能返回伪解。这些方法成功的现有理论保证导致了类似的保守条件，这可能错误地暗示这些方法具有可比的性能。在本文中，我们阐明了这两种方法之间的一些主要差异。首先，我们提出了一类结构矩阵完备化问题，B-M方法失败的压倒性的概率，而SDP方法的工作正确。其次，我们确定了一类高度稀疏矩阵完成问题的B-M方法的作品和SDP方法失败。第三，我们证明，虽然B-M方法表现出相同的性能独立的秩的未知的解决方案，SDP方法的成功是相关的秩的解决方案，并提高秩的增加。与现有的文献，主要集中在这些情况下的矩阵传感的SDP和B-M的工作，本文提供了第一个结果的独特的优点，每种方法的替代方法。
2022-08-15 cs.LG math.OC
Riemannian optimization using three different metrics for Hermitian PSD fixed-rank constraints: an extended version
针对埃尔米特半正定固定秩约束的光滑优化问题，统一三种现有方法为带不同黎曼度量的商几何框架，以非线性共轭梯度法为例验证等价性，分析条件数差异并通过数值实验证明Burer--Monteiro方法在极小值点秩亏时收敛更慢。
2025-04-15 cs.NA math.NA math.OC
Improved Global Guarantees for the Nonconvex Burer--Monteiro Factorization via Rank Overparameterization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对半正定矩阵极小化问题，本文证明在 Burer--Monteiro 非凸分解中引入适度的秩过参数化，可保证局部优化从任意初始点全局收敛至最优解，显著改进了原有理论阈值。
2024-07-08 cs.LG math.OC stat.ML
Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
Institute of Statistical Mathematics（统计数学研究所）；Department of Mathematics University of Maryland at College Park（大学数学系）；Institute of Operations Research and Analytics National University of Singapore（运营研究与分析国家大学研究所）；Department of Mathematics and Institute of Operations Research and Analytics National University of Singapore（大学数学系和运营研究与分析国家大学研究所）
BM-Global通过布勒-蒙特罗分解加速核范数正则化的低秩矩阵优化，实现快速收敛和高效参数调优。
2026-02-12 cs.LG math.OC
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院）；Industrial and Operations Engineering University of Michigan（密歇根大学工业与运营工程学院）
本文提出一种廉价预条件器，恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度，并使其对全局最小化器的病态条件不敏感，同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Solving Orthogonal Group Synchronization via Convex and Low-Rank Optimization: Tightness and Landscape Analysis
群同步的目的是从它们的噪声成对测量中恢复群元素。它在社区检测、时钟同步和联合对准问题中有着广泛的应用。本文主要研究了低温电磁学和计算机视觉中常用的正交群同步方法。然而，通过寻找最小二乘估计来检索组元素通常是NP困难的。本文首先研究了正交群同步的半定规划松弛及其紧性，即，SDP估计器完全等于最小二乘估计器。此外，我们调查的性能的Burer-Monteiro分解在解决SDP松弛通过分析其相应的优化景观。我们提供了确定性的充分条件，保证：（i）SDP松弛的紧密性;（ii）由Burer-Monteiro方法产生的优化景观是良性的，即，全局最优值恰好是最小二乘估计器，并且不存在其它伪局部最优值。我们的结果提供了一个坚实的理论证明，为什么Burer-Monteiro方法是非常有效的，有效的解决大规模的SDPs所产生的正交群同步。我们进行数值实验，以补充我们的理论分析，这为未来的研究方向提供了见解。
2020-06-01 cs.IT math.IT math.OC
Local convergence of primal-dual interior point methods for nonlinear semidefinite optimization using the Monteiro-Tsuchiya family of search directions
本文针对非线性半定优化提出采用 Monteiro–Tsuchiya 方向族的原始-对偶内点法，并在缩放矩阵的一般假设下证明其向 KKT 点的局部超线性收敛性。
2024-01-25 math.OC
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究固定秩半正定约束的矩阵优化问题，利用Burer-Monteiro分解和黎曼商几何，刻画分解目标函数全局景观，为普通梯度下降优越性能提供几何解释，还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints
Massachusetts Institute of Technology（麻省理工学院）
所谓的Burer-Monteiro方法是一种通过低秩分解求解大规模半定规划（SDP）的技术。其主要思想是解决排名限制，虽然非凸，代理人，而不是SDP。最近的工作表明，在一类重要的SDP优雅的几何结构，可以找到全局最优解的SDP通过寻找秩亏二阶临界点的无约束黎曼最优化问题。因此，在这样的问题中，Burer-Monteiro方法可以提供一个可扩展的和可靠的替代方案，可扩展性差的邻域点方法。在众多的黎曼最优化方法中，块坐标最小化方法因其简单性而备受关注。Erdogdu等人在他们最近的工作中提出了单位球面上笛卡儿积问题的迭代算法，并给出了算法的整体收敛速度估计。本文将Erdogdu等人的算法和整体收敛率分析从单位球面的笛卡儿积问题推广到Stiefel流形的笛卡儿积问题.后者更一般的设置有重要的应用，如同步的特殊正交（SO）和特殊欧几里德（SE）组。
2019-08-28 cs.LG math.OC
Solving Low-Rank Semidefinite Programs via Manifold Optimization
提出基于流形优化的低秩半定规划求解方法，结合非精确增广拉格朗日法和Burer-Monteiro分解，证明全局收敛性并发布开源求解器ManiSDP，实验显示其在效率、精度和可扩展性上显著优于现有先进求解器。
2025-04-29 math.OC
Riemannian Langevin Algorithm for Solving Semidefinite Programs
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出黎曼朗之万算法求解半定规划，利用对数索伯列夫不等式保证收敛，应用于Burer--Monteiro方法，在无虚假局部最小值时实现全局最优，迭代复杂度为$\widetilde{\Omega}(\varepsilon^{-5})$。
2023-06-19 cs.LG math.OC stat.ML
A Low-Rank ADMM Splitting Approach for Semidefinite Programming
提出基于ADMM和矩阵分裂的低秩半定规划求解器LoRADS，通过热启动和动态增秩策略显著提升效率，在超大规模问题上展现优异性能。
2024-07-26 math.OC
The Augmented Mixing Method: Computing High-Accuracy Primal-Dual Solutions to Large-Scale SDPs via Column Updates
Institut für Mathematik, Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福大学数学研究所）
提出增强混合方法，结合Burer-Monteiro分解、不精确增广拉格朗日框架和块坐标下降法，通过高效求解低维子问题并动态更新惩罚参数，实现大规模SDP的高精度原始-对偶求解。
2026-06-18 math.OC
Quartic First-Order Methods for Low-Rank Minimization
研究了低秩极小化问题的一个推广的非凸Burer-Monteiro公式。我们使用最近的结果，非欧几里德一阶方法，提供高效和可扩展的算法。我们的方法使用的几何形状诱导的四次内核矩阵空间;对于无约束的情况下，我们引入了一个新的家庭的革兰氏内核，大大提高了数值性能。欧氏距离矩阵完成和对称非负矩阵分解的数值实验表明，我们的算法规模以及达到最先进的性能相比，专门的方法。
2021-02-17 math.OC
A low-rank augmented Lagrangian method for large-scale semidefinite programming based on a hybrid convex-nonconvex approach
本文提出HALLaR，一种用于大规模半定规划的低秩增广拉格朗日方法，结合混合低秩技术，在多个实例上以更短时间获得更高精度解。
2024-03-16 cs.NA math.NA math.OC
On the low-rank approach for semidefinite programs arising in synchronization and community detection
为了解决困难的最优化问题，基于半定规划的凸松弛算法在许多领域都很常见。虽然可以在多项式时间内求解，但大型半定程序往往在计算上具有挑战性。十多年前，利用在许多感兴趣的应用中所需的解决方案是低秩的这一事实，Burer和Monteiro提出了一种启发式算法，通过将搜索空间限制在低秩矩阵来解决这种半定规划。伴随的理论并不能解释实证成功的程度。我们专注于同步和社区检测问题，并提供理论保证，揭示这种启发式的显着效率。
2016-05-27 math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University（斯坦福大学）
研究了一类具有凸复合结构的（潜在非凸）约束最优化问题。通过一种新的分析非光滑几何，我们表明，近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下，我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构，我们精确地确定了因子分解问题中二次增长的条件，这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
Local Geometry Determines Global Landscape in Low-rank Factorization for Synchronization
本研究证明在低秩分解中，若自由度超过全局极小值处拉普拉斯算子条件数的两倍，则非凸优化景观无虚假局部极小值，且对单调对抗鲁棒。
2025-02-27 cs.IT math.IT math.OC
The equivalence between doubly nonnegative relaxation and semidefinite relaxation for binary quadratic programming problems
最近已经表明（Burer，Math. Program Ser.A120：479-495，2009），可以将一大类NP难的非凸二次规划问题建模为所谓的完全正规划问题，其是凸的但通常仍然是NP难的。通过双重非负松弛得到一个基本的易处理松弛，从而得到一个双重非负规划。本文证明了二元二次规划（BQP）问题的双重非负松弛等价于它的一个紧半正定松弛，当问题（BQP）化为最大割（MC）问题时，它的双重非负松弛等价于标准半正定松弛.此外，一些比较的数值结果报告。
2012-11-23 math.OC
An equivalent nonlinear optimization model with triangular low-rank factorization for semidefinite programs
本文提出了一种新的求解半定最优化问题的非线性最优化模型，给出了局部最优解的一些性质.该模型基于Burer和Monteiro（2003）提出的另一个非线性最优化模型，但它具有一些现有模型所没有的优良特性。首先，该模型的决策变量是一个三角形低秩矩阵，因此其决策变量空间的维数较小。其次，在一定条件下，保证了所提出的模型存在严格的局部最优值，而现有的模型没有严格的局部最优值。换句话说，很难使用现有的模型构造具有快速收敛性的求解方法。一些数值结果也被提出来检验所提出的模型的效率。
2021-03-29 math.OC
First-order Optimization Methods with Generalized Smoothness for Low-rank Matrix Factorization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对Burer-Monteiro形式的低秩矩阵最小化问题，提出三种具有广义光滑性的一阶优化方法，其收敛速率优于普通梯度下降，在多个基准数据集上的SymNMF实验中性能优于或相当Dyn-NoLips。
2026-10-27 math.OC
Smoothed analysis for low-rank solutions to semidefinite programs in quadratic penalty form
TTI Chicago（芝加哥丰田理工学院）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
半定规划在学习和组合优化中有着重要的应用。在追求低秩的解决方案和低复杂度的算法，我们考虑的Burer-Monteiro分解方法解决SDP。我们表明，所有近似的局部最优解是全局最优的适当秩约束的SDP的处罚制定，只要约束的数量规模与所需的秩的最优解的次二次方。我们的结果是基于一个简单的惩罚函数制定的秩约束SDP随着平滑的分析，以避免最坏情况下的成本矩阵。我们列举了我们的结果，两个应用程序，即最大割和矩阵完成。
2018-03-01 cs.LG math.OC stat.ML
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的，例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛，核范数，是一种有效的技术来解决问题的强性能保证。然而，非凸松弛比核范数具有更小的估计偏差，并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上，迭代重加权核范数计划，同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势，凸松弛和交替最小化方法。此外，我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法，使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Smoothed analysis of the low-rank approach for smooth semidefinite programs
Princeton University（普林斯顿大学）
我们考虑半定规划（SDP）的大小为n的等式约束。为了克服可扩展性问题，Burer和Monteiro提出了一种基于通过$k$优化大小为$n$的矩阵Y的因式分解方法，使得$X = YY^*$是SDP变量。这种提法的优点是双重的：减少了优化变量的维数和正半定性自然是强制执行。然而，Y中的问题是非凸的。在以前的工作中，它已被证明，当因子分解变量的约束定期定义一个光滑的流形，提供k是足够大的，几乎所有的成本矩阵，所有的二阶稳定点（SOSP）是最优的。重要的是，在实践中，人们只能计算近似满足必要的最优性条件的点，导致问题：这些点也近似最优吗？为此，在类似的假设下，我们使用平滑分析表明，随机扰动的目标函数的近似SOSP近似全局最优，与k缩放喜欢的平方根的限制（对数因子）的数量。此外，我们将最优性间隙限制在扰动问题相对于原问题的近似解处。我们将我们的结果具体化到相位恢复的SDP弛豫。
2018-11-27 cs.LG math.OC stat.ML
cuHALLaR: A GPU Accelerated Low-Rank Augmented Lagrangian Method for Large-Scale Semidefinite Programming
本文提出cuHALLaR，一种GPU加速的低秩增广拉格朗日方法，用于大规模半定规划，通过优化关键操作实现30-140倍加速，高效处理超大规模问题。
2025-10-24 math.OC
Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points
UC Berkeley（加州大学伯克利分校）；Meta AI
研究了过参数化在求解非凸优化问题中的作用。重点是一类重要的低秩矩阵传感，我们提出了一个无限层次的非凸问题，通过提升技术和Burer-Monteiro分解。这与现有的过参数化技术形成对比，在现有的过参数化技术中，搜索秩受到矩阵的维度的限制，并且它不允许任意程度的丰富的过参数化。我们表明，虽然虚假的解决方案的问题仍然通过层次的固定点，他们将被转化为严格的鞍点（在某些技术条件下），并可以逃脱通过本地搜索法。这是文献中的第一个结果，表明过参数化创建一个负曲率逃避虚假的解决方案。我们还推导出一个界限上有多少过参数化requited，使消除虚假的解决方案。
2023-02-15 cs.LG math.OC
Solving graph equipartition SDPs on an algebraic variety
半定规划由于其高维性而通常具有挑战性。Burer和Monteiro利用线性SDP问题的低秩性质，提出了一种求解线性SDP问题的非凸方法。他们的方法是快速的，因为他们使用因式分解来减少问题的大小。在本文中，我们专注于解决图均分问题的SDP松弛，这涉及到一个额外的半定上界约束，在传统的线性SDP。利用因子分解方法，得到了一个带有非光滑谱不等式约束的非凸问题。讨论了非凸问题与原SDP等价的条件以及非凸问题的二阶稳定点也是全局极小值的条件。我们的结果推广了以前的工作光滑非凸分解方法的线性SDP的非光滑的情况下。此外，非凸问题的约束涉及具有一些有益性质的代数簇，这些性质使我们能够使用Riemannian优化技术和非凸增广拉格朗日方法非常有效地解决SDP问题，并具有经过验证的全局最优性。
2022-08-03 math.OC
A Block Coordinate Descent Method for Sensor Network Localization
传感器网络定位问题可以归结为一个带秩约束的半定规划问题。我们提出了一种新的方法来解决这样的SNL问题。通过Burer-Monteiro分解，将一个具有秩约束的半定矩阵分解为两个矩阵的乘积.然后，我们增加了两个矩阵的差异，与罚参数，目标函数，从而重新SNL作为一个无约束的多凸最优化问题，我们应用块坐标下降法。在本文中，我们还提供了所提出的方法的理论分析，并表明，每个子问题，依次解决的块坐标下降法也可以解决解析，与我们提出的算法产生的序列收敛到一个固定点的目标函数。我们也给出了一个范围内的罚参数的两个矩阵中使用的因式分解同意在任何聚点。数值实验证实，该方法继承了秩约束，在不牺牲估计精度的前提下，比其他方法更快地估计传感器位置，尤其是当测量距离包含误差时。
2021-06-08 math.OC
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题，提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法，兼具可扩展性与统计最优性，误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
Adapting Regularized Low Rank Models for Parallel Architectures
我们引入了正则化低秩恢复模型的重新表述，以利用GPU，多CPU和混合架构。低秩恢复通常涉及通过奇异值的迭代阈值化的核范数最小化。这些模型拟合缓慢，并且难以并行化，因为它们依赖于在每次迭代时计算奇异值分解。正则化的低秩恢复模型还包含非平滑项，以将结构化分量（例如稀疏离群值）与低秩分量分离，使这些问题更加困难。使用Burer-Monteiro分裂和边缘化，我们开发了一个光滑的，非凸的正则化低秩恢复模型，可以与一阶求解器。我们开发了一个可计算的证书，这个非凸的程序的收敛性，并使用它来建立任何点的次优性的界限。使用强大的主成分分析（RPCA）作为一个例子，我们包括数值实验表明，这种方法是一个数量级的速度比现有的RPCA求解器上的GPU。我们还表明，这种加速允许新的应用RPCA，包括实时背景减法和MR图像分析。
2017-10-04 math.OC
Accelerating Low-Rank Factorization-Based Semidefinite Programming Algorithms on GPU
本文提出利用GPU加速基于低秩分解的一阶半定规划求解方法，以LoRADS为例开发的cuLoRADS在NVIDIA H100上仅需数秒至数分钟即可求解超大规模（如上亿维矩阵变量）的MaxCut和Matrix Completion问题，实现了前所未有的效率与可扩展性。
2024-08-24 math.OC
Distributed synchronous and asynchronous algorithms for semi-definite programming with diagonal constraints
本文研究了对角约束大规模半定规划的分布式同步和异步算法，该算法在组合优化、图像处理和社区检测等领域有着广泛的应用。半定规划的信息被分配给多个互连的代理，使每个代理的目的是找到一个解决方案，通过与它的邻居。基于解的低秩性质和Burer-Monteiro分解，将原问题转化为单位球面上的分布式最优化问题，降低了变量维数，保证了半正定性，避免了计算量大的半定投影.对于分布式最优化问题，提出了分布式同步和异步算法，与现有的集中式算法相比，这两种算法都减少了计算负担和存储空间。具体而言，分布式同步算法几乎肯定会逃脱严格的鞍点，并收敛到最优化问题的最优解集。此外，所提出的分布式异步算法允许通信延迟，并在较弱的条件下收敛到最优化问题的临界点集。通过将所提出的算法应用于图像分割应用，我们说明了所提出的两种算法的效率和收敛性能。
2021-04-01 math.OC
On the simplicity and conditioning of low rank semidefinite programs
Cornell University（康奈尔大学）
低秩矩阵恢复问题广泛出现在统计学、组合学和成像学中。解决这些问题的一个著名方法是制定和解决一个半定规划（SDP）。通常已知，具有完美数据的SDP的精确解恢复原始低秩矩阵恢复问题的解。更具有挑战性的是，要证明用有噪声的问题数据制定的SDP的近似解可接受地解决了原始问题;参数通常是针对每个问题设置的，并且可能很复杂。在本说明中，我们确定了一组条件，我们称之为简单性，限制由于噪声问题数据或不完全收敛的错误。从这个意义上说，简单的SDP是鲁棒的：简单的SDP可以在规模上（近似）有效地求解;并且即使在有噪声的数据下，所得到的近似解也是可信的。此外，我们表明，简单持有一般，也为许多结构化的低秩矩阵恢复问题，包括随机块模型，$\mathbb{Z}_2$同步，矩阵完成。形式上，我们称一个SDP是单的，如果它有一个满射约束映射，有唯一的原始解和对偶解对，并且满足强对偶和严格互补。然而，简单并不是万能的：我们表明，Burer-Monteiro制定的SDP可能有虚假的二阶临界点，即使是一个简单的SDP秩1的解决方案。
2021-07-23 cs.LG math.OC stat.ML
SDPNAL$+$: A Majorized Semismooth Newton-CG Augmented Lagrangian Method for Semidefinite Programming with Nonnegative Constraints
在本文中，我们提出了一个优化的半光滑Newton-CG增广拉格朗日方法，称为SDPNAL $+$，半定规划（SDP）的部分或全部非负约束的矩阵变量。SDPNAL $+$是由Zhao、Sun和Toh [SIAM Journal on Optimization，20（2010），pp.~ 1737--1765]来求解一般的SDP。SDPNAL工程非常有效的非退化的SDPs，但可能会遇到数值困难退化的。在这里，我们通过采用优化的半光滑牛顿-CG增广拉格朗日方法结合Sun，Toh和Yang最近引入的收敛的3块交替方向乘数方法来解决这个数值困难[arXiv预印本arXiv：1404.5378，（2014）]。对各种有无非负约束的大规模SDP的数值结果表明，所提出的方法不仅速度快，而且在获得精确解方面具有鲁棒性。它的性能明显优于其他两种基于竞争性公开可用的一阶方法的代码：（1）基于乘数的交替方向方法求解器，由Wen，Goldfarb和Yin [Mathematical Programming Computation，2（2010），pp.~ 203 - 230]和（2）Monteiro，Ortiz和Svaiter的称为2 EBD-HPE的两个简单块分解混合近端外梯度方法[数学编程计算，（2013），pp. 1 - 48]。与这两个代码相比，我们能够有效地解决SDPNAL中测试的二次分配问题的松…
2014-06-04 math.OC
New Understandings and Computation on Augmented Lagrangian Methods for Low-Rank Semidefinite Programming
本研究针对低秩半定规划的ALM-BM方法理论认知不足的问题，开展严谨理论分析，证明相关子问题的结构性质与梯度下降全局收敛性，进而提出秩自适应方法ALORA，实现了数千万维度SDP的高效GPU求解。
2025-05-21 math.OC
Phase retrieval and matrix sensing via benign and overparametrized nonconvex optimization
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris（CERMICS，法国国家科学研究中心，国立巴黎高等电信学校，巴黎理工学院）
本文研究了非凸优化算法在相位恢复及更一般的半定低秩矩阵感知问题中的应用，通过分析四次幂Burer-Monteiro因子最小二乘优化问题的非凸景观，证明适度过参数化可实现最优统计样本复杂度和误差。
2026-04-17 math.OC math.ST stat.TH
Factorization Approach for Low-complexity Matrix Completion Problems: Exponential Number of Spurious Solutions and Failure of Gradient Methods
Burer-Monteiro（B-M）分解方法可以有效地解决RIP条件下的低秩矩阵最优化问题。很自然地会问基于B-M分解的方法是否可以在任何低秩矩阵最优化问题上以低信息论复杂度成功，即，多项式时间可解的问题，有一个唯一的解决方案。在这项工作中，我们提供了一个否定的回答上述问题。我们研究了B-M分解多项式时间可解矩阵完备化（MC）问题，MC问题是不带RIP条件的低秩矩阵最优化问题中最流行的子类.我们构造了一个多项式时间可解MC问题的例子，该问题具有指数级的许多伪局部极小值，这导致大多数基于梯度的方法失败。基于这些结果，我们定义了一个新的复杂性度量，潜在的措施，低秩矩阵最优化问题的B-M分解方法的基础上的可解性。此外，我们表明，地面真值矩阵的更多测量可以恶化景观，这进一步揭示了一般低秩矩阵最优化问题的B-M分解的不利行为。
2021-10-19 cs.LG math.OC
Provable Exactness for Asymmetric Low-Rank SDP Learning
本文研究了非对称低秩SDP学习框架，推导出保证精确性的γ下限，证明非对称与对称方法在临界点结构上一致，回答了非对称松弛的精确惩罚问题。
2026-05-09 cs.LG math.OC stat.ML
The Non-convex Geometry of Low-rank Matrix Optimization
本文研究了两个常见的极小化问题：（i）定义域为半正定矩阵的一般凸函数$f(\mathbf{X})$的极小化问题;（ii）定义域为一般矩阵的由矩阵核范数$\|\mathbf{X}\|_*$正则化的一般凸函数$f(\mathbf{X})$的极小化问题。尽管它们在文献中的最佳统计性能，这两个优化问题具有很高的计算复杂性，即使使用定制的快速凸解算器解决。为了开发更快和更可扩展的算法，我们遵循Burer和Monteiro的建议，将低秩变量$\mathbf{X} = \mathbf{U}\mathbf{U}^\top $（半定矩阵）或$\mathbf{X}=\mathbf{U}\mathbf{V}^\top $（一般矩阵）分解，并将核范数$\|\mathbf{X}\|_*$替换为$(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$。尽管所得到的因子制剂的非凸性，我们证明，每个临界点要么对应于原来的凸问题的全局最优值，或者是一个严格的鞍Hessian矩阵具有严格的负特征值。这样一个很好的几何结构的因子公式允许许多本地搜索算法找到一个全局优化器，即使随机初始化。
2019-02-21 cs.IT math.IT math.OC
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
Low-Rank Univariate Sum of Squares Has No Spurious Local Minima
本文研究单变量多项式平方和分解的低秩非凸优化目标，证明 $r\ge2$ 时无伪二阶临界点，并给出基于 FFT 的近线性梯度计算与百万次规模实验验证。
2023-07-07 cs.NA math.AG math.NA
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
Suboptimality bounds for trace-bounded SDPs enable a faster and scalable low-rank SDP solver SDPLR+
Purdue University（普渡大学）
本文利用迹有界半定规划的最优性界改进Burer-Monteiro的低秩SDP求解器SDPLR，提出SDPLR+，通过动态调整秩并跟踪原始不可行性和最优性，实现更快的求解和更好的可扩展性。
2026-06-01 cs.LG cs.NA math.NA
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）
研究揭示在RIP条件下，矩阵LASSO解具有低秩性，对非凸秩约束优化方法有理论影响，证明低秩投影梯度下降可线性收敛至LASSO解，且Burer-Monteiro分解问题的非凸景观良性。
2025-04-22 math.OC math.ST stat.TH
A Dual Riemannian Augmented Lagrangian Method for Low-Rank SDPs with Unit Diagonal
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Nanjing Research Institute of Electronics Technology（南京电子技术研究所）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文提出一种双Riemannian ADMM算法，用于高效求解具有单位对角线约束的低秩SDP问题，显著优于现有求解器。
2026-08-11 math.OC
