Local Linear Convergence of Gradient Methods for Subspace Optimization via Strict Complementarity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑的最优化问题，其中的目标是找到一个$k$ -维子空间的$\mathbb{R}^n$，$k<<n$，最小化凸和光滑的损失。这些问题概括了主成分分析（PCA）的基本任务，以包括稳健和稀疏的对应物，以及用于二进制数据的逻辑PCA等。这个问题可以通过具有高效迭代的非凸梯度法来解决，但是对于这种方法来说，讨论快速收敛到全局最小值是困难的，或者通过凸松弛来解决，对于这种方法来说，讨论收敛到全局最小值是简单的，但是相应的方法在高维中通常是低效的。在这项工作中，我们桥这两种方法下严格互补的假设，这特别意味着凸松弛的最优解是唯一的，也是原来的非凸问题的最优解。我们的主要结果是一个自然的非凸梯度方法，这是\textit{SVD-free}，每次迭代只需要一个QR-分解的$n\times k$矩阵，局部收敛的线性速率的证明。我们还建立了非凸投影梯度法的线性收敛结果，并将Frank-Wolfe方法应用于凸松弛。
2022-10-25 cs.LG math.OC stat.ML
A Non-monotone Alternating Updating Method for A Class of Matrix Factorization Problems
在本文中，我们考虑了一个通用的矩阵分解模型，它涵盖了一大类现有的模型，在机器学习和成像科学等领域的许多应用。为了解决这一可能的非凸、非光滑和非Lipschitz问题，我们提出了一种基于势函数的非单调交替更新方法。我们的方法本质上是通过不精确地最小化这个势函数来依次更新两个变量块，并使用显式公式更新另一个辅助变量块。我们的势函数的特殊结构，使我们能够利用有效的非负矩阵分解的计算策略，执行交替最小化的两个块的变量。一个合适的线搜索准则也被纳入，以提高数值性能。在适当的条件下，证明了线性搜索准则的定义，并证明了生成的序列是有界的，且序列的任一聚点都是平稳点。最后，我们使用真实数据集进行了一些数值实验，比较我们的方法与现有的一些有效的方法，非负矩阵分解和矩阵完成。数值结果表明，我们的方法可以优于这些方法为这些特定的应用。
2018-05-15 math.OC stat.ML
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解（SymNMF）在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中，我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker（KKT）点集.此外，它实现了一个全球次线性收敛速度。我们还表明，该算法可以有效地实现并行。此外，充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明，该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
针对非凸矩阵分解过参数化时收敛速度变慢的问题，提出预处理梯度下降PrecGD，通过带特定阻尼参数的$\boldsymbol{\u2113}_2$正则化修正奇异性，恢复线性收敛且噪声下稳定，数值实验验证其有效性。
2025-04-13 cs.LG math.OC stat.ML
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的，例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛，核范数，是一种有效的技术来解决问题的强性能保证。然而，非凸松弛比核范数具有更小的估计偏差，并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上，迭代重加权核范数计划，同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势，凸松弛和交替最小化方法。此外，我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法，使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Exponentially Convergent Algorithms for Supervised Matrix Factorization
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
针对监督矩阵分解（SMF）非凸优化收敛弱的问题，提出将其提升为低秩矩阵估计的新框架及指数收敛至全局最小化器的高效算法，并成功应用于多类癌症相关基因群识别。
2023-11-18 cs.LG stat.ML
A block inertial Bregman proximal algorithm for nonsmooth nonconvex problems with application to symmetric nonnegative matrix tri-factorization
我们提出了BIBPA，一个块惯性Bregman邻近算法，用于最小化块相对光滑函数（即，相对光滑的每个块）和块可分的非光滑非凸函数的总和。我们证明了在标准假设下，BIBPA生成的序列依序收敛到目标的临界点，并且当目标函数满足Kurdyka-Kazojasiewicz（Kazojasiewicz）性质时，序列全局收敛.当目标函数满足Kjojasiewicz不等式时，给出了算法的收敛速度.我们应用BIBPA对称非负矩阵三因子分解（SymTriNMF）问题，我们提出了核函数的SymTriNMF和BIBPA的子问题提供封闭形式的解决方案。
2020-05-08 cs.NA math.NA math.OC
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化，提出带递减半径的块状最小化-最大化算法，改进复杂度至不依赖强凸参数，并应用于多种算法，数值验证加速收敛。
2024-11-29 math.OC stat.ML
Certifying optimality in nonconvex robust PCA
The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究提出了一种非凸鲁棒主成分分析的最优性认证方法，通过分析分解的局部几何特性，确定了临界点的性质及解的稳定性。
2026-01-29 math.OC
Scalable Robust Matrix Factorization with Nonconvex Loss
Paradigm Inc.（第四范式）
本文提出使用非凸损失来增强鲁棒性，并通过改进的MM算法和对偶优化方法提高可扩展性，从而在准确性和可扩展性上优于现有方法。
2018-09-23 cs.NA math.NA math.OC
PDNQP: A GPU-based Factorization-free Method for Large-scale Nonconvex Quadratic Programming
Peking University（北京大学）；MIT, Sloan School of Management（麻省理工学院斯隆管理学院）
提出无分解一阶求解器PDNQP，结合近端增广拉格朗日与重启加速原始-对偶混合梯度，在GPU上高效求解大规模非凸二次规划，在CUTEst和百万变量合成问题上表现优越。
2026-09-18 math.OC
Guaranteed Nonconvex Factorization Approach for Tensor Train Recovery
Department of Computer Science and Engineering Ohio State University（计算机科学与工程系俄亥俄州立大学）；Department of Electrical Engineering Colorado School of Mines（电气工程系科罗拉多矿业学院）
本文针对 Tensor Train 分解与线性测量恢复，提出基于左正交 TT 格式和 Stiefel 流形 RGD 的非凸方法，证明其局部线性收敛、噪声下误差仅随张量阶数多项式增长，并通过实验验证。
2025-08-29 cs.LG eess.SP math.OC
Binno: A 1st-order method for Bi-level Nonconvex Nonsmooth Optimization for Matrix Factorizations
National Research Council (CNR)（国家研究委员会）；Water Research Institute (IRSA)（水研究所）；University of Bari Aldo Moro（巴里阿尔多·莫罗大学）；School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
Binno是一种用于矩阵分解的双层非凸非光滑优化的一阶方法，通过近端构造和下降条件实现目标函数的下降，适用于稀疏低秩分解问题。
2026-01-19 math.OC
Improved Global Guarantees for the Nonconvex Burer--Monteiro Factorization via Rank Overparameterization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对半正定矩阵极小化问题，本文证明在 Burer--Monteiro 非凸分解中引入适度的秩过参数化，可保证局部优化从任意初始点全局收敛至最优解，显著改进了原有理论阈值。
2024-07-08 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Computing Large-Scale Matrix and Tensor Decomposition with Structured Factors: A Unified Nonconvex Optimization Perspective
Oregon State University（俄勒冈州立大学）；KU Leuven（鲁汶大学）；University of Florida（佛罗里达大学）；University of Mons（蒙斯大学）
本文采用自上而下的非凸优化视角，从通用优化理论出发讲解结构化矩阵与张量分解的算法设计，重点介绍了随机草图、自适应步长随机优化等前沿方法，兼具教育价值并旨在推动该领域研究。
2020-08-05 cs.LG eess.SP math.OC
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院）；Industrial and Operations Engineering University of Michigan（密歇根大学工业与运营工程学院）
本文提出一种廉价预条件器，恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度，并使其对全局最小化器的病态条件不敏感，同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究固定秩半正定约束的矩阵优化问题，利用Burer-Monteiro分解和黎曼商几何，刻画分解目标函数全局景观，为普通梯度下降优越性能提供几何解释，还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization
Duke University（杜克大学）；Tsinghua University（清华大学）
像SVRG这样的方差缩减技术为优化凸有限和目标提供了简单快速的算法。对于非凸目标，这些技术也可以找到一阶稳定点（具有小梯度）。然而，在非凸优化中，找到一个二阶稳定点（具有小梯度和几乎PSD Hessian）通常是至关重要的。在本文中，我们表明，稳定SVRG（SVRG的一个简单的变种）可以找到一个$ε$ -二阶平稳点，仅使用$\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$随机梯度。据我们所知，这是SVRG简单变体的第一个二阶保证。运行时间几乎匹配已知的保证寻找$ε$ -一阶平稳点。
2019-05-01 cs.LG math.OC stat.ML
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题，提出带外推的Bregman近端随机梯度方法（BPSGE），在方差减少框架下分析其收敛性与复杂度，并通过实验验证其加速效果。
2024-01-04 math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中，并且可以通过各种算法（近似）求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方，建立其整个的收敛序列的一个临界点，随着收敛速率，并数值证明其效率。特别地，我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而，目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的，也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下，包括，特别是，Kurdyka-Eschojasiewicz（KL）条件，这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上，我们测试我们的算法上的非负矩阵和张量分解问题，随机洗牌，使避免局部解决方案。
2015-08-20 math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota（明尼苏达大学）
本文研究了非凸锥优化问题的近似二阶稳定点（SOSP），该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是，我们提出了一个牛顿共轭梯度（Newton-CG）为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的，而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度，这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化（SAPALM）方法，它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法，可证明收敛于一大类非凸，非光滑的问题。我们证明，SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量，我们可以期望看到一个线性加速，这符合已知的最佳界限不太复杂的问题，并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
Coordinate projected gradient descent minimization and its application to orthogonal nonnegative matrix factorization
针对大规模复合非凸优化问题，提出一种带自适应步长的循环坐标下降法，证明了其下降性质与最坏复杂度，并成功应用于正交非负矩阵分解。
2025-04-01 math.OC
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
Local Geometry Determines Global Landscape in Low-rank Factorization for Synchronization
本研究证明在低秩分解中，若自由度超过全局极小值处拉普拉斯算子条件数的两倍，则非凸优化景观无虚假局部极小值，且对单调对抗鲁棒。
2025-02-27 cs.IT math.IT math.OC
Relax-and-split method for nonsmooth nonconvex problems
我们开发和分析了一个新的“松弛和分裂”（RS）的方法，可分离的非凸非光滑函数与线性映射的组合物。RS使用松弛技术与部分最小化，并带来了经典的技术，包括直接因式分解，矩阵分解，和快速迭代法承担非光滑非凸问题。我们还扩展了修剪非凸复合配方的方法，由此产生的修剪RS（TRS）可以适合模型，同时检测数据中的离群值。然后，我们测试RS和TRS上的各种应用程序：（1）相位检索，（2）随机最短路问题，（3）半监督分类，（4）新的聚类方法。RS/TRS可以应用于功能假设非常弱的模型，易于实现，与现有方法竞争，并使建模公式的新水平得以提出，以应对数学科学中出现的挑战。
2018-09-26 math.OC
Modular Distributed Nonconvex Learning with Error Feedback
Department of Electrical, Electronic and Information Engineering, Alma Mater Studiorum - Università di Bologna（电气电子工程系，博洛尼亚大学）；School of Electrical Engineering and Computer Science, and Digital Futures, KTH Royal Institute of Technology（电气工程与计算机科学学院，皇家理工学院）
本文提出一种基于随机压缩通信的模块化分布式非凸学习算法，融合ADMM与梯度方法并引入误差反馈机制，在保证计算效率与鲁棒性的同时，实现了对压缩误差的几乎必然弃权（不执行），并证明了其渐近收敛性。
2025-06-30 cs.LG cs.SY eess.SY
Finding Global Optima in Nonconvex Stochastic Semidefinite Optimization with Variance Reduction
近年来，随机凸半定最优化问题的低秩分解非凸重构方法在效率和可扩展性方面受到了广泛的关注。与原始的凸公式相比，非凸公式通常涉及更少的变量，允许它们扩展到具有数百万变量的场景。然而，它打开了一个新的挑战，在什么条件下，非凸随机算法可以找到有效的全局最优，尽管他们的经验成功的应用。在本文中，我们提供了一个答案，一个随机梯度下降法与方差减少，可以适应于解决非凸的原始凸问题的重组，与\textit{global linear convergence}，即，在约束强凸情形下，在适当的初始选择下，以指数速度收敛到全局最优值。仿真和实际应用的序数嵌入实验研究提供了所提出的算法的有效性。
2018-02-26 math.OC
Global Convergence of Langevin Dynamics Based Algorithms for Nonconvex Optimization
UCLA（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）
本文给出了一个统一的框架来分析基于Langevin动力学的非凸有限和优化算法的全局收敛性，该算法具有$n$分量函数。在我们的分析的核心是一个直接的分析的遍历性的数值近似朗之万动力学，这导致更快的收敛速度。具体地说，我们证明了梯度Langevin动力学（GLD）和随机梯度Langevin动力学（SGLD）收敛到几乎最小$\tilde O\big(nd/(λε) \big)$和$\tilde O\big(d^7/(λ^5ε^5) \big)$随机梯度评估，其中$d$是问题的维数，和$λ$是由GLD产生的马尔可夫链的谱间隙。这两个结果都改进了最著名的梯度复杂度结果（Raginsky等人，2017年）。此外，我们第一次证明了方差约化随机梯度Langevin动力学（SVRG-LD）的全局收敛保证几乎最小的$\tilde O\big(\sqrt{n}d^5/(λ^4ε^{5/2})\big)$随机梯度评估，这优于GLD和SGLD的梯度复杂性在一个广泛的制度。我们的理论分析揭示了一些光使用Langevin动力学为基础的算法的非凸优化与可证明的保证。
2020-10-19 cs.LG math.OC stat.ML
Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）；Department of Computer Science and Engineering, Ohio State University（计算机科学与工程系，俄亥俄州立大学）；DAMO Academy, Alibaba Group US（阿里巴巴集团美国DAMO研究院）
针对非凸线性约束问题，在双侧相对光滑条件下分析Bregman ADMM，证明其不动点映射的严格鞍点不稳定，结合一阶收敛结果得到几乎必然二阶KKT点收敛。
2026-06-29 cs.LG math.OC
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation
Sapienza University of Rome（罗马萨皮恩扎大学）
研究了多智能体网络中的分布式随机非凸优化问题。我们引入了一个新的算法框架的分布最小化的平滑（可能非凸）函数（代理的总和效用）加上凸（可能非平滑）正则化的期望值的总和。所提出的方法取决于连续凸近似（SCA）技术，利用动态共识作为一种机制来跟踪代理之间的平均梯度，递归平均恢复的总和效用函数的预期梯度。几乎必然收敛到（平稳）的非凸问题的解决方案。最后，将该方法应用于神经网络的分布式随机训练。数值结果证实了理论的要求，并说明了所提出的方法相对于文献中的其他方法的优势。
2020-05-12 cs.LG eess.SP math.OC
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
On the Crucial Role of Initialization for Matrix Factorization
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究揭示初始化对低秩矩阵分解收敛速率的关键作用，提出Nystrom初始化使ScaledGD实现二次收敛，并将其拓展为NoRA方法，在多类大模型下游任务中取得更优性能。
2024-12-12 cs.LG eess.SP math.OC
Dynamical convergence analysis for nonconvex linearized proximal ADMM algorithms
本文利用连续时间动力系统分析非凸复合优化的线性化近端 ADMM 算法，借助 KL 性质证明了确定与随机变体的全局收敛性及收敛速率，并提出加速版本。
2023-09-13 math.OC
DCA based Algorithm with Extrapolation for Nonconvex Nonsmooth Optimization
本文主要研究非凸可微函数与DC（Difference of凸函数）函数之和的极小化问题，其中可微函数不受全局Lipschitz梯度连续性假设的限制.这个问题涵盖了广泛的应用在机器学习和统计，如压缩感知，信号恢复，稀疏字典学习，矩阵分解等，我们从Nesterov的加速技术和DC算法的灵感，开发一种新的算法所考虑的问题。通过对算法收敛性的分析，研究了算法对临界点的连续收敛性。证明了算法产生的整个序列的整体收敛到一个临界点，并在Kurdyka-Lojasiewicz条件下建立了算法的收敛速度.数值实验的非负矩阵完成问题进行证明我们的算法的效率和它的优越性比知名的方法。
2021-06-09 math.OC
Nonconvex Optimization via MM Algorithms: Convergence Theory
优化最小化（MM）原则是一个非常普遍的框架，用于推导优化算法。它包括期望最大化（EM）算法，邻近梯度算法，凹凸过程，二次下界算法，和邻近距离算法作为特殊情况。除了在统计、优化和成像中的众多应用之外，MM原理在大规模机器学习问题中也有广泛的应用，例如矩阵完备化、判别分析和非负矩阵分解。MM算法在求解非凸最优化问题时具有目标函数凸化、变量分离、数值稳定性和易于实现等优点。然而，与其他优化算法的大量文献相比，MM算法的收敛性分析是分散的和特定的问题。本文给出了MM算法收敛性的统一处理方法。考虑到现代应用，结果包括非光滑目标函数和非渐近分析。
2021-06-05 math.OC stat.CO
Frank-Wolfe Optimization for Symmetric-NMF under Simplicial Constraint
Carnegie Mellon University（卡内基梅隆大学）
对称非负矩阵分解提供了非负矩阵的对称低秩分解，在许多领域有着广泛的应用。在本文中，我们提出了一个Frank-Wolfe（FW）求解器优化对称非负矩阵分解问题的单纯形约束下，最近提出的概率聚类。与现有的解决方案相比，该算法实现简单，且无需调整超参数。基于FW算法在非凸优化中的最新进展，我们证明了$O(1/\varepsilon^2)$收敛到$\varepsilon$ -近似KKT点的速度，通过对曲率常数的紧界$Θ(n^2)$，这与使用梯度方法的无约束非凸设置中的最佳已知结果相匹配.数值结果表明了算法的有效性。作为一个侧面的贡献，我们构造了一个简单的非光滑凸问题的FW算法无法收敛到最佳。这一结果提出了一个有趣的问题的必要条件的FW算法的成功凸问题。
2018-06-26 cs.LG math.OC stat.ML
From Symmetry to Geometry: Tractable Nonconvex Problems
Rutgers University（罗格斯大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
随着科学和工程变得越来越数据驱动，优化的作用已经扩展到几乎涉及数据分析管道的每个阶段，从信号和数据采集到建模和预测。实际中遇到的优化问题往往是非凸的。虽然各个问题面临的挑战各不相同，但非凸性的一个常见来源是数据或测量模型中的非线性。非线性模型通常表现出对称性，创造出复杂的、非凸的客观景观，具有多个等价解。然而，简单的方法（例如，梯度下降）在实践中常常表现得令人惊讶地好。本综述的目的是突出一类易处理的非凸问题，这可以通过对称性的镜头来理解。这些问题表现出一个特征几何结构：局部极小是一个单一的“地面真理”解决方案的对称副本，而其他临界点发生在地面真理的对称副本的平衡叠加，并在打破对称的方向上表现出负曲率。这种结构使有效的方法，以获得全球最小。我们讨论的例子，这种现象所产生的广泛的问题，在成像，信号处理和数据分析。我们强调对称性在塑造客观景观中的关键作用，并讨论旋转对称性和离散对称性的不同作用。这一领域是丰富的观察到的现象和开放的问题，我们通过突出未来的研究方向关闭。
2022-07-08 cs.CV cs.IT cs.LG
An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
Huawei Belgium Research Center（华为比利时研究中心）；HCMC University of Education（胡志明市教育大学）；University of Mons（蒙斯大学）
本文介绍了一种新的求解非光滑非凸优化问题的惯性块优化极小框架TITAN。据我们所知，TITAN是块坐标更新方法的第一个框架，它依赖于优化-最小化框架，同时将惯性力嵌入到块更新的每一步。惯性力是通过一个外推算子，其中包括重球和Nesterov型加速度块近端梯度法作为特殊情况。通过选择各种替代函数，如近端，Lipschitz梯度，Bregman，二次和复合替代函数，并通过改变外推算子，TITAN产生了丰富的惯性块坐标更新方法。我们研究了TITAN生成序列的子序列收敛性和整体收敛性。我们说明了TITAN的有效性上两个重要的机器学习问题，即稀疏非负矩阵分解和矩阵完成。
2022-09-20 cs.LG eess.SP math.OC
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法，通过改进的自适应采样信任区域优化方法（Reg-ASTRO）实现了几乎确定性的迭代复杂度，优于传统一阶方法。
2026-04-29 math.OC
LSOS: Line-search Second-Order Stochastic optimization methods for nonconvex finite sums
我们开发了一个线搜索的二阶算法框架，最小化有限和。我们不做任何凸性假设，但要求和的项是连续可微的，并且具有Lipschitz连续梯度。适合这个框架的方法结合了线搜索和适当衰减的步长。一个关键的问题是在每次迭代时的两步采样，这使我们能够控制线搜索过程中存在的误差。极限点的平稳性在几乎必然意义下得到了证明，而逼近序列对解的几乎必然收敛在函数是强凸的附加假设下成立.数值实验，包括与最先进的随机最优化方法的比较，表明我们的方法的效率。
2022-06-27 cs.NA math.NA math.OC
Multistart Algorithm for Identifying All Optima of Nonconvex Stochastic Functions
我们提出了一个多起点算法，以确定所有的局部极小的约束，非凸随机最优化问题。该算法在域中均匀采样点，然后从其邻域中的“概率最佳”点的任何点开始局部随机最优化运行。在一定的条件下，我们的算法被证明是渐近确定所有的局部最优的概率很高，即使我们的算法是几乎肯定只开始许多本地随机最优化运行。我们证明了我们的算法在非凸随机最优化问题上的实现的性能，包括确定量子近似优化算法的最佳变分参数。
2022-01-04 math.OC
Online Nonnegative Matrix Factorization with Outliers
National University of Singapore（新加坡国立大学）
我们提出了一个统一的和系统的框架进行在线非负矩阵分解在离群值的存在。我们的框架特别适合大规模数据。我们提出了两个求解器的基础上投影梯度下降和交替方向的乘法器。利用拟鞅收敛定理证明了目标值序列几乎必然收敛。我们还证明了学习字典的序列几乎肯定收敛到期望损失函数的稳定点集。此外，我们扩展我们的基本问题制定不同的约束和正则化的各种设置。我们还根据每个设置调整求解器和分析。我们在合成和真实数据集上进行了大量的实验。这些实验证明了我们的算法的计算效率和有效性的任务，如（部分为基础的）基础学习，图像去噪，阴影去除和前景-背景分离。
2016-10-15 cs.IT cs.LG math.IT
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Convergence of a Randomized Newton Method in Nonconvex Optimization
本文分析了一种结合牛顿算法与状态相关高斯噪声的随机牛顿方法，用于非凸优化中定位唯一全局极小值点，并证明了有界域下的全局几乎必然收敛性。
2026-09-10 math.OC
An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints
提出了一种求解非凸非线性约束问题的实用不精确增广拉格朗日方法。我们的总计算复杂性的特征，我们的方法受到可验证的几何条件，这是密切相关的Polyak-Lojasiewicz和Mangasarian-Fromowitz条件。特别是，当一阶求解器用于内部迭代，我们证明了iALM发现一阶不动点与$\tilde{\mathcal{O}}(1/ε^4)$调用一阶Oracle。此外，如果问题是光滑的，并且二阶求解器用于内部迭代，则iALM通过对二阶oracle的$\tilde{\mathcal{O}}(1/ε^5)$调用找到二阶稳定点，这与文献中已知的理论复杂度结果相匹配。我们还提供了强有力的数值证据，大规模的机器学习问题，包括Burer-Monteiro分解的半定程序，和一种新的非凸松弛的标准基追求模板。对于这些例子，我们还展示了如何验证我们的几何条件。
2022-04-21 math.OC
Convergence of First-Order Methods for Constrained Nonconvex Optimization with Dependent Data
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对依赖数据下的约束光滑非凸优化，提出统一分析框架，将随机投影梯度方法的复杂度从 $\tilde{O}(\varepsilon^{-8})$ 改进至 $\tilde{O}(\varepsilon^{-4})$，并推广至 AdaGrad 等算法，首次实现依赖数据的在线非负矩阵分解。
2023-06-23 cs.LG math.OC stat.ML
Tight Certification of Adversarially Trained Neural Networks via Nonconvex Low-Rank Semidefinite Relaxations
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有方法难以对对抗训练模型生成高质量鲁棒性认证的问题，提出基于半定规划松弛低秩限制的非凸认证技术，兼具强认证能力与低变量数优势，可在多项式时间内认证全局最优，几乎填补精确认证缺口。
2023-06-14 cs.LG math.OC stat.ML
Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对无模型超参数化非对称矩阵分解的过拟合问题，证明带小随机初始化的普通梯度下降结合早停可无需显式正则化得到最优低秩近似，给出了更宽松的复杂度界，且理论与数值实验吻合。
2022-09-15 cs.LG math.OC stat.ML
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
