Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
许多实际问题不仅具有复杂的非凸函数约束，而且需要大量的数据点。这激发了有限和或期望约束问题的有效随机方法的设计。在本文中，我们设计和分析随机不精确增广拉格朗日方法（Stoc-iALM）解决涉及非凸复合（即光滑+非光滑）目标和非凸光滑函数约束的问题。我们采用标准的iALM框架，并设计了一个子程序，使用基于动量的方差减少最近的随机梯度法（PStorm）和后处理步骤。在一定的正则性条件下（在已有的工作中也是这样假设的），为了达到期望的$\varepsilon$点，我们建立了一个预言复杂性结果$O(\varepsilon^{-5})$，它优于最著名的$O(\varepsilon^{-6})$结果.在公平性约束问题和Neyman-Pearson分类问题上的数值实验表明，该方法的复杂度优于已有的方法.
2022-12-19 cs.LG cs.NA math.NA
Analysis of the Optimization Landscapes for Overcomplete Representation Learning
New York University（纽约大学）；UC Berkeley（加州大学伯克利分校）；ByteDance Inc.（字节跳动公司）；Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Denver（丹佛大学）
我们研究了学习过完备表示的非凸优化景观，包括学习（i）稀疏使用的过完备字典和（ii）卷积字典，这些无监督学习问题在高维数据分析中有许多应用。尽管简单的非凸算法在经验上取得了成功，但为什么这些方法工作得如此好的理论理由还远远不能令人满意。在这项工作中，我们证明了这些问题可以表示为$\ell^4$ -范数优化问题与球面约束，并研究了其非凸优化景观的几何性质。对于这两个问题，我们表明，非凸目标具有良性（全球）的几何结构，在这个意义上，每个局部极小值是接近的目标解决方案之一，每个鞍点表现出负曲率。这一发现使得发展保证全局优化方法，使用简单的初始化。对于这两个问题，我们表明非凸目标具有良性的几何结构-每个局部极小值接近的目标解决方案之一，每个鞍点表现出负曲率-无论是在整个空间或在一个足够大的区域。这一发现确保了具有简单初始化的局部搜索算法（例如黎曼梯度下降）近似地找到目标解。最后，数值实验证明了我们的理论发现。
2019-12-10 cs.IT cs.LG eess.SP
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota（明尼苏达大学）；The Hong Kong Polytechnic University（香港理工大学）
本文考虑了在已知近似可行点的情况下，求非凸等式约束优化问题的二阶稳定点的问题。特别是，我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP，并表明它比Newton-CG方法具有更好的复杂性[56]。然后，我们提出了一个基于Newton-CG的增广拉格朗日（AL）方法找到一个近似的SOSP的非凸等式约束优化，其中建议的Newton-CG方法被用作子问题求解器。我们表明，在广义线性独立约束规格（GLICQ）下，我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度，用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP，这明显优于近似AL方法[60]。此外，我们还证明了当GLICQ不成立时，它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$，运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知，本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56，60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
AdaGrad stepsizes: Sharp convergence over nonconvex landscapes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook AI 研究院）
自适应梯度方法（如AdaGrad及其变体）根据沿途接收的梯度动态更新随机梯度下降中的步长;此类方法因其稳健收敛的能力而在大规模优化中得到广泛使用，而无需微调步长计划。然而，迄今为止AdaGrad的理论保证是在线和凸优化。我们弥合这一差距，提供理论保证AdaGrad的收敛性光滑，非凸函数。我们发现，规范版本的AdaGrad（AdaGrad规范）收敛到一个固定点在随机设置中的$\mathcal{O}(\log(N)/\sqrt{N})$率，并在最佳的$\mathcal{O}(1/N)$率在一批（非随机）设置-在这个意义上说，我们的收敛保证是“尖锐”。特别地，AdaGrad-Norm的收敛对于算法的所有超参数的选择是鲁棒的，与随机梯度下降相反，随机梯度下降的收敛关键取决于将步长调整到（通常未知的）Lipschitz平滑常数和梯度上的随机噪声水平。提供了大量的数值实验来证实我们的理论;此外，实验表明AdaGrad-Norm的鲁棒性扩展到深度学习中最先进的模型，而不会牺牲泛化。
2021-04-19 cs.LG stat.ML
The inexact power augmented Lagrangian method for constrained nonconvex optimization
KU Leuven（鲁汶大学）；Proxima Fusion GmbH（Proxima Fusion 有限公司）
本文提出了一种不精确的幂增广拉格朗日方法，用于解决约束非凸优化问题，通过调整增广项的幂次来优化收敛性能。
2025-11-24 cs.LG math.OC
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University（爱荷华州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）
我们研究了一个随机和分布式算法的非凸问题，其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数，加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂（NESTT）算法将问题分解为$N$子问题，并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样，NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解，其可以比（邻近的）梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题，也达到了Q-线性收敛速率.此外，我们揭示了原始对偶的方法和一些原始的方法，如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University（理海大学）
本文拓展了梯度-本征步算法的分析，证明其在特定条件下具备局部线性收敛速率，还可作为子问题求解器应用于渐进采样策略，以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Nonconvex Stochastic Nested Optimization via Stochastic ADMM
我们考虑随机嵌套复合优化问题的目标是两个期望值函数的组合。我们提出了随机ADMM来解决这个复杂的目标。为了找到一个$ε$平稳点，相应的增广拉格朗日次梯度的期望范数小于$ε$，我们的方法的总样本复杂度为$\mathcal{O}(ε^{-3})$的在线情况下和$\mathcal{O} \Bigl((2N_1 + N_2) + (2N_1 + N_2)^{1/2}ε^{-2}\Bigr)$的有限和的情况下。该算法的计算复杂度与\cite{zhang2019multi}中提出的近似算法一致，但在惩罚函数的近似映射不易计算的情况下，该算法可以解决更一般的问题。
2019-11-12 cs.LG math.OC stat.ML
Global Dynamics of Heavy-Tailed SGDs in Nonconvex Loss Landscape: Characterization and Control
Quantitative Economics, University of Amsterdam（阿姆斯特丹大学量化经济学）；Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学）
本文通过大偏差和亚稳定性分析，刻画了重尾SGD在非凸损失景观中的全局动力学，发现注入并截断重尾噪声可几乎完全避开尖锐极小值，提升泛化性能，实验验证了该理论。
2025-10-23 cs.LG math.PR
From Symmetry to Geometry: Tractable Nonconvex Problems
Rutgers University（罗格斯大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
随着科学和工程变得越来越数据驱动，优化的作用已经扩展到几乎涉及数据分析管道的每个阶段，从信号和数据采集到建模和预测。实际中遇到的优化问题往往是非凸的。虽然各个问题面临的挑战各不相同，但非凸性的一个常见来源是数据或测量模型中的非线性。非线性模型通常表现出对称性，创造出复杂的、非凸的客观景观，具有多个等价解。然而，简单的方法（例如，梯度下降）在实践中常常表现得令人惊讶地好。本综述的目的是突出一类易处理的非凸问题，这可以通过对称性的镜头来理解。这些问题表现出一个特征几何结构：局部极小是一个单一的“地面真理”解决方案的对称副本，而其他临界点发生在地面真理的对称副本的平衡叠加，并在打破对称的方向上表现出负曲率。这种结构使有效的方法，以获得全球最小。我们讨论的例子，这种现象所产生的广泛的问题，在成像，信号处理和数据分析。我们强调对称性在塑造客观景观中的关键作用，并讨论旋转对称性和离散对称性的不同作用。这一领域是丰富的观察到的现象和开放的问题，我们通过突出未来的研究方向关闭。
2022-07-08 cs.CV cs.IT cs.LG
Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing
Carnegie Mellon University（卡内基梅隆大学）
本文通过平滑视角分析采样优化，揭示平滑在逃逸局部极小值中的作用，并提出DIDA算法实现全局收敛。
2026-05-15 cs.LG
A first-order method for nonconvex-strongly-concave constrained minimax optimization
University of Minnesota（明尼苏达大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出了一种用于非凸-强凹约束极小极大优化问题的一阶方法，通过利用强凹结构实现了更高效的运算复杂度。
2026-01-05 cs.LG cs.NA math.NA
On Quantum Speedups for Nonconvex Optimization via Quantum Tunneling Walks
Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
针对高势垒分隔的非凸优化难题，本文提出量子隧穿行走（QTW）算法，证明其在高薄势垒和平坦极小值条件下相对 SGD 具有量子加速，并以双势阱构造和数值实验验证。
2023-05-22 cs.DS cs.LG math.OC
Graph Coarsening Enables Escaping Local Optima in Compute-Constrained Nonconvex MAX-CUT
Qualcomm AI Research（高通人工智能研究院）
该研究提出用谱图粗化方法CMG为非凸MAX-CUT的PPR方法热启动，结合离散局部搜索或谱稀疏化，在多类基准图实例上提升MAX-CUT求解质量并降低内存需求。
2026-10-15 cs.AI cs.CL cs.LG
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University（明治大学）
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法，并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings
Australian National University（澳大利亚国立大学）；Pluralis Research
本文提出通用框架，证明利用解流形结构的约简映射可改善目标曲率，使问题条件更优，从而为梯度方法带来理论上更快的收敛速率，统一解释相关经验收益。
2025-10-24 cs.LG math.OC
Symmetry Breaking in Symmetric Tensor Decomposition
The Hebrew University（希伯来大学）；New York University（纽约大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文研究对称张量秩分解中的非凸优化问题，证明标准梯度法找到的临界点具有对称性破缺性质，并指出该现象可利用新解析与代数工具分析。
2023-12-28 cs.LG math.OC
Stable Nonconvex-Nonconcave Training via Linear Interpolation
EPFL（洛桑联邦理工学院）
本文提出线性插值稳定神经网络训练的理论框架，构造RAPP算法实现ρ-共单调问题的最优收敛，并重新发现Lookahead算法族，在GAN实验中验证其有效性。
2024-03-14 cs.LG math.OC
Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个一般性的理论来研究非凸\xl{optimization}的\xl{landscape}与潜在的对称结构\tz{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}。具体地，我们通过不变群\removed{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}的透镜刻画了Hessian矩阵\xl{of the objective function}的驻点位置和零空间。作为一个主要的激励例子，我们应用所提出的一般理论来表征全球\xl{landscape}的\xl{nonconvex optimization in}低秩矩阵分解问题。特别是，我们说明了如何旋转对称群产生无穷多个非孤立的严格鞍点和等价的全局极小的目标函数。通过显式识别所有静止点，我们将整个参数空间分为三个区域：（$\cR_1$）包含所有严格鞍点的邻域的区域，其中目标具有负曲率;（$\cR_2$）包含所有全局极…
2018-01-20 cs.LG math.OC stat.ML
Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
本文提出了一种确定性框架，通过模拟提升方法在非凸矩阵感知中证明性地逃离虚假局部极小值，无需实际提升计算，且具有最小的计算成本。
2026-08-20 cs.LG math.OC
Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出单循环随机平滑原始-对偶算法求解带线性不等式约束的非凸优化问题，基于 Moreau 包络的非精确梯度下降框架，达到最优 O(ε⁻⁴) 样本复杂度，并可借助方差缩减改进至 O(ε⁻³)，避免子问题和大批量。
2025-04-10 cs.LG math.OC
Stochastic First-order Methods for Convex and Nonconvex Functional Constrained Optimization
Georgia Institute of Technology（佐治亚理工学院）；Shanghai University of Finance and Economics（上海财经大学）
函数约束优化问题在机器学习和运筹学中越来越重要。这些问题在风险规避机器学习，半监督学习和鲁棒优化等方面具有潜在的应用。本文首先提出了一种新的求解凸泛函约束问题的约束外推（ConEx）方法，该方法利用约束函数的线性逼近来定义外推（或加速）步骤。我们表明，这种方法是一个统一的算法，实现了最知名的收敛速率解决不同的功能约束凸复合问题，包括凸或强凸，光滑或非光滑问题的随机目标和/或随机约束。事实上，这些收敛率中有许多是在文献中首次获得的。此外，ConEx是一个单循环算法，不涉及任何惩罚子问题。与现有的原始对偶方法相反，它不需要拉格朗日乘子投影到一个（可能未知的）有界集。其次，对于非凸函数约束问题，我们引入了一种新的邻近点方法，通过在目标和约束上增加二次项，将初始非凸问题转化为一系列凸问题。在一定的MFCQ型假设下，当凸子问题精确解或不精确解时，我们证明了该方法收敛于KKT点和收敛速度收敛速率。对于大规模的随机问题，我们提出了一个更实用的邻近点方法，其中子问题的近似解由上述的ConEx方法计算。据我们所知，大多数这些收敛性和复杂性的结果的近点方法的非凸问题似乎也是新的文献。
2022-01-27 cs.LG math.OC
On the Sample Complexity and Optimization Landscape for Quadratic Feasibility Problems
Arizona State University（亚利桑那州立大学）
我们考虑从$m$二次测量值$\{\langle A_i\mathbf{x}, \mathbf{x}\rangle\}_{i=1}^m$恢复复向量$\mathbf{x}\in \mathbb{C}^n$的问题。这个问题，被称为二次可行性，包括众所周知的相位恢复问题，并在广泛的重要领域，包括电力系统状态估计和X射线晶体学的应用。一般来说，二次可行性问题不仅NP-难解决，而且实际上可能无法识别。在本文中，我们建立了条件下，这个问题成为{可识别}，并进一步证明等距性质的情况下，矩阵$\{A_i\}_{i=1}^m$是厄米特矩阵采样的复高斯分布。此外，我们探讨了这个问题的非凸{优化}制定，并建立相关的优化景观，使梯度算法与任意初始化收敛到一个\emph{globally optimal}点的概率很高的显着特点。我们的研究结果还揭示了在这些情况下成功识别可行解决方案的样本复杂性要求。
2020-12-14 cs.IT cs.LG eess.SP
On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features
Microsoft Research（微软研究院）；Google Research（谷歌研究院）；University of Denver（丹佛大学）；University of Michigan（密歇根大学）
当训练深度神经网络进行分类任务时，在最后一层分类器和特征中广泛观察到一个有趣的经验现象，其中（i）类均值和最后一层分类器都塌陷到单纯形等角紧框架（ETF）的顶点，直到缩放，以及（ii）最后一层激活的跨示例类内变异性塌陷到零。这种现象被称为神经崩溃（NC），它似乎发生的损失函数的选择无关。在这项工作中，我们证明NC下的均方误差（MSE）的损失，最近的经验证据表明，它的性能比事实上的交叉熵损失，甚至更好。在一个简化的无约束特征模型，我们提供了第一个全球景观分析香草非凸MSE损失，并表明（只有！）全局极小点是神经崩溃解，而所有其他临界点都是严格鞍点，其Hessian具有负曲率方向。此外，我们通过探测NC解决方案周围的优化景观来证明重新缩放MSE损失的使用，表明可以通过调整重新缩放超参数来改善景观。最后，我们的理论研究结果进行了实验验证，在实际的网络架构。
2022-03-12 cs.AI cs.IT cs.LG
lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers
Jilin University（吉林大学）；Kyoto University（京都大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对非凸约束优化层可微求解的挑战，提出无矩阵求解器lapanda，通过增广拉格朗日子问题和近端拟牛顿内层求解实现高效前向与后向，大幅降低计算和内存开销，并保持性能。
2026-09-29 cs.LG cs.SY eess.SY
Finding the Sparsest Vectors in a Subspace: Theory, Algorithms, and Applications
New York University（纽约大学）；University of Denver（丹佛大学）；Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在低维子空间中找到稀疏向量（方向）的问题可以被认为是稀疏恢复问题的齐次变体，其在鲁棒子空间恢复、字典学习、稀疏盲反卷积以及信号处理和机器学习中的许多其他问题中找到应用。然而，与经典的稀疏恢复问题相比，在子空间中寻找稀疏向量的最自然的公式通常是非凸的。在本文中，我们概述了最近的进展，解决这个问题的全局非凸优化理论，从几何分析的优化景观，有效的优化算法解决相关的非凸优化问题，在机器智能，表示学习，和成像科学的应用。最后，我们通过指出未来研究的几个有趣的开放问题来总结这篇评论。
2020-01-20 cs.IT cs.LG eess.IV
Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程系）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
本文提出一种无退化对偶方法，用于解决具有正交约束的非光滑非凸优化问题，方法单循环且无需求解子问题，具有O(ε^{-3})的迭代复杂度，并通过数值实验验证其高效性。
2026-04-05 cs.LG cs.NA math.NA
Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
University of Tokyo（东京大学）；RIKEN（理化学研究所）
研究由MLP和线性注意力层组成的Transformer的优化，证明在平均场极限下参数分布的无穷维非凸损失景观变得温和，并首次对一般平均场动力学进行鞍点分析。
2024-06-02 cs.LG stat.ML
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington（华盛顿大学电气与计算机工程系）
利用深度神经网络预测交流最优潮流（ACOPF）问题的解一直是一个活跃的研究方向。然而，由于ACOPF是非凸的，它是很难构建一个良好的数据集，包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战，我们提出了一种基于拉格朗日的方法。首先，我们使用神经网络来学习ACOPF问题的对偶变量。然后，我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果，因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线，39总线和118总线网络，我们表明，我们的方法是能够获得全局最优的成本，即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
Causal Invariance Learning via Efficient Nonconvex Optimization
Department of Statistics, Rutgers University（罗格斯大学统计系）；Seminar for Statistics, ETH Zürich（苏黎世联邦理工学院统计研究所）；Center for Data Science, Zhejiang University（浙江大学数据科学中心）
本文提出NegDRO框架，通过高效非凸优化实现因果不变性学习，解决了因果结果模型的识别与估计问题。
2026-01-07 cs.LG math.OC math.ST
Riemannian ascent--descent for nonconvex nonconcave minimax landscapes: convergence to basin saddle points and applications to distributionally robust optimization
UC San Diego（加州大学圣地亚哥分校）
针对非凸非凹极小极大景观，提出盆地鞍点概念及黎曼梯度上升多步下降迭代的收敛框架，应用于高斯分布鲁棒优化，获得线性或多项式收敛速率。
2026-09-15 cs.LG math.OC stat.ML
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
本文针对一般非凸锥优化问题提出基于Newton-CG的障碍增广拉格朗日方法，首次给出求解近似二阶稳定点的复杂度界，并验证其解质量优于一阶方法。
2024-08-30 cs.LG cs.NA math.NA
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题，提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法，分析其oracle复杂度，在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配，数值实验验证其性能。
2026-09-01 cs.LG math.OC
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文研究了最小化种群风险的随机最优化问题，其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题，他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用，我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文研究了有限时间MDP中一般状态和动作的策略优化问题，提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛，并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
University of Chicago（芝加哥大学）；Fudan University（复旦大学）；Duke University（杜克大学）
该研究建立低秩矩阵优化中流形与因子分解公式在平稳点、鞍点等上的几何等价性及谱夹心关系，可迁移几何性质、解决文献遗留问题并强化相关应用结论。
2024-08-12 cs.IT cs.LG eess.SP
Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear coupling constraints
University of Mons（蒙斯大学）；Huawei Belgium Research Center (BeRC)（华为比利时研究中心）
本文提出一种多块ADMM方法，结合优化最小化更新各原始变量块，用于求解带非线性耦合约束的非光滑非凸优化问题，并证明了收敛性、迭代复杂度及初步数值效果。
2023-12-02 cs.LG math.OC
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究固定秩半正定约束的矩阵优化问题，利用Burer-Monteiro分解和黎曼商几何，刻画分解目标函数全局景观，为普通梯度下降优越性能提供几何解释，还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
Approximate message passing for nonconvex sparse regularization with stability and asymptotic analysis
Aalto University（阿尔托大学）
本文分析了高斯随机数据在过完备高斯基下的光滑截断绝对偏差（SCAD）非凸正则化线性回归问题。我们提出了一种考虑非凸正则化的近似消息传递（AMP）算法，即SCAD-AMP，并分析表明，稳定性条件对应于自旋玻璃文献中的de Almeida-无条件。通过渐近分析，我们发现了SCAD-AMP的密度演化与副本对称解之间的对应关系。数值实验证实，对于一个足够大的系统大小，SCAD-AMP达到最佳的性能预测的副本方法。通过副本分析，在SCAD的参数空间中发现了副本对称（RS）区和副本对称破缺（RSB）区之间的相变。非凸罚函数的RS区域的出现是一个显著的优点，它表明了优化问题的光滑区域。此外，我们分析表明，SCAD惩罚的统计表示性能优于基于L1的方法，并在RS/RSB相位的边缘处获得RS假设下的最小表示误差。文中还指出了现有坐标下降算法的收敛性与RS/RSB变换之间的对应关系。
2018-02-19 cs.LG stat.ML
Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
近年来，在通过非凸优化来开发可证明准确和有效的低秩矩阵分解算法方面取得了实质性进展。虽然传统的智慧往往采取了非凸优化算法，由于他们的敏感性虚假的局部最小值，简单的迭代法，如梯度下降在实践中取得了显着的成功。然而，直到最近，理论基础在很大程度上仍然缺乏。在这个教程式的概述中，我们强调了统计模型在实现具有性能保证的高效非凸优化方面的重要作用。我们回顾了两种对比的方法：（1）两阶段算法，其中包括一个定制的初始化步骤，随后连续细化;和（2）全球景观分析和初始化免费算法。讨论了几个典型的矩阵分解问题，包括但不限于矩阵传感，相位恢复，矩阵完成，盲反卷积，鲁棒主成分分析，相位同步，和联合对准。特别注意说明他们的分析背后的关键技术见解。这篇文章证明了最优化和统计的综合考虑导致了丰硕的研究成果。
2019-09-19 cs.IT cs.LG eess.SP
The loss landscape of overparameterized neural networks
IAS（普林斯顿高等研究院）
我们探讨了过参数化神经网络的损失景观的一些数学特征。我们可以先验地想象，损失函数看起来像是从$\mathbb{R}^n$到$\mathbb{R}$的典型函数--特别是非凸的，具有离散的全局极小值。在本文中，我们证明，在至少一个重要的方式，一个过参数化神经网络的损失函数看起来不像一个典型的功能。如果神经网络具有$n$参数并在$d$数据点上进行训练，则使用$n>d$，我们证明$L$的全局极小值的轨迹$M$通常不是离散的，而是$\mathbb{R}^n$的$n-d$维子流形。在实践中，神经网络通常具有比数据点多几个数量级的参数，因此这一观察结果意味着$M$通常是$\mathbb{R}^n$的一个非常高维的子集。
2018-04-26 cs.AI cs.LG cs.NE
A first-order method for nonconvex-nonconcave minimax problems under a local Kurdyka-Lojasiewicz condition
Department of Industrial and Systems Engineering, University of Minnesota, USA（明尼苏达大学工业与系统工程系）
本文研究了一类非凸-非凹极小极大问题，其中内部最大化问题满足一个可能随外部最小化变量变化的局部Kurdyka-Lojasiewicz条件。与文献中常见的全局KL或Polyak-Lojasiewicz条件相比，该局部KL条件能涵盖更广泛的实际场景，但同时也带来了新的分析挑战。为此，本文证明了关联的最大函数是局部广义Hölder光滑的，并基于此开发了一种近似近端梯度方法来求解极小极大问题，在温和假设下建立了计算近似 stationary 点的复杂性保证。
2026-05-19 cs.LG cs.NA math.NA
An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity
The Hong Kong Polytechnic University（香港理工大学）
带有一组稀疏正则化项的Leaky ReLU网络近年来得到了广泛的应用。然而，训练这样的网络会产生一个非光滑非凸最优化问题，并且缺乏确定性地计算稳定点的方法。本文首先通过引入辅助变量和附加约束，解决了原最优化问题中的多层复合项。我们证明了新模型有一个非空有界的解集，并且它的可行解集满足Mangasarian-Fromovitz约束规格。此外，我们展示了新模型和原问题之间的关系。值得注意的是，我们提出了一个不精确的增广拉格朗日算法求解新的模型，并显示该算法的收敛到KKT点。数值实验表明，我们的算法是更有效的训练稀疏漏ReLU神经网络比一些著名的算法。
2022-05-11 cs.LG math.OC
