Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题，讨论一阶与二阶最优性条件及缺乏凸性带来的困难，并对一种增广拉格朗日方法进行局部收敛性分析，给出收敛速率。
2024-05-15 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Lagrangian Reformulation for Nonconvex Optimization: Tailoring Problems to Specialized Solvers
Lehigh University（利哈伊大学）；Tilburg University（蒂尔堡大学）
本文提出通过拉格朗日改写方法，将非凸优化问题与专用求解器结合，以解决等式约束问题的等价性问题。
2026-01-14 math.OC
Asymptotically Strong Dual of Smooth Nonconvex Problems: A Smooth Shapley-Folkman Perspective
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学）
本文通过改进的Shapley-Folkman引理误差界，证明了光滑非凸问题的拉格朗日对偶渐近紧，解决了非凸性可能减少的问题。
2026-11-04 math.OC
Moreau Envelope Augmented Lagrangian Method for Nonconvex Optimization with Linear Constraints
增广拉格朗日方法是求解约束优化问题的一种有效方法。它的收敛性已经很好地建立在凸性假设或光滑性假设下，或在两个假设下。当底层问题同时是非凸和非光滑的时，ALM可能会经历振荡和发散。本文考虑了具有非凸（特别是弱凸）非光滑目标的线性约束问题。我们修改ALM使用Moreau包络的增广拉格朗日和建立其收敛的条件下，比那些在文献中。我们称之为Moreau包络增广拉格朗日（MEAL）方法。我们还表明，MEAL的迭代复杂性是$o(\varepsilon^{-2})$产生一个$\varepsilon$ -准确的一阶稳定点。我们建立其整个序列的收敛性（无论初始猜测）和率时，Kurdyka-Lojasiewicz属性被假定。此外，当MEAL的子问题没有封闭形式的解决方案，是难以解决的，我们提出了两个实用的MEAL的变种，一个不精确的版本称为iMEAL与近似的近端更新，和一个线性化的版本称为LiMEAL的约束问题与复合目标。它们的趋同性也得到了确立。
2021-12-09 math.OC
Stochastic Augmented Lagrangian Framework with Second-Order Convergence Guarantees for Nonconvex Expectation-Constrained Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种随机增广拉格朗日框架，用于求解非凸期望约束优化问题，通过随机二阶方法非精确求解子问题，建立了获得近似二阶稳定点的迭代与样本复杂度保证，并在两个机器学习任务上验证了性能。
2026-09-24 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints
我们分析了非线性等式约束非凸优化的近端增广拉格朗日（近端AL）框架的最坏情况的复杂性。当近似的一阶（二阶）最优点在子问题中得到，一阶$ε$在$\mathcal{O}(1/ ε^{2 - η})$外部迭代中，可以保证原始问题的（二阶）最优点（其中$η$是用户定义的参数，$η\in[0,2]$用于一阶结果，$η\in [1,2]$用于二阶结果）当邻近项系数$β$和惩罚参数$ρ$分别满足$β= \mathcal{O}(ε^η)$和$ρ= Ω(1/ε^η)$时。我们还研究了使用牛顿共轭梯度算法求解子问题时的总迭代复杂度和运算复杂度。最后，我们讨论了一个自适应方案，用于确定满足分析要求的参数$ρ$的值。
2020-09-01 math.OC
On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems
非凸和结构化最优化问题出现在许多工程应用中，需要可扩展的和分布式的解决方法。由于问题的非凸性，这些方法的收敛性的研究通常是困难的。在本文中，两个分布式解决方案的方法相结合的快速收敛性能的增广拉格朗日为基础的方法与交替优化的可分性进行了研究。第一种方法是从经典的二次罚函数方法改编而来的，称为交替方向罚函数法（ADPM）。与采用单步优化的原始二次罚函数方法不同，ADPM使用交替优化，这反过来又使其具有可扩展性。第二种方法是众所周知的乘法器的交替方向法（ADMM）。证明了非凸问题的ADPM在较弱的条件下渐近收敛于原可行点，并引入了保证其渐近达到局部最优性标准一阶必要条件的附加条件.在ADMM的情况下，新的充分条件下，该算法渐近达到标准的一阶必要条件的建立。在此基础上，对一类低维问题，刻画了ADMM的全收敛性。最后，通过将ADPM和ADMM应用于无线传感器网络中的非凸定位问题来说明结果。
2015-04-30 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数（含假惩罚与对偶平滑）的原始-对偶一阶算法，用于线性约束非凸复合优化，在标准假设下收敛至平稳解，且无需有界性及满射性假设，单循环复杂度O(1/ε²)，实验验证有效。
2023-06-20 math.OC
An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints
提出了一种求解非凸非线性约束问题的实用不精确增广拉格朗日方法。我们的总计算复杂性的特征，我们的方法受到可验证的几何条件，这是密切相关的Polyak-Lojasiewicz和Mangasarian-Fromowitz条件。特别是，当一阶求解器用于内部迭代，我们证明了iALM发现一阶不动点与$\tilde{\mathcal{O}}(1/ε^4)$调用一阶Oracle。此外，如果问题是光滑的，并且二阶求解器用于内部迭代，则iALM通过对二阶oracle的$\tilde{\mathcal{O}}(1/ε^5)$调用找到二阶稳定点，这与文献中已知的理论复杂度结果相匹配。我们还提供了强有力的数值证据，大规模的机器学习问题，包括Burer-Monteiro分解的半定程序，和一种新的非凸松弛的标准基追求模板。对于这些例子，我们还展示了如何验证我们的几何条件。
2022-04-21 math.OC
Complexity of a linearized augmented Lagrangian method for nonconvex minimization with nonlinear equality constraints
本文针对带非线性等式约束的非凸优化问题，提出一种线性化增广拉格朗日方法，证明其全局渐近收敛并给出到ε-一阶解和ε-二阶解的复杂度保证，数值实验验证了其有效性。
2025-05-07 math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法，依赖于集中式乘法器，其中每个节点唤醒在一个不协调的方式，并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节，这使得节点能够理解（整个）增广拉格朗日函数的下降何时足够小。我们表明，这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化，然后更新整个乘子向量。因此，该算法继承了乘数法的收敛性。
2018-03-17 math.OC
On the Complexity of an Augmented Lagrangian Method for Nonconvex Optimization
本文研究了非凸约束问题的一种不精确增广拉格朗日方法的最坏情况复杂性。在罚参数有界的条件下，证明了对于$ε\in (0,1)$，生成$ε$ -近似KKT点的算法的$\mathcal{O}(|\log(ε)|)$外迭代的复杂性界.当惩罚参数无界时，证明了$\mathcal{O}\left(ε^{-2/(α-1)}\right)$的一个外迭代复杂度界，其中$α>1$控制惩罚参数的增长率.对于线性约束的问题，这些界限收益率评估的$\mathcal{O}(|\log(ε)|^{2}ε^{-2})$和$\mathcal{O}\left(ε^{-\left(\frac{2(2+α)}{α-1}+2\right)}\right)$，分别复杂的界限，当适当的一阶方法（$p=1$）被用来近似解决无约束的子问题在每次迭代。在只有线性等式约束的问题的情况下，当适当的$p$阶方法（$p\geq 2$）被用作内部求解器时，后者的界限分别被改进为$\mathcal{O}(|\log(ε)|^{2}ε^{-(p+1)/p})$和$\mathcal{O}\left(ε^{-\left(\frac{4}{α-1}+\frac{p+1}{p}\right)}\right)$。
2021-05-22 math.OC
A Fletcher's Augmented Lagrangian-Based Stochastic First-Order Method for Nonconvex Equality-Constrained Optimization
Dalian University of Technology（大连理工大学）；Sun Yat-sen University（中山大学）
针对目标和约束仅有随机一阶近似的非凸等式约束优化问题，提出基于分解随机搜索方向的随机一阶方法，采用Fletcher增广拉格朗日作为步长选择的平滑价值函数，在二阶导数Lipschitz连续假设下达到O(ε^{-3})的期望总Oracle复杂度。
2026-06-29 math.OC
QPALM: A Proximal Augmented Lagrangian Method for Nonconvex Quadratic Programs
本研究提出基于近端增广拉格朗日的非凸二次规划求解器QPALM，采用半光滑牛顿方向与精确线搜索迭代求解强凸内子问题，开源实现兼具鲁棒性与竞争力，可高效求解各类难易QP问题。
2021-09-03 math.OC
Complexity of Linearized Perturbed Augmented Lagrangian Methods for Nonsmooth Nonconvex Optimization with Nonlinear Equality Constraints
针对非线性等式约束的非光滑非凸复合优化问题，提出线性化扰动增广拉格朗日方法，在 $\mathcal{O}(ε^{-3})$ 评估内收敛到 $ε$-一阶最优解，并验证了其有效性与改进的局部收敛性。
2025-03-02 math.OC
A proximal augmented Lagrangian method for nonconvex optimization with equality and inequality constraints
IMT School for Advanced Studies Lucca（卢卡高等研究学院）
提出一种不精确近端增广拉格朗日方法，通过自适应更新惩罚参数和近端项，加速收敛并改善病态，理论分析及数值实验验证了其有效性。
2026-09-16 math.OC stat.ML
Canonical duality for solving general nonconvex constrained problems
本文给出了求解一般非凸约束最优化问题的正则对偶理论，并将Lagrange乘子法和KKT理论统一起来。证明了如果目标函数和约束条件都具有建模实际系统所必需的某种模式，那么在给出全局最优性条件的情况下，可以得到统一形式的完全对偶问题（无对偶间隙）.而目前流行的增广拉格朗日方法由于约束条件的非线性，可能会产生更加困难的非凸问题。
2013-10-08 math.OC
A Distributed Asynchronous Method of Multipliers for Constrained Nonconvex Optimization
本文提出了一种完全异步分布式的方法来处理目标函数和约束条件都可能是非凸的最优化问题。在所考虑的网络设置中，每个节点在触发本地定时器时是活动的，并且仅可以访问目标函数的一部分和约束的子集。在所提出的技术中，基于乘子方法，每个节点在醒来时对局部增广拉格朗日函数执行下降步骤，或者对局部乘子向量执行上升步骤。节点通过异步分布式逻辑AND实现何时从下降步骤切换到上升步骤，该逻辑AND检测所有节点何时达到增广拉格朗日函数最小化中的预定义容限。结果表明，由此产生的分布式算法是相当于块坐标下降的全球增广拉格朗日最小化。这使得人们可以将乘数的集中式方法的属性扩展到所考虑的分布式框架。两个应用实例验证了所提出的方法：分布式源定位问题和神经网络的参数估计。
2019-02-22 math.OC
The Augmented Lagrangian Methods: Overview and Recent Advances
National University of Defense Technology（国防科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
本文综述增广拉格朗日方法（ALM）的统一构造、凸与非凸理论、收敛与复杂度进展，及其在多类优化问题中的子问题算法和实际应用。
2025-10-19 math.OC
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
许多实际问题不仅具有复杂的非凸函数约束，而且需要大量的数据点。这激发了有限和或期望约束问题的有效随机方法的设计。在本文中，我们设计和分析随机不精确增广拉格朗日方法（Stoc-iALM）解决涉及非凸复合（即光滑+非光滑）目标和非凸光滑函数约束的问题。我们采用标准的iALM框架，并设计了一个子程序，使用基于动量的方差减少最近的随机梯度法（PStorm）和后处理步骤。在一定的正则性条件下（在已有的工作中也是这样假设的），为了达到期望的$\varepsilon$点，我们建立了一个预言复杂性结果$O(\varepsilon^{-5})$，它优于最著名的$O(\varepsilon^{-6})$结果.在公平性约束问题和Neyman-Pearson分类问题上的数值实验表明，该方法的复杂度优于已有的方法.
2022-12-19 cs.LG cs.NA math.NA
Duality of nonconvex optimization with positively homogeneous functions
考虑目标函数和约束函数均为正齐次函数的最优化问题。这样的正齐次函数的示例包括绝对值函数和$p$范数函数，其中$p$是正实数。这个问题不一定是凸的，它推广了[O. L. Mangasarian，绝对值编程，计算优化和应用36（2007）pp。43 - 53]。在这项工作中，我们提出了一个双重制定，不同的拉格朗日对偶方法，有一个封闭的形式和一些有趣的属性。特别地，我们讨论了拉格朗日对偶与本文提出的对偶之间的关系，并给出了这些对偶问题重合的充分条件。最后，我们证明了一些众所周知的问题，例如，范数和优化问题和群Lasso型最优化问题，可以转化为正齐次最优化问题。
2017-12-21 math.OC
On duality for nonconvex minimization problems within the framework of abstract convexity
通过应用扰动函数方法，我们提出了两个一般非凸函数之和极小化问题的拉格朗日量和共轭量。主要工具是$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理。我们提供的条件，确保零对偶差距，并介绍$Φ$ -Karush-Kuhn-Tucker条件，表征原始和对偶问题的解决方案。我们还讨论了本研究中引入的对偶问题与文献中存在的一些共轭型对偶问题之间的关系。
2021-10-01 math.OC
Quantum Hamiltonian Descent based Augmented Lagrangian Method for Constrained Nonconvex Nonlinear Optimization
本文提出QHD-ALM框架，结合增广拉格朗日法与量子哈密顿下降，并采用模拟分岔算法在经典机器上模拟，用于求解大规模约束非凸非线性规划问题，在电制氢系统中验证了有效性。
2025-08-05 cs.SY eess.SY math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Developing Lagrangian-based Methods for Nonsmooth Nonconvex Optimization
Institute of Operational Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析研究所）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）
针对非光滑非凸约束优化问题，提出统一的基于拉格朗日方法框架，可嵌入多种随机次梯度方法并继承其全局收敛性，还可扩展至期望约束问题，实验验证了其在深度学习任务中的高效性。
2024-04-15 cs.LG math.OC stat.ML
Lagrangian Dual Sections: A Topological Perspective on Hidden Convexity
California Institute of Technology（加州理工学院）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文从拓扑视角提出拉格朗日对偶截面概念，为非凸优化问题给出隐藏凸性的充分条件，并在谱反问题、Stiefel流形优化及不平衡Procrustes问题中推广统一了已有结果，同时提出黎曼流形上的全局优化算法。
2025-11-06 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知，求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$，当目标函数光滑时，可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立，而一阶方法是否能达到这个下界仍然是未知的。在本文中，我们表明，一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法（ALM）可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题，这是独立的利益。
2022-11-01 math.OC
Optimization Condition and Algorithm of Optimization with Convertible Nonconvex Function
The paper introduces several new concepts for solving nonconvex or nonsmooth optimization problems, including convertible nonconvex function, exact convertible nonconvex function and differentiable convertible nonconvex function. It is proved herein many nonconvex functions or nonsmooth (or discontinuous) functions are actually convertible nonconvex functions and convertible nonconvex function operations such as addition, subtraction, multiplication or division result in convertible nonconvex functions. The sufficient condition for judging a global optimal solution to unconstrained optimizatio…
2022-01-12 math.OC
On Landscape of Lagrangian Functions and Stochastic Search for Constrained Nonconvex Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Princeton University（普林斯顿大学）
我们研究机器学习、信号处理和随机控制中的约束非凸优化问题。这是众所周知的，这些问题可以改写为一个极大极小问题的拉格朗日形式。然而，由于缺乏凸性，他们的景观没有得到很好的理解，如何找到稳定的平衡的拉格朗日函数仍然是未知的。为了弥补这一差距，我们研究了拉格朗日函数的景观。此外，我们定义了一类特殊的拉格朗日函数。他们有两个特点：1.平衡点是稳定的或不稳定的（形式定义见第二节）; 2.稳定平衡点对应于原问题的全局最优解。我们表明，广义特征值（GEV）问题，包括典型相关分析和其他问题，属于类。具体来说，我们通过利用不变群和对称属性来描述其稳定和不稳定平衡点（更多细节见第3节）。受这些整洁的几何结构，我们提出了一个简单，高效，随机的原始-对偶算法解决在线GEV问题。在理论上，我们给出了充分条件，在此基础上，我们利用扩散近似建立了在线GEV问题的渐近收敛速度，并得到了第一个样本复杂性结果，这在应用概率和随机控制中有着广泛的应用.数值结果支持我们的理论。
2019-10-27 cs.LG math.OC stat.ML
The proximal alternating direction method of multipliers in the nonconvex setting: convergence analysis and rates
在完全非凸的情况下，我们提出了两个数值算法，分别用于求解光滑函数和非光滑函数与线性算子的复合问题。迭代计划制定的精神，近端交替方向法的乘法器和其线性化的变体，分别。近端项通过引入可变度量，这一事实使我们能够推导出新的非凸结构最优化问题的近端分裂算法，作为一般方案的具体实例。在变度量序列的适当条件下，通过假设相应增广拉格朗日量的正则化具有Kurdyka-Lojasiewicz性质，证明了迭代收敛于目标函数的KKT点.通过假设增广拉格朗日量具有Lojasiewicz性质，我们还得到增广拉格朗日量和迭代的收敛速度。
2020-07-31 cs.NA math.NA math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法（ADMM）是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置，许多收敛性的结果已经建立了ADMM以及它的品种。然而，由于不存在凸性，非凸ADMM的收敛性分析通常是非常困难的。在本文中，我们研究的Bregman修改的ADMM（BADMM），其中包括传统的ADMM作为一个特殊的情况下，往往会导致改进的算法的性能。在一定的假设下，我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
The inexact power augmented Lagrangian method for constrained nonconvex optimization
KU Leuven（鲁汶大学）；Proxima Fusion GmbH（Proxima Fusion 有限公司）
本文提出了一种不精确的幂增广拉格朗日方法，用于解决约束非凸优化问题，通过调整增广项的幂次来优化收敛性能。
2025-11-24 cs.LG math.OC
An Iterative Method for Nonconvex Quadratically Constrained Quadratic Programs
研究了非凸二次约束二次规划（QCQP）问题的迭代法.现有的求解非凸QCQP问题的方法之一是将对未知矩阵的秩1约束松弛为半定约束，从而得到最优值的上界，但没有找到精确解。通过重新考虑秩一矩阵，提出了一种逐步逼近秩一约束的迭代秩最小化方法。每一次迭代都被表示为一个带半定约束的凸问题。为了提高算法的可扩展性和计算效率，提出了一种增广拉格朗日方法--扩展Uzawa算法。仿真实例使用所提出的方法和比较结果从其他方法提供和讨论。
2016-09-08 math.OC
Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems
乘子交替方向法（ADMM）在求解大规模线性约束最优化问题（凸或非凸）中有着广泛的应用。然而，当目标函数为非凸函数时，该算法的理论认识普遍缺乏。在本文中，我们分析了ADMM解决某些非凸的共识和共享问题的收敛性，并表明，经典的ADMM收敛到固定的解决方案，提供增广拉格朗日的罚参数选择足够大。对于共享问题，我们证明了ADMM是收敛的，无论可变块的数量。我们的分析不施加任何假设的算法产生的迭代，并广泛适用于许多ADMM变种，涉及近端更新规则和各种灵活的块选择规则。
2015-11-30 math.OC
An extension of the Polyak convexity principle with application to nonconvex optimization
本文考虑的主要问题是挑选出一类凸集，其凸性在非线性光滑变换下保持不变。由于B.T. Polyak的结果，本文研究了巴拿赫空间的一致凸子集类.作为主要结果，建立了这类集的凸性模、非线性映射点附近的正则性及其导数的Lipschitz连续性之间的一个定量条件，保证了一致凸集的象保持一致凸.应用所得到的凸性原理的存在性的解决方案，其特征和拉格朗日对偶理论在约束非凸优化进行了讨论。
2019-06-05 math.OC
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题，提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法，分析其oracle复杂度，在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配，数值实验验证其性能。
2026-09-01 cs.LG math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland（昆士兰大学数理学院）
针对带等式约束的非凸优化，提出一种基于共轭残差法的非精确原始-对偶牛顿方法，直接处理子问题非正定性，避免有害正则化，并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota（明尼苏达大学）；The Hong Kong Polytechnic University（香港理工大学）
本文考虑了在已知近似可行点的情况下，求非凸等式约束优化问题的二阶稳定点的问题。特别是，我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP，并表明它比Newton-CG方法具有更好的复杂性[56]。然后，我们提出了一个基于Newton-CG的增广拉格朗日（AL）方法找到一个近似的SOSP的非凸等式约束优化，其中建议的Newton-CG方法被用作子问题求解器。我们表明，在广义线性独立约束规格（GLICQ）下，我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度，用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP，这明显优于近似AL方法[60]。此外，我们还证明了当GLICQ不成立时，它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$，运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知，本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56，60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
An Augmented Lagrangian Method for Optimization Problems with Structured Geometric Constraints
本文对求解带几何约束的最优化问题的增广拉格朗日方法进行了理论和数值研究。具体来说，我们研究的情况下，部分的约束是非凸的，可能是复杂的，但允许快速计算的投影到这个非凸集。满足这一要求的典型问题类是具有析取约束（如互补或基数约束）的最优化问题以及必须满足附加秩约束的矩阵集上的最优化问题。我们的方法背后的关键思想是保持这些复杂的约束明确的约束，并通过一个增广拉格朗日函数只惩罚其余的约束。所产生的子问题，然后解决了一个问题定制的非单调投影梯度法的援助。相应的收敛理论允许这些子问题的不精确解。尽管如此，整体算法计算所谓的Mordukhovich稳定点的原始问题下一个温和的渐近正则性条件，这是一般弱于大多数的相应的问题定制的约束规格。大量的数值实验解决互补性和基数约束的最优化问题，以及半定重的MAXCUT问题可视化我们的方法的力量。
2022-04-19 math.OC
A joint decomposition method for global optimization of multiscenario nonconvex mixed-integer nonlinear programs
提出了一种结合La-grangian分解和广义Benders分解的联合分解方法，有效地解决了多场景非凸混合整数非线性规划（MINLP）问题的全局最优性，而不需要显式的分支定界搜索.在这种方法中，我们认为耦合的情况下，因变量和那些导致非凸性的变量作为复杂的变量。我们在一个统一的框架下系统地求解了拉格朗日分解子问题和广义Benders分解子问题。该方法需要解决一个困难的放松主问题，但问题只在必要时才解决。对该方法进行了改进，以减少要求解的松弛主问题的数量，并简化每个松弛主问题的求解。我们考虑了两个基于神经网络的两阶段随机非凸MINLP问题，这些问题来自于过程网络的集成设计和操作，我们表明所提出的方法可以比最先进的全局优化求解器更快地解决这两个问题。
2018-02-20 math.OC
Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA, USA（赫尔曼·米勒工程与系统工程学院，佐治亚理工学院，美国亚特兰大，GA）；Sauder School of Business, University of British Columbia, Vancouver, BC, Canada（萨德勒商学院，不列颠哥伦比亚大学，加拿大温哥华，BC）
研究一类非凸约束优化问题的原始对偶方法非渐近收敛性，通过限制对偶变量到辅助紧集，利用平滑近线性增广拉格朗日方法及相关机制，根据 KKT 残差建立收敛速率，正则化与非正则化下分别有\(O(K^{-1/3})\)和\(O(K^{-1/2})\)速率。
2026-10-16 cs.LG math.OC stat.ML
PANTR: A proximal algorithm with trust-region updates for nonconvex constrained optimization
本文提出PANTR算法，结合前向-后向迭代与信赖域子问题求解非凸约束优化，利用线性牛顿近似和约束结构加速更新，并在非线性模型预测控制中验证了其有效性。
2023-06-29 math.OC
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
本文针对一般非凸锥优化问题提出基于Newton-CG的障碍增广拉格朗日方法，首次给出求解近似二阶稳定点的复杂度界，并验证其解质量优于一阶方法。
2024-08-30 cs.LG cs.NA math.NA
Optimization Conditions and Decomposable Algorithms for Convertible Nonconvex Optimization
This paper defines a convertible nonconvex function(CN function for short) and a weak (strong) uniform (decomposable, exact) CN function, proves the optimization conditions for their global solutions and proposes algorithms for solving the unconstrained optimization problems with the decomposable CN function. First, to illustrate the fact that some nonconvex functions, nonsmooth or discontinuous, are actually weak uniform CN functions, examples are given. The operational properties of the CN functions are proved, including addition, subtraction, multiplication, division and compound operations…
2022-02-15 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
A nonlinear conjugate gradient method with complexity guarantees and its application to nonconvex regression
非线性共轭梯度法是求解连续最优化问题最常用的方法之一。虽然这些计划长期以来一直从整体收敛的角度进行研究，其最坏情况下的复杂性尚未得到充分理解，特别是在非凸设置。特别是，目前还不清楚非线性共轭梯度法是否比一阶方法（如梯度下降）具有更好的保证。与此同时，最近的实验表明，令人印象深刻的性能标准的非线性共轭梯度技术在某些非凸问题，即使与方法相比，赋予最知名的复杂性保证。在本文中，我们提出了一个非线性共轭梯度法的基础上，一个简单的线搜索范式和修改的重新开始条件。这两个成分允许监视搜索方向的属性，这有助于获得复杂性保证。我们的复杂性结果说明了非线性共轭梯度法和经典梯度下降法之间可能存在的差异。非凸鲁棒回归问题的数值研究以及标准基准测试表明，重新启动条件可以跟踪标准实现的行为。
2022-08-31 math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
Extended Trust-Region Problems with One or Two Balls: Exact Copositive and Lagrangian Relaxations
对于两个二次约束和多个线性约束下的非凸二次最优化问题，建立了一个保证精确共正松弛的几何条件，并用广义Karush-Kuhn-Tucker乘子给出了全局最优性的充分条件.余正松弛比通常的拉格朗日松弛更紧。我们说明这一点，提供了一个完整的类二次最优化问题，享受正松弛的精确性，而通常的拉格朗日对偶间隙是无限的。最后，我们还提供了可验证的条件下，通常的拉格朗日松弛和共正松弛是精确的扩展CDT（两球置信域）问题。重要的是，该充分条件可以通过求解线性最优化问题来验证。
2017-10-02 math.OC
A low-rank augmented Lagrangian method for large-scale semidefinite programming based on a hybrid convex-nonconvex approach
本文提出HALLaR，一种用于大规模半定规划的低秩增广拉格朗日方法，结合混合低秩技术，在多个实例上以更短时间获得更高精度解。
2024-03-16 cs.NA math.NA math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
A parallelizable augmented Lagrangian method applied to large-scale non-convex-constrained optimization problems
我们贡献的改进拉格朗日对偶解的方法适用于大规模的最优化问题的目标函数是凸的，连续可微的，可能是非线性的，而非放松的约束集是紧凑的，但不一定是凸的。例如，在随机混合整数最优化问题的分裂变量确定性重构中出现这样的问题。对偶解方法需要解决非松弛约束集的非凸性，同时可以有效地并行实现。我们适应的增广拉格朗日方法框架，以解决存在的非凸性的非放松约束集和高效的并行化的需要。我们的方法的发展是最自然的比较近端束方法的发展，特别是与他们使用严重的步骤条件。然而，与这些发展的偏差允许利用并行化的效率的提高。首先，在我们的增广拉格朗日方法的修改是使用基于单纯分解方法（SDM）和非线性块高斯-赛德尔（GS）方法的方法的集成。与近端束方法相关的严重阶跃条件的适应允许自动调整近似公差。在温和的条件下，最优对偶收敛的证明，我们报告的测试实例的计算结果，从随机最优化文献。我们证明了改进的基线并行方法的并行加速比。
2017-02-02 math.OC
