An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Exact augmented Lagrangian functions for nonlinear semidefinite programming
本文研究了非线性半定规划（NSDP）问题的增广拉格朗日函数，并给出了增广拉格朗日函数的精确性质。术语精确的意义上使用的罚参数可以采取适当的，所以一个单一的最小化的增广拉格朗日恢复原来的问题的解决方案。这导致NSDP问题转化为无约束非线性规划问题。在这里，我们首先建立了一个统一的框架来构造这些精确的功能，推广迪Pillo和Lucidi的工作，从1996年，这是旨在解决非线性规划问题。然后，通过我们的框架，我们提出了一个实用的增广拉格朗日函数的NSDP，证明了它是连续可微的和精确的所谓的非退化条件。我们还提出了一些初步的数值实验。
2018-06-26 math.OC
High-order augmented Lagrangian methods and robust multilevel inner solvers
Texas State University（德克萨斯州立大学）
本文提出了一种高阶增广拉格朗日方法，用于求解凸优化问题，实现了任意快速的收敛速度，并应用于数据拟合、流体流动和科学机器学习等领域。
2026-11-10 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中，我们证明了这一条件足以证明的原始-对偶序列的线性收敛，产生的增广拉格朗日方法分段线性二次复合最优化问题，即使在这类问题的拉格朗日乘子是不唯一的。进一步，我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日（AL）函数的内加速非精确近似增广拉格朗日（IAIPAL）方法的迭代复杂性.更具体地说，每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度（ACG）的方法，其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的，问题有一个斯莱特点，它表明，IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代，其中$\varepsilon>0$是一个公差的平稳性和可行性。此外，在不假设初始点可行的情况下，导出了上述界。最后，数值结果表明，强大的实用性能的IAIPAL。
2022-06-14 math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces II: Applications
本文将精确增广拉格朗日函数理论应用于 Hilbert 空间中的多类约束变分与最优控制问题，并给出其全局/完全精确的充分条件。
2024-09-05 math.OC
Complexity and performance of an Augmented Lagrangian algorithm
Algencan是一个建立良好的有保障的增广拉格朗日算法在[R. Andreani，E. G. Birgin，J. M. Mart 'ınez和M. L. Schuverdt，在增广拉格朗日方法与一般较低水平的约束，SIAM杂志优化18，第。1286-1309，2008]。复杂性的结果，报告其最坏情况下的行为在迭代和评估的功能和衍生物，是必要的，以获得合适的停止标准在这项工作中。此外，本文还介绍了新版本算法的计算性能，表明该软件是求解大规模约束最优化问题的有效工具。
2019-07-04 math.OC
An Investigation on Semismooth Newton based Augmented Lagrangian Method for Image Restoration
增广拉格朗日方法（Augmented Lagrangian method，又称乘子法）是现代信号处理、成像、最优控制等领域中解决光滑或非光滑变分问题的一种重要而有力的最优化方法，但往往需要同时求解耦合和非线性系统，具有很大的挑战性。本文提出了几种半光滑牛顿法来解决图像复原中的非线性子问题，从而产生了几种高效的、有竞争力的图像处理算法。通过分析相应函数的度量下界，给出了所提出的增广拉格朗日方法的整体收敛和局部线性收敛速率.
2021-08-28 math.OC
On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming
本文考虑线性约束复合凸优化问题，其目标是一个光滑函数与一个可能非光滑函数之和。我们提出了一个不精确的增广拉格朗日（IAL）框架来解决这个问题。在解决增广拉格朗日（AL）子问题中使用的停止标准建议的IAL框架是较弱的，可能更容易检查比大多数现有的IAL框架/方法中使用的一个。我们分析了所提出的IAL框架的整体收敛和非遍历收敛速度。
2018-03-27 math.OC
An augmented Lagrangian method exploiting an active-set strategy and second-order information
本文考虑变量具有非线性等式约束和有界约束的非线性最优化问题。为了解决这类问题，文献中定义了许多增广拉格朗日方法。在这里，我们建议修改其中一个算法，即Andreani等人的ALGENCAN，以这种方式将二阶信息纳入增广拉格朗日框架，使用活动集策略。在适当的假设下，我们证明了整个算法具有与ALGENCAN相同的收敛特性和渐近平方收敛速率。数值结果证实，该算法是一个可行的替代ALGENCAN具有更大的鲁棒性。
2022-01-11 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
Stochastic Augmented Lagrangian Method in Riemannian Shape Manifolds
本文提出黎曼流形上的随机增广拉格朗日方法，用于求解带确定性约束的随机优化问题，并应用于多形状优化，数值验证其收敛性。
2023-12-05 math.OC
An Augmented Lagrangian Method for Optimization Problems in Banach Spaces
我们提出了一个变形的经典增广拉格朗日方法的约束最优化问题在巴拿赫空间。我们的理论框架不需要任何凸性或二阶假设，并允许处理不等式约束与无限维图像空间。此外，我们讨论了我们的算法的收敛性方面的可行性，全局最优性，和KKT条件。数值结果表明了该方法的可行性。
2018-07-12 math.OC
An Efficient Augmented Lagrangian Based Method for Constrained Lasso
Department of Systems Engineering and Engineering Management, the Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
变量选择是统计学和机器学习中最重要的任务之一。为了包含更多关于回归系数的先验信息，文献中提出了约束Lasso模型。本文提出了一种求解线性等式约束Lasso问题的不精确增广拉格朗日方法。通过充分利用问题的二阶稀疏性，我们能够大大降低计算成本，并获得高效的实现。仿真数据和实际数据的数值结果表明，该算法在运行时间和求解精度方面均优于现有的一阶方法。
2019-03-12 cs.LG math.OC stat.ML
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论，提出证明全局鞍点存在性的局部化原理，并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
2024-09-10 math.OC
Robins-Monro Augmented Lagrangian Method for Stochastic Convex Optimization
提出了求解一类约束随机凸优化问题的Robbins-Monro增广拉格朗日方法（RMALM），它可以看作是Robbins-Monro型随机逼近方法和凸优化增广拉格朗日方法的混合.在较弱的条件下，我们证明了该算法具有线性收敛速率。此外，而不是验证计算上难以处理的停止准则，我们表明，随着子问题迭代次数的增加，RMALM对于$\varepsilon$ -解具有全局复杂性$\mathcal{O}(1/\varepsilon^{1+q})$（即，$\mathbb{E}\left(\|x^k-x^*\|^2\right) < \varepsilon$），其中$q$是任何正数。仿真数据和实际数据的数值结果表明，该算法优于现有的算法。
2022-09-01 math.OC
A Customized Augmented Lagrangian Method for Block-Structured Integer Programming
针对NP难的块结构整数规划问题，提出一种定制化增广拉格朗日方法，通过解耦链接约束分解子问题并利用块坐标下降法高效求解，同时引入细化技术获取高质量可行解，实验证明其有效性。
2024-06-28 math.OC
Enhancing sharp augmented Lagrangian methods with smoothing techniques for nonlinear programming
本文针对锐增广拉格朗日方法中非凸不可微函数全局极小化困难的问题，引入光滑化近似，并提出基于标准下降和坐标下降的两种算法，在保持理论严谨性的同时提升计算效率与鲁棒性。
2024-10-04 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理，统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析，并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
Computational Complexity of Inexact Gradient Augmented Lagrangian Methods: Application to Constrained MPC
研究了求解复杂约束凸优化问题的不精确梯度增广拉格朗日方法的计算复杂性证明。我们解决了增广拉格朗日对偶问题，所产生的复杂的约束松弛梯度和快速梯度法的基础上不精确的一阶信息。此外，由于增广拉格朗日原问题的精确解在实践中很难计算，因此我们在给定的内部精度下求解了该问题。我们推导出原始和对偶问题的内部和外部精度之间的关系，我们给出了一个完整的梯度和快速梯度算法的收敛速度分析。我们提供估计的原始和对偶次优性和原始可行性违反所产生的近似原始和对偶解。我们的分析依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。我们还讨论了嵌入式线性系的约束模型预测控制问题的算法的实施方面。
2013-02-18 math.OC
Training neural networks under physical constraints using a stochastic augmented Lagrangian approach
Argonne National Laboratory（阿贡国家实验室）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）
我们研究了XGC中5维动力学聚变模拟中的编码器-解码器神经网络的物理约束训练，以逼近Fokker-Planck-Landau碰撞算子。为了训练这个网络，我们提出了一个随机增广拉格朗日方法，利用pyTorch的本地随机梯度下降法来解决内部无约束最小化子问题，配对的启发式更新的惩罚因子和拉格朗日乘子在外部增广拉格朗日循环。我们对单个离子种类的情况下，与自碰撞和碰撞对电子的训练结果表明，所提出的随机增广拉格朗日方法可以实现更高的模型预测精度比训练与固定惩罚方法为我们的应用问题，具有足够高的精度在动力学模拟的实际应用。
2020-09-15 cs.LG math.OC physics.comp-ph
A Variable Splitting Augmented Lagrangian Approach to Linear Spectral Unmixing
本文提出了一种新的线性最小体积类高光谱解混方法，称为\emph{simplex identification via split augmented Lagrangian}（SISAL）。在Craig的开创性思想之后，高光谱线性分解相当于找到包含高光谱向量的最小体积单纯形。这是一个带有凸约束的非凸最优化问题。在该方法中，正性约束，迫使频谱矢量属于凸包的端元签名，被替换为软约束。所得到的问题是解决了一系列的增广拉格朗日优化。由此产生的算法是非常快的，能够解决的问题远远超出了目前的最先进的算法。仿真数据表明了SISAL的有效性。
2009-04-29 math.OC
A Decomposition Augmented Lagrangian Method for Low-rank Semidefinite Programming
我们开发了一种基于增广拉格朗日框架的分解方法来解决广泛的半定规划问题，可能与非线性目标函数，非光滑正则化，一般线性等式/不等式约束。特别地，半正定变量和一组线性约束可以通过矩阵分解转化为光滑流形上的变量。非光滑正则化和其他一般的线性约束由增广拉格朗日方法处理。因此，每个子问题都可以用流形上的半光滑牛顿法求解。理论上，我们证明了在一定条件下，分解子问题的一阶和二阶最优性必要条件最优性条件对于原子问题也是充分的。对黎曼子问题和增广拉格朗日方法进行了收敛性分析。大规模半定规划问题，如最大割，最近的相关估计，聚类和稀疏主成分分析广泛的数值实验表明，我们提出的方法相比，其他国家的最先进的方法的强度。
2023-03-07 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下，证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外，我们提出了一个全球化的半光滑牛顿方法，有效地解决流形上的增广拉格朗日子问题。在适当的条件下，证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后，压缩模式和（约束）稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
A Unified Approach to the Global Exactness of Penalty and Augmented Lagrangian Functions II: Extended Exactness
在第二部分中，我们引入了罚函数和增广拉格朗日函数的整体扩张正合性的概念，并导出了扩张形式的局部化原理。扩展精确性的主要思想在于通过添加一些额外的变量来扩展原始约束最优化问题，然后构造扩展问题的惩罚/增广拉格朗日函数。这种方法允许设计扩展的惩罚/增广拉格朗日函数具有一些有用的属性（如平滑性），它们的对应物的原始问题可能不具备。利用本文提出的局部化原理，可以很容易地证明这种扩展的价值函数的全局精确性，从而将对全局精确性的研究归结为基于充分最优性条件和约束规格的价值函数的局部分析.利用局部化原理，得到了Huyer和Neumaier提出的广义罚函数的全局精确性的简单充要条件，并构造了求解非线性半定规划问题的全局精确连续可微增广Lagrange函数.
2018-11-23 math.OC
A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian
非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。
2020-07-23 math.OC
Exact Augmented Lagrangian Duality for Mixed Integer Quadratic Programming
混合整数二次规划（MIQP）是在有理多面体上的混合整数点上最小化凸二次函数的问题。本文主要研究MIQP的增广拉格朗日对偶（ALD）。ALD增加了通常的拉格朗日对偶的加权非线性惩罚的对偶约束。我们首先证明了ALD将达到一个零的对偶间隙渐近的重量的惩罚趋于无穷大的罚函数在一些温和的条件下。我们接下来表明，当我们使用任何范数作为罚函数时，有限的罚权重对于零间隙是足够的。最后，我们证明了一个多项式约束的重量上的惩罚项，以获得零差距。
2019-07-01 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近，He和Yuan [arXiv：2108.08554，2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法（ALM），通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中，我们提出了一个双原始版本的平衡ALM，它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点，并且可以在变分不等式的背景下进行收敛性分析。此外，它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
Computing second-order points under equality constraints: revisiting Fletcher's augmented Lagrangian
本文在光滑等式约束优化中，基于黎曼优化几何形式定义近似二阶临界点，并利用Fletcher增广拉格朗日提出算法，以O(ε^{-3})迭代达到ε-近似二阶临界点，改进了现有理论界。
2024-01-16 math.OC
Preconditioning ideas for the Augmented Lagrangian method
提出了一种求解Powell-Hestenes-Rockafellar增广拉格朗日方法（ALM）的预处理策略。该方案利用增广拉格朗日海森的结构。它是一个模块化的预条件子，由两个模块组成。第一个是与拉格朗日的目标，而第二个管理的雅可比矩阵的约束和可能的低秩校正的海森。所提出的更新策略利用了ALM的收敛结果，避免了频繁的刷新。约束管理考虑到拉格朗日乘数的互补性，并允许放松。预条件子是为约束量小于搜索空间的问题而设计的。该方案的一个优点是，它是不可知的预处理技术用于拉格朗日函数的海森。所描述的策略可用于线性和非线性预处理。数值实验报告的预处理矩阵的谱性质矩阵市场，而一些最优化问题取自CUTEst收集。初步结果表明，所提出的计划可能是有吸引力的，并鼓励进一步的实验。
2017-02-23 math.OC
Local convergence analysis of augmented Lagrangian method for nonlinear semidefinite programming
自1969年Hestenes和Powell提出增广拉格朗日方法以来，增广拉格朗日方法以其优美的理论和令人印象深刻的数值性能得到了广泛的应用。它已被广泛应用于许多高效的求解器，以提高数值性能，解决许多问题。在不要求乘子唯一性的条件下，通过假设Karush-Kuhn-Tucker（KKT）解的二阶充分条件和半孤立镇定性，在较弱的条件下，得到了非线性半定规划（NLSDP）的ALM生成的原对偶序列的局部（渐近Q-超线性）Q-线性收敛速率.
2022-08-08 math.OC
An Augmented Lagrangian Approach to Composite Problems with a Random Linear Operator
针对随机线性映射下光滑与非光滑复合函数之和的最小化问题，提出结合增广拉格朗日框架、采样机制与自适应惩罚参数的方法，证明其生成序列的聚点几乎必然是临界点。
2024-11-28 math.OC
Two Innovations in Inexact Augmented Lagrangian Methods for Convex Optimization
本文提出凸规划不精确增广拉格朗日方法的两项创新：基于相对误差准则自适应调整乘子松弛量，以及利用近端梯度法变体改进子问题求解，并验证了其在 LASSO 问题上的有效性。
2025-09-16 math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Implicit augmented Lagrangian and generalized optimization
本文将增广拉格朗日框架扩展到无凸性假设的广义非线性规划，通过隐式表述和参数优化建立定制平稳性概念，推导乘子更新规则并证明收敛性，数值例子验证了该方法的建模灵活性和实际效益。
2023-08-02 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
A first-order augmented Lagrangian method for constrained minimax optimization
University of Minnesota（明尼苏达大学）
针对一类约束极小极大问题，提出一阶增广拉格朗日方法，并用自研一阶法求解结构化子问题，证明其获得 ε-KKT 解的运算复杂度为 O(ε^{-4} log ε^{-1})。
2024-10-28 cs.LG cs.NA math.NA
Bregman Augmented Lagrangian and Its Acceleration
研究了求解带线性约束凸问题的Bregman增广拉格朗日方法（BALM）。对于经典的增广拉格朗日方法，其收敛速度及其与邻近点方法的关系是众所周知的。然而，BALM的收敛速度尚未在文献中得到深入研究。在本文中，我们分析的收敛速度的BALM的原始目标以及违反的可行性。我们还开发了，第一次，加速Bregman邻近点方法，提高了收敛速度从$O(1/\sum_{k=0}^{T-1}η_k)$到$O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$，其中$\{η_k\}_{k=0}^{T-1}$是序列的邻近参数。当应用于线性约束凸规划的对偶时，这导致了加速BALM的构造，其实现了原始和对偶收敛的改进速率。
2020-02-15 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
Complexity Certification of a Distributed Augmented Lagrangian Method
在本文中，我们提出了一个分布式增广拉格朗日（AL）算法用于解决凸优化问题，涉及全局耦合线性约束的复杂性证明结果。我们的方法依赖于加速分布式增广拉格朗日（ADAL）算法，它可以处理耦合的线性约束，以分布式的方式基于本地估计的AL。我们表明，理论上的复杂性ADAL达到$ε$ -最优解的次优性和不可行性是$O(\frac{1}ε)$迭代。此外，我们提供了一个有效的上界的最佳对偶乘法器，使我们能够明确地指定这些复杂性的界限。我们还展示了如何选择步长参数，以尽量减少上的收敛速度的界限。最后，我们讨论了一个激励的例子，模型预测控制（MPC）的问题，涉及有限数量的子系统，通过一般网络相互作用。
2018-01-14 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法，用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成：外层是一个标准的乘子方法，对非线性等式约束进行惩罚，而内层由块坐标下降（BCD）方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术，它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设，在此假设下，估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证，分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下，证明了在约束非退化条件和强二阶充分条件下，算法的收敛速率是线性的，且比常数与1/c成正比，其中c是惩罚参数，超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题，讨论一阶与二阶最优性条件及缺乏凸性带来的困难，并对一种增广拉格朗日方法进行局部收敛性分析，给出收敛速率。
2024-05-15 math.OC
Convergence of Augmented Lagrangian Methods for Composite Optimization Problems
本文针对具有非唯一拉格朗日乘子的复合优化问题，在二阶充分条件下建立了增广拉格朗日方法的局部收敛性，提出二阶次导数半稳定性，并证明了非精确ALM的Q-线性收敛性。
2023-10-20 math.OC
Augmented Lagrangian Methods for the Solution of Generalized Nash Equilibrium Problems
提出了一种求解广义纳什均衡问题的增广拉格朗日型算法。具体地说，我们讨论了关于极限点的可行性和最优性的收敛性质。这是通过引入二级GNEP作为新的最优性概念来实现的。在这种情况下，特别考虑到考虑到GNEPs的特定结构的适当约束规格的作用。此外，我们认为联合凸GNEP的方法的行为和描述的修改，这是针对变分平衡的计算。数值结果被包括来说明整体方法的实际性能。
2018-07-12 math.OC
On the R-superlinear convergence of the KKT residues generated by the augmented Lagrangian method for convex composite conic programming
由于可能缺乏原始-对偶型误差界，求解凸复合锥规划的增广拉格朗日方法（ALM）所产生的序列的Karush-Kuhn-Tucker（KKT）剩余的超线性收敛一直是一个悬而未决的问题.在本文中，我们的目的是解决这个问题，首先进行收敛速度分析的ALM与Rockafellar的停止准则下，只有一个温和的二次增长条件的对偶CCCP。更重要的是，通过进一步假设Robinson约束规格，我们建立了增广拉格朗日子问题的迭代序列的KKT余项在易于实现的停止准则下的R-超线性收敛.配备了这一发现，我们获得了深刻的解释令人印象深刻的数值性能的几个最近开发的半光滑牛顿-CG的ALM求解器求解线性和凸二次半定规划。
2017-06-27 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法，结合新颖罚技术与对偶-原始更新顺序，扩展至多块可分离凸规划，并在变分分析下建立收敛性，数值实验验证其效率。
2023-05-06 math.OC
Moreau Envelope Augmented Lagrangian Method for Nonconvex Optimization with Linear Constraints
增广拉格朗日方法是求解约束优化问题的一种有效方法。它的收敛性已经很好地建立在凸性假设或光滑性假设下，或在两个假设下。当底层问题同时是非凸和非光滑的时，ALM可能会经历振荡和发散。本文考虑了具有非凸（特别是弱凸）非光滑目标的线性约束问题。我们修改ALM使用Moreau包络的增广拉格朗日和建立其收敛的条件下，比那些在文献中。我们称之为Moreau包络增广拉格朗日（MEAL）方法。我们还表明，MEAL的迭代复杂性是$o(\varepsilon^{-2})$产生一个$\varepsilon$ -准确的一阶稳定点。我们建立其整个序列的收敛性（无论初始猜测）和率时，Kurdyka-Lojasiewicz属性被假定。此外，当MEAL的子问题没有封闭形式的解决方案，是难以解决的，我们提出了两个实用的MEAL的变种，一个不精确的版本称为iMEAL与近似的近端更新，和一个线性化的版本称为LiMEAL的约束问题与复合目标。它们的趋同性也得到了确立。
2021-12-09 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
An Augmented Lagrangian Method on GPU for Security-Constrained AC Optimal Power Flow
提出基于GPU的增广拉格朗日方法MadNCL，求解大规模安全约束交流最优潮流，通过无主元分解并行化，在500母线256预想事故下3分钟内求解，远快于Knitro。
2025-10-15 math.OC
