An augmented Lagrangian method with exact multipliers for non-separable composite $\ell_0$-$\ell_2$ regularization
Jiangxi Science and Technology Normal University（江西科技师范大学）；Northwestern Polytechnical University（西北工业大学）
研究非可分复合 $\ell_0$-$\ell_2$ 正则化模型，针对其非凸非光滑及非可分性难题，开发两种精确乘子增广拉格朗日算法，证明方法收敛性，数值实验验证其优势。
2026-07-07 cs.NA math.NA math.OC
Using a Factored Dual in Augmented Lagrangian Methods for Semidefinite Programming
在求解半定规划问题的增广拉格朗日方法的背景下，我们研究了通过采用因子分解消除对偶矩阵上的半正定约束的可能性。提示如何处理由此产生的无约束最大化的增广拉格朗日。我们进一步使用增广拉格朗日函数的近似最大值，目的是提高交替方向增广拉格朗日框架的收敛速度。数值结果的报告，显示该方法的好处。
2018-09-10 math.OC
Augmented Lagrangian methods for infeasible convex optimization problems and diverging proximal-point algorithms
INRIA, Ecole Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院）
本文研究了增广拉格朗日方法在处理可能不可行的凸优化问题时的收敛性，揭示了在弱假设下迭代序列收敛于最邻近可行问题的解，并建立了从基本序列收敛到更精确收敛速率的更强收敛结果。
2026-03-16 cs.NA math.NA math.OC
Regularization of Linear Ill-posed Problems by the Augmented Lagrangian Method and Variational Inequalities
University of Vienna（维也纳大学）；Computational Science Center（计算科学中心）
研究增广拉格朗日方法求解线性不适定问题，通过变分不等式方法将收敛率从标准源条件扩展到低阶，并适用于不同距离度量，特别在稀疏促进正则化中导出范数下的收敛率。
2012-04-03 cs.NA math.NA math.OC
ALS: Augmented Lagrangian Sketching Methods for Linear Systems
我们开发了两种基本的随机草图技术：惩罚草图（PS）和增广拉格朗日草图（ALS）解决一致的线性系。所提出的PS和ALS技术通过引入拉格朗日惩罚草图来扩展和推广草图与项目（SP）方法的范围。在这样做，我们恢复SP方法作为特殊情况下，并进一步开发了一个家庭的新的随机迭代法。通过改变所提出的PS方法中的草图参数，我们恢复新的随机方法，如惩罚牛顿下降，惩罚Kaczmarz，惩罚随机下降，惩罚坐标下降，惩罚高斯追求，和惩罚块Kaczmarz。此外，所提出的ALS方法综合了各种各样的新的随机方法，如增强牛顿下降，增强Kaczmarz，增强随机下降，增强坐标下降，增强高斯追踪和增强块Kaczmarz到一个框架。此外，我们表明，开发的PS和ALS框架可以用来重新制定原来的线性系等价的随机最优化问题，即惩罚随机重新制定和增广随机重新制定。我们证明了PS和ALS方法的整体收敛速度以及次线性$\mathcal{O}(\frac{1}{k})$速率的Cesaro平均迭代。所提出的收敛结果适用于广泛的随机矩阵的分布，这提供了微调适合于特定应用的方法的随机性的机会。最后，我们进行计算实验，证明我们的方法相比，现有的SP方法的效率。
2022-08-12 cs.LG cs.NA math.NA
Variable Projected Augmented Lagrangian Methods for Generalized Lasso Problems
本研究提出求解广义非线性Lasso问题的变量投影增广拉格朗日方法，通过软阈值转化为光滑问题，开发线性模型预处理变体，证明收敛性，在多种逆问题任务中实现最先进的重建效果。
2025-10-28 cs.NA math.NA math.OC
A first-order augmented Lagrangian method for constrained minimax optimization
University of Minnesota（明尼苏达大学）
针对一类约束极小极大问题，提出一阶增广拉格朗日方法，并用自研一阶法求解结构化子问题，证明其获得 ε-KKT 解的运算复杂度为 O(ε^{-4} log ε^{-1})。
2024-10-28 cs.LG cs.NA math.NA
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces I: Theory
本文针对Hilbert空间中的约束优化问题，提出并系统分析了一类连续可微且无Maratos效应的精确增广拉格朗日函数，给出了其梯度估计及KKT点成为其局部/全局极小点的充分条件。
2023-03-29 math.OC
Convergence analysis of primal-dual augmented Lagrangian methods and duality theory
本文为非凸优化建立了统一的增广拉格朗日理论，桥接对偶理论与原始-对偶方法收敛性分析，证明零对偶间隙和最优对偶解分别是原始序列和乘子序列有界性的必要条件。
2025-09-08 math.OC
Augmented Lagrangian method for coupled-cluster
针对单参考耦合簇（CC）方法求解时可能不收敛或收敛到非物理驻点的问题，提出增广拉格朗日方法（alm-CC）求解约束优化问题，在计算成本相当的情况下显著提升了向基态收敛的稳定性并降低了对局部极小值的敏感性。
2024-03-25 cs.NA math.NA math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Iteration complexity of first-order augmented Lagrangian methods for convex conic programming
本文考虑一类凸锥规划。特别是，我们首先提出了一个不精确的增广拉格朗日（I-AL）方法，类似于经典的I-AL方法解决这个问题，其中增广拉格朗日子问题近似解决的一个变种Nesterov的最佳一阶方法。我们表明，一阶迭代的I-AL方法找到一个$ε$解决方案的总数是最多$\mathcal{O}(ε^{-7/4})$。然后，我们提出了一个自适应正则化的I-AL方法，并表明它实现了一阶迭代复杂性$\mathcal{O}(ε^{-1}\logε^{-1})$，这显着提高了现有的复杂性范围内实现的一阶I-AL方法找到一个$ε$ -KKT解决方案。我们对I-AL方法的复杂性分析是基于对不精确邻近点法（PPA）的深入分析以及I-AL方法与不精确PPA之间的联系。这与文献中一阶I-AL方法的复杂性分析有很大不同，文献中通常将I-AL方法视为不精确的对偶梯度法。
2022-11-19 cs.CC cs.NA math.NA
Exact augmented Lagrangian functions for nonlinear semidefinite programming
本文研究了非线性半定规划（NSDP）问题的增广拉格朗日函数，并给出了增广拉格朗日函数的精确性质。术语精确的意义上使用的罚参数可以采取适当的，所以一个单一的最小化的增广拉格朗日恢复原来的问题的解决方案。这导致NSDP问题转化为无约束非线性规划问题。在这里，我们首先建立了一个统一的框架来构造这些精确的功能，推广迪Pillo和Lucidi的工作，从1996年，这是旨在解决非线性规划问题。然后，通过我们的框架，我们提出了一个实用的增广拉格朗日函数的NSDP，证明了它是连续可微的和精确的所谓的非退化条件。我们还提出了一些初步的数值实验。
2018-06-26 math.OC
A high-order augmented Lagrangian method with arbitrarily fast convergence
Texas State University（德克萨斯州立大学）
本文提出了一种高阶增广拉格朗日方法，用于求解凸优化问题，实现了任意快速的收敛速度，并应用于数据拟合、流体流动和科学机器学习等领域。
2026-01-16 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中，我们证明了这一条件足以证明的原始-对偶序列的线性收敛，产生的增广拉格朗日方法分段线性二次复合最优化问题，即使在这类问题的拉格朗日乘子是不唯一的。进一步，我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日（AL）函数的内加速非精确近似增广拉格朗日（IAIPAL）方法的迭代复杂性.更具体地说，每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度（ACG）的方法，其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的，问题有一个斯莱特点，它表明，IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代，其中$\varepsilon>0$是一个公差的平稳性和可行性。此外，在不假设初始点可行的情况下，导出了上述界。最后，数值结果表明，强大的实用性能的IAIPAL。
2022-06-14 math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces II: Applications
本文将精确增广拉格朗日函数理论应用于 Hilbert 空间中的多类约束变分与最优控制问题，并给出其全局/完全精确的充分条件。
2024-09-05 math.OC
Complexity and performance of an Augmented Lagrangian algorithm
Algencan是一个建立良好的有保障的增广拉格朗日算法在[R. Andreani，E. G. Birgin，J. M. Mart 'ınez和M. L. Schuverdt，在增广拉格朗日方法与一般较低水平的约束，SIAM杂志优化18，第。1286-1309，2008]。复杂性的结果，报告其最坏情况下的行为在迭代和评估的功能和衍生物，是必要的，以获得合适的停止标准在这项工作中。此外，本文还介绍了新版本算法的计算性能，表明该软件是求解大规模约束最优化问题的有效工具。
2019-07-04 math.OC
An Investigation on Semismooth Newton based Augmented Lagrangian Method for Image Restoration
增广拉格朗日方法（Augmented Lagrangian method，又称乘子法）是现代信号处理、成像、最优控制等领域中解决光滑或非光滑变分问题的一种重要而有力的最优化方法，但往往需要同时求解耦合和非线性系统，具有很大的挑战性。本文提出了几种半光滑牛顿法来解决图像复原中的非线性子问题，从而产生了几种高效的、有竞争力的图像处理算法。通过分析相应函数的度量下界，给出了所提出的增广拉格朗日方法的整体收敛和局部线性收敛速率.
2021-08-28 math.OC
On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming
本文考虑线性约束复合凸优化问题，其目标是一个光滑函数与一个可能非光滑函数之和。我们提出了一个不精确的增广拉格朗日（IAL）框架来解决这个问题。在解决增广拉格朗日（AL）子问题中使用的停止标准建议的IAL框架是较弱的，可能更容易检查比大多数现有的IAL框架/方法中使用的一个。我们分析了所提出的IAL框架的整体收敛和非遍历收敛速度。
2018-03-27 math.OC
An augmented Lagrangian method exploiting an active-set strategy and second-order information
本文考虑变量具有非线性等式约束和有界约束的非线性最优化问题。为了解决这类问题，文献中定义了许多增广拉格朗日方法。在这里，我们建议修改其中一个算法，即Andreani等人的ALGENCAN，以这种方式将二阶信息纳入增广拉格朗日框架，使用活动集策略。在适当的假设下，我们证明了整个算法具有与ALGENCAN相同的收敛特性和渐近平方收敛速率。数值结果证实，该算法是一个可行的替代ALGENCAN具有更大的鲁棒性。
2022-01-11 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
Separable Approximations and Decomposition Methods for the Augmented Lagrangian
The University of Edinburgh（爱丁堡大学）
本文研究了基于可分离近似的分解方法用于最小化增广拉格朗日函数，比较了Mulvey和Ruszczyński的DQAM与Richtárik和Takáč的PCDM，证明两者在可行性问题中等价，且在强凸性下改进了PCDM的复杂度界。
2013-08-30 cs.DC cs.NA math.NA
Stochastic Augmented Lagrangian Method in Riemannian Shape Manifolds
本文提出黎曼流形上的随机增广拉格朗日方法，用于求解带确定性约束的随机优化问题，并应用于多形状优化，数值验证其收敛性。
2023-12-05 math.OC
An Augmented Lagrangian Method for Optimization Problems in Banach Spaces
我们提出了一个变形的经典增广拉格朗日方法的约束最优化问题在巴拿赫空间。我们的理论框架不需要任何凸性或二阶假设，并允许处理不等式约束与无限维图像空间。此外，我们讨论了我们的算法的收敛性方面的可行性，全局最优性，和KKT条件。数值结果表明了该方法的可行性。
2018-07-12 math.OC
A distributed semismooth Newton based augmented Lagrangian method for distributed optimization
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）；Institute of Mathematics, Zhejiang Wanli University（浙江万里大学数学学院）
本文提出了一种分布式半光滑牛顿基于增广拉格朗日方法，用于高效解决网络上的优化问题，通过分布式加速近端梯度方法提升计算效率。
2026-02-27 cs.LG cs.NA math.NA
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论，提出证明全局鞍点存在性的局部化原理，并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
2024-09-10 math.OC
Robins-Monro Augmented Lagrangian Method for Stochastic Convex Optimization
提出了求解一类约束随机凸优化问题的Robbins-Monro增广拉格朗日方法（RMALM），它可以看作是Robbins-Monro型随机逼近方法和凸优化增广拉格朗日方法的混合.在较弱的条件下，我们证明了该算法具有线性收敛速率。此外，而不是验证计算上难以处理的停止准则，我们表明，随着子问题迭代次数的增加，RMALM对于$\varepsilon$ -解具有全局复杂性$\mathcal{O}(1/\varepsilon^{1+q})$（即，$\mathbb{E}\left(\|x^k-x^*\|^2\right) < \varepsilon$），其中$q$是任何正数。仿真数据和实际数据的数值结果表明，该算法优于现有的算法。
2022-09-01 math.OC
A Customized Augmented Lagrangian Method for Block-Structured Integer Programming
针对NP难的块结构整数规划问题，提出一种定制化增广拉格朗日方法，通过解耦链接约束分解子问题并利用块坐标下降法高效求解，同时引入细化技术获取高质量可行解，实验证明其有效性。
2024-06-28 math.OC
Enhancing sharp augmented Lagrangian methods with smoothing techniques for nonlinear programming
本文针对锐增广拉格朗日方法中非凸不可微函数全局极小化困难的问题，引入光滑化近似，并提出基于标准下降和坐标下降的两种算法，在保持理论严谨性的同时提升计算效率与鲁棒性。
2024-10-04 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理，统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析，并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
Computational Complexity of Inexact Gradient Augmented Lagrangian Methods: Application to Constrained MPC
研究了求解复杂约束凸优化问题的不精确梯度增广拉格朗日方法的计算复杂性证明。我们解决了增广拉格朗日对偶问题，所产生的复杂的约束松弛梯度和快速梯度法的基础上不精确的一阶信息。此外，由于增广拉格朗日原问题的精确解在实践中很难计算，因此我们在给定的内部精度下求解了该问题。我们推导出原始和对偶问题的内部和外部精度之间的关系，我们给出了一个完整的梯度和快速梯度算法的收敛速度分析。我们提供估计的原始和对偶次优性和原始可行性违反所产生的近似原始和对偶解。我们的分析依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。我们还讨论了嵌入式线性系的约束模型预测控制问题的算法的实施方面。
2013-02-18 math.OC
A Variable Splitting Augmented Lagrangian Approach to Linear Spectral Unmixing
本文提出了一种新的线性最小体积类高光谱解混方法，称为\emph{simplex identification via split augmented Lagrangian}（SISAL）。在Craig的开创性思想之后，高光谱线性分解相当于找到包含高光谱向量的最小体积单纯形。这是一个带有凸约束的非凸最优化问题。在该方法中，正性约束，迫使频谱矢量属于凸包的端元签名，被替换为软约束。所得到的问题是解决了一系列的增广拉格朗日优化。由此产生的算法是非常快的，能够解决的问题远远超出了目前的最先进的算法。仿真数据表明了SISAL的有效性。
2009-04-29 math.OC
A Decomposition Augmented Lagrangian Method for Low-rank Semidefinite Programming
我们开发了一种基于增广拉格朗日框架的分解方法来解决广泛的半定规划问题，可能与非线性目标函数，非光滑正则化，一般线性等式/不等式约束。特别地，半正定变量和一组线性约束可以通过矩阵分解转化为光滑流形上的变量。非光滑正则化和其他一般的线性约束由增广拉格朗日方法处理。因此，每个子问题都可以用流形上的半光滑牛顿法求解。理论上，我们证明了在一定条件下，分解子问题的一阶和二阶最优性必要条件最优性条件对于原子问题也是充分的。对黎曼子问题和增广拉格朗日方法进行了收敛性分析。大规模半定规划问题，如最大割，最近的相关估计，聚类和稀疏主成分分析广泛的数值实验表明，我们提出的方法相比，其他国家的最先进的方法的强度。
2023-03-07 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下，证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外，我们提出了一个全球化的半光滑牛顿方法，有效地解决流形上的增广拉格朗日子问题。在适当的条件下，证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后，压缩模式和（约束）稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
A Unified Approach to the Global Exactness of Penalty and Augmented Lagrangian Functions II: Extended Exactness
在第二部分中，我们引入了罚函数和增广拉格朗日函数的整体扩张正合性的概念，并导出了扩张形式的局部化原理。扩展精确性的主要思想在于通过添加一些额外的变量来扩展原始约束最优化问题，然后构造扩展问题的惩罚/增广拉格朗日函数。这种方法允许设计扩展的惩罚/增广拉格朗日函数具有一些有用的属性（如平滑性），它们的对应物的原始问题可能不具备。利用本文提出的局部化原理，可以很容易地证明这种扩展的价值函数的全局精确性，从而将对全局精确性的研究归结为基于充分最优性条件和约束规格的价值函数的局部分析.利用局部化原理，得到了Huyer和Neumaier提出的广义罚函数的全局精确性的简单充要条件，并构造了求解非线性半定规划问题的全局精确连续可微增广Lagrange函数.
2018-11-23 math.OC
A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian
非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。
2020-07-23 math.OC
Exact Augmented Lagrangian Duality for Mixed Integer Quadratic Programming
混合整数二次规划（MIQP）是在有理多面体上的混合整数点上最小化凸二次函数的问题。本文主要研究MIQP的增广拉格朗日对偶（ALD）。ALD增加了通常的拉格朗日对偶的加权非线性惩罚的对偶约束。我们首先证明了ALD将达到一个零的对偶间隙渐近的重量的惩罚趋于无穷大的罚函数在一些温和的条件下。我们接下来表明，当我们使用任何范数作为罚函数时，有限的罚权重对于零间隙是足够的。最后，我们证明了一个多项式约束的重量上的惩罚项，以获得零差距。
2019-07-01 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近，He和Yuan [arXiv：2108.08554，2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法（ALM），通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中，我们提出了一个双原始版本的平衡ALM，它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点，并且可以在变分不等式的背景下进行收敛性分析。此外，它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
Computing second-order points under equality constraints: revisiting Fletcher's augmented Lagrangian
本文在光滑等式约束优化中，基于黎曼优化几何形式定义近似二阶临界点，并利用Fletcher增广拉格朗日提出算法，以O(ε^{-3})迭代达到ε-近似二阶临界点，改进了现有理论界。
2024-01-16 math.OC
Preconditioning ideas for the Augmented Lagrangian method
提出了一种求解Powell-Hestenes-Rockafellar增广拉格朗日方法（ALM）的预处理策略。该方案利用增广拉格朗日海森的结构。它是一个模块化的预条件子，由两个模块组成。第一个是与拉格朗日的目标，而第二个管理的雅可比矩阵的约束和可能的低秩校正的海森。所提出的更新策略利用了ALM的收敛结果，避免了频繁的刷新。约束管理考虑到拉格朗日乘数的互补性，并允许放松。预条件子是为约束量小于搜索空间的问题而设计的。该方案的一个优点是，它是不可知的预处理技术用于拉格朗日函数的海森。所描述的策略可用于线性和非线性预处理。数值实验报告的预处理矩阵的谱性质矩阵市场，而一些最优化问题取自CUTEst收集。初步结果表明，所提出的计划可能是有吸引力的，并鼓励进一步的实验。
2017-02-23 math.OC
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文针对等式约束非线性非凸优化问题，提出一种结合随机迭代草图求解器与精确增广拉格朗日线搜索的自适应非精确牛顿法，实现全局几乎必然收敛及局部超线性收敛，并在多个基准问题上验证了其优越性能。
2023-05-28 cs.LG cs.NA math.NA
Local convergence analysis of augmented Lagrangian method for nonlinear semidefinite programming
自1969年Hestenes和Powell提出增广拉格朗日方法以来，增广拉格朗日方法以其优美的理论和令人印象深刻的数值性能得到了广泛的应用。它已被广泛应用于许多高效的求解器，以提高数值性能，解决许多问题。在不要求乘子唯一性的条件下，通过假设Karush-Kuhn-Tucker（KKT）解的二阶充分条件和半孤立镇定性，在较弱的条件下，得到了非线性半定规划（NLSDP）的ALM生成的原对偶序列的局部（渐近Q-超线性）Q-线性收敛速率.
2022-08-08 math.OC
An Augmented Lagrangian Approach to Composite Problems with a Random Linear Operator
针对随机线性映射下光滑与非光滑复合函数之和的最小化问题，提出结合增广拉格朗日框架、采样机制与自适应惩罚参数的方法，证明其生成序列的聚点几乎必然是临界点。
2024-11-28 math.OC
Two Innovations in Inexact Augmented Lagrangian Methods for Convex Optimization
本文提出凸规划不精确增广拉格朗日方法的两项创新：基于相对误差准则自适应调整乘子松弛量，以及利用近端梯度法变体改进子问题求解，并验证了其在 LASSO 问题上的有效性。
2025-09-16 math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Implicit augmented Lagrangian and generalized optimization
本文将增广拉格朗日框架扩展到无凸性假设的广义非线性规划，通过隐式表述和参数优化建立定制平稳性概念，推导乘子更新规则并证明收敛性，数值例子验证了该方法的建模灵活性和实际效益。
2023-08-02 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
Bregman Augmented Lagrangian and Its Acceleration
研究了求解带线性约束凸问题的Bregman增广拉格朗日方法（BALM）。对于经典的增广拉格朗日方法，其收敛速度及其与邻近点方法的关系是众所周知的。然而，BALM的收敛速度尚未在文献中得到深入研究。在本文中，我们分析的收敛速度的BALM的原始目标以及违反的可行性。我们还开发了，第一次，加速Bregman邻近点方法，提高了收敛速度从$O(1/\sum_{k=0}^{T-1}η_k)$到$O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$，其中$\{η_k\}_{k=0}^{T-1}$是序列的邻近参数。当应用于线性约束凸规划的对偶时，这导致了加速BALM的构造，其实现了原始和对偶收敛的改进速率。
2020-02-15 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
