Exact penalty functions and global saddle points of augmented Lagrangians for well-posed constrained optimization problems
本文通过提出一种新的扩展适定性概念，将精确罚函数和增广拉格朗日函数全局鞍点的充分条件从有限维推广到无穷维约束优化问题，避免了文献中常用的严格且难以验证的假设。
2025-08-22 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数（含假惩罚与对偶平滑）的原始-对偶一阶算法，用于线性约束非凸复合优化，在标准假设下收敛至平稳解，且无需有界性及满射性假设，单循环复杂度O(1/ε²)，实验验证有效。
2023-06-20 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
A Direct Method for Solving Integral Penalty Transcriptions of Optimal Control Problems
我们提出了一种数值方法，用于最小化的目标，增加了大的二次处罚的超定不一致的等式约束。这样的目标产生于等式约束最优控制问题的直接转录的二次积分惩罚方法。增广拉格朗日方法（ALM）在解决这类问题时比二次罚函数法（QPM）具有许多优点。然而，如果离散化的等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的无约束偏差最小化的点。因此，在本文中，我们探讨了一个修改的ALM，符合我们的目的。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2020-09-14 math.OC
Exact augmented Lagrangian duality for mixed integer convex optimization
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文研究混合整数凸优化的精确增广 Lagrange 对偶，借助值函数给出可推广的构造性证明，将 MILP 与 MIQP 的精确惩罚结果推广到更一般情形并量化有限惩罚参数。
2024-02-07 math.OC
Using a Factored Dual in Augmented Lagrangian Methods for Semidefinite Programming
在求解半定规划问题的增广拉格朗日方法的背景下，我们研究了通过采用因子分解消除对偶矩阵上的半正定约束的可能性。提示如何处理由此产生的无约束最大化的增广拉格朗日。我们进一步使用增广拉格朗日函数的近似最大值，目的是提高交替方向增广拉格朗日框架的收敛速度。数值结果的报告，显示该方法的好处。
2018-09-10 math.OC
Penalty & Augmented Kaczmarz Methods For Linear Systems & Linear Feasibility Problems
在这项工作中，我们阐明了所谓的Kaczmarz方法解决线性系（LS）和线性可行性（LF）问题，从优化的角度来看。我们介绍了著名的优化方法，如拉格朗日惩罚和增广拉格朗日随机Kaczmarz（RK）方法。在这样做时，我们提出了RK方法的两个变体，即随机罚Kacmarz（RPK）方法和随机增强Kacmarz（RAK）方法。我们对所提出的方法进行了收敛性分析，得到了线性收敛的结果。
2022-08-12 cs.NA math.NA math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces I: Theory
本文针对Hilbert空间中的约束优化问题，提出并系统分析了一类连续可微且无Maratos效应的精确增广拉格朗日函数，给出了其梯度估计及KKT点成为其局部/全局极小点的充分条件。
2023-03-29 math.OC
Convergence analysis of primal-dual augmented Lagrangian methods and duality theory
本文为非凸优化建立了统一的增广拉格朗日理论，桥接对偶理论与原始-对偶方法收敛性分析，证明零对偶间隙和最优对偶解分别是原始序列和乘子序列有界性的必要条件。
2025-09-08 math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Exact augmented Lagrangian functions for nonlinear semidefinite programming
本文研究了非线性半定规划（NSDP）问题的增广拉格朗日函数，并给出了增广拉格朗日函数的精确性质。术语精确的意义上使用的罚参数可以采取适当的，所以一个单一的最小化的增广拉格朗日恢复原来的问题的解决方案。这导致NSDP问题转化为无约束非线性规划问题。在这里，我们首先建立了一个统一的框架来构造这些精确的功能，推广迪Pillo和Lucidi的工作，从1996年，这是旨在解决非线性规划问题。然后，通过我们的框架，我们提出了一个实用的增广拉格朗日函数的NSDP，证明了它是连续可微的和精确的所谓的非退化条件。我们还提出了一些初步的数值实验。
2018-06-26 math.OC
High-order augmented Lagrangian methods and robust multilevel inner solvers
Texas State University（德克萨斯州立大学）
本文提出了一种高阶增广拉格朗日方法，用于求解凸优化问题，实现了任意快速的收敛速度，并应用于数据拟合、流体流动和科学机器学习等领域。
2026-11-10 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中，我们证明了这一条件足以证明的原始-对偶序列的线性收敛，产生的增广拉格朗日方法分段线性二次复合最优化问题，即使在这类问题的拉格朗日乘子是不唯一的。进一步，我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日（AL）函数的内加速非精确近似增广拉格朗日（IAIPAL）方法的迭代复杂性.更具体地说，每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度（ACG）的方法，其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的，问题有一个斯莱特点，它表明，IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代，其中$\varepsilon>0$是一个公差的平稳性和可行性。此外，在不假设初始点可行的情况下，导出了上述界。最后，数值结果表明，强大的实用性能的IAIPAL。
2022-06-14 math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces II: Applications
本文将精确增广拉格朗日函数理论应用于 Hilbert 空间中的多类约束变分与最优控制问题，并给出其全局/完全精确的充分条件。
2024-09-05 math.OC
ALS: Augmented Lagrangian Sketching Methods for Linear Systems
我们开发了两种基本的随机草图技术：惩罚草图（PS）和增广拉格朗日草图（ALS）解决一致的线性系。所提出的PS和ALS技术通过引入拉格朗日惩罚草图来扩展和推广草图与项目（SP）方法的范围。在这样做，我们恢复SP方法作为特殊情况下，并进一步开发了一个家庭的新的随机迭代法。通过改变所提出的PS方法中的草图参数，我们恢复新的随机方法，如惩罚牛顿下降，惩罚Kaczmarz，惩罚随机下降，惩罚坐标下降，惩罚高斯追求，和惩罚块Kaczmarz。此外，所提出的ALS方法综合了各种各样的新的随机方法，如增强牛顿下降，增强Kaczmarz，增强随机下降，增强坐标下降，增强高斯追踪和增强块Kaczmarz到一个框架。此外，我们表明，开发的PS和ALS框架可以用来重新制定原来的线性系等价的随机最优化问题，即惩罚随机重新制定和增广随机重新制定。我们证明了PS和ALS方法的整体收敛速度以及次线性$\mathcal{O}(\frac{1}{k})$速率的Cesaro平均迭代。所提出的收敛结果适用于广泛的随机矩阵的分布，这提供了微调适合于特定应用的方法的随机性的机会。最后，我们进行计算实验，证明我们的方法相比，现有的SP方法的效率。
2022-08-12 cs.LG cs.NA math.NA
Complexity and performance of an Augmented Lagrangian algorithm
Algencan是一个建立良好的有保障的增广拉格朗日算法在[R. Andreani，E. G. Birgin，J. M. Mart 'ınez和M. L. Schuverdt，在增广拉格朗日方法与一般较低水平的约束，SIAM杂志优化18，第。1286-1309，2008]。复杂性的结果，报告其最坏情况下的行为在迭代和评估的功能和衍生物，是必要的，以获得合适的停止标准在这项工作中。此外，本文还介绍了新版本算法的计算性能，表明该软件是求解大规模约束最优化问题的有效工具。
2019-07-04 math.OC
An Investigation on Semismooth Newton based Augmented Lagrangian Method for Image Restoration
增广拉格朗日方法（Augmented Lagrangian method，又称乘子法）是现代信号处理、成像、最优控制等领域中解决光滑或非光滑变分问题的一种重要而有力的最优化方法，但往往需要同时求解耦合和非线性系统，具有很大的挑战性。本文提出了几种半光滑牛顿法来解决图像复原中的非线性子问题，从而产生了几种高效的、有竞争力的图像处理算法。通过分析相应函数的度量下界，给出了所提出的增广拉格朗日方法的整体收敛和局部线性收敛速率.
2021-08-28 math.OC
On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming
本文考虑线性约束复合凸优化问题，其目标是一个光滑函数与一个可能非光滑函数之和。我们提出了一个不精确的增广拉格朗日（IAL）框架来解决这个问题。在解决增广拉格朗日（AL）子问题中使用的停止标准建议的IAL框架是较弱的，可能更容易检查比大多数现有的IAL框架/方法中使用的一个。我们分析了所提出的IAL框架的整体收敛和非遍历收敛速度。
2018-03-27 math.OC
An augmented Lagrangian method exploiting an active-set strategy and second-order information
本文考虑变量具有非线性等式约束和有界约束的非线性最优化问题。为了解决这类问题，文献中定义了许多增广拉格朗日方法。在这里，我们建议修改其中一个算法，即Andreani等人的ALGENCAN，以这种方式将二阶信息纳入增广拉格朗日框架，使用活动集策略。在适当的假设下，我们证明了整个算法具有与ALGENCAN相同的收敛特性和渐近平方收敛速率。数值结果证实，该算法是一个可行的替代ALGENCAN具有更大的鲁棒性。
2022-01-11 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
On the Linear and Asymptotically Superlinear Convergence Rates of the Augmented Lagrangian Method with a Practical Relative Error Criterion
在本文中，我们对增广拉格朗日方法进行了收敛速度分析，并给出了Eckstein和Silva [Math. Program.，141，319- 348（2013）]中的方法来求解凸非线性规划问题。我们证明了，在一个温和的局部误差界条件下，该方法承认局部Q-线性收敛速率。更重要的是，我们证明了收敛速度的模与罚参数成反比。也就是说，如果在算法中使用的惩罚参数增加到无穷大，则获得渐近超线性收敛，或者如果罚参数是固定的但足够大，则可以保证任意Q线性的收敛速率。此外，作为副产品，从原始序列到问题的解集的距离的收敛性，以及收敛速度得到。
2019-10-15 math.OC
Stochastic Augmented Lagrangian Method in Riemannian Shape Manifolds
本文提出黎曼流形上的随机增广拉格朗日方法，用于求解带确定性约束的随机优化问题，并应用于多形状优化，数值验证其收敛性。
2023-12-05 math.OC
An Augmented Lagrangian Method for Optimization Problems in Banach Spaces
我们提出了一个变形的经典增广拉格朗日方法的约束最优化问题在巴拿赫空间。我们的理论框架不需要任何凸性或二阶假设，并允许处理不等式约束与无限维图像空间。此外，我们讨论了我们的算法的收敛性方面的可行性，全局最优性，和KKT条件。数值结果表明了该方法的可行性。
2018-07-12 math.OC
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论，提出证明全局鞍点存在性的局部化原理，并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
2024-09-10 math.OC
Robins-Monro Augmented Lagrangian Method for Stochastic Convex Optimization
提出了求解一类约束随机凸优化问题的Robbins-Monro增广拉格朗日方法（RMALM），它可以看作是Robbins-Monro型随机逼近方法和凸优化增广拉格朗日方法的混合.在较弱的条件下，我们证明了该算法具有线性收敛速率。此外，而不是验证计算上难以处理的停止准则，我们表明，随着子问题迭代次数的增加，RMALM对于$\varepsilon$ -解具有全局复杂性$\mathcal{O}(1/\varepsilon^{1+q})$（即，$\mathbb{E}\left(\|x^k-x^*\|^2\right) < \varepsilon$），其中$q$是任何正数。仿真数据和实际数据的数值结果表明，该算法优于现有的算法。
2022-09-01 math.OC
A Customized Augmented Lagrangian Method for Block-Structured Integer Programming
针对NP难的块结构整数规划问题，提出一种定制化增广拉格朗日方法，通过解耦链接约束分解子问题并利用块坐标下降法高效求解，同时引入细化技术获取高质量可行解，实验证明其有效性。
2024-06-28 math.OC
Enhancing sharp augmented Lagrangian methods with smoothing techniques for nonlinear programming
本文针对锐增广拉格朗日方法中非凸不可微函数全局极小化困难的问题，引入光滑化近似，并提出基于标准下降和坐标下降的两种算法，在保持理论严谨性的同时提升计算效率与鲁棒性。
2024-10-04 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Computational Complexity of Inexact Gradient Augmented Lagrangian Methods: Application to Constrained MPC
研究了求解复杂约束凸优化问题的不精确梯度增广拉格朗日方法的计算复杂性证明。我们解决了增广拉格朗日对偶问题，所产生的复杂的约束松弛梯度和快速梯度法的基础上不精确的一阶信息。此外，由于增广拉格朗日原问题的精确解在实践中很难计算，因此我们在给定的内部精度下求解了该问题。我们推导出原始和对偶问题的内部和外部精度之间的关系，我们给出了一个完整的梯度和快速梯度算法的收敛速度分析。我们提供估计的原始和对偶次优性和原始可行性违反所产生的近似原始和对偶解。我们的分析依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。我们还讨论了嵌入式线性系的约束模型预测控制问题的算法的实施方面。
2013-02-18 math.OC
A Variable Splitting Augmented Lagrangian Approach to Linear Spectral Unmixing
本文提出了一种新的线性最小体积类高光谱解混方法，称为\emph{simplex identification via split augmented Lagrangian}（SISAL）。在Craig的开创性思想之后，高光谱线性分解相当于找到包含高光谱向量的最小体积单纯形。这是一个带有凸约束的非凸最优化问题。在该方法中，正性约束，迫使频谱矢量属于凸包的端元签名，被替换为软约束。所得到的问题是解决了一系列的增广拉格朗日优化。由此产生的算法是非常快的，能够解决的问题远远超出了目前的最先进的算法。仿真数据表明了SISAL的有效性。
2009-04-29 math.OC
A Decomposition Augmented Lagrangian Method for Low-rank Semidefinite Programming
我们开发了一种基于增广拉格朗日框架的分解方法来解决广泛的半定规划问题，可能与非线性目标函数，非光滑正则化，一般线性等式/不等式约束。特别地，半正定变量和一组线性约束可以通过矩阵分解转化为光滑流形上的变量。非光滑正则化和其他一般的线性约束由增广拉格朗日方法处理。因此，每个子问题都可以用流形上的半光滑牛顿法求解。理论上，我们证明了在一定条件下，分解子问题的一阶和二阶最优性必要条件最优性条件对于原子问题也是充分的。对黎曼子问题和增广拉格朗日方法进行了收敛性分析。大规模半定规划问题，如最大割，最近的相关估计，聚类和稀疏主成分分析广泛的数值实验表明，我们提出的方法相比，其他国家的最先进的方法的强度。
2023-03-07 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下，证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外，我们提出了一个全球化的半光滑牛顿方法，有效地解决流形上的增广拉格朗日子问题。在适当的条件下，证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后，压缩模式和（约束）稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian
非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。
2020-07-23 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近，He和Yuan [arXiv：2108.08554，2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法（ALM），通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中，我们提出了一个双原始版本的平衡ALM，它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点，并且可以在变分不等式的背景下进行收敛性分析。此外，它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
Computing second-order points under equality constraints: revisiting Fletcher's augmented Lagrangian
本文在光滑等式约束优化中，基于黎曼优化几何形式定义近似二阶临界点，并利用Fletcher增广拉格朗日提出算法，以O(ε^{-3})迭代达到ε-近似二阶临界点，改进了现有理论界。
2024-01-16 math.OC
Preconditioning ideas for the Augmented Lagrangian method
提出了一种求解Powell-Hestenes-Rockafellar增广拉格朗日方法（ALM）的预处理策略。该方案利用增广拉格朗日海森的结构。它是一个模块化的预条件子，由两个模块组成。第一个是与拉格朗日的目标，而第二个管理的雅可比矩阵的约束和可能的低秩校正的海森。所提出的更新策略利用了ALM的收敛结果，避免了频繁的刷新。约束管理考虑到拉格朗日乘数的互补性，并允许放松。预条件子是为约束量小于搜索空间的问题而设计的。该方案的一个优点是，它是不可知的预处理技术用于拉格朗日函数的海森。所描述的策略可用于线性和非线性预处理。数值实验报告的预处理矩阵的谱性质矩阵市场，而一些最优化问题取自CUTEst收集。初步结果表明，所提出的计划可能是有吸引力的，并鼓励进一步的实验。
2017-02-23 math.OC
Local convergence analysis of augmented Lagrangian method for nonlinear semidefinite programming
自1969年Hestenes和Powell提出增广拉格朗日方法以来，增广拉格朗日方法以其优美的理论和令人印象深刻的数值性能得到了广泛的应用。它已被广泛应用于许多高效的求解器，以提高数值性能，解决许多问题。在不要求乘子唯一性的条件下，通过假设Karush-Kuhn-Tucker（KKT）解的二阶充分条件和半孤立镇定性，在较弱的条件下，得到了非线性半定规划（NLSDP）的ALM生成的原对偶序列的局部（渐近Q-超线性）Q-线性收敛速率.
2022-08-08 math.OC
An Augmented Lagrangian Approach to Composite Problems with a Random Linear Operator
针对随机线性映射下光滑与非光滑复合函数之和的最小化问题，提出结合增广拉格朗日框架、采样机制与自适应惩罚参数的方法，证明其生成序列的聚点几乎必然是临界点。
2024-11-28 math.OC
Two Innovations in Inexact Augmented Lagrangian Methods for Convex Optimization
本文提出凸规划不精确增广拉格朗日方法的两项创新：基于相对误差准则自适应调整乘子松弛量，以及利用近端梯度法变体改进子问题求解，并验证了其在 LASSO 问题上的有效性。
2025-09-16 math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Implicit augmented Lagrangian and generalized optimization
本文将增广拉格朗日框架扩展到无凸性假设的广义非线性规划，通过隐式表述和参数优化建立定制平稳性概念，推导乘子更新规则并证明收敛性，数值例子验证了该方法的建模灵活性和实际效益。
2023-08-02 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
Bregman Augmented Lagrangian and Its Acceleration
研究了求解带线性约束凸问题的Bregman增广拉格朗日方法（BALM）。对于经典的增广拉格朗日方法，其收敛速度及其与邻近点方法的关系是众所周知的。然而，BALM的收敛速度尚未在文献中得到深入研究。在本文中，我们分析的收敛速度的BALM的原始目标以及违反的可行性。我们还开发了，第一次，加速Bregman邻近点方法，提高了收敛速度从$O(1/\sum_{k=0}^{T-1}η_k)$到$O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$，其中$\{η_k\}_{k=0}^{T-1}$是序列的邻近参数。当应用于线性约束凸规划的对偶时，这导致了加速BALM的构造，其实现了原始和对偶收敛的改进速率。
2020-02-15 math.OC
Complexity Certification of a Distributed Augmented Lagrangian Method
在本文中，我们提出了一个分布式增广拉格朗日（AL）算法用于解决凸优化问题，涉及全局耦合线性约束的复杂性证明结果。我们的方法依赖于加速分布式增广拉格朗日（ADAL）算法，它可以处理耦合的线性约束，以分布式的方式基于本地估计的AL。我们表明，理论上的复杂性ADAL达到$ε$ -最优解的次优性和不可行性是$O(\frac{1}ε)$迭代。此外，我们提供了一个有效的上界的最佳对偶乘法器，使我们能够明确地指定这些复杂性的界限。我们还展示了如何选择步长参数，以尽量减少上的收敛速度的界限。最后，我们讨论了一个激励的例子，模型预测控制（MPC）的问题，涉及有限数量的子系统，通过一般网络相互作用。
2018-01-14 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法，用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成：外层是一个标准的乘子方法，对非线性等式约束进行惩罚，而内层由块坐标下降（BCD）方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术，它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设，在此假设下，估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证，分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下，证明了在约束非退化条件和强二阶充分条件下，算法的收敛速率是线性的，且比常数与1/c成正比，其中c是惩罚参数，超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题，讨论一阶与二阶最优性条件及缺乏凸性带来的困难，并对一种增广拉格朗日方法进行局部收敛性分析，给出收敛速率。
2024-05-15 math.OC
Convergence of Augmented Lagrangian Methods for Composite Optimization Problems
本文针对具有非唯一拉格朗日乘子的复合优化问题，在二阶充分条件下建立了增广拉格朗日方法的局部收敛性，提出二阶次导数半稳定性，并证明了非精确ALM的Q-线性收敛性。
2023-10-20 math.OC
Augmented Lagrangian Methods for the Solution of Generalized Nash Equilibrium Problems
提出了一种求解广义纳什均衡问题的增广拉格朗日型算法。具体地说，我们讨论了关于极限点的可行性和最优性的收敛性质。这是通过引入二级GNEP作为新的最优性概念来实现的。在这种情况下，特别考虑到考虑到GNEPs的特定结构的适当约束规格的作用。此外，我们认为联合凸GNEP的方法的行为和描述的修改，这是针对变分平衡的计算。数值结果被包括来说明整体方法的实际性能。
2018-07-12 math.OC
