Exact penalty functions and global saddle points of augmented Lagrangians for well-posed constrained optimization problems
本文通过提出一种新的扩展适定性概念，将精确罚函数和增广拉格朗日函数全局鞍点的充分条件从有限维推广到无穷维约束优化问题，避免了文献中常用的严格且难以验证的假设。
2025-08-22 math.OC
Exact penalty functions in optimization with unbounded constraint sets
Northeast Normal University（东北师范大学）；Dalat University（大叻大学）；Hanoi Pedagogical University 2（河内师范大学第二分校）
本文针对约束集无界的优化问题，给出了罚函数精确性的充要条件，并推广了现有结果。
2026-10-15 math.OC
EXPEDIS: An Exact Penalty Method over Discrete Sets
我们解决的问题，最小化的二次函数的线性约束超过二进制变量。本文介绍了一种称为EXPEDIS的精确解方法，它将约束问题转化为一个最大割问题，然后利用最大割问题的全部可用机制来求解转化后的问题。我们推导出的理论，以找到一个转换的精神，一个精确惩罚法，但是，我们只感兴趣的精确度的一组二进制变量。为了计算最大切割，我们使用求解器BiqMac。数值结果表明，该算法可以成功地应用于各类问题。
2021-01-03 math.OC
Smooth exact penalty functions II: a reduction to standard exact penalty functions
Huyer和Neumaier最近提出了一类新的光滑精确罚函数。本文证明了约束最优化问题的新光滑罚函数是精确的当且仅当该问题的标准非光滑罚函数是精确的。我们还提供了一些估计的精确罚参数的光滑罚函数，特别是，它的渐近行为作为标准$\ell_1$罚函数的精确罚参数的平方。简要讨论了一种减小光滑罚函数精确罚参数的简单方法，并研究了非线性项对该函数精确性的影响。
2018-01-29 math.OC
Provable Exactness for Asymmetric Low-Rank SDP Learning
本文研究了非对称低秩SDP学习框架，推导出保证精确性的γ下限，证明非对称与对称方法在临界点结构上一致，回答了非对称松弛的精确惩罚问题。
2026-05-09 cs.LG math.OC stat.ML
Existence of augmented Lagrange multipliers: reduction to exact penalty functions and localization principle
本文研究增广拉格朗日乘子的存在性，证明其在增长假设下等价于相关罚函数的精确性，并提出通过考察全局最优解附近局部行为来证明存在性的局部化原理。
2024-09-10 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理，统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析，并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法，结合新颖罚技术与对偶-原始更新顺序，扩展至多块可分离凸规划，并在变分分析下建立收敛性，数值实验验证其效率。
2023-05-06 math.OC
Exact Augmented Lagrangian Duality for Mixed Integer Quadratic Programming
混合整数二次规划（MIQP）是在有理多面体上的混合整数点上最小化凸二次函数的问题。本文主要研究MIQP的增广拉格朗日对偶（ALD）。ALD增加了通常的拉格朗日对偶的加权非线性惩罚的对偶约束。我们首先证明了ALD将达到一个零的对偶间隙渐近的重量的惩罚趋于无穷大的罚函数在一些温和的条件下。我们接下来表明，当我们使用任何范数作为罚函数时，有限的罚权重对于零间隙是足够的。最后，我们证明了一个多项式约束的重量上的惩罚项，以获得零差距。
2019-07-01 math.OC
Penalty alternating direction methods for mixed-integer optimal control with combinatorial constraints
我们考虑混合整数最优控制问题的组合约束，耦合随着时间的推移，如最小停留时间。我们分析了提升和分解的方法成一个混合整数最优控制问题，没有组合约束和一个混合整数问题的组合约束的控制空间。这两个问题可以非常有效地解决现有的方法，如外凸与求和舍入策略和混合整数线性规划技术。使用惩罚方法处理耦合。我们提供了一个精确的结果，产生一个解决方案的方法，收敛到部分最小值的处罚。我们比较了这些专用点的质量与其他approstics之间的一个学术例子，也为优化的输电线路与切换的网络拓扑结构的流量重新分配，以满足需求。
2021-04-19 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
A Direct Method for Solving Integral Penalty Transcriptions of Optimal Control Problems
我们提出了一种数值方法，用于最小化的目标，增加了大的二次处罚的超定不一致的等式约束。这样的目标产生于等式约束最优控制问题的直接转录的二次积分惩罚方法。增广拉格朗日方法（ALM）在解决这类问题时比二次罚函数法（QPM）具有许多优点。然而，如果离散化的等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的无约束偏差最小化的点。因此，在本文中，我们探讨了一个修改的ALM，符合我们的目的。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2020-09-14 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
Exact augmented Lagrangian duality for mixed integer convex optimization
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文研究混合整数凸优化的精确增广 Lagrange 对偶，借助值函数给出可推广的构造性证明，将 MILP 与 MIQP 的精确惩罚结果推广到更一般情形并量化有限惩罚参数。
2024-02-07 math.OC
Penalty and Augmented Lagrangian Methods for Constrained DC Programming
本文考虑了一类结构非光滑凸差分约束DC规划，其中目标和约束的第一凸分量是光滑函数和非光滑函数之和，第二凸分量是多个凸光滑函数的上确界.现有的求解该问题的方法通常收敛性保证较弱或需要一个可行的初始点。受最近工作的启发（数学运算。Res. 42（1）：95- 118，2017 by Pang et al.），本文对所考虑的问题提出了两种强收敛保证的不可行方法。第一种是罚方法，它包括寻找一个近似的D-稳定点的一系列惩罚子问题。我们表明，任何可行的积累点的解决方案序列所产生的这种惩罚方法是一个B-平稳点的问题下，最弱的可能的假设，它满足逐点斯莱特约束规格（PSCQ）。第二个是增广拉格朗日（AL）方法，包括寻找一个近似的D-稳定点的一系列AL子问题。在与罚函数法相同的PSCQ条件下，证明了由AL方法生成的解序列的任何可行聚点都是问题的B-平稳点，并且它满足问题的KKT型最优性条件，同时还满足一组辅助Lagrange乘子序列的任何聚点.我们还提出了一个有效的逐次凸逼近方法计算的近似D-稳定点的惩罚和AL子问题。最后，通过数值实验验证了本文方法的有效性.
2021-11-17 math.OC
Exact augmented Lagrangian functions for nonlinear semidefinite programming
本文研究了非线性半定规划（NSDP）问题的增广拉格朗日函数，并给出了增广拉格朗日函数的精确性质。术语精确的意义上使用的罚参数可以采取适当的，所以一个单一的最小化的增广拉格朗日恢复原来的问题的解决方案。这导致NSDP问题转化为无约束非线性规划问题。在这里，我们首先建立了一个统一的框架来构造这些精确的功能，推广迪Pillo和Lucidi的工作，从1996年，这是旨在解决非线性规划问题。然后，通过我们的框架，我们提出了一个实用的增广拉格朗日函数的NSDP，证明了它是连续可微的和精确的所谓的非退化条件。我们还提出了一些初步的数值实验。
2018-06-26 math.OC
Penalty & Augmented Kaczmarz Methods For Linear Systems & Linear Feasibility Problems
在这项工作中，我们阐明了所谓的Kaczmarz方法解决线性系（LS）和线性可行性（LF）问题，从优化的角度来看。我们介绍了著名的优化方法，如拉格朗日惩罚和增广拉格朗日随机Kaczmarz（RK）方法。在这样做时，我们提出了RK方法的两个变体，即随机罚Kacmarz（RPK）方法和随机增强Kacmarz（RAK）方法。我们对所提出的方法进行了收敛性分析，得到了线性收敛的结果。
2022-08-12 cs.NA math.NA math.OC
On the Linear and Asymptotically Superlinear Convergence Rates of the Augmented Lagrangian Method with a Practical Relative Error Criterion
在本文中，我们对增广拉格朗日方法进行了收敛速度分析，并给出了Eckstein和Silva [Math. Program.，141，319- 348（2013）]中的方法来求解凸非线性规划问题。我们证明了，在一个温和的局部误差界条件下，该方法承认局部Q-线性收敛速率。更重要的是，我们证明了收敛速度的模与罚参数成反比。也就是说，如果在算法中使用的惩罚参数增加到无穷大，则获得渐近超线性收敛，或者如果罚参数是固定的但足够大，则可以保证任意Q线性的收敛速率。此外，作为副产品，从原始序列到问题的解集的距离的收敛性，以及收敛速度得到。
2019-10-15 math.OC
A penalty barrier framework for nonconvex constrained optimization
针对非凸约束优化中纯障碍方法收敛受阻的问题，提出结合精确惩罚与内点法的惩罚障碍框架，通过边缘化步骤合并两者为平滑全域函数对象，解耦子问题与显式约束以利用高效求解器，推导了非凸问题收敛结果并验证其适用性。
2025-08-18 math.OC
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论，提出证明全局鞍点存在性的局部化原理，并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
2024-09-10 math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
ALS: Augmented Lagrangian Sketching Methods for Linear Systems
我们开发了两种基本的随机草图技术：惩罚草图（PS）和增广拉格朗日草图（ALS）解决一致的线性系。所提出的PS和ALS技术通过引入拉格朗日惩罚草图来扩展和推广草图与项目（SP）方法的范围。在这样做，我们恢复SP方法作为特殊情况下，并进一步开发了一个家庭的新的随机迭代法。通过改变所提出的PS方法中的草图参数，我们恢复新的随机方法，如惩罚牛顿下降，惩罚Kaczmarz，惩罚随机下降，惩罚坐标下降，惩罚高斯追求，和惩罚块Kaczmarz。此外，所提出的ALS方法综合了各种各样的新的随机方法，如增强牛顿下降，增强Kaczmarz，增强随机下降，增强坐标下降，增强高斯追踪和增强块Kaczmarz到一个框架。此外，我们表明，开发的PS和ALS框架可以用来重新制定原来的线性系等价的随机最优化问题，即惩罚随机重新制定和增广随机重新制定。我们证明了PS和ALS方法的整体收敛速度以及次线性$\mathcal{O}(\frac{1}{k})$速率的Cesaro平均迭代。所提出的收敛结果适用于广泛的随机矩阵的分布，这提供了微调适合于特定应用的方法的随机性的机会。最后，我们进行计算实验，证明我们的方法相比，现有的SP方法的效率。
2022-08-12 cs.LG cs.NA math.NA
Rate-improved Inexact Augmented Lagrangian Method for Constrained Nonconvex Optimization
在增广拉格朗日法（ALM）或罚函数法的框架内，一阶方法已经被研究用于非线性约束优化。我们提出了一种改进的不精确ALM（iALM），并进行了统一的分析，无论是仿射等式或非凸约束的非凸问题。在一定的规律性条件下（也假设现有的作品），我们展示了一个$\tilde{O}(\varepsilon^{-\frac{5}{2}})$复杂性的结果与非凸目标和仿射等式约束的问题和一个$\tilde{O}(\varepsilon^{-3})$复杂性的结果与非凸目标和非凸约束的问题，其中的复杂性是由一阶预言机的数量来衡量，以产生一个$\varepsilon$ -KKT解决方案。这两个结果都是最有名的。通过惩罚方法得到了同阶复杂度的结果。然而，使用两种不同的分析技术来获得结果，更重要的是，惩罚方法在实践中通常比iALM表现得更差。我们改进的iALM和分析缩小了理论与实践之间的差距。数值实验证明了该方法的有效性。
2021-03-24 math.OC
On the Complexity of an Augmented Lagrangian Method for Nonconvex Optimization
本文研究了非凸约束问题的一种不精确增广拉格朗日方法的最坏情况复杂性。在罚参数有界的条件下，证明了对于$ε\in (0,1)$，生成$ε$ -近似KKT点的算法的$\mathcal{O}(|\log(ε)|)$外迭代的复杂性界.当惩罚参数无界时，证明了$\mathcal{O}\left(ε^{-2/(α-1)}\right)$的一个外迭代复杂度界，其中$α>1$控制惩罚参数的增长率.对于线性约束的问题，这些界限收益率评估的$\mathcal{O}(|\log(ε)|^{2}ε^{-2})$和$\mathcal{O}\left(ε^{-\left(\frac{2(2+α)}{α-1}+2\right)}\right)$，分别复杂的界限，当适当的一阶方法（$p=1$）被用来近似解决无约束的子问题在每次迭代。在只有线性等式约束的问题的情况下，当适当的$p$阶方法（$p\geq 2$）被用作内部求解器时，后者的界限分别被改进为$\mathcal{O}(|\log(ε)|^{2}ε^{-(p+1)/p})$和$\mathcal{O}\left(ε^{-\left(\frac{4}{α-1}+\frac{p+1}{p}\right)}\right)$。
2021-05-22 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
Quadratic Integral Penalty Methods for Numerical Trajectory Optimization
本论文提出了一种新的数学算法，用于求解一类称为\emph{dynamic optimization problems}的数学问题的数值解。这些是数学最优化问题，即，在满足等式和不等式约束的条件下，求最小值的问题。动态最优化问题与非动态问题的不同之处在于，所寻求的数可以在一个自变量上变化。该自变量可以被认为是，例如，时间本文介绍了三种方法，重点是算法，收敛性分析和计算演示。第一种方法是基于积分二次惩罚项的直接转录方法。该方法的目的是避免数值伪影，例如在直接配置法中可能出现的振铃或错误/伪解。第二种方法是一种改进的增广拉格朗日方法，它利用增广拉格朗日方法的思想来解决具有大的二次惩罚项的最优化问题，例如它们来自于先前的直接转录方法。最后，我们提出了一个直接转录方法与整数二次罚款和整数对数障碍。所有的方法都是由应用和例子驱动的，用完整的证明分析了它们的收敛性，并通过数值实验进行了实际验证。
2022-08-19 math.OC
A quadratic penalty algorithm for linear programming and its application to linearizations of quadratic assignment problems
本文提供了第一个有意义的文件和分析的既定技术，其目的是获得一个近似解，线性规划问题之前，应用原始单纯形法。底层算法是一个惩罚方法，在每次迭代中具有朴素近似最小化。在初始迭代过程中，使用类似于增广拉格朗日的方法。后来的技术密切对应于一个经典的二次罚分法。也有一个讨论的程度，它可以用来获得快速近似解的LP问题，特别是当应用到线性化的二次指派问题。
2018-04-24 math.OC
Convergence analysis of primal-dual augmented Lagrangian methods and duality theory
本文为非凸优化建立了统一的增广拉格朗日理论，桥接对偶理论与原始-对偶方法收敛性分析，证明零对偶间隙和最优对偶解分别是原始序列和乘子序列有界性的必要条件。
2025-09-08 math.OC
A Fixed-Penalty Linearized Augmented Lagrangian Method with Classical Multiplier Updates
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；College of Science, National University of Defense Technology（国防科技大学理学院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
该研究提出NR-LALM方法，用正则化高斯-牛顿型步替代增广拉格朗日方法的非线性原始子问题，经Lean 4形式化后，在高维确定性、随机优化问题上表现良好且复杂度可控。
2026-08-21 math.OC
Global Convergence Analysis of the Power Proximal Point and Augmented Lagrangian Method
本文针对带非欧几里得范数幂次惩罚项的非精确增广拉格朗日方法，通过非线性邻近点方法视角推导可实现停止准则，证明其全局次线性与局部超线性收敛性，且参数更少却能达到与精细调优经典ALM相近的性能。
2025-10-01 math.OC
Exact Penalty Functions for Optimal Control Problems II: Exact Penalisation of Terminal and Pointwise State Constraints
我们研究的第二部分致力于分析具有终端和逐点状态约束的最优控制问题的罚函数的精确性。我们证明了使用精确罚函数方法可以减少固定端点问题的线性时变系统和线性发展方程的凸约束的控制输入完全等价的自由端点最优控制问题，如果终端状态属于相对内部的可达集。在非线性的情况下，我们证明了一个本地减少的固定端点和可变端点的问题等价的自由端点的假设下，线性化系统是完全可控的，并指出一些一般性质的非线性系统下，可以实现一个全球减少到等价的自由端点的问题。在逐点状态不等式约束的情况下，我们证明了线性时变系统和线性发展方程的凸状态约束的问题，可以减少到等价的问题，没有状态约束，提供一个使用的$L^{\infty}$惩罚项，斯莱特的条件成立，而对于非线性系统的本地减少是可能的，如果一个自然的约束条件得到满足。最后，我们表明，精确的$L^p$处罚的状态约束有限$p$是可能的凸问题，如果拉格朗日乘子对应的状态约束属于$L^{p'}$，其中$p'$是共轭指数的$p$，和一般的非线性问题，如果成本功能不依赖于控制输入明确。
2020-01-09 math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
GERAD；Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系）
本文提出了一种非光滑等式约束优化的精确惩罚方法，通过近端型算法高效实现，并建立了最坏情况复杂度界。
2025-11-28 math.OC
Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation
本文提出了求解无约束极小化问题的两种变形牛顿法。我们的方法利用优化技术，如罚款和增广拉格朗日方法，以产生新的变种的牛顿法，即罚款牛顿法和增广牛顿法。在这样做时，我们恢复几个著名的现有的牛顿方法的变种，如阻尼牛顿，Levenberg和Levenberg-Marquardt方法的特殊情况。此外，所提出的增广牛顿法可以解释为自适应重球动量的牛顿法。我们提供了整体收敛的结果，所提出的方法在温和的假设下，适用于各种各样的问题。所提出的方法可以被视为Karimireddy等人结果的惩罚和增广扩展。al [24].
2022-05-23 cs.LG cs.NA math.NA
Codifferentials and Quasidifferentials of the Expectation of Nonsmooth Random Integrands and Two-Stage Stochastic Programming
本文研究非光滑两阶段随机规划，通过推导非光滑随机被积函数期望的余/拟微分显式公式，分析精确罚函数并给出全局精确性条件，最终以余微分形式导出最优性条件。
2024-04-21 math.OC math.PR
A proximal augmented Lagrangian method for nonconvex optimization with equality and inequality constraints
IMT School for Advanced Studies Lucca（卢卡高等研究学院）
提出一种不精确近端增广拉格朗日方法，通过自适应更新惩罚参数和近端项，加速收敛并改善病态，理论分析及数值实验验证了其有效性。
2026-09-16 math.OC stat.ML
An Augmented Lagrangian Approach to Composite Problems with a Random Linear Operator
针对随机线性映射下光滑与非光滑复合函数之和的最小化问题，提出结合增广拉格朗日框架、采样机制与自适应惩罚参数的方法，证明其生成序列的聚点几乎必然是临界点。
2024-11-28 math.OC
A twice continuously differentiable penalty function for nonlinear semidefinite programming problems and its application
本文针对非线性半定规划问题提出二次连续可微罚函数，解决现有罚函数与二阶平稳点方法兼容性低的问题，提出实用罚函数法验证其与AKKT、CAKKT条件的高亲和性并展示收敛性。
2025-09-24 math.OC
A Unified Primal-Dual Algorithm Framework for Inequality Constrained Problems
针对锥不等式约束的复合凸问题，提出了一种基于增广拉格朗日函数的统一的原始对偶法框架.新的框架是高度通用的。首先，它不仅涵盖了许多现有的算法，如PDHG，Chambolle-Pock（CP），GDA，OGDA和线性ALM，但也指导我们设计一个新的高效算法称为Simi-OGDA（SOGDA）。其次，它使我们能够研究增广罚项在收敛性分析中的作用。有趣的是，适当选择的惩罚不仅提高了上述方法的数值性能，而且在理论上使PDHG和SOGDA等算法收敛。在适当设计的步长和惩罚项下，我们的统一框架保持了$\mathcal{O}(1/N)$遍历收敛性，同时不需要任何关于最优拉格朗日乘子大小的先验知识。在适当的条件下，得到了仿射等式约束问题的线性收敛速率。最后，线性规划，$\ell_1$最小化问题，多块基追踪问题的数值实验证明了我们的方法的有效性。
2022-08-30 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法，用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成：外层是一个标准的乘子方法，对非线性等式约束进行惩罚，而内层由块坐标下降（BCD）方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术，它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
An Adaptive Sampling Augmented Lagrangian Method for Stochastic Optimization with Deterministic Constraints
本文提出将增广拉格朗日框架与自适应采样结合，用于求解带确定性约束的随机优化问题，并证明其收敛性与样本复杂度，在机器学习和工程设计中验证了有效性。
2023-12-26 math.OC
A Joint Tikhonov Regularization and Augmented Lagrange Approach for Ill-posed State Constrained Control Problems with Sparse Controls
本文提出了一种改进的增广Lagrange方法和一种Tikhonov正则化方法来求解具有稀疏控制的病态状态约束椭圆型最优控制问题。考虑了一个不带任何附加$L^2$正则化项的线性二次型最优控制问题。稀疏性由附加的$L^1$项保证。在这里，经典增广拉格朗日方法的修改，保证我们一致有界的乘子对应的状态约束。我们提出了一个耦合正则化参数引入的Tikhonov正则化和罚参数从增广拉格朗日方法，这使我们能够证明强收敛的控制和它们相应的状态。同时给出了伴随态的弱收敛性和乘子的弱 *-收敛性的收敛性结果。最后，我们证明了我们的方法在几个数值例子。
2017-08-11 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设，在此假设下，估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证，分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下，证明了在约束非退化条件和强二阶充分条件下，算法的收敛速率是线性的，且比常数与1/c成正比，其中c是惩罚参数，超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
Adaptive Augmented Lagrangian Methods: Algorithms and Practical Numerical Experience
在本文中，我们考虑增广拉格朗日（AL）算法来解决大规模的非线性最优化问题，执行自适应策略更新的罚参数。我们的工作受到Curtis，Jiang和Robinson最近提出的自适应AL置信域方法的激励[Math. Prog.，DOI：10.1007/s10107-014-0784-y，2013]。本文的第一个焦点是一个新的变种的方法，采用线搜索，而不是一个置信域战略，其中一个关键的算法功能线搜索策略是使用的凸化分段二次模型的AL函数计算的搜索方向。我们证明了我们的线搜索算法的整体收敛保证与先前提出的置信域方法。本文的第二个重点是Matlab软件中的线搜索和置信域算法变体的实际性能，以及Lancelot软件中包含的自适应罚参数更新策略的实际性能。我们测试这些方法的问题，从CUTEst和COPS集合，以及具有挑战性的测试问题有关的最优潮流。我们的数值实验表明，自适应算法优于传统的AL方法的效率和可靠性。与传统的AL算法一样，自适应方法是无矩阵的，因此代表了解决极端规模问题的可行选择。
2014-08-20 math.OC
A constraint dissolving inexact penalty method for optimization problems with geometric constraints
Chemnitz University of Technology（开姆尼茨工业大学）
针对带几何约束的优化问题，提出基于约束消解映射的不精确罚方法，其收敛性有理论保证，数值实验显示该方法解质量优且性能优于罚分解方法。
2026-08-26 math.OC
Computing second-order points under equality constraints: revisiting Fletcher's augmented Lagrangian
本文在光滑等式约束优化中，基于黎曼优化几何形式定义近似二阶临界点，并利用Fletcher增广拉格朗日提出算法，以O(ε^{-3})迭代达到ε-近似二阶临界点，改进了现有理论界。
2024-01-16 math.OC
Binary Optimization via Mathematical Programming with Equilibrium Constraints
二元最优化是数学最优化中的一个中心问题，其应用非常广泛。为了解决这个问题，我们提出了一类新的连续优化技术，这是基于数学规划与平衡约束（MPEC）。首先将二进制规划转化为一个等价的带有双线性等式约束的增广双凸最优化问题，然后提出两种惩罚/正则化方法（精确惩罚和交替方向）来求解该问题，所得算法通过求解一系列线性规划凸松弛子问题来寻求原问题的理想解.此外，我们还证明了在目标上加上互补约束所得到的罚函数和增广拉格朗日函数都是精确的，即，当罚参数超过某个阈值时，它们具有与原始二进制程序相同的局部和全局最小值。这两个算法的收敛性可以得到保证，因为它们基本上减少到块坐标下降在文献中。最后，我们证明了我们的方法的有效性和通用性的几个重要问题，包括图二分法，约束图像分割，稠密子图发现，模块聚类和马尔可夫随机场。大量的实验表明，我们的方法优于现有的流行技术，如迭代硬阈值，线性规划松弛和半定规划松弛。
2017-12-06 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces I: Theory
本文针对Hilbert空间中的约束优化问题，提出并系统分析了一类连续可微且无Maratos效应的精确增广拉格朗日函数，给出了其梯度估计及KKT点成为其局部/全局极小点的充分条件。
2023-03-29 math.OC
Fast and Effective Computation of Generalized Symmetric Matrix Factorization
School of Computer Science and Engineering（计算机科学与工程学院）；Guangdong Province Key Laboratory of Computational Science（广东省计算科学重点实验室）；Sun Yat-sen University（中山大学）；School of Mathematics and Information Science（数学与信息科学学院）；Guangzhou University（广州大学）；Department of Mathematics（数学系）；The University of Tennessee, Knoxville（田纳西大学，诺克斯维尔）
本文研究了一种非凸、非光滑、非利普希茨的广义对称矩阵分解模型，统一了机器学习、图像科学、工程等领域的广泛矩阵分解形式。提出了一种基于放松势函数的平均型非单调交替更新方法（A-NAUM），并证明了其全局收敛性及收敛速率。
2026-03-19 cs.LG math.OC
Inexact Penalty Decomposition Methods for Optimization Problems with Geometric Constraints
本文从理论上和数值上研究了求解带几何约束的最优化问题的罚分解格式。特别是，我们考虑了一些情况下，部分的约束是非凸的和复杂的，如基数约束，析取程序，或矩阵问题，涉及秩约束。通过变量复制和分解策略，这里提出的方法显式地处理这些困难的约束，从而生成相对于它们是可行的迭代，而其余的（标准的和假设简单的）约束通过顺序惩罚来处理。不精确的优化步骤已被证明是足够的esulting算法的工作，使它是就业困难的目标函数。因此，目前的工作是一个显着的推广现有的论文处罚分解方法。另一方面，它涉及到一些最近的出版物，其中使用增广拉格朗日思想来解决具有几何约束的最优化问题。这些方法相比，分解的想法被证明是数值上优越的，因为它允许更多的自由度在选择的子问题求解器，并由于某些（可能是昂贵的）投影步骤的数量显着less.Extensive的数值结果在几个高度复杂的类的最优化问题在向量和矩阵的空间表明，目前的方法确实是非常有效地解决这些问题。
2022-10-11 math.OC
A preconditioned augmented Lagrangian method for solving semidefinite programming problems
National University of Singapore（新加坡国立大学）
本文提出了一种预条件增广拉格朗日方法（ALM）来求解半正定规划（SDP）问题，通过在ALM子问题中使用加权惩罚函数实现预条件器，权重矩阵来源于可行区域切空间的投影算子。这种简单而有效的修改显著加速了ALM，特别是对于病态的SDP问题。结合预条件ALM与之前开发的可行方法SDPF，我们开发了SDPF+，一种能够处理具有可能非线性目标函数的凸问题的SDP求解器。大量数值实验展示了SDPF+的效率和鲁棒性，表明其在具有低秩最优解的大型SDP问题上通常优于其他求解器。
2026-05-16 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints
我们分析了非线性等式约束非凸优化的近端增广拉格朗日（近端AL）框架的最坏情况的复杂性。当近似的一阶（二阶）最优点在子问题中得到，一阶$ε$在$\mathcal{O}(1/ ε^{2 - η})$外部迭代中，可以保证原始问题的（二阶）最优点（其中$η$是用户定义的参数，$η\in[0,2]$用于一阶结果，$η\in [1,2]$用于二阶结果）当邻近项系数$β$和惩罚参数$ρ$分别满足$β= \mathcal{O}(ε^η)$和$ρ= Ω(1/ε^η)$时。我们还研究了使用牛顿共轭梯度算法求解子问题时的总迭代复杂度和运算复杂度。最后，我们讨论了一个自适应方案，用于确定满足分析要求的参数$ρ$的值。
2020-09-01 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
