Relaxed Lagrangian Approach to First-Order Non-Convex Mean Field Type Control Problem
本文针对一阶平均场型控制问题中作用泛函非凸导致的困难，在Wasserstein空间上提出松弛拉格朗日方法，证明了新的松弛纳什均衡存在性，并说明该结果在凸数据条件下可涵盖经典平均场控制问题的存在性结论。
2025-06-03 math.OC
Relaxed Lagrangian duality in convex infinite optimization: reverse strong duality and optimality
我们将每一个在具有无穷指标集T的局部凸空间上提出的凸优化问题，以及由T的有限子集构成的给定非空族H，联系到一个合适的Lagrangian-Haar对偶问题.给出了逆H-强对偶定理定理、H-Farkas型引理和最优性定理。特别注意无限和半无限线性最优化问题。
2021-06-17 math.OC
An Interior-Point Lagrangian Decomposition Method for Separable Convex Optimization
本文利用拉格朗日对偶分解和内点框架，提出了一种求解大规模可分凸问题的分布式算法。通过在普通拉格朗日量中加入自协调的障碍项，我们在较弱的假设下证明了相应的增广对偶函数族是自协调的。证明了新算法的全局收敛性和高度并行性，从而使牛顿法有效地用于中心路径的跟踪成为可能，并适用于求解大规模的可分凸问题。
2013-02-13 math.OC
A New Primal-Dual Algorithm for a Class of Nonlinear Compositional Convex Optimization Problems
针对一类非光滑非线性组合凸极小化问题，提出了一种新的原始对偶法，该算法涵盖了许多已有的和全新的模型作为特例.我们的方法依赖于一个新的非凸势函数，Nesterov的加速计划，和自适应参数更新策略的组合。我们的算法是单循环的，具有较低的每次迭代的复杂度。在一般的凸性和温和的假设下，我们的算法通过三个不同的标准实现了$\mathcal{O}(1/k)$收敛速度：原始目标残差，对偶目标残差，和原始-对偶间隙，其中$k$是迭代计数器。我们的速率都是遍历的（即，在平均序列上）和非遍历（即，在最后一个序列上）。如果只有一个目标项是强凸的（或者等价地，它的共轭是$L$ -光滑的），这些收敛速度可以被加速到$\mathcal{O}(1/k^2)$。据我们所知，这是第一个算法实现最佳利率的原始最后一个序列的非线性组合凸最小化。作为一个副产品，我们指定我们的算法来解决一般的凸锥约束规划遍历和非遍历率保证。我们测试我们的算法，并比较它们与最近的两种方法的二进制分类和凹凸博弈模型。
2021-04-19 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Robins-Monro Augmented Lagrangian Method for Stochastic Convex Optimization
提出了求解一类约束随机凸优化问题的Robbins-Monro增广拉格朗日方法（RMALM），它可以看作是Robbins-Monro型随机逼近方法和凸优化增广拉格朗日方法的混合.在较弱的条件下，我们证明了该算法具有线性收敛速率。此外，而不是验证计算上难以处理的停止准则，我们表明，随着子问题迭代次数的增加，RMALM对于$\varepsilon$ -解具有全局复杂性$\mathcal{O}(1/\varepsilon^{1+q})$（即，$\mathbb{E}\left(\|x^k-x^*\|^2\right) < \varepsilon$），其中$q$是任何正数。仿真数据和实际数据的数值结果表明，该算法优于现有的算法。
2022-09-01 math.OC
Relaxed Lagrangian duality in convex infinite optimization: reducibility and strong duality
我们与每个凸优化问题，提出了一些局部凸空间，无限多的约束指标的集合T，和一个给定的非空家庭H的有限子集的T，一个合适的拉格朗日-哈尔对偶问题。得到了H-约化的充要条件，即等价于用H的某个元素替换整个指标集T所得到的某个子问题。特别注意的是线性最优化，无限和半无限，并与可数家庭的约束凸问题。给出了零H-对偶间隙和H-（稳定）强对偶的结果。文中给出的例子说明了结果的意义。
2021-06-03 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法，用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成：外层是一个标准的乘子方法，对非线性等式约束进行惩罚，而内层由块坐标下降（BCD）方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术，它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近，He和Yuan [arXiv：2108.08554，2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法（ALM），通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中，我们提出了一个双原始版本的平衡ALM，它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点，并且可以在变分不等式的背景下进行收敛性分析。此外，它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents
近端惯性梯度下降算法是一种有效的组合优化算法，适用于广泛的机器学习问题。在本文中，我们重新审视该算法的计算复杂性，并提出其他新的结果，特别是对目标函数值的收敛速度。当目标函数是强制的时，证明了具有常数步长的近端惯性梯度下降的非遍历性O（1/k）速度.当目标函数不能保证稳定性时，我们证明了惯性参数递减的次线性速率。在目标函数满足最优强凸性条件（比强凸性条件弱得多）的情况下，证明了该算法的线性收敛性，其步长比以往文献大得多，且一般性强.我们还将我们的结果扩展到多块版本，并提出了计算复杂性。循环和随机指数选择策略被认为是。
2019-07-18 math.OC stat.ML
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
Balanced Augmented Lagrangian Method for Convex Programming
考虑了同时具有线性等式和不等式约束的凸极小化模型，通过平衡子问题的方法对经典的增广拉格朗日方法进行了改造。其结果是，其中一个子问题将目标函数和系数矩阵不加任何附加条件地分解，另一个子问题则成为正定线性方程组或正定线性互补问题.平衡资产负债管理是对经典资产负债管理的改进，它扩大了经典资产负债管理的适用范围，平衡了经典资产负债管理的子问题，改进了经典资产负债管理的实现。我们还将讨论扩展到两块和多块可分凸规划模型，并针对这些可分模型设计了各种分裂形式的平衡ALM。在变分不等式的背景下，通过经典的邻近点法的透镜，进行收敛性分析的平衡ALM及其分裂版本。
2021-08-19 math.OC
On the R-superlinear convergence of the KKT residues generated by the augmented Lagrangian method for convex composite conic programming
由于可能缺乏原始-对偶型误差界，求解凸复合锥规划的增广拉格朗日方法（ALM）所产生的序列的Karush-Kuhn-Tucker（KKT）剩余的超线性收敛一直是一个悬而未决的问题.在本文中，我们的目的是解决这个问题，首先进行收敛速度分析的ALM与Rockafellar的停止准则下，只有一个温和的二次增长条件的对偶CCCP。更重要的是，通过进一步假设Robinson约束规格，我们建立了增广拉格朗日子问题的迭代序列的KKT余项在易于实现的停止准则下的R-超线性收敛.配备了这一发现，我们获得了深刻的解释令人印象深刻的数值性能的几个最近开发的半光滑牛顿-CG的ALM求解器求解线性和凸二次半定规划。
2017-06-27 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
On the rate analysis of inexact augmented Lagrangian schemes for convex optimization problems with misspecified constraints
我们考虑一个错误指定的最优化问题，需要最小化的凸函数$f(x;θ^*)$在x上的约束集表示为$h(x;θ^*)\leq 0$，其中$θ^*$是一个未知的（或错误指定的）参数向量。假设$θ^*$可以通过一个不同的过程来学习，该过程生成一系列估计量$θ_k$，每个估计量都是$θ^*$的越来越精确的近似。我们开发了一个一阶增广拉格朗日计划计算的最优解$x^*$，同时学习$θ^*$。
2016-08-16 math.OC
An Augmented Lagrangian Method for Conic Convex Programming
我们提出了一个新的一阶增广拉格朗日算法ALCC，用于求解形式为min{rho（x）+gamma（x）的凸锥规划：Ax-b in K，x in chi}，其中rho和gamma是闭凸函数，并且gamma具有Lipschitz连续梯度，A是mxn实矩阵，K是闭凸锥，并且chi是“简单”凸紧集，最优化问题形式min{rho（x）+|x-x0|_2^2：x in chi}可以有效地求解任何给定的x 0。证明了原始ALCC迭代的任一极限点都是锥凸问题的最优解，对偶ALCC迭代有唯一的极限点，即锥规划的KKT点.我们还证明了对于任何n>0，原始ALCC迭代在O（log（1/n））次迭代后是ε-可行的和ε-最优的，这需要解决O（1/n log（1/n））的min{rho（x）+|x-x0|_2^2：x in chi}。
2013-02-26 math.OC
Q-Linear Convergence of the Proximal Augmented Lagrangian Method for Non-Convex Conic Programming
本文分析了近端增广拉格朗日方法在非凸锥规划中的局部收敛性，仅依赖二阶充分性条件和乘子映射平静性，证明了非精确版本的Q-线性收敛速率且不要求乘子唯一性。
2025-09-15 math.OC
Spectral Theorem for Convex Monotone Homogeneous Maps, and Ergodic Control
我们考虑单调的凸映射f：R^n -> R^n（即，保持R^n）的乘积序，并且对于超范数是非扩张的。这包括加性齐次的凸单调映射（即，这与常数的加法交换）。证明了当f非空时，f的不动点集同构于R^n的凸下半格，其维数至多等于由f的切仿射映射定义的临界图的强连通分支数.这产生特别是一个独特的结果，遍历控制问题的偏置向量。这推广了Lanery，Romanovsky，Schweitzer和Federgruen以前得到的结果，遍历控制问题的有限状态和动作空间，对应于特殊情况下的分段仿射映射f。我们还证明了f的周期轨道的长度受其临界图的圈性的限制，这意味着f的可能轨道长度恰好是n个字母上的对称群的元素的阶.
2001-10-10 math.OC math.SP
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg（维尔茨堡大学数学研究所）
本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
Lagrangian Dual Sections: A Topological Perspective on Hidden Convexity
California Institute of Technology（加州理工学院）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文从拓扑视角提出拉格朗日对偶截面概念，为非凸优化问题给出隐藏凸性的充分条件，并在谱反问题、Stiefel流形优化及不平衡Procrustes问题中推广统一了已有结果，同时提出黎曼流形上的全局优化算法。
2025-11-06 math.OC
Successive Convexification with Feasibility Guarantee via Augmented Lagrangian for Non-Convex Optimal Control Problems
本文提出一种融合逐次凸化与增广拉格朗日法的新算法，通过对优化变量和拉格朗日乘子交替迭代，在保留SCvx优良特性的同时保证了对非凸最优控制问题可行局部解的全局收敛性。
2024-10-11 math.OC
Beyond Convexity: Proximal-Perturbed Lagrangian Methods for Efficient Functional Constrained Optimization
针对非凸函数约束优化问题，提出基于近端扰动增广拉格朗日的原始-对偶算法框架，在温和条件下收敛到稳定点，无需连续调整罚参数，并给出非渐近迭代复杂度及实验验证。
2025-10-28 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
针对Adam在非凸目标下收敛性未完全明确的问题，本文明确遍历与非遍历收敛定义，提出更松弛的遍历收敛超参数条件，首次证明最后迭代点收敛性，在PL条件下得到O(1/K)非遍历速率，完善理论基础。
2023-07-20 cs.LG cs.NA math.NA
Convergence of iterates and improved rates for accelerated augmented Lagrangian methods for linearly constrained convex optimization
School of Science, Xihua University（西华大学理学院）；Department of Mathematics, Sichuan University（四川大学数学系）；Department of Mathematics, University of Electronic Science and Technology of China（电子科技大学数学系）
针对可微目标函数的线性约束凸优化问题，提出一类带有Nesterov外推参数的加速增广拉格朗日方法，证明原始-对偶序列收敛到解，并给出增广拉格朗日间隙、可行性违反和目标残差的加速估计，在非临界参数下将速率从O(1/k^2)改进到o(1/k^2)。
2026-05-27 math.OC
Preconditioned primal-dual algorithms for saddle point problems: non-ergodic convergence rates
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学研究所）；Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心）
研究凸凹鞍点问题的预处理原始对偶算法，利用其光滑与非光滑结构，通过反对称预处理器建立非遍历收敛速率，考虑计算误差，经数值实验验证算法性能良好。
2026-08-04 math.OC
Complexity certifications of first order inexact Lagrangian methods for general convex programming
在这一章中，我们推导出计算复杂性证明的一阶不精确对偶方法解决一般光滑约束凸问题，可以出现在实时应用中，如模型预测控制。当难以投影到由一般凸函数集合描述的原始约束集上时，我们利用拉格朗日松弛来处理复杂的约束，然后利用基于不精确对偶梯度信息的对偶（快速）梯度算法来求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解：原始最后一次迭代和原始迭代的平均值。我们提供了次线性计算复杂性估计的原始次优性和约束（可行性）违反所产生的近似原始解决方案。在本章的最后一部分，我们提出了一个开源的二次优化求解器，称为DuQuad，凸二次规划和评估其行为。求解器包含所分析算法的C语言实现。
2015-06-17 math.OC
Exact augmented Lagrangian duality for mixed integer convex optimization
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文研究混合整数凸优化的精确增广 Lagrange 对偶，借助值函数给出可推广的构造性证明，将 MILP 与 MIQP 的精确惩罚结果推广到更一般情形并量化有限惩罚参数。
2024-02-07 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
Preconditioned primal-dual dynamics in convex optimization: non-ergodic convergence rates
针对凸优化问题，提出受Chambolle-Pock算法启发的连续预条件原始-对偶动力系统，通过引入依赖时间和算子但不依赖目标函数的预条件子，证明了原始-对偶间隙的非遍历快速收敛速率及极限点最优性。
2025-05-31 math.OC
An augmented Lagrangian method with constraint generation for shape-constrained convex regression problems
形状约束凸回归问题是指在观测数据上拟合一个凸函数，并施加附加的约束条件，如分量单调性和一致Lipschitz连续性。本文提供了一个统一的框架计算多元形状约束凸回归函数的最小二乘估计$\mathbb{R}^d$。通过求解一个含有$(d+1)n$变量、$n(n-1)$线性不等式约束和$n$可能为非多面体不等式约束的本质约束凸二次规划问题，证明了最小二乘估计是可计算的，其中$n$是数据点的个数.为了有效地解决一般非常大规模的凸QP，我们设计了一个近似的增广拉格朗日方法（ERALM），其子问题的半光滑牛顿方法（SSN）解决。为了进一步加快计算时，$n$是巨大的，我们设计了一个实际的实施约束生成方法，使每个减少的问题是有效地解决了我们提出的MATERALM。综合的数值实验，包括在篮子期权定价和经济学中的生产函数估计，表明我们提出的ECOALM优于国家的最先进的算法，所提出的加速技术进一步缩短了计算时间由一个大的利润。
2021-11-20 math.OC
Indefinite linearized augmented Lagrangian method for convex programming with linear inequality constraints
增广拉格朗日方法（ALM）是求解线性约束凸规划问题的一个重要方法，线性等式约束凸极小化模型的增广拉格朗日方法及其变形已经在文献中得到了很好的研究。然而，很少有人关注ALM有效地解决线性不等式约束的凸极小化模型。在本文中，我们利用一个启发性的新开发的不定线性ALM等式约束凸优化问题的重新制定，并提出了一个新的不定线性ALM计划有效地解决凸优化问题的线性不等式约束。该方法具有很大的优势，特别是对于大规模的优化情况下，在两个折叠主要：第一，它大大简化了具有挑战性的关键子问题的经典ALM通过采用其线性化的重新制定，同时保持低复杂度的计算;第二，我们表明，只有一个较小的接近正则化项是需要证明收敛，这允许更大的步长，因此显着更好的性能。此外，我们证明了所提出的计划在其等价的紧凑表达式的预测校正的整体收敛，以及最坏情况下的$\mathcal{O}(1/N)$收敛速度。对一些应用问题的数值结果表明，较小的正则化项可以带来更好的实验性能，这进一步证实了本文的理论结果。
2022-06-20 math.OC
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下，提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同，我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点，而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性，并估计了最坏情况下的复杂度。作为一种特殊情况，导出了拉格朗日松弛的精确路径跟踪算法，并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
Two Innovations in Inexact Augmented Lagrangian Methods for Convex Optimization
本文提出凸规划不精确增广拉格朗日方法的两项创新：基于相对误差准则自适应调整乘子松弛量，以及利用近端梯度法变体改进子问题求解，并验证了其在 LASSO 问题上的有效性。
2025-09-16 math.OC
On proximal augmented Lagrangian based decomposition methods for dual block-angular convex composite programming problems
对于具有对偶块角结构的凸复合规划问题，我们设计了基于非精确近似增广拉格朗日分解方法。我们的方法特别适合于凸二次规划问题所产生的随机规划模型。算法框架是基于在[Chen，Sun，Toh，Math. Prog. 161：237--270]的目标问题的对偶，以及最近开发的对称高斯-赛德尔分解定理的应用解决一个邻近的多块凸复合二次规划问题。算法设计中的关键问题首先是设计合适的近似项来分解目标问题的对偶变量块的计算，使每次迭代中的子问题更容易求解，其次是开发新的数值格式来有效地求解分解的子问题。我们的不精确增广拉格朗日分解方法有保证的收敛性。我们提出了一个应用所提出的算法的双重非负松弛的无容量限制的设施定位问题，以及两阶段的随机最优化问题。我们进行了大量的数值实验，以评估我们的方法对国家的最先进的求解器，如Guidelines和MOSEK的性能。此外，我们提出的算法也毫不逊色于著名的渐进式对冲算法的Rockafellar和Wets。
2023-03-13 math.OC
QPPAL: A two-phase proximal augmented Lagrangian method for high dimensional convex quadratic programming problems
本文研究了一类含有大量二次项、线性等式和不等式约束的高维凸二次规划（QP）问题。为了有效地解决目标{ \bf QP}问题，我们开发了一个两阶段的{ \bf P}roximal { \bf A} ugged { \bf L}agrangian method {（QPPAL）}，其中第一阶段生成一个相当好的初始点，以热启动第二阶段，以获得一个准确的解决方案。更具体地说，在第一阶段，基于最近开发的对称高斯-赛德尔（SGS）分解技术，我们设计了一种新的基于SGS的半近似增广拉格朗日方法，目的是找到一个解决方案的低到中等精度。然后，在第二阶段，提出了一个近似增广拉格朗日算法，以获得更准确的解决方案有效。大量的数值结果评估{QPPAL}对{现有的国家的最先进的求解Guidance，OSQP和QPALM}的性能，以证明我们提出的算法解决各类大规模凸QP问题的高效率和鲁棒性。{The软件包QPPAL的MATLAB实现可从以下网址获得：\url{https://blog.nus.edu.sg/mattohkc/softwares/qppal/}。
2022-01-28 math.OC
Lagrange optimality system for a class of nonsmooth convex optimization
本文研究一类非光滑凸优化的增广拉格朗日方法。给出了与问题相关的增广拉格朗日量的Lagrange最优性系，并建立了它与增广拉格朗日量的标准最优性条件和鞍点条件的联系，为数值算法的发展提供了有力的工具.将线性牛顿法应用于Lagrange最优性系统，得到了一种新的算法，可用于实际应用中出现的各种非光滑凸优化问题。在适当的条件下，我们证明了牛顿系统的非奇异性和算法的局部收敛性。
2015-02-22 math.OC
Auxiliary Problem Principle of augmented Lagrangian with Varying Core Functions for Large-Scale Structured Convex Problems
由Cohen和Zhu（1984）提出的增广拉格朗日辅助问题原理（APP-AL），旨在通过一系列涉及增广拉格朗日的辅助问题来求解约束最优化问题。这种方法有两个优点。首先，核心函数通常是可分离的，这使得每一步的子问题都是可分解的，对于并行计算特别有吸引力。其次，核心功能的选择相当灵活。因此，通过仔细指定该函数，APP-AL可以简化为一些标准优化算法。在本文中，我们追求提高这种灵活性，允许在算法的每一步的核心功能是不相同的，并命名为可变辅助问题的原则（VAPP-AL）。根据问题结构的不同，VAPP-AL中不同的核心功能可以被用来设计新的灵活的、适用于并行和分布式计算的算法。证明了VAPP-AL算法对具有耦合目标和约束的凸问题的收敛性和O（1/t）收敛速度。此外，如果该函数被专门化为二次函数，则可以建立o（1/t）的收敛速度。有趣的是，新的VAPP框架可以涵盖几种雅可比类型的增广拉格朗日分解方法作为特殊情况。此外，我们的技术适用于具有不可分目标和多块耦合线性约束的凸问题，这通常是不能处理的ADMM。
2017-01-16 math.OC
Fast Augmented Lagrangian Method in the convex regime with convergence guarantees for the iterates
在线性等式约束下，研究了一类具有Lipschitz连续梯度的连续可微凸函数的极小化问题。所提出的惯性算法是由Bot和Nguyen在[Bot，Nguyen，JDE，2021]中提出的具有渐近消失阻尼项的二阶原始-对偶动力系统的离散化产生的，并且它是根据与最小化问题相关的增广拉格朗日公式来制定的。我们考虑的惯性参数的一般设置涵盖了Nesterov，Chambolle-Dossal和Attouch-Cabot在文献中用于制定快速梯度法的三个经典规则。对于这些规则，我们获得了在凸政权的原始-对偶间隙，可行性措施，和目标函数值的顺序${\cal O}(1/k^{2})$的收敛速度。此外，我们证明了所产生的原始-对偶迭代序列收敛到一个原始-对偶解的一般设置，涵盖了后两个规则。这是第一个结果，它提供了一个快速算法产生的线性约束凸优化问题的迭代序列的收敛性，没有额外的假设，如强凸性。我们还强调，本文的所有收敛性结果与[Bot，Nguyen，JDE，2021]在连续设置中得到的结果是相容的。
2022-08-01 math.OC
A stochastic perturbed augmented Lagrangian method for smooth convex constrained minimization
本文提出一种随机扰动增广拉格朗日方法SGDPA，用于求解带多个函数约束的光滑凸优化问题，通过线性化和随机坐标上升实现原始-对偶更新，并证明凸与强凸情形下的次线性收敛速率，数值实验验证了其有效性。
2025-03-30 math.OC
Pseudo basic steps: Bound improvement guarantees from Lagrangian decomposition in convex disjunctive programming
本文提出伪基本步骤操作，利用拉格朗日分解为凸析取规划的基本步骤改进提供可证明的界，并在K均值聚类实例上显著提升界质量。
2025-01-25 math.OC
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester（罗切斯特大学）
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法，分别在无约束和线性约束问题中达到最优一阶复杂度，通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
Solving separable convex optimization problems: Faster prediction-correction framework
本文提出一个更快的预测-校正框架，用于求解可分离凸优化问题，在非遍历和逐点意义上分别达到 $O(1/t)$ 和 $O(1/t^2)$ 的收敛速率，并给出三种基于该框架的算法，分别处理两块、多块和极小极大问题。
2024-02-03 math.OC
Duality for convex infinite optimization on linear spaces
本文建立了凸无限最优化问题的锥拉格朗日对偶的一个极限公式，修正了Karney [Math. Programming 27（1983）75-82]关于凸半无限规划的经典版本.对具有单一约束的凸无限最优化问题进行了重新表述，得到了相应的拉格朗日对偶的极限公式，称为超对偶，以及在强Slater条件成立的情况下原问题的极限公式，这也带来了强超对偶.
2021-06-28 math.OC
A rank-two relaxed parallel splitting version of the augmented Lagrangian method with step size in (0,2) for separable convex programming
增广拉格朗日方法（ALM）是求解具有线性约束的典型凸规划问题的经典方法，在各种科学计算领域有着广泛的应用。ALM的主要优点在于，可以利用$(0,2)$中的步长来进一步放宽用于更新对偶变量的步骤，并且该优点可以容易地导致ALM的数值加速。当一个可分离的凸规划问题进行了讨论，并考虑了相应的分裂版本的经典ALM，收敛可能无法得到保证，因此它似乎是不可能的，步长在$(0,2)$可以进行到松弛步骤更新的对偶变量。我们表明，对于一个并行分裂版本的ALM，步长在$(0,2)$可以保持进一步放松的原始和对偶变量，如果放松步骤是简单地纠正由秩2矩阵。因此，秩2松弛并行分裂版本的ALM与$(0,2)$的步长提出了可分离的凸规划问题。我们验证了新算法可以在数值上优于现有的同类算法显着通过测试一些应用程序。
2022-12-01 math.OC
An inexact proximal augmented Lagrangian framework with arbitrary linearly convergent inner solver for composite convex optimization
针对复合凸优化问题，提出了一种具有显式内问题终止规则的非精确近似增广拉格朗日框架。我们考虑任意线性收敛的内部求解器，特别是随机算法，使所得到的框架更可扩展性，面对不断增加的问题维度。每个子问题都不精确地解决了一个明确的和自适应的停止标准，而不需要设置一个先验的目标精度。当原始域和对偶域有界时，我们的方法分别在强凸和非强凸情况下，实现了$O(1/\sqrtε)$和$O(1/ε)$复杂性界的内部求解器迭代次数。在没有有界性假设的情况下，只需要增加对数项，上述两个复杂性界分别增加到$\tilde O(1/\sqrtε)$和$\tilde O(1/ε)$，对于获得$ε$-最优解和$ε$-KKT解，这两个复杂性界都成立.在我们提出的一般框架内，我们还获得了在相对光滑假设下，关于目标函数的可微分量的$\tilde O(1/ε)$和$\tilde O(1/{ε^2})$复杂性界。我们通过理论分析和数值实验表明，使用随机内求解器的大规模问题可能实现的计算加速。
2019-09-20 math.OC
A parallelizable augmented Lagrangian method applied to large-scale non-convex-constrained optimization problems
我们贡献的改进拉格朗日对偶解的方法适用于大规模的最优化问题的目标函数是凸的，连续可微的，可能是非线性的，而非放松的约束集是紧凑的，但不一定是凸的。例如，在随机混合整数最优化问题的分裂变量确定性重构中出现这样的问题。对偶解方法需要解决非松弛约束集的非凸性，同时可以有效地并行实现。我们适应的增广拉格朗日方法框架，以解决存在的非凸性的非放松约束集和高效的并行化的需要。我们的方法的发展是最自然的比较近端束方法的发展，特别是与他们使用严重的步骤条件。然而，与这些发展的偏差允许利用并行化的效率的提高。首先，在我们的增广拉格朗日方法的修改是使用基于单纯分解方法（SDM）和非线性块高斯-赛德尔（GS）方法的方法的集成。与近端束方法相关的严重阶跃条件的适应允许自动调整近似公差。在温和的条件下，最优对偶收敛的证明，我们报告的测试实例的计算结果，从随机最优化文献。我们证明了改进的基线并行方法的并行加速比。
2017-02-02 math.OC
A Scalable Frank-Wolfe based Augmented Lagrangian Method for Linearly Constrained Composite Convex Programming
本文研究了大规模线性约束复合凸优化问题，其目标函数为一个光滑函数和一个可能非光滑函数之和。我们提出了一个可扩展的\textbf{F}秩- \textbf{W} olfe基于\textbf{A}的增广\textbf{L}拉格朗日（FW-AL）方法来解决这个问题。在每一次迭代中，所提出的FW-AL方法采用FW方法（或其变体）在预先选定的公差内近似求解AL子问题{（具有固定的拉格朗日乘子）}，然后更新拉格朗日乘子。所提出的FW-AL方法非常适合于解决大规模问题，因为其每步的计算成本（基本上）与输入的大小呈线性关系。我们分析了所提出的FW-AL方法的非遍历收敛速度。
2015-10-12 math.OC
Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems
研究了一类求解与Fenchel-Rockafellar对偶相关的凸凹鞍点问题的Douglas-Rachford方法的加速策略和预处理策略.虽然基本迭代在希尔伯特空间中弱收敛，但限制原始-对偶间隙的$\mathcal{O}(1/k)$遍历收敛，在强凸性假设下可以实现加速。也就是说，如果在鞍点公式中的原始或对偶泛函是强凸的，则可以修改该方法以产生$\mathcal{O}(1/k^2)$遍历收敛。在两个泛函都是强凸的情况下，类似的修正导致了对于某些$0 < {\vartheta} < 1$，$\mathcal{O}({\vartheta}^k)$的渐近收敛性.所有方法特别允许预处理，即，在保持所有收敛速度的情况下，用线性分裂方法得到了隐式线性步长的不精确解。所提出的方法的效率进行了验证和数值比较，特别是显示相对于国家的最先进的加速算法的竞争力。
2016-04-21 math.OC
QSDPNAL: A two-phase augmented Lagrangian method for convex quadratic semidefinite programming
本文提出了一种求解凸二次半定规划（QSDP）问题的两阶段增广拉格朗日方法（QSDPNAL），该方法的约束条件包括大量线性等式、不等式约束、简单凸多面体集约束和半正定锥约束.一阶算法，它依赖于不精确的舒尔互补为基础的分解技术开发QSDPNAL-第一阶段的目的是解决QSDP问题，以中等精度或使用它来生成一个相当不错的初始点的第二阶段。在QSDPNAL第二阶段，我们设计了一个增广拉格朗日方法（ALM），在每次迭代的内部子问题是通过不精确的半光滑牛顿算法解决。为ALM设计了简单且可实施的停止准则。此外，在适当的条件下，我们能够建立所提出的算法的收敛速率和证明的R-（超）线性收敛的KKT残差。在QSDPNAL的实现中，我们还开发了有效的技术来解决大规模的线性系方程组在一定的子空间约束。更具体地说，更简单，但更好的条件线性系精心设计，以取代原来的线性系和新的阴影序列构造，以减轻所带来的数值困难的关键子空间的约束。大量的数值结果表明，我们的两阶段算法是高效和强大的，在获得精确的解决方案。
2016-12-30 math.OC
On the Arrow-Hurwicz differential system for linearly constrained convex minimization
在实希尔伯特空间中，从求解线性约束凸极小化问题的角度出发，重新考虑了经典的Arrow-Hurwicz微分系统.我们研究的微分系统的渐近性质，并提供了条件，其解决方案收敛到一个鞍点的拉格朗日与凸极小化问题。我们的收敛性分析主要依赖于一个“拉格朗日身份”，自然延伸的经典连续最速下降方法的著名的下降属性。此外，我们提出了渐近估计的衰减的解决方案和原始对偶间隙函数的拉格朗日量。这些估计进一步细化到经典阻尼谐振子的凸极小化问题的目标函数的二阶信息提供。最后，我们表明，我们的结果直接转化为解决结构凸极小化问题的情况下。数值实验进一步说明了我们的理论研究结果。
2022-12-31 math.OC
On the analysis of inexact augmented Lagrangian schemes for misspecified conic convex programs
本文考虑了在$h(x;θ^*) \in \mathcal{K}$表示的圆锥约束集上极小化$x$中的凸函数$f(x;θ^*)$的误指定最优化问题，其中$θ^*$是参数的未知（或误指定）向量，$\mathcal{K}$是闭凸锥，$h$是$x$中的仿射.假设$θ^*$不可用，但可以通过生成估计器序列$θ_k$的单独过程来学习，每个估计器都是$θ^*$的越来越精确的近似。我们开发了一个一阶不精确增广拉格朗日（AL）计划计算的最优解$x^*$对应于$θ^*$，同时学习$θ^*$。特别是，我们推导出这样的计划时，罚参数序列是恒定的或增加的速率报表，并推导出边界的整体复杂性方面的近似梯度步骤时，AL子问题不精确地解决通过加速近似梯度计划。一个投资组合最优化问题与误指定的协方差矩阵的数值结果表明，这些计划在实践中表现良好，而天真的顺序计划可能表现不佳的比较。
2020-02-16 math.OC
