Primal superlinear convergence of SQP methods in piecewise linear-quadratic composite optimization
本文主要研究分段线性-二次复合最优化问题的拟牛顿序列二次规划(SQP)方法的原始超线性收敛。我们表明,后者的原始超线性收敛可以证明下的非临界拉格朗日乘子和Dennis-More条件的版本。此外,我们表明,如果我们取代的非临界条件与二阶充分条件,这种原始超线性收敛是等价的Dennis-More条件的适当版本。在二阶充分条件和Lagrange乘子的唯一性下,我们恢复了Bonnans在[1]中关于这类组合问题的基本SQP方法的原-对偶超线性性的结果.为了实现这些目标,我们首先得到一个扩展的减少引理凸分段线性二次函数,然后提供一个全面的分析的非临界性的拉格朗日乘子的复合问题。我们还建立了复合问题的KKT系统的一些原始估计,这些估计在我们的拟牛顿SQP方法的局部收敛分析中起着重要的作用。
2020-12-28 math.OC
Distributed Linearized Alternating Direction Method of Multipliers for Composite Convex Consensus Optimization
给定一个无向图$\mathcal{G}=(\mathcal{N},\mathcal{E})$的代理$\mathcal{N}=\{1,\ldots,N\}$连接的边缘$\mathcal{E}$,我们研究如何计算一个最佳的决定,有共识的代理之间,并最小化的总和代理特定的私人凸复合函数$\{Φ_i\}_{i\in\mathcal{N}}$,同时尊重隐私的要求,其中$Φ_i\triangleq ξ_i + f_i$属于代理$i$。假设只有代理连接的边缘可以通信,我们提出了一个分布式的近端梯度方法DPGA的共识优化在未加权和加权静态(无向)通信网络。在一次迭代中,每个代理- $i$计算$ξ_i$的prox映射和$f_i$的梯度,然后与相邻代理进行本地通信。我们还研究了它的随机梯度变体,SDPGA,它只能访问噪音估计$\nabla f_i$在每个代理- $i$。该计算模型抽象了分布式传感、机器学习和统计推断中的许多应用。我们证明了遍历收敛的次优误差和共识违反率$\mathcal{O}(1/t)$和$\mathcal{O}(1/\sqrt{t})$,分别为DPGA和SDPGA。
2017-01-01 math.OC
Convergence of the Safeguarded Augmented Lagrangian Method under the Polyak-Lojasiewicz constraint qualification for Constrained Composite Optimization
本文证明了保护增广拉格朗日方法在Polyak-Lojasiewicz约束条件下全局收敛到M-稳定点,要求目标函数非光滑部分局部Lipschitz连续以保证乘子有界,并在稀疏投资组合优化中验证了算法性能。
2026-06-25 math.OC
Critical Multipliers in Variational Systems via Second-order Generalized Differentiation
本文将Izmailov和Solodov为经典的Karush-Kuhn-Tucker(KKT)系统提出的临界乘子和非临界乘子的概念推广到一般的框架中.人们已经很好地认识到,关键的乘数是主要的原始对偶法的收敛速度慢的主要原因。本文的方法使我们能够覆盖KKT系统中产生的各种光滑和非光滑的约束优化问题,包括复合优化,极大极小问题等集中在一个多面体次微分的情况下,并采用最近的结果二阶次微分理论,我们通过问题数据获得完整的特征的关键和非关键乘数。结果表明,对于扰动变分系统,非临界性等价于一定的误差界,而复合优化问题中的临界乘子可由局部极小解的完全稳定性排除.对于后一类,我们建立了非临界的乘数和强大的孤立冷静的相关的解决方案映射之间的等价性,然后通过适当的二阶充分条件得到这些概念的明确的特征。最后证明了解映射的Lipschitz-like/Aubin性质产生了它们的鲁棒孤立平静性。
2017-01-19 math.OC
A Scalable Frank-Wolfe based Augmented Lagrangian Method for Linearly Constrained Composite Convex Programming
本文研究了大规模线性约束复合凸优化问题,其目标函数为一个光滑函数和一个可能非光滑函数之和。我们提出了一个可扩展的\textbf{F}秩- \textbf{W} olfe基于\textbf{A}的增广\textbf{L}拉格朗日(FW-AL)方法来解决这个问题。在每一次迭代中,所提出的FW-AL方法采用FW方法(或其变体)在预先选定的公差内近似求解AL子问题{(具有固定的拉格朗日乘子)},然后更新拉格朗日乘子。所提出的FW-AL方法非常适合于解决大规模问题,因为其每步的计算成本(基本上)与输入的大小呈线性关系。我们分析了所提出的FW-AL方法的非遍历收敛速度。
2015-10-12 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法(DP.ADMM),其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括:(i)部分邻近增广拉格朗日(AL)更新的序列,(ii)欠松弛拉格朗日乘子更新,以及(iii)检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下,对阻尼因子和欠松弛因子有一定的要求,证明了对于给定的数值公差$\varepsilon>0$,DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是,该方法的收敛性,而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Unifying Variational View of Accelerated Primal-Dual Methods
William E. Boeing Department of Aeronautics and Astronautics, University of Washington(华盛顿大学威廉E.波音航空航天系)
本文提出统一变分框架,通过ELR原理生成加速原始-对偶流,涵盖镜像与ADMM特例,并证明指数收敛,扩展至概率分布优化。
2026-11-11 math.OC
Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题,建立了基于sPADMM(半邻近交替方向法)的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果,这是来自一个新的广义HPE(混合近端额外梯度)迭代公式的帮助下,第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
An augmented Lagrangian method with exact multipliers for non-separable composite $\ell_0$-$\ell_2$ regularization
Jiangxi Science and Technology Normal University(江西科技师范大学);Northwestern Polytechnical University(西北工业大学)
研究非可分复合 $\ell_0$-$\ell_2$ 正则化模型,针对其非凸非光滑及非可分性难题,开发两种精确乘子增广拉格朗日算法,证明方法收敛性,数值实验验证其优势。
2026-07-07 cs.NA math.NA math.OC
Criticality of Lagrange Multipliers in Extended Nonlinear Optimization
本文主要研究变分系统中Lagrange乘子临界性的研究和应用,这类问题与复合优化中的扩展非线性规划(ENLP)问题有关。ENLP和乘子临界性概念在变分系统中的重要性已经在优化和变分分析的理论和数值方面得到了承认,而临界性概念从未在ENLP框架中进行过研究。在这里,我们提出了一个系统的研究临界和非临界乘数在一般变分设置,包括,特别是KKT系统在ENLP建立其可验证的表征以及非临界性和其他稳定性概念之间的关系变分分析。我们的方法主要是基于先进的工具,二阶变分分析和广义微分。
2019-01-05 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中,我们证明了这一条件足以证明的原始-对偶序列的线性收敛,产生的增广拉格朗日方法分段线性二次复合最优化问题,即使在这类问题的拉格朗日乘子是不唯一的。进一步,我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题,本文利用 Nesterov 外推提出两类加速线性化 ADMM,在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University(俄勒冈州立大学);Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院);Federal University of Piauí(皮奥伊联邦大学)
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题,假设目标函数光滑部分弱凸,非光滑部分凸且块分离。方法自适应于所有参数,允许每个块近端子问题近似求解,通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数,无需约束矩阵秩假设,证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
Convergence of Augmented Lagrangian Methods for Composite Optimization Problems
本文针对具有非唯一拉格朗日乘子的复合优化问题,在二阶充分条件下建立了增广拉格朗日方法的局部收敛性,提出二阶次导数半稳定性,并证明了非精确ALM的Q-线性收敛性。
2023-10-20 math.OC
On the Linear Convergence Rate of Generalized ADMM for Convex Composite Programming
近年来,Eckstein \& Bertsekas [Math.Prog.,1992]在分析其理论收敛性方面引起了广泛的关注。本文致力于建立求解线性约束凸组合最优化问题的半近似GADMM(sPGADMM)的线性收敛速率。每个子问题所包含的半邻近项具有有效处理多块问题的能力。首先给出了sPGADMM产生的序列的一些重要不等式,然后在镇定假设下建立了局部线性收敛速率.作为副产品,整体收敛性质也进行了讨论。
2022-06-08 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法(iPADMM).我们发现,优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的,并表现出线性收敛速率下的局部误差界条件。在此基础上,我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果,该算法是针对多块复合凸优化问题而设计的。此外,我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性,也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日(AIDAL)方法。AIDAL方法的每次迭代包括:(i)通过调用加速复合梯度(ACG)子例程不精确地求解阻尼近端增广拉格朗日(AL)子问题;(ii)应用阻尼和欠松弛拉格朗日乘子更新;以及(iii)使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下,涉及阻尼因子和下松弛常数,它表明,AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序,对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University(兰州大学数学与统计学院);School of Mathematics, Jilin University(吉林大学数学学院)
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题,证明了在强凸情况下算法的强收敛性,并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度,同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Variational Analysis of Composite Models with Applications to Continuous Optimization
本文致力于综合模型的变分分析和优化的重要性,其中众多的理论,算法和应用问题的运筹学是很难夸大的研究。我们的研究的基本主题是一个系统的替代传统的度量正则性和相关的要求弱得多的度量subregulatity的,使我们显着更强大的和全新的结果,一阶和二阶变分分析和优化。在这种方式中,我们开发扩展的微积分规则的一阶和二阶广义微分结构支付的主要注意力在二阶变分理论的新的和相当大的类完全sub顺从的成分。在优化问题中的应用包括:导出约束组合模型中增强的无间隙二阶最优性条件,完整刻画了参数优化问题中KKT系统的Lagrange乘子唯一性和强度量次正则性等.
2019-12-07 math.OC
Linear Convergence Rate Analysis of Proximal Generalized ADMM for Convex Composite Programming
近似广义乘子交替方向法(p-GADMM)对于求解高维到中等精度的凸复合规划问题是非常有效的。这种方法的整体收敛已由Xiao,Chen & Li [Math. Program.计算:2018],但没有给出其收敛速度。人们可能想当然地认为,通过模仿近似ADMM可以很容易地证明收敛速度,但我们发现松弛点肯定会给理论分析带来许多困难。本文研究了它的收敛性,证明了p-GADMM产生的序列在一定条件下具有Q-线性收敛速率.我们要注意的是,子问题的邻近项必须是正定的,这在大多数实际实现中是非常常见的,尽管它似乎有点强。
2022-08-18 math.OC
Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA, USA(赫尔曼·米勒工程与系统工程学院,佐治亚理工学院,美国亚特兰大,GA);Sauder School of Business, University of British Columbia, Vancouver, BC, Canada(萨德勒商学院,不列颠哥伦比亚大学,加拿大温哥华,BC)
研究一类非凸约束优化问题的原始对偶方法非渐近收敛性,通过限制对偶变量到辅助紧集,利用平滑近线性增广拉格朗日方法及相关机制,根据 KKT 残差建立收敛速率,正则化与非正则化下分别有\(O(K^{-1/3})\)和\(O(K^{-1/2})\)速率。
2026-10-16 cs.LG math.OC stat.ML
Stabilized SQP Method for Convex Piecewise Linear-Quadratic Composite Optimization Problems
University of Duisburg-Essen(杜伊斯堡-埃森大学);VNU University of Engineering and Technology(越南国立大学工程技术大学);Miami University(迈阿密大学)
本文研究稳定化SQP方法在凸CPLQ复合优化问题中的局部收敛性,证明特定SOSC可保证超线性收敛,还探讨其松弛条件并给出反例验证相对内点条件的必要性。
2026-10-12 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法(ADMM),目标块为一个非光滑凸函数与一个光滑凸函数之和,$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项,我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处,而不是目前的要求,半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日(AS-PAL)方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日(AL)子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能,其次是一个完整的拉格朗日乘子更新。与其他AL方法相比,AS-PAL的主要优点是它不需要参数的知识(例如,约束矩阵的大小,目标函数曲率等)与最优化问题相关联,由于其自适应性质,不仅在选择接近步长,而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明,它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法,特别是当需要高精度。
2022-10-05 math.OC
A Unified Algorithmic Framework of Symmetric Gauss-Seidel Decomposition based Proximal ADMMs for Convex Composite Programming
针对凸组合最优化问题,给出了几种基于对称Gauss-Seidel分解的多块邻近交替方向法的推广.所提出的方法统一和完善了许多建设性的技术,分别开发的多块ADMM型算法的计算效率。具体而言,优化增广拉格朗日函数,不定邻近项,不精确对称高斯-赛德尔分解定理,近似求解子问题的容差准则,以及大的对偶步长,都被纳入一个算法框架,我们命名为sGS-imiPADMM。从近年来多块ADMM的收敛变体的流行,特别是对于高维多块凸复合锥规划问题,本文提出的统一,以及相应的收敛性结果,可能有很大的潜力,促进许多多块ADMM在各种问题设置的实施。
2019-04-04 math.OC
Value-Function Root-Finding Algorithms for Composite Convex Simple Bilevel Optimization
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);Nankai University(南开大学)
针对复合凸简单双层优化问题,提出基于拉格朗日对偶的一阶谕示值函数评估方法,结合二分法与带保护牛顿型方法求(ε,ε)-解,复杂度达$\tilde{\u2112}(ε^{-1/2})$,匹配现有近最优结果。
2026-08-28 math.OC
Convergence Analysis of Generalized ADMM with Majorization for Linearly Constrained Composite Convex Optimization
本文将Xiao等[{ \tt Math. Prog.计算:2018}]针对两块线性约束复合凸规划问题,其中每个块都是“非光滑+二次”形式.然而,在非二次(但光滑)的情况下,这种方法可能会失败,除非不再使用“非光滑+光滑”的有利结构。本文旨在弥补这一缺陷,采用优化技术来逼近增广拉格朗日函数,从而将相应的子问题分解为若干个小问题,然后分别求解。此外,最近的对称高斯-赛德尔(SGS)分解定理保证了更大的子问题和这些较小的之间的等价性。本文着重于收敛性分析,即,我们证明所提出的方法产生的序列全局收敛到Karush-Kuhn-Tucker点所考虑的问题。最后,通过对一类模拟凸组合最优化问题的数值实验,验证了该方法的有效性。
2022-04-04 math.OC
Convergence of multi-block Bregman ADMM for nonconvex composite problems
带乘子的交替方向法是求解各种复合材料问题的最有效和最成功的方法之一。传统ADMM的收敛(即,2-块)的凸目标函数的收敛性已经证明了很长一段时间,它的收敛性的非凸目标函数,然而,最近才建立。多块ADMM是ADMM的自然扩张,是一种广泛使用的方案,在解决各种非凸最优化问题中也非常有用。因此,它有望建立在非凸框架下的多块ADMM的收敛理论。本文给出了3-块ADMM的一个Bregman修正,并证明了它对一个大的非凸函数族的收敛性。我们进一步扩展的收敛结果$N$块的情况下($N \geq 3$),这强调了多块ADMM应用程序在非凸设置的可行性。最后,我们提出了一个模拟研究和现实世界的应用程序来支持所获得的理论断言的正确性。
2015-05-12 math.OC
The multiproximal linearization method for convex composite problems
复合最小化涉及以非光滑方式聚合的光滑函数的集合。在凸的情况下,我们设计了一个算法,通过线性化每个光滑组件根据其主曲率。由此产生的方法,称为Multiprox方法,包括解决连续的简单问题(例如约束二次问题),其中也可以具有一些近似算子。为了研究这种方法的复杂性和收敛性,我们研究了量化的资格条件,以了解乘数对复杂性界限的影响。我们得到明确的复杂性结果的形式$O(\frac{1}{k})$涉及新类型的常数项。我们的方法的一个显着特点是能够应付涉及移动约束的神谕。我们的方法是足够灵活的,包括移动球的方法,近端高斯-牛顿法,或向前向后分裂,我们恢复已知的复杂性结果或建立新的。我们通过几个数值实验表明,如何使用多个邻近项可以是决定性的复杂几何形状的问题。
2019-03-23 math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich(联邦国防大学慕尼黑);McGill University(麦吉尔大学);Dresden University of Technology(德累斯顿工业大学)
针对全凸复合优化问题,提出弹性保护增广拉格朗日方法,结合经典方法与保护机制的优点,实现全局原始-对偶收敛。
2026-10-07 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题,提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架,我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划,如对角二次近似法的Mulvey和Ruszczyovski。此外,我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明,我们的算法可以很好地执行,即使是非常大的情况下,原始块角凸QP问题。例如,一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解,而Guesthouse花费了3个多小时,另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解,而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数(含假惩罚与对偶平滑)的原始-对偶一阶算法,用于线性约束非凸复合优化,在标准假设下收敛至平稳解,且无需有界性及满射性假设,单循环复杂度O(1/ε²),实验验证有效。
2023-06-20 math.OC
Composite Optimization Algorithms for Sigmoid Networks
South China Normal University(华南师范大学)
本文将Sigmoid网络转化为凸复合优化问题,提出基于线性化近端算法和交替方向乘子法的复合优化算法,在弱尖锐极小值等条件下保证全局收敛,并通过数值实验验证其有效性和鲁棒性。
2023-07-07 cs.LG math.OC
A Near-optimal Method for Linearly Constrained Composite Non-convex Non-smooth Problems
针对线性约束复合非凸非光滑问题,提出一种不精确近端梯度法,其复杂度匹配下界至对数因子,优于现有方法,并通过数值实验验证了优势。
2025-03-29 math.OC
A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization
我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数:平滑,加速,同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果,特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系,并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据,并说明新的方法可以优于国家的最先进的,包括Chambolle-Pock,和交替方向法的乘法器算法。
2018-02-22 math.OC
NysADMM: faster composite convex optimization via low-rank approximation
本文提出了一个可扩展的新算法,称为NysADMM,以最小化一个光滑的凸损失函数与凸正则化。NysADMM通过从随机低秩Nyström近似构造ADMM子问题的预条件子来加速不精确乘子交替方向法(ADMM)。NysADMM有很强的理论保证:当Nyström近似的秩是子问题正则化Gram矩阵的有效维数时,它可以在恒定的迭代次数内解决ADMM子问题。在实践中,排名小于的有效维度可以成功,所以NysADMM使用自适应策略来选择享有类似保证的排名。在真实世界数据集上的数值实验表明,NysADMM可以解决重要的应用程序,如套索,逻辑斯谛回归和支持向量机,在一半的时间(或更少)所需的标准求解器。NysADMM击败标准求解器的问题的广度是一个惊喜:它表明ADMM是一个占主导地位的范式,用于在广泛的统计学习问题中进行数值优化,这些问题通常是用定制方法解决的。
2022-07-03 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日(AL)函数的内加速非精确近似增广拉格朗日(IAIPAL)方法的迭代复杂性.更具体地说,每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度(ACG)的方法,其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的,问题有一个斯莱特点,它表明,IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代,其中$\varepsilon>0$是一个公差的平稳性和可行性。此外,在不假设初始点可行的情况下,导出了上述界。最后,数值结果表明,强大的实用性能的IAIPAL。
2022-06-14 math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化,涵盖多种现有算法并设计新的加速混合随机ADMM,证明其次线性与线性收敛,实验验证了有效性。
2024-03-04 math.OC
Proximal-Free ADMM for Decentralized Composite Optimization via Graph Simplification
我们考虑对称连通图上的分散复合优化问题,其中每个节点拥有自己的代理特定的私有凸函数,并且只允许有直接链接的节点之间进行通信.在乘子的交替方向法(ADMM)框架中,已经提出了多种算法来解决这样的问题。然而,这些算法中的许多算法需要在增广拉格朗日函数中包括一些近似项,使得所得到的算法可以以分散的方式实现。近端项的使用减慢了收敛速度,因为它迫使当前解保持接近在先前迭代中获得的解。为了解决这个问题,在本文中,我们首先介绍了最简单的二部图的概念,它被定义为一个二部图,有一个最小数量的边缘,以保持图连接。提出了一个简单的基于消息传递的两步过程来找到与原始图相关联的最简单的二部图。我们证明了最简单的二部图具有一些有趣的性质。利用这些性质,一个ADMM不涉及任何邻近项可以开发执行分散的复合优化最简单的二部图。仿真结果表明,我们提出的方法实现了更快的收敛速度比现有的国家的最先进的分散式算法。
2018-09-05 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University(重庆工商大学数学与统计学院,统计智能计算与监测重庆市重点实验室)
本文研究了混合阶动态系统衍生的两种算法,用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题,提出新的双变量算法和分裂算法,并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning
Peking University(北京大学);Beijing International Center for Mathematical Research(北京国际数学研究中心);Academy for Advanced Interdisciplinary Studies(前沿交叉学科研究院)
在本文中,我们考虑深度强化学习的线性规划(LP)公式。约束的数量取决于状态空间和动作空间的大小,这使得问题在大型或连续环境中变得棘手。一般增广拉格朗日方法在求解线性规划问题时存在双采样问题。也就是说,源自约束函数的条件期望和增广拉格朗日函数中的二次罚函数给采样和评估带来了困难。受乘子更新的启发,我们通过用乘子替换难以处理的条件期望,克服了增广拉格朗日函数极小化的障碍。为此,提出了一种深度参数化增广拉格朗日方法。此外,替代提供了一个有前途的突破,将两个步骤中的增广拉格朗日方法到一个单一的约束问题。一般的理论分析表明,从一系列的约束优化产生的解决方案收敛到最优解的线性规划,如果误差得到适当的控制。对神经正切核设置下的二次罚函数算法进行了理论分析,指出只要网络参数和优化算法选择适当,残差可以任意小。初步的实验表明,我们的方法是有竞争力的其他国家的最先进的算法。
2021-05-20 cs.LG math.OC
Feedback control of Lagrange multipliers for non-smooth constrained optimization
本文提出基于控制理论的框架,用于解决包含非光滑项的约束优化问题,通过静态和动态控制器设计两种新算法,并证明在强凸条件下实现全局指数收敛。
2026-05-02 cs.SY eess.SY math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法(FM-HSDM),它是HSDM算法族的一个新成员,用于求解实希尔伯特空间中的仿射约束极小化问题,其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱,并在一定的假设下,强烈的解决方案的任务。不动点理论,变分不等式和仿射非扩张映射被用来设计一个计划,以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用,非常适合大规模优化任务,而不会影响收敛保证。与HSDM的前体相比,FM-HSDM具有Fejér单调性,步长参数在迭代过程中保持不变,以促进估计序列收敛到最小值,而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题,基于(不精确)对称Gauss-Seidel的优化多块近似交替方向法(ADMM)等价于{ \em不精确}近似增广拉格朗日方法(ALM).这种等价性不仅为理解某些ADMM类算法提供了新的视角,而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下,这种等价的副产品是由经典的ADMM产生的整个序列的收敛,其步长超过了$(1+\sqrt{5})/2$的常规上界,如果目标的一部分是线性的。这正是问题的设置,其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年,但即使在明显更强的假设,只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验,说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC
A Family of Subgradient-Based Methods for Convex Optimization Problems in a Unifying Framework
对于可行域足够简单的凸优化问题,我们提出了一类新的基于次梯度和梯度的方法,它们以最优复杂度收敛。这包括其中目标函数是非光滑的、光滑的、具有复合/鞍形结构的或由不精确的oracle模型给出的情况。统一了这些方法每次迭代时所需求解的子问题的构造方法。这使我们能够分析这些方法的收敛性在一个统一的方式相比,以前的结果,需要不同的方法/算法。我们的贡献依赖于非光滑凸优化中的两个著名方法:Nemirovski-Yudin的镜像下降法和Nesterov的对偶平均方法。因此,我们的方法族包括它们和许多其他方法作为特殊情况。例如,建议的家庭的经典梯度法和它的加速度推广Devolder等人。Nesterov的原始/对偶梯度法和Tseng的加速近端梯度法。此外,我们的方法家族也可以部分地成为其他通用方法的特例。作为一个额外的贡献,新的扩展镜像下降法删除了原来的镜像下降法所要求的可行域的紧性假设和总迭代次数的固定,以达到最佳的复杂性。
2015-12-29 math.OC
Stochastic subgradient for composite optimization with functional constraints
本文针对带随机复合目标函数与无限约束交集的凸优化问题,提出带随机可行性更新的随机次梯度方法,证明其在不同情形下的收敛速率,数值结果验证了方法有效性。
2024-12-01 math.OC
Heterogeneous Stochastic Momentum ADMM for Distributed Nonconvex Composite Optimization
Sun Yat-Sen University(中山大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);University of Victoria(维多利亚大学)
HSM-ADMM通过自适应步长策略和递归动量估计器,实现分布式非凸优化的高效稳健收敛。
2026-03-08 math.OC
ADMM for Nonsmooth Composite Optimization under Orthogonality Constraints
针对正交约束下含光滑、凹与弱凸项的非凸非光滑复合优化,提出 OADMM 及其 EP、RR 变体,并证明遍历与 KL 条件下的非遍历收敛保证。
2025-01-11 math.OC
Generalized Conditional Gradient with Augmented Lagrangian for Composite Minimization
本文提出了一种将广义条件梯度与近似步长相结合的分裂算法,我们称之为CGALP算法,用于实希尔伯特空间中极小化三个真凸下连续函数之和.最小化受到仿射约束,这特别允许通过通常的积空间技术以单独的方式处理复合问题(三个以上函数的和)。虽然经典的条件梯度法要求目标的可微部分的梯度的Lipschitz连续性,但CGALP只需要可微性(在适当的子集上),从而避免了梯度的Lipschitz连续性的复杂问题。对于目标函数中剩下的两个函数,我们不需要任何额外的正则性假设。第二个函数,可能是非光滑的,假设是简单的,即,相关联的邻近映射是容易计算的。对于第三个函数,也是非光滑的,我们只假设它的域也是有界的,并且线性扰动最小化预言是可访问的。特别是,这最后一个功能可以选择为一个非空的有界闭凸集的指标,以处理额外的约束。最后,仿射约束的增广拉格朗日方法来解决。我们的分析进行了广泛的选择,算法参数满足所谓的“开环”规则。作为主要结果,在较弱的条件下,我们证明了关于仿射约束的渐近可行性,对偶乘子的有界性,以及拉格朗日值收敛到鞍点最优值。我们还提供了可行性差距和拉格朗日值的收敛速度。
2019-10-07 math.OC
A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization
Huawei Belgium Research Center(华为比利时研究中心);Carnegie Mellon University(卡内基梅隆大学);Université de Mons(蒙斯大学)
本文提出了一种求解一类带线性约束的非凸非光滑多块组合最优化问题的算法框架,称为乘子惯性交替方向法(iADMM).我们的框架采用了一般的最小化优化(MM)原则更新每个块的变量,以便不仅统一以前的ADMM,在MM步骤中使用特定的代理函数的收敛性分析,但也导致新的高效ADMM计划。据我们所知,在非凸非光滑设置,ADMM结合MM原则来更新每个变量块,以及ADMM结合\emph{inertial terms for the primal variables}还没有在文献中研究。在标准假设下,我们证明了生成的迭代序列的渐近收敛性和整体收敛性。我们说明了iADMM对一类非凸低秩表示问题的有效性。
2022-06-24 cs.LG eess.SP math.OC
A Single-loop Stochastic Riemannian ADMM for Nonsmooth Composite Optimization
College of Science, National University of Defense Technology(国防科技大学理学院)
本文提出MARS-ADMM,一种单环随机黎曼ADMM算法,实现非光滑优化的近最优复杂度,优于现有方法并达到确定性优化的最优水平。
2026-09-30 math.OC