Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法,用于求解复合优化问题,理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式,并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下,估计了最坏情况下的复杂性界.然后对算法进行加速,使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点(D-AIPP)方法的迭代复杂性,其中$f$是梯度为Lipschitz连续的(可能非凸)可微函数,$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代,即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的,用于不精确地求解在外迭代期间产生的凸邻近子问题。因此,D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度,提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地,目标函数具有$f + h$的形式,其中$f$是梯度为Lipschitz连续的可微函数,而$h$是具有有界域的闭凸函数。该方法,基本上,包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度(ACG)方法。结果表明,该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后,数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数(不一定是可微的)的总和。该算法涉及,在每次迭代中,不精确的评价的近端运营商和近似次梯度的功能(即:的$ε$ -次梯度)。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性,考虑到各种步长规则,包括两个,递减和恒定步长。对于其中一个函数是光滑的情况,我们提出了一个不精确的加速版本的邻近梯度法,并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化(SAPALM)方法,它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法,可证明收敛于一大类非凸,非光滑的问题。我们证明,SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量,我们可以期望看到一个线性加速,这符合已知的最佳界限不太复杂的问题,并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp(巴西圣保罗基金会应用数学学院);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学戈根数据科学与人工智能研究所及计算机系);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点(QP-AIPP)的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题,其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体,反过来,解决了一个给定的惩罚子问题,产生一系列的近端子问题,然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是,在前者的近端子问题总是凸的,而在后者的不一定是凸的,由于事实上,他们的prox参数选择尽可能积极,以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上,一些关键的收敛不等式。其结果是,该变体生成一系列的近端子问题,其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后,数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG,并证明其达到最优迭代与样本复杂度,且迭代序列满足中心极限定理。
2025-07-24 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法(iPADMM).我们发现,优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的,并表现出线性收敛速率下的局部误差界条件。在此基础上,我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果,该算法是针对多块复合凸优化问题而设计的。此外,我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性,也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
A single cut proximal bundle method for stochastic convex composite optimization
本文针对期望函数与闭凸复合函数之和的优化问题,提出了首个能处理连续分布的随机复合近邻束(SCPB)方法,并在参数已知或未知时分别证明其最优复杂度保证,实验表明其显著优于RSA方法。
2023-10-20 math.OC
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
An Inexact Preconditioned Zeroth-order Proximal Method for Composite Optimization
针对仅有函数值可用的复合优化问题,提出基于相同试验点有限差分估计梯度和预条件子的预处理零阶近端梯度法,并证明其全局收敛性与最坏情况复杂度,数值实验验证了方法的优越性。
2024-01-07 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法,该目标函数由三项组成:1)光滑函数; 2)非光滑函数,它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3)耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化(CPALM)来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性,我们得到的收敛性分析,并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Linear Convergence Rate Analysis of Proximal Generalized ADMM for Convex Composite Programming
近似广义乘子交替方向法(p-GADMM)对于求解高维到中等精度的凸复合规划问题是非常有效的。这种方法的整体收敛已由Xiao,Chen & Li [Math. Program.计算:2018],但没有给出其收敛速度。人们可能想当然地认为,通过模仿近似ADMM可以很容易地证明收敛速度,但我们发现松弛点肯定会给理论分析带来许多困难。本文研究了它的收敛性,证明了p-GADMM产生的序列在一定条件下具有Q-线性收敛速率.我们要注意的是,子问题的邻近项必须是正定的,这在大多数实际实现中是非常常见的,尽管它似乎有点强。
2022-08-18 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日(AS-PAL)方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日(AL)子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能,其次是一个完整的拉格朗日乘子更新。与其他AL方法相比,AS-PAL的主要优点是它不需要参数的知识(例如,约束矩阵的大小,目标函数曲率等)与最优化问题相关联,由于其自适应性质,不仅在选择接近步长,而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明,它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法,特别是当需要高精度。
2022-10-05 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University(俄勒冈州立大学);Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院);Federal University of Piauí(皮奥伊联邦大学)
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题,假设目标函数光滑部分弱凸,非光滑部分凸且块分离。方法自适应于所有参数,允许每个块近端子问题近似求解,通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数,无需约束矩阵秩假设,证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题,提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN,分别建立了全局/局部线性收敛与局部超线性收敛性质,并通过数值实验验证了其有效性。
2025-02-10 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法(ADMM),目标块为一个非光滑凸函数与一个光滑凸函数之和,$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项,我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处,而不是目前的要求,半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题,提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法,证明全局收敛性,设计高效缩放近似映射求解方案,实验验证其优于现有方法。
2023-08-29 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题,提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解,只要满足通过约束函数的Fenchel共轭表示的条件。最后,通过数值实验说明了该方法的功能,解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种无导数的近似牛顿型算法框架,用于解决复合优化问题,该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下,算法达到ε-最优解的迭代和oracle复杂度界,并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
A Unified Algorithmic Framework of Symmetric Gauss-Seidel Decomposition based Proximal ADMMs for Convex Composite Programming
针对凸组合最优化问题,给出了几种基于对称Gauss-Seidel分解的多块邻近交替方向法的推广.所提出的方法统一和完善了许多建设性的技术,分别开发的多块ADMM型算法的计算效率。具体而言,优化增广拉格朗日函数,不定邻近项,不精确对称高斯-赛德尔分解定理,近似求解子问题的容差准则,以及大的对偶步长,都被纳入一个算法框架,我们命名为sGS-imiPADMM。从近年来多块ADMM的收敛变体的流行,特别是对于高维多块凸复合锥规划问题,本文提出的统一,以及相应的收敛性结果,可能有很大的潜力,促进许多多块ADMM在各种问题设置的实施。
2019-04-04 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Proximal-Linearized NEP Method for Composite Optimization with Set-Inclusion and Manifold Constraints
School of Mathematics, South China University of Technology(华南理工大学数学学院)
本文提出一种非精确近端线性化精确惩罚算法,用于求解带锥约束与流形约束的DC复合优化问题,在温和假设下达到O(ε^{-2})复杂度,数值实验验证其有效性。
2026-10-27 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先,我们提出了一个分散的近端随机梯度跟踪方法(DProxSGT)的非凸随机复合问题,数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本,我们扩展DProxSGT的压缩方法,通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新,这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数(但不是对每个样本函数)的平滑条件,所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明,我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能,并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
A Proximal Gradient Framework for Composite Multiobjective Optimization on Riemannian Manifolds
Faculty of Economics and Business Administration, Tokyo Metropolitan University(东京都立大学经济商学院)
本文提出了一种用于流形上复合优化问题的Riemannian多目标近似梯度方法(RMPGM),直接处理向量值目标并保证全局收敛到Pareto stationary点,具有O(1/k)收敛速度。进一步开发了两种变体以提高实用性和性能:允许在子问题求解中控制近似程度的不精确RMPGM,以及自适应调整惩罚参数的信赖域RMPGM,达到O(ε^{-2})迭代复杂度。数值实验表明,所提方法在性能上优于基于次梯度的基线方法。
2026-05-16 math.OC
Decentralized Proximal Optimization Method with Consensus Procedure
针对分散复合优化问题,提出基于加速近向梯度下降并在计算间进行多次共识迭代的方法,证明共识过程适用于复合优化且结构分析简单。
2023-04-07 math.OC
A Generalized Alternating Direction Method of Multipliers with Semi-Proximal Terms for Convex Composite Conic Programming
本文提出了一种带半邻近项的广义乘子交替方向法(ADMM),用于求解一类凸复合锥最优化问题,其中有些问题是高维的,具有中等精度.我们的主要动机是,这种方法,加上适当选择的半邻近项,如最近的对称高斯-赛德尔技术的进步所产生的,是适用于解决这些问题。此外,所提出的方法,放松原始和对偶变量在一个自然的方式与一个松弛因子的间隔$(0,2)$,有可能提高经典的ADMM的性能。对各种双非负半定规划问题,无论有无不等式约束,进行了广泛的数值实验。结果表明,所有这些多块问题都可以逐次求解,且松弛步长的优势是明显的。
2018-01-16 math.OC
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题,提出带非精确准则的近端MM算法并证明其收敛性,在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题,建立了基于sPADMM(半邻近交替方向法)的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果,这是来自一个新的广义HPE(混合近端额外梯度)迭代公式的帮助下,第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
On proximal augmented Lagrangian based decomposition methods for dual block-angular convex composite programming problems
对于具有对偶块角结构的凸复合规划问题,我们设计了基于非精确近似增广拉格朗日分解方法。我们的方法特别适合于凸二次规划问题所产生的随机规划模型。算法框架是基于在[Chen,Sun,Toh,Math. Prog. 161:237--270]的目标问题的对偶,以及最近开发的对称高斯-赛德尔分解定理的应用解决一个邻近的多块凸复合二次规划问题。算法设计中的关键问题首先是设计合适的近似项来分解目标问题的对偶变量块的计算,使每次迭代中的子问题更容易求解,其次是开发新的数值格式来有效地求解分解的子问题。我们的不精确增广拉格朗日分解方法有保证的收敛性。我们提出了一个应用所提出的算法的双重非负松弛的无容量限制的设施定位问题,以及两阶段的随机最优化问题。我们进行了大量的数值实验,以评估我们的方法对国家的最先进的求解器,如Guidelines和MOSEK的性能。此外,我们提出的算法也毫不逊色于著名的渐进式对冲算法的Rockafellar和Wets。
2023-03-13 math.OC
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China(中国科学技术大学)
异步并行优化算法用于解决大规模机器学习问题,近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法,解耦异步近端随机梯度下降(DAP-SGD),以最小化的目标函数,是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降(TAP-SGD),其中主进行大部分的计算负载,所提出的算法卸载的大部分计算任务从主工人,并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法,其性能是合理的理论收敛性分析。具体地,当步长减小时,DAP-SGD实现$O(\log T/T)$速率,而当步长恒定时,DAP-SGD实现遍历$O(1/\sqrt{T})$速率,其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous and time-varying proximal type dynamics multi-agent network games
在本文中,我们研究了非合作多智能体网络游戏的背景下,邻近型动力学。这些动态出现在不同的应用中,因为它们描述了多代理网络中的分布式决策,例如,在意见动力学、分布式模型拟合和网络信息融合中,每个代理的目标是仅使用本地信息来寻求均衡。我们分析了这类游戏的几个共轭,提供收敛结果,或设计寻求平衡的算法时,原来的动态无法收敛。对于仅受局部约束的游戏,我们研究了同步/异步动态和时变通信网络。对于除耦合约束外的博弈问题,我们设计了一个收敛于一类特殊博弈均衡的均衡搜索算法。最后,我们通过数值模拟的意见动力学和分布式模型拟合的理论结果进行了验证。
2019-09-24 cs.GT math.OC
Efficiency of stochastic coordinate proximal gradient methods on nonseparable composite optimization
本文针对不可分复合优化问题,提出一种随机坐标近端梯度方法,通过沿随机子空间构建局部近似模型实现可扩展性,并提供了凸与非凸设定下的概率最坏情况复杂度分析,数值实验验证了其高效性。
2024-01-09 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology(以色列理工学院)
本文提出弱近端牛顿 oracle 方法,通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Inexact Online Proximal Mirror Descent for time-varying composite optimization
本文研究含梯度与近端算子误差的在线近端镜像下降算法,在凸光滑条件下获得了动态遗憾精确估计,消除了先前结果的$O(T)$项并将适用域扩展至全空间$\mathbb{R}^n$。
2023-04-10 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例,用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地,网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下,我们提出了第一个可证明有效的随机邻近梯度框架,称为ProxGT。具体来说,我们构建和分析ProxGT的几个实例,分别为不同的问题类的兴趣。值得注意的是,我们表明,这些实例的样本复杂性是网络拓扑无关的,并实现线性加速相比,在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想,发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件,使我们能够开发一类同伦近变度量法。我们表明,在适当的假设,如强凸型和光滑性,或自和谐,我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法,可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发,构造了原问题的对偶问题,并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题,我们建议将这个子问题对偶化,回到原始空间。由此产生的子问题共享一些相似性,促进了原问题的正则化,并导致一些计算上的优势。作为一个副产品,我们专门提出的算法来解决协方差估计问题。令人惊讶的是,我们的新算法不需要任何矩阵求逆或Cholesky分解,和函数评估,而它的作品在原始空间的稀疏结构,促进了正则化。几个应用的数值例子来说明我们的理论发展,并与国家的艺术比较。
2018-12-13 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法(DP.ADMM),其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括:(i)部分邻近增广拉格朗日(AL)更新的序列,(ii)欠松弛拉格朗日乘子更新,以及(iii)检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下,对阻尼因子和欠松弛因子有一定的要求,证明了对于给定的数值公差$\varepsilon>0$,DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是,该方法的收敛性,而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Proximal-Free ADMM for Decentralized Composite Optimization via Graph Simplification
我们考虑对称连通图上的分散复合优化问题,其中每个节点拥有自己的代理特定的私有凸函数,并且只允许有直接链接的节点之间进行通信.在乘子的交替方向法(ADMM)框架中,已经提出了多种算法来解决这样的问题。然而,这些算法中的许多算法需要在增广拉格朗日函数中包括一些近似项,使得所得到的算法可以以分散的方式实现。近端项的使用减慢了收敛速度,因为它迫使当前解保持接近在先前迭代中获得的解。为了解决这个问题,在本文中,我们首先介绍了最简单的二部图的概念,它被定义为一个二部图,有一个最小数量的边缘,以保持图连接。提出了一个简单的基于消息传递的两步过程来找到与原始图相关联的最简单的二部图。我们证明了最简单的二部图具有一些有趣的性质。利用这些性质,一个ADMM不涉及任何邻近项可以开发执行分散的复合优化最简单的二部图。仿真结果表明,我们提出的方法实现了更快的收敛速度比现有的国家的最先进的分散式算法。
2018-09-05 math.OC
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications(重庆邮电大学数学与统计学院)
本文提出一种近端随机梯度算法(PSGA),通过引入方差减少技术和自适应步长策略,解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性,并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标:目标函数的准确性,距离最优和剩余梯度范数。证明方法依赖于最近的发展,在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下,这种方法允许获得精确的和非渐近的最坏情况下的保证,在概念上非常简单,虽然显然是新的。在此过程中,我们讨论了如何用较弱的假设来代替强凸性,同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后,我们扩展最近的结果,最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大(因此非光滑)问题的稳定点,通过应用著名的算法,以复合光滑近似的原始问题。更具体地说,在不受约束的(resp。约束)的情况下,原问题的近似稳定点,通过应用,其复合光滑近似,加速不精确的邻近点(分别)。二次罚分)的方法在以前的文件中提出的作者。迭代的复杂性界限,这两个平滑计划也成立。最后,数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
A proximal MM method for the zero-norm regularized PLQ composite optimization problem
研究了一类零范数正则化分段线性二次(PLQ)复合极小化问题,其中零范数正则化$\ell_1$ -损失极小化问题是其特例.对于这类非凸非光滑问题,我们证明了其等价的MPEC重构在全局最优解集上是部分平静的,并利用这一性质导出了一族等价的DC代理。然后,我们提出了一个近似的优化最小化(MM)方法,凸松弛方法不在DC算法框架,解决一个DC代理人,这是一个包含三个非光滑项的最小化问题。对于这种方法,我们建立了它的整体收敛和线性收敛速率,并在适当的条件下证明了生成序列的极限不仅是局部最优值,而且是统计意义上的好的临界点。数值实验进行了合成和真实数据的近端MM方法的子问题解决的对偶半光滑牛顿方法,以确认我们的理论研究结果,并与收敛的不定近端ADMM部分平滑DC代理验证其优越性的解决方案的质量和计算时间。
2020-01-17 math.OC
Variable Smoothing Alternating Proximal Gradient Algorithm for Coupled Composite Optimization
Chongqing Technology and Business University(重庆工商大学);RMIT University(皇家墨尔本理工大学);Yunnan Normal University(云南师范大学)
针对含非光滑弱凸复合项的非凸优化问题,提出变平滑交替近端梯度算法,证明了 $\mathcal{O}(\varepsilon^{-3})$ 迭代复杂度,并在稀疏信号恢复和图像去噪实验中验证了其优越性。
2025-10-31 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题,提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架,我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划,如对角二次近似法的Mulvey和Ruszczyovski。此外,我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明,我们的算法可以很好地执行,即使是非常大的情况下,原始块角凸QP问题。例如,一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解,而Guesthouse花费了3个多小时,另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解,而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
Parameter-free proximal bundle methods with adaptive stepsizes for hybrid convex composite optimization problems
School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
针对混合凸复合优化问题,提出一种无参数自适应近端束方法,通过自适应可变近端步长和严重步判定准则减少连续空步与迭代次数,并对初始步长保持稳健。
2026-11-11 math.OC
Asynchronous Distributed Optimization via Randomized Dual Proximal Gradient
Università del Salento(萨伦托大学)
本文提出基于对偶问题的近似梯度方法,通过选择合适的原变量副本,使对偶问题分离,并开发异步算法以实现非重叠块的分布式优化。
2016-06-24 cs.SY eess.SY math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化(HCCO)问题的近似束(PB)框架,建立了PB框架中任一变体的迭代复杂度上界,并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的(即,它们的实现不需要与HCCO实例相关联的参数),另一个新提出的(据作者所知)不是HCCO实例,但具有生成简单的(即一次切割的)捆绑模型的优点。本文还提出了一个通用的自适应PB变体(这不一定是一个框架的实例)的基础上一切模型,并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC