The proximal-proximal gradient algorithm
我们考虑最小化一个凸目标的问题,这个凸目标是光滑部分和Lipschitz连续梯度的和,以及一个非光滑部分。受各种应用的启发,我们着重研究了非光滑部分是一个真闭凸函数P和一个非零仿射映射的复合,且其邻近映射τP,τ> 0,易于计算的情形.在这种情况下,直接应用广泛使用的近似梯度算法并不一定会导致容易的子问题。鉴于此,我们提出了一种新的算法,近似-近似梯度算法,它允许容易的子问题。如果仿射映射只是恒等映射并且适当地选择步长,则我们的算法简化为近似梯度算法,并且它等效于将交替最小化算法[35]的变体应用于对偶问题。此外,它与不精确的近端梯度算法密切相关[29,33]。我们表明,从算法产生的整个序列收敛到一个最优解。我们还建立了迭代复杂度的上界。我们的随机实现问题和逻辑融合套索问题的数值实验表明,该算法表现相当不错的大规模的情况。
2013-08-27 math.OC
A New Exact Worst-Case Linear Convergence Rate of the Proximal Gradient Method
本文利用邻近梯度范数建立了邻近梯度法的一个新的精确最坏情况线性收敛速率,它补充了文[1]中的结果,并蕴含了一个精化的下降引理.基于新引理,在Polyak-Lojasiewicz不等式下,提高了目标函数精度的线性收敛速率.
2019-03-12 math.OC
Proximal gradient-type method with generalized distance and convergence analysis without global descent lemma
The Institute of Statistical Mathematics, Japan(日本统计数学研究所);Joint Support-Center for Data Science Research, Japan(日本数据科学研究联合支持中心);Department of Mathematics, College of Science and Technology, Nihon University, Japan(日本大学理工学部数学科)
本文提出了一种无需全局下降引理的近端梯度型方法,用于解决非凸复合优化问题,同时提供了新的锥优化内梯度方法收敛性结果。
2026-04-08 math.OC
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近,它也被扩展到非凸问题,目前最先进的是非单调加速邻近梯度算法。然而,它通常在每次迭代中需要两个精确的近端步骤,并且当近端步骤昂贵时可能是低效的。在本文中,我们提出了一个有效的近端梯度算法,只需要一个不精确的(因此成本较低)在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的,并有一个$O(1/k)$收敛速度,这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明,该算法具有与现有算法相当的性能,但速度要快得多。
2017-05-23 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具,并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案(Stella等人,在IEEE第56届CDC会议论文集,1939- 1944,2017),即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法,我们的理论结果涵盖了更广泛的一类算法,并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响,因为它们扩大了现有的范围和性能,并可能在未来,通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
On the Interplay between Acceleration and Identification for the Proximal Gradient algorithm
在本文中,我们研究了加速和结构识别的邻近梯度算法之间的相互作用。我们报告和分析了几种情况下,这种相互作用对算法的行为(迭代振荡,结构损失等)产生负面影响。我们提出了一种通用的方法,驯服加速度时,结构识别可能处于危险之中,它的好处是从一个收敛速度,在某些条件下的加速近端梯度相匹配。我们的经验表明,所提出的方法是更稳定的子空间识别相比,加速近端梯度法,同时保持类似的功能减少。
2020-08-31 math.OC
Proximal Gradient methods with Adaptive Subspace Sampling
机器学习或信号处理中的许多应用涉及非光滑最优化问题。这种非光滑性给最优解带来了低维结构。在本文中,我们提出了一个随机化的近端梯度法利用这种潜在的结构。我们引入两个关键组件:i)随机子空间邻近梯度算法; ii)基于识别的子空间采样。他们的相互作用带来了显着的性能改善典型的学习问题的维度探索。
2020-04-28 math.OC
Proximal-Proximal-Gradient Method
在本文中,我们提出了近端-近端梯度法(PPG),一种新的最优化方法,是简单的实现和简单的并行化。PPG推广了近似梯度法和ADMM,并适用于写为许多可微和许多不可微凸函数之和的最小化问题。非可微函数可以耦合。此外,我们提出了一个相关的随机变化,我们称之为随机PPG(S-PPG)。S-PPG可以被解释为将MISO和MISO推广到许多耦合的不可微凸函数的和。我们提出了许多应用程序,可以受益于PPG和S-PPG,并证明这两种方法的收敛。PPG和S-PPG的一个关键优势是,与现有方法相比,它能够直接处理大量不可微不可分离函数,并且具有与函数数量无关的恒定步长。这种非递减步长允许它们快速。
2017-10-18 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
提出两种基于不同近似二阶稳定点定义的二阶方法,用于求解\(\ell_1\)正则化复合优化问题,并分析其迭代复杂度、操作复杂度及局部超线性收敛率,数值实验验证了有效性。
2026-09-10 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估,我们使用近似的邻近点,由于捆绑策略,以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值,并报告一些初步的数值结果。
2020-03-06 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度(FDPG)方法以速率$O(1/k^2)$减小对偶函数,从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法,保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联,所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度,同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Inertial Proximal Incremental Aggregated Gradient Method
在本文中,我们介绍了一个惯性版本的近端增量聚合梯度法(PIAG)的光滑凸分量函数和一个可能的非光滑凸正则化函数的总和最小化。在理论上,我们证明了在步长不大于一个常数的条件下,惯性近似增量聚集收敛(iPIAG)方法在严格弱于强凸性的二次增长条件下具有全局线性收敛.此外,我们提出了两个数值实验表明,iPIAG优于原来的PIAG。
2017-12-18 math.OC
Inexact Proximal-Gradient Methods with Support Identification
我们考虑最小化一个目标函数的近似梯度法,该目标函数是一个光滑函数和一个非光滑凸函数的和。一个特点,区分我们的工作从大多数文献中是,我们假设相关的近端运营商不承认一个封闭形式的解决方案。为了应对这一挑战,我们研究了两个自适应和可实现的终止条件,决定如何准确地解决了近端梯度子问题。我们证明了所需的迭代次数为不精确的近端梯度法达到$τ> 0$近似一阶稳定点是$\mathcal{O}(τ^{-2})$,这匹配类似的结果,持有精确的子问题的解决方案时计算。此外,通过关注重叠组$\ell_1$正则化,我们提出了一个算法近似解决的近似梯度子问题,然后证明其迭代识别(渐近)的支持最优解。如果一个施加额外的控制,每个子问题的解决的准确性,我们给出了一个上界的最大迭代次数之前,得到一个最优解的支持。
2022-11-04 math.OC
Decomposable Norm Minimization with Proximal-Gradient Homotopy Algorithm
研究了范数正则化线性最小二乘问题的近似梯度同伦算法的收敛速度。同伦算法在一系列步骤中减少正则化参数,并在每一步使用近似梯度算法来解决问题。如果目标函数是强凸的,并且目标函数的光滑分量的梯度是Lipschitz连续的,则近似梯度算法具有线性的收敛速率。在许多应用中,这类问题中的目标函数不是强凸的,特别是当问题是高维的并且正则化子被选择为引起稀疏性或低维性时。我们证明了,如果线性采样矩阵满足一定的假设且正则化范数是可分解的,那么即使目标函数不是强凸的,近似梯度同伦算法也能收敛于\emph{linear rate}.我们的结果推广了关于$l_1$ -正则化最小二乘问题同伦算法线性收敛性的结果。数值实验支持理论收敛速度分析。
2016-09-27 math.OC
A proximal gradient method for control problems with nonsmooth and nonconvex control cost
研究了一种近似梯度法在非光滑非凸控制问题中的收敛性。在这里,我们专注于控制成本泛函,促进稀疏性,其中包括泛函的$L^p$型$p\in [0,1)$。我们证明了该方法的弱极限点的平稳性。这些性质弱于庞特里亚金的最大值原理和弱于$L$ -平稳性。
2020-07-22 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG,并证明其达到最优迭代与样本复杂度,且迭代序列满足中心极限定理。
2025-07-24 math.OC
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标:目标函数的准确性,距离最优和剩余梯度范数。证明方法依赖于最近的发展,在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下,这种方法允许获得精确的和非渐近的最坏情况下的保证,在概念上非常简单,虽然显然是新的。在此过程中,我们讨论了如何用较弱的假设来代替强凸性,同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后,我们扩展最近的结果,最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中,我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推(BPGe)。该算法扩展并加速了Bregman近似梯度算法(BPG),它绕过了近似梯度算法(PG)所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法(PGe)具有更高的通用性,并且由于外推步骤的存在,BPGe比BPG算法收敛更快。通过对收敛性的分析,证明了在适当选取参数的情况下,BPGe产生的序列的任何极限点都是问题的平稳点。此外,在Kurdyka-{K}ojasiewicz性质的假设下,证明了BPGe生成的序列整体收敛于一个平稳点.最后,为了说明新方法BPGe的潜力,我们将其应用于两个重要的实际问题,出现在许多基本的应用(不满足全局Lipschitz梯度连续性假设):泊松线性逆问题和二次逆问题。在测试中,加速的BPGe算法显示出更快的收敛结果,给出了一个有趣的新算法。
2019-04-25 math.OC
Linear Convergence of the Proximal Gradient Method for Composite Optimization Under the Polyak-Łojasiewicz Inequality and Its Variant
本文研究了复合函数在两类PL不等式下近端梯度法的线性收敛率,利用性能估计问题提供了新的显式收敛率或改进了复杂度界限,并通过数值实验验证了理论结果。
2025-06-30 math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University(北卡罗来纳州立大学)
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性,无需假设随机变量的有界性或方差控制,证明了迭代序列几乎处处收敛和均值收敛,应用于分类和凸可行性问题。
2026-04-15 math.OC
A Stronger Convergence Result on the Proximal Incremental Aggregated Gradient Method
研究了最小化一个非光滑凸函数与一个光滑分量函数之和的邻近增量聚集梯度(PIAG)方法的收敛速度.在每次迭代时,PIAG方法沿着通过在最后$K$迭代中至少一次递增地更新分量函数的梯度而形成的聚合梯度移动,并且相对于非光滑函数采取最接近的步骤。我们表明,PIAG算法达到迭代的复杂性,线性增长的条件数的问题和延迟参数$K$。这改进了文献中PIAG算法之前最著名的全局线性收敛速率,该收敛速度对$K$具有二次依赖性。
2016-11-23 math.OC
Proximal-Like Incremental Aggregated Gradient Method with Linear Convergence under Bregman Distance Growth Conditions
我们引入了一个统一的算法框架,称为近似增量聚合梯度(PLIAG)方法,用于最小化一个凸函数的和,该函数由可加的相对光滑的凸分量和适当的下半连续凸正则化函数组成,在一个抽象的可行集,其几何形状可以通过使用Legendre函数的域来捕获。PLIAG方法包括文献中的许多现有算法作为特例,例如近端梯度法、Bregman近端梯度法(也称为NoLips算法)、增量聚合梯度法、增量聚合近端法和近端增量聚合梯度法。它还包括一些新的有趣的迭代方案。首先,我们证明了PLIAG方法是全局次线性收敛的,而不需要一个增长条件,这扩展了次线性收敛结果的近似梯度算法的增量聚集型一阶方法。然后,通过在下降引理中嵌入Bregman距离增长条件,构造一个特殊的Lyapunov函数,证明了PLIAG方法在步长不大于某个正常数的条件下,在函数值和Bregman距离两方面都是全局线性收敛的.本文导出的这些收敛结果都是在文献中的标准假设之外建立的(即,而不需要目标的光滑部分的强凸性和Lipschitz梯度连续性)。当专门针对许多现有的算法,我们的结果恢复或补充其收敛结果严格较弱的条件下。
2019-08-09 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
Proximal-gradient algorithms for fractional programming
本文对实希尔伯特空间中的分式规划问题提出了两个近似梯度算法,其中分子是一个正常的、凸的、下连续的函数,分母是一个光滑函数,可以是凹的也可以是凸的.在迭代格式中,我们对非光滑分子执行一个近似步骤,对光滑分母执行一个梯度步骤。该算法在凹分母的情况下具有的特殊性,它产生的序列,同时接近(全球)最优解集和最优目标值的基本分式规划问题。在凸分母的情况下,数值方案接近目标函数的临界点的集合,只要后者满足Kurdyka-Eschojasiewicz性质。
2016-01-29 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题:一个是光滑的,由梯度预言机给出,另一个是在坐标块上可分的,在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度(APCG)方法来最小化这样的凸复合函数。对于强凸函数,我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性,我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化(ERM)问题,并设计有效的实现,避免全维向量运算。对于病态的ERM问题,我们的方法获得了改进的收敛速度比最先进的随机双坐标上升(SDCA)方法。
2014-07-04 math.OC
Newton acceleration on manifolds identified by proximal-gradient methods
已知近似方法用于识别非光滑最优化问题的底层子结构。更重要的是,在许多有趣的情况下,邻近算子的输出与其结构一起出现,而不需要额外的成本,一旦它与极小化器的结构相匹配,收敛性就会得到改善。然而,它是不可能的,在一般情况下,知道当前的结构是否是最终的或没有;这样的高度有价值的信息,必须自适应地利用。要做到这一点,我们把自己的情况下,近端梯度法可以识别流形的可微性的非光滑目标。利用这种流形识别,我们表明,黎曼牛顿类方法可以与近端梯度步骤交织在一起,以大大提高收敛性。证明了算法在求解非退化、非光滑、非凸最优化问题时的超线性收敛性。我们提供了数值例子的最优化问题正则化的$\ell_1$ -范数或跟踪范数。
2022-05-25 math.OC
An interior proximal gradient method for nonconvex optimization
针对带光滑不等式约束的非凸结构化最小化问题,提出结合内点法与近似梯度的算法,弥补两类方法的缺陷,推导了非凸情形下的收敛性,还改进了回溯技术无需步长上界。
2024-01-29 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题,其中目标函数为光滑函数和非光滑函数之和,约束函数为确定性函数,且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后,我们定制所提出的方法来解决随机非凸最优化问题与非线性约束,并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Convergence of Stochastic Proximal Gradient Algorithm
我们证明了新的收敛结果的随机邻近梯度算法适合于解决一大类的凸优化问题,其中凸目标函数的光滑和可能的非光滑组件的总和。在强凸情形下,我们考虑迭代的收敛性,得到了$O(1/n)$的非渐近期望界,以及在较弱的假设下的几乎必然收敛结果.我们的方法可以避免平均和削弱有界性假设,这是经常考虑在理论研究中,并可能不会在实践中得到满足。
2014-09-16 math.OC
Inertial Bregman Proximal Gradient Algorithm For Nonconvex Problem with Smooth Adaptable Property
本文研究了两个非凸函数之和的极小化问题:一个是可微的且满足光滑适应性。光滑适应性,也称为相对光滑条件,比全局梯度Lipschitz连续性弱。我们分析了一个惯性版本的Bregman邻近梯度(BPG)算法,并证明其平稳收敛。此外,我们还证明了惯性算法的次线性收敛性。此外,如果目标函数满足Kurdyka-Schojasiewicz(KL)性质,还可以保证其整体收敛到目标函数的临界点.
2019-04-09 math.OC
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化,证明其具有次线性收敛速率,并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中,我们适应近似增量聚合梯度法的鞍点问题,这是由解耦线性变换的正则化经验风险极小化模型。首先,提出了带外推的原始-对偶近端增量聚集(PD-PIAG)方法。证明了平均迭代序列的原对偶间隙次线性收敛于0,且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下,证明了迭代序列线性收敛于鞍点。然后,我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下,证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题,提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法,并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Proximal gradient methods beyond monotony
本文研究无凸性假设的复合优化问题,提出基于平均价值函数的自适应非单调近端梯度方法,在弱假设下证明了渐近收敛性并推导了全局最坏情况收敛速率,数值实验验证了其潜力。
2023-06-01 math.OC
Composite Optimization with Coupling Constraints via Dual Proximal Gradient Method with Applications to Asynchronous Networks
本文考虑了基于近似梯度法的多智能体网络中带耦合约束的复合最优化问题。在这个问题中,所有的代理人共同最小化的光滑和可能的非光滑部分组成的各个费用函数的总和。为此,我们推导出的对偶问题的概念Fenchel共轭,从而产生了双邻近梯度算法,允许不对称的个人解释的全球约束。然后,针对具有不同步长和通信时延的异步网络,提出了一种异步双邻近梯度算法。对于这两种算法,如果目标函数的非光滑部分结构简单,则只需通过简单的操作更新对偶变量,从而降低了整体的计算复杂性。通过求解一个电力市场社会福利最优化问题的数值模拟,验证了算法的有效性。
2021-08-27 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出两种黎曼流形上的近端梯度下降上升算法,解决非光滑非凸-非凹极小极大问题,证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
A Note on a Family of Proximal Gradient Methods for Quasi-static Incremental Problems in Elastoplastic Analysis
加速近端梯度法是近年来发展起来的一种求解具有不同屈服准则的弹塑性准静态增量问题的方法。数值实验表明,这些方法在计算塑性力学中的性能优于传统的基于优化的方法。然而,在文献中,这些算法被单独描述为特定的产量标准,因此,不存在应用程序的算法,以其他产量标准的指导。这篇短文提出了一种算法设计的一般形式,独立于特定形式的屈服准则,统一了现有的近端梯度法。明确的解释也给出了所提出的一般算法的每一步,使每个更新规则是链接到力学量方面的基本物理定律。
2020-06-05 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题,提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解,只要满足通过约束函数的Fenchel共轭表示的条件。最后,通过数值实验说明了该方法的功能,解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
Proximal extrapolated gradient methods with prediction and correction for monotone variational inequalities
针对希尔伯特空间中单调变分不等式,设计了一种基于近似梯度的有效方法--近似外推梯度法.所提出的方法扩展了可接受的参数范围,以获得更大的步长。该方法利用算子的局部信息预测步长,并通过线性插值修正步长,使其满足一个很弱的条件,该条件比生成序列的有界性更弱,且当算子是凸函数的梯度时,该条件始终成立.在较大的参数范围内,我们从理论上证明了它的收敛性和遍历收敛速度。此外,我们采用所提出的方法与非单调步长,提高了数值效率,并获得了步长相关的参数的上界通过一个非常简单的例子。相关的数值实验说明了更大的步长对效率的改善。
2019-12-04 math.OC
Convergence Properties of Monotone and Nonmonotone Proximal Gradient Methods Revisited
当复合最优化问题中的光滑函数和仅下连续函数之和为最小时,只要目标函数的下连续部分具有足够简单的结构,就可以用近似梯度法进行数值求解。与这些方法相关的可用收敛理论(大多数)要求目标函数的平滑部分的导数是(全局)Lipschitz连续的,并且这在一些实际相关的场景中可能是限制性的假设。在本文中,我们重新处理这个经典的话题,并提供收敛结果的经典(单调)近端梯度法和它的非单调扩展适用于(强)Lipschitz假设的情况下。这是可能的,因为代价是放弃收敛速度,我们省略了使用下降型引理在我们的分析。
2022-07-04 math.OC
Asymptotic Analysis of Gradient Mapping-type Stationarity Measure for the Sum of Nonconvex Nonsmooth Functions and Applications to Proximal Gradient-type Algorithms
Institute of Science Tokyo(东京科学大学)
本文针对非凸非光滑函数和提出梯度映射型平稳性测度并做渐近分析,将其应用于邻近梯度算法,解决了一个开放问题并提出带非单调线搜索的邻近变量平滑算法。
2026-09-09 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题,提出结合近端梯度下降与信赖域投影的子问题求解器,并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
The Smoothing Proximal Gradient Algorithm with Extrapolation for the Relaxation of $l_0$ Regularization Problem
本文考虑了Bian和Chen(SIAM J. Numer. Anal 58(1):858-883,2020),并针对这类问题提出了具有外推的平滑近端梯度算法(SPGE)。我们表明,由SPGE算法产生的序列的任何聚点是一个相当普遍的选择外推参数的松弛模型的提升平稳点。此外,它表明,由SPGE算法产生的整个序列收敛到一个提升的松弛模型的平稳点。建立了$o(\frac{1}{k^{1-σ}})(σ\in(0,1))$相对于平方近端残差的收敛速度。最后,我们进行了三个重要的数值实验,以说明更快的效率的SPGE算法相比,由卞和陈(SIAM J. Numer. Anal 58(1):858-883,2020)。
2021-12-02 math.OC
Loopless Proximal Riemannian Gradient EXTRA for Distributed Optimization on Compact Manifolds
School of Intelligent Engineering, Sun Yat-Sen University(中山大学智能工程学院);Department of Automation, Tsinghua University(清华大学自动化系);Department of Mechanical Engineering, University of Victoria(维多利亚大学机械工程系);The Key Laboratory of Autonomous Intelligent Unmanned Systems, Harbin Institute of Technology(哈尔滨工业大学自主智能无人系统重点实验室)
本文提出PR-EXTRA算法,用于在紧致流形上求解分布式复合优化问题,通过单次通信和局部梯度计算实现次线性收敛。
2026-03-09 math.OC
Adaptive Barzilai-Borwein Proximal Gradient Method for Nonconvex Optimization
China Agricultural University(中国农业大学)
本文提出用于非凸优化的自适应Barzilai-Borwein邻近梯度方法(AdaBBNC),将BB步长策略扩展至复合非凸优化问题,证明其迭代复杂度为O(ε⁻²),实验显示其在病态问题中表现更优。
2026-08-25 math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”(FISTA),它提供了经典的近端梯度法(PGM)的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题,使用相对误差标准,而不是外生和减少误差的规则。当近端操作者的评估是困难的,不精确版本的FISTA是必要的,这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告,以说明新方法的数值行为。
2020-05-07 math.OC
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件,我们可以证明即使对于非凸极小化问题,PIAG方法仍然具有良好的线性收敛性质.为了说明这一点,我们首先证明了生成的序列全局收敛到平稳点集。然后,存在一个阈值,使得当步长小于该阈值时,目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
A Relative Inexact Proximal Gradient Method with an Explicit Linesearch
针对目标函数为全定义域可微凸函数与非可微凸函数之和的复合凸优化问题,提出带显式线搜索的相对不精确邻近梯度法,证明收敛性并建立迭代复杂度,数值实验验证其实际有效性。
2025-04-14 math.OC
Multilevel Bregman Proximal Gradient Descent
Institute for Mathematics, Heidelberg University(海德堡大学数学研究所);Institute for Mathematics & Centre for Advanced Analytics and Predictive Sciences (CAAPS), University of Augsburg(奥格斯堡大学数学研究所与高级分析与预测科学中心)
针对具有相对Lipschitz光滑性的约束凸问题,提出多级Bregman近端梯度下降(ML BPGD)框架,扩展经典MGOPT以处理Bregman几何与约束域,确立全局线性收敛速率,在图像重建中验证有效性并提供理论保证。
2025-11-12 math.OC
Inexact JKO and proximal-gradient algorithms in the Wasserstein space
该研究针对Wasserstein空间中JKO格式与近端梯度算法的非精确求解问题,分析两类误差的影响,给出受控误差下的严格收敛保证,证明非精确步长仍可实现弱收敛,且结论可拓展至近端梯度算法。
2025-06-18 math.OC
Proximal gradient methods in Banach spaces
Institute of Mathematics, BTU Cottbus–Senf\-ten\-berg, 03046 Cottbus, Germany
本文将邻近梯度方法推广至一般 Banach 空间,证明凸与非凸问题的最坏情形收敛速率及正则驻点下的线性收敛,并在 Radon 测度空间的 PDE bang-bang 控制问题中验证 L¹ 方法。
2025-09-29 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先,我们提出了一个分散的近端随机梯度跟踪方法(DProxSGT)的非凸随机复合问题,数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本,我们扩展DProxSGT的压缩方法,通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新,这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数(但不是对每个样本函数)的平滑条件,所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明,我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能,并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC