Several Accelerated and Stable Pseudo-Energy-Dissipative Lagrange Multiplier Methods based on Second-order Flow and Variable Splitting
Shandong University(山东大学);Eastern Institute of Technology(东方理工学院);The Chinese University of Hong Kong(香港中文大学)
基于二阶流和变量分裂,提出两种加速且稳定的拉格朗日乘子优化方法,具有伪能量耗散和收敛保证,实验验证其能逃离局部极小并鲁棒于学习率选择。
2026-10-01 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题,提出两种结合拟牛顿方向的线搜索算法,保留原收敛性且提升收敛速度与鲁棒性,采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST(阿卜杜拉国王科技大学)
提出一种统一的Bregman原对偶框架,通过Chambolle-Pock算法导出四种加速变体(ACV-I/II和APDTR-I/II),并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度,消除了先前工作的限制性假设。
2026-05-26 math.OC
A relaxation accelerated two-sweep modulus-based matrix splitting iteration method for solving linear complementarity problems
对于线性互补性问题,提出了一种松弛加速的双扫描矩阵分裂迭代法。收敛性分析表明,当系统矩阵为$H_+$ -矩阵时,该方法收敛于线性互补性问题的精确解,并给出了收敛条件.数值实验表明,该方法比现有的方法更有效。
2020-12-01 cs.NA math.NA math.OC
Restarting accelerated gradient methods with a rough strong convexity estimate
我们提出了新的重新启动策略的加速梯度和加速坐标下降法。我们的主要贡献是表明,重新启动的方法具有几何收敛速率的任何重新启动的频率,所以它允许我们采取利润的重新启动,即使当我们不知道强凸性系数。该方案可以与自适应重新启动相结合,导致自适应重新启动计划与加速梯度法的第一个可证明的收敛性。最后,我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2016-09-23 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出APAPC算法,通过整合Nesterov动量提升对偶方法的收敛性,实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Accelerated projection-based forward-backward splitting algorithms for monotone inclusion problems
本文基于惯性和Tseng的思想,提出了两个求解无穷维希尔伯特空间中单调包含问题的投影算法。在一定条件下得到了强收敛解定理。数值实验表明,本文算法比已有的结果更有效。
2020-05-05 math.FA math.OC
Accelerated Plug-and-Play Davis-Yin Splitting for Nonconvex Image Reconstruction
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本文提出加速即插即用Davis-Yin分裂法,统一分析非凸图像重建问题,结合FISTA加速、线搜索与PnP去噪,实验验证其收敛性和重建质量。
2026-09-22 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度,同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸(CNC)正则化问题计算具挑战性且研究不足的问题,提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题,证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG,并证明其达到最优迭代与样本复杂度,且迭代序列满足中心极限定理。
2025-07-24 math.OC
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流(H-NAG)。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性,并提出了新的一阶加速最优化方法。结果表明,对于凸和强凸目标,(半)隐格式总是能达到线性速率,而显格式具有最优(加速)速率。特别是,Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外,还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Accelerated forward-backward and Douglas-Rachford splitting dynamics
本文研究加速 FB 和 DR 分裂算法的连续时间动力学,利用变度量梯度解释构造 Lyapunov 函数,建立凸与强凸非光滑复合优化问题的加速次线性和指数收敛速率,并通过实验验证其有效性。
2024-11-24 cs.LG cs.SY eess.SY
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例,并且它还允许我们(i)对具有约束的问题进行建模,以及(ii)设计新类型的预言机(例如,有限和问题的预言,如SAGA)。我们的结果是通过重新访问Nesterov的加速算法,并在不改变基本的一阶方法的情况下,设计随机预言机是有用的。
2022-07-24 math.OC
On the Nonoccurrence of Gradient Restart in Nesterov Accelerated Gradient Method
Tsinghua University(清华大学);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院);Hunan University(湖南大学);The Hong Kong Polytechnic University(香港理工大学)
本文针对Nesterov加速梯度方法及其连续时间模型,构造了梯度重启从未发生的光滑强凸目标函数,否定了梯度重启可保证连续动力学线性收敛的开放问题。
2026-10-20 math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系);School of Mathematics, Nanjing University(南京大学数学学院)
本文提出名为UGM的统一框架,将重球法与梯度下降结合,开发增强型加速梯度算法,经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
The Log-Exponential Smoothing Technique and Nesterov's Accelerated Gradient Method for Generalized Sylvester Problems
西尔维斯特最小的封闭圆问题涉及到寻找最小的圆,封闭在平面上的有限数量的点。我们考虑广义版本的西尔维斯特问题,其中的点被取代的集合。基于对数指数平滑技术和Nesterov的加速梯度法,我们给出了一个有效的数值算法来求解这些问题。
2015-03-17 math.OC
An extra gradient Anderson-accelerated algorithm for pseudomonotone variational inequalities
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
提出一种结合线搜索额外梯度与Anderson加速的算法,在无Lipschitz连续性和压缩性假设下保证全局收敛并加速收敛,数值实验验证其有效性。
2026-05-26 math.OC
Accelerated and nonaccelerated stochastic gradient descent with model conception
在本文中,我们描述了一种新的方法来获得光滑(强)凸优化任务的最优方法的收敛速度。我们的方法是基于梯度具有非随机小噪声的任务的结果。与以前的结果不同,我们得到了收敛速度与模型的概念。
2020-07-13 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学 重庆应用数学中心)
本文针对多目标优化加速梯度法的点收敛性公开问题,分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
Accelerated gradient methods with absolute and relative noise in the gradient
本文研究光滑凸优化问题在目标梯度信息不精确情况下的加速一阶方法。梯度中的噪声被认为是具有两种可能性的加性:由常数限制的绝对噪声,以及与梯度的范数成比例的相对噪声。我们研究了凸和强凸条件下的误差积累,与以往大多数工作的主要区别是可行集可以是无界的。后者的关键是证明算法轨迹上的一个界。我们也给出了一个停止准则的算法,并考虑扩展到随机最优化和复合非光滑问题的情况。
2023-01-07 math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为,特别关注它们在严格鞍点附近的行为。加速方法是迭代法,其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明,通过稳定的流形定理,重球方法是不可能收敛到严格的鞍点,这是点的目标的梯度为零,但Hessian至少有一个负特征值。然后,我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为,表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine(加州大学尔湾分校)
本文提出A$^2$GD方法,通过自适应步长和动量加速,在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
University of California, Los Angeles(加州大学洛杉矶分校)
本文通过AI辅助证明了Nesterov加速梯度法的点收敛性,解决了该领域长期存在的开放性问题。
2026-01-19 math.OC
A FISTA-type Riemannian Accelerated Proximal Gradient Method
School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院);College of Mathematics and Computer Science, Yan’an University(延安大学数学与计算机学院);Shanghai Institute of Applied Mathematics and Mechanics, Shanghai University(上海大学上海应用数学和力学研究所);School of Mechanics and Engineering Science, Shanghai University(上海大学力学与工程科学学院)
针对流形上的非光滑优化问题,提出统一的黎曼加速近端梯度方法,在测地凸和强凸情形下建立加速收敛速率,并引入保护机制保证非凸全局收敛,数值实验验证了理论加速。
2026-11-20 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251(波尔多大学,波尔多理工学院,法国国家科学研究中心,IMB);IMT, Univ. Toulouse, INSA Toulouse(数学与计算机科学高等研究学院,图卢兹大学,图卢兹国立应用科学学院)
本文研究Nesterov加速梯度(NAG)算法在强类凸函数上的收敛性,通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛,并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化,证明其具有次线性收敛速率,并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
Accelerated Gradient Methods with Memory
针对强凸函数的极小化问题,提出了一组带记忆的一阶加速算法。这些算法的区别在于它们使用梯度步骤的历史记录。所提出的算法的收敛速度的增加是以鲁棒性为代价的,这是一个通过基于自适应重启的切换控制器来解决的问题。几个数值例子突出了所提出的方法的好处,快速梯度法。例如,它示出,这些基于梯度的方法可以最小化的Rosenbrock香蕉函数$7.58 \times 10^{-12}$在43次迭代从初始条件的$(-1,1)$。
2018-08-29 math.OC
Convergence Analysis of Accelerated Stochastic Gradient Descent under the Growth Condition
本文在增长条件下分析四类加速随机梯度方法,证明其相对SGD具有加速收敛性,并提出尾部平均方案使DAM+和iDAM+几乎达到理论下界。
2023-10-30 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题,提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法,并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中,我们提出了一种新的方法来获得光滑随机(强)凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反,我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Region-Preserving Accelerated Gradient Methods for Geodesically Convex Optimization
National Institute of Informatics (NII)(信息处理学会);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学院大学)
针对黎曼流形上的测地凸优化,提出保区域的加速梯度法,无需预先假设迭代点区域,可处理正负曲率,获加速收敛速率且无需重启。
2026-11-02 math.OC
Multiobjective Accelerated Gradient-like Flow with Asymptotic Vanishing Normalized Gradient
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆应用数学中心,重庆师范大学)
本文提出了一种多目标加速梯度流方法,通过渐消归一化梯度实现收敛率$O(1/t^2)$,并验证其在多目标优化中的有效性。
2025-11-22 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题:一个是光滑的,由梯度预言机给出,另一个是在坐标块上可分的,在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度(APCG)方法来最小化这样的凸复合函数。对于强凸函数,我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性,我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化(ERM)问题,并设计有效的实现,避免全维向量运算。对于病态的ERM问题,我们的方法获得了改进的收敛速度比最先进的随机双坐标上升(SDCA)方法。
2014-07-04 math.OC
Accelerated Gradient Methods for Geodesically Convex Optimization: Tractable Algorithms and Convergence Analysis
本文扩展Nesterov加速梯度方法,提出首个用于黎曼测地凸优化的完全加速一阶算法,在标准假设下达到与欧氏空间相同的迭代复杂度,并利用度量扭曲引理和势函数完成收敛性分析。
2025-08-09 math.OC
Adaptive Restart for Accelerated Gradient Schemes
在本文中,我们展示了一个简单的启发式自适应重新启动技术,可以显着提高加速梯度格式的收敛速度。该技术的分析依赖于观察,这些计划表现出两种行为模式,这取决于施加了多少动量。在我们所说的“高动量”机制中,由加速梯度方案产生的迭代表现出周期性行为,其中周期与目标函数的局部条件数的平方根成比例。这暗示了一种重新启动技术,每当我们观察到周期性行为时,我们就会重置动量。我们提供的分析表明,在许多情况下,自适应重新启动允许我们恢复的最佳收敛速率,没有先验知识的函数参数。
2012-04-18 math.OC
A New Perspective of Accelerated Gradient Methods: The Controlled Invariant Manifold Approach
本文从受控动力系统视角提出一种加速梯度算法生成方法,旨在以最少迭代次数到达满足梯度为零的最优解,从而降低计算复杂度。
2023-05-31 math.OC
On Accelerated Methods in Optimization
在凸优化中,存在{ \em加速}现象,其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中,我们表明,家庭的高阶梯度法在离散时间(广义梯度下降)对应于家庭的一阶重标度梯度流在连续时间。另一方面,{ \em加速}高阶梯度法(广义加速镜像下降法)族对应于连续时间中的二阶微分方程族,每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量,它对应于Nesterov的重新启动计划的推广,并实现了离散时间的线性收敛速率。最后,我们证明了拉格朗日族在时间膨胀(加速时间作用下的轨道)下是封闭的,这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
On the Convergence and Complexity of Proximal Gradient and Accelerated Proximal Gradient Methods under Adaptive Gradient Estimation
本文针对光滑部分难以精确求梯度的复合优化问题,提出基于自适应梯度估计的近端梯度法与加速近端梯度法,并在非凸、凸及强凸情形下证明其同时达到一阶方法的最优迭代复杂度与随机梯度评估复杂度。
2025-07-19 math.OC
Adaptive restart of accelerated gradient methods under local quadratic growth condition
通过分析局部二次增长条件下的加速近似梯度法,我们证明了在任何频率下重新启动这些算法给出了一个全局线性收敛算法。这个结果以前只在足够长的频率下才知道。然后,由于收敛速率取决于频率和二次误差界之间的匹配,我们设计了一个方案,从观察到的梯度映射的范数的减少自动适应重新启动的频率。我们的算法有一个更好的理论界比以前提出的方法的适应二次误差界的目标。我们说明了效率的Lasso问题和正则化的逻辑斯谛回归问题的算法。
2017-09-07 math.OC
GPU-Accelerated Bregman Douglas-Rachford Splitting for Discrete Optimal Transport
Rice University(莱斯大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出GPU加速的Bregman Douglas-Rachford分裂算法,针对三种输入格式的离散最优传输问题,通过硬件感知设计提升数值稳定性与运行速度,并在统一度量下超越八个基线求解器,达到最先进性能。
2026-10-30 cs.LG math.OC
Accelerated gradient descent: A guaranteed bound for a heuristic restart strategy
本文证明O'Donoghue和Candès的梯度重启策略在一维函数上保持并改进加速梯度下降的$O(1/k^2)$收敛界,并推广到可分离函数。
2023-10-11 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题,提出了两种不精确复合梯度法,一种是内加速法,另一种是双加速法。更具体地说,这些问题的目标函数是$f_1 + f_2 + h$的形式,其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数,$h$是适当的闭凸矩阵函数,并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题,涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同,所提出的方法利用了目标函数的复合结构和谱结构,以有效地生成它们的解决方案。数值实验表明,这些方法的实用性,一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
HNAG$^{++}$: An Accelerated Gradient Method with a Refined Asymptotic Rate for Strongly Convex Optimization
University of California, Irvine(加州大学尔湾分校)
针对光滑强凸优化问题,提出两种加速一阶方法HNAG$^+$和HNAG$^{++}$,通过优化HNAG流的强制常数并使用精细的Lyapunov分析,证明HNAG$^+$达到最优全局速率$1-2/\sqrtκ$,而HNAG$^{++}$在局部渐近对称函数类上达到已知最佳渐近速率$1-2\sqrt{2/κ}$。
2026-07-15 math.OC
Convergence Rates of Accelerated Markov Gradient Descent with Applications in Reinforcement Learning
受机器学习中广泛应用的启发,我们研究了流行的加速随机梯度下降(ASGD)算法来解决(可能是非凸的)最优化问题。我们的特点是这种方法的有限时间性能时,梯度采样马尔可夫过程,因此有偏和依赖于从时间步到时间步;相比之下,在现有的工作中的分析在很大程度上依赖于随机梯度是独立的,有时无偏的。我们的主要贡献表明,在某些(标准)的假设下,底层的马尔可夫链产生的梯度,ASGD收敛在几乎相同的速度与马尔可夫梯度样本与独立的梯度样本。唯一的区别是一个对数因子,它说明了马尔可夫链的混合时间。这项研究的主要动机之一是复杂的控制问题,可以通过马尔可夫决策过程建模,并使用强化学习来解决。我们将加速方法应用于OpenAI Gym和Mujoco中的几个具有挑战性的问题,并表明加速可以显着提高经典时间差学习和REINFORCE算法的性能。
2020-10-19 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中,我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先,我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法,比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation,Popov,和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定,并不同于涅斯捷罗夫的加速。然后,我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
An Accelerated Composite Gradient Method for Large-scale Composite Objective Problems
我们引入了一个框架,我们表示为增广估计序列,推导出快速算法可证明收敛保证。我们使用这个框架来构造一个新的一阶格式,加速复合梯度法(ACGM),复合目标结构的大规模问题。ACGM超越了国家的最先进的方法,这类问题的可证明的收敛速度,无论是在强和非强凸的情况下,并赋予了一个有效的步长搜索过程。我们支持我们的新方法的有效性与仿真结果。
2017-04-05 math.OC
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester(罗切斯特大学)
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法,分别在无约束和线性约束问题中达到最优一阶复杂度,通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
Relaxed Weak Accelerated Proximal Gradient Method: a Unified Framework for Nesterov's Accelerations
本文提出松弛弱加速近端梯度法R-WAPG,用远弱于Nesterov规则的序列统一强凸与凸问题的收敛分析,并给出无需参数的Free R-WAPG形式,数值实验验证其优势。
2025-04-09 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机与人工智能研究所)
本文提出了一种自适应加速梯度法,用于解决光滑凸优化问题,通过局部估计光滑性常数自适应调整步长,实现函数值的快速收敛。
2025-12-23 math.OC
Wasserstein accelerated proximal gradient algorithms
Institute of Science Tokyo(东京科学大学);Aarhus University(奥胡斯大学);Kyoto University(京都大学);CyberAgent;RIKEN(理化学研究所)
本文针对概率测度二次Wasserstein空间的复合优化问题,提出Wasserstein加速邻近梯度算法,证明其收敛速率并描述粒子近似,为相关优化问题提供了新的求解方法。
2026-11-03 math.OC
An Adaptive and Parameter-Free Nesterov's Accelerated Gradient Method for Convex Optimization
本研究提出无参数无搜索的自适应加速梯度法AdaNAG,通过Lyapunov分析证明其L-光滑凸函数下的加速收敛率,同时衍生出AdaGD与广义AdaNAG,实验显示其在代表性应用中优于近期同类自适应方法。
2025-05-16 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法(SAPGM)求解非光滑多目标优化,通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$,并证明迭代序列收敛到Pareto最优解,数值实验验证了方法有效性。
2024-10-18 math.OC