One-Point Gradient-Free Methods for Smooth and Non-Smooth Saddle-Point Problems
本文研究了随机鞍点问题$\min_{x}\max_{y} φ(x, y)$的单点反馈无梯度方法。对于非光滑和光滑的情况下，我们提出了分析在一个一般的几何设置与任意Bregman分歧。对于高阶光滑的问题，分析只在欧几里德的情况下进行。我们得到的估计重复目前已知的最好的无梯度方法的估计与一点反馈的问题，想象一个凸或强凸函数。本文使用三种主要方法通过有限差分来恢复梯度：随机方向的标准，以及其修改与内核和残差反馈。我们还提供了实验来比较这些方法的矩阵对策。
2021-02-27 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界（即，效率）的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题，在初始费用函数值有界的条件下，所得到的方法的最坏情况梯度界是最优的直到一个常数.然后，本文说明了所提出的方法具有计算效率的形式，是类似于优化的梯度法。
2020-10-27 math.OC
Inertial Bregman Proximal Gradient Algorithm For Nonconvex Problem with Smooth Adaptable Property
本文研究了两个非凸函数之和的极小化问题：一个是可微的且满足光滑适应性。光滑适应性，也称为相对光滑条件，比全局梯度Lipschitz连续性弱。我们分析了一个惯性版本的Bregman邻近梯度（BPG）算法，并证明其平稳收敛。此外，我们还证明了惯性算法的次线性收敛性。此外，如果目标函数满足Kurdyka-Schojasiewicz（KL）性质，还可以保证其整体收敛到目标函数的临界点.
2019-04-09 math.OC
Tight convergence rates of the gradient method on smooth hypoconvex functions
我们进行了第一次紧收敛分析的梯度法与不同的步长时，适用于光滑次凸（弱凸）的功能。亚凸函数是曲率有界的光滑非凸函数，假设其属于区间$[μ, L]$，其中$μ<0$。我们的收敛速度改进和扩展了现有的分析光滑非凸函数的$L$ -Lipschitz梯度（这对应于情况$μ=-L$），并顺利地插入类和类之间的光滑凸函数。我们得到我们的结果，使用性能估计框架适应次凸函数，新的插值条件推导。我们推导出明确的上界的最小梯度范数的迭代步长的大范围内，解释为什么所有这样的速率共享一个共同的结构，并证明这些速率是紧时，步长小于或等于$1/L$。最后，我们确定了最佳的恒定步长，最大限度地减少最坏的情况下的梯度法应用于次凸函数。
2022-06-21 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Nonlinearly Preconditioned Gradient Methods under Generalized Smoothness
该研究基于抽象凸性提出适用范围更广的广义光滑性，构建涵盖梯度裁剪法的非线性预条件梯度方法框架，为$(L_0,L_1)$-光滑函数类提供新见解，并验证了方法在凸与非凸场景下的收敛性。
2025-06-16 math.OC
Zero-Order Stochastic Conditional Gradient Sliding Method for Non-smooth Convex Optimization
本文针对带约束的非光滑随机凸优化问题，提出零阶随机条件梯度滑动算法 ZO-SCGS，在非光滑与光滑黑箱情形下均表现鲁棒，并在光滑情形下以更少 oracle 调用超越现有最优算法。
2023-05-25 math.OC
The Log-Exponential Smoothing Technique and Nesterov's Accelerated Gradient Method for Generalized Sylvester Problems
西尔维斯特最小的封闭圆问题涉及到寻找最小的圆，封闭在平面上的有限数量的点。我们考虑广义版本的西尔维斯特问题，其中的点被取代的集合。基于对数指数平滑技术和Nesterov的加速梯度法，我们给出了一个有效的数值算法来求解这些问题。
2015-03-17 math.OC
Anisotropic Gaussian Smoothing for Gradient-based Optimization
本文提出AGS-GD、AGS-SGD和AGS-Adam三种各向异性高斯平滑优化算法，通过调整协方差矩阵实现定向平滑以替代标准梯度，有效避免陷入局部极小值，并提供了适用于凸和非凸L-平滑函数的收敛性分析及蒙特卡洛实现。
2024-11-18 math.OC
Adaptive Gradient Methods for Some Classes of Non-Smooth Optimization Problems
针对非光滑凸优化问题，提出了几种自适应算法。第一种是基于一种特殊的人为的不精确性。即引入优化目标泛函的不精确（$ δ, Δ, L$）模型的概念，提出了一些自适应不精确参数的梯度型方法。对变分不等式和鞍点问题引入了一个类似的不精确模型的概念。对凸规划问题在一般假设下提出了一种类似的切换次梯度格式。
2020-08-23 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerating Rescaled Gradient Descent: Fast Optimization of Smooth Functions
我们提出了一个家庭的算法，称为下降算法，优化凸和非凸函数。我们还介绍了一个新的一阶算法，称为重新缩放梯度下降（RGD），并表明，RGD实现了更快的收敛速度比梯度下降提供的功能是强光滑-一个自然的推广标准的光滑假设的目标函数。当目标函数是凸的，我们提出了两个新的框架“加速”下降法，一个在风格的Nesterov和其他的风格的蒙泰罗和Svaiter，使用一个单一的李雅普诺夫。重标度梯度下降可以在相同的强平滑假设下使用这两个框架加速。我们提供了几个强光滑损失函数在机器学习和数值实验，验证我们的理论研究结果的例子。我们还提出了几个扩展我们的新的李雅普诺夫框架，包括推导出最佳通用张量方法和扩展我们的框架的坐标设置。
2020-01-04 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Gaussian smoothing gradient descent for minimizing functions (GSmoothGD)
本文提出GSmoothGD方法，利用Gaussian smoothing定义非局部梯度以减少噪声并保留损失结构，有效避免局部极小值；提供了严格的收敛速率理论估计，结合Monte Carlo采样克服维数灾难，并给出平滑参数更新策略，数值实验验证了其在非凸优化中的有效性。
2024-03-26 math.OC
Gradient-Free Federated Learning Methods with $l_1$ and $l_2$-Randomization for Non-Smooth Convex Stochastic Optimization Problems
本文研究凸随机优化的非光滑问题，通过 $l_1$ 或 $l_2$-范数球内平均函数值平滑技术将其转化为光滑问题，并仅基于原始函数实现计算无偏梯度估计，最终在分布式联邦学习架构中构建无梯度求解方法。
2023-05-21 math.OC
The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions
本文研究了求解$L$ -光滑函数的固定步长梯度法（或最速下降法）的收敛速度。我们建立了一个新的收敛速度，并表明，在某些情况下，特别是当所有的步长位于区间$(0,1/L]$的界限可能是准确的。此外，我们推导出一个最佳的步长的新的界限。
2021-10-07 math.OC
Information Geometry of Exponentiated Gradient: Convergence beyond L-Smoothness
本文研究正象限上可能非凸函数的指数化梯度（EG）方法，将其解释为基于$e$-Exp映射的黎曼梯度下降，在无需L-平滑性的弱假设下证明了全局收敛性，并通过数值实验展示了其优于内点几何RGD的收敛速度。
2025-04-07 math.OC
Normalized First-Order Methods for Convex (L0, L1)-Smooth Optimization with Inexact Gradients
Innopolis University（因诺波利斯大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
针对需不精确梯度的凸(L0, L1)-光滑优化问题，提出两种基于比较预言机的归一化一阶方法，推导收敛速率并通过实验验证理论结果。
2026-08-06 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Optimizing $(L_0, L_1)$-Smooth Functions by Gradient Methods
本文针对$(L_0, L_1)$-光滑函数提出新的梯度方法分析框架，显著改进凸目标复杂度界，并证明Polyak步长、归一化梯度及加速梯度方法均可达到更优保证。
2025-03-07 math.OC
Latent-Space Mean-Field Theory for Deep BitNet-like Training: Constrained Gradient Flows with Smooth Quantization and STE Limits
本文建立深度类 BitNet 架构在平滑量化趋于零时的潜空间平均场理论，证明经验测度收敛及与平滑参数无关的一致界，为量化网络梯度训练奠定数学基础。
2025-08-29 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Smoothing Gradient Tracking for Decentralized Optimization over the Stiefel Manifold with Non-smooth Regularizers
本文提出了首个用于 Stiefel 流形上非光滑优化的分散算法，通过 Moreau 包络近似非光滑部分以应用现有光滑优化算法，并证明了其 $\mathcal{O}(ε^{-4})$ 的收敛复杂度与有效性。
2023-03-28 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算，应用于某些结构化凸规划（CP）问题。为此，我们首先提出了一个加速梯度滑动（AGS）方法，用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明，AGS方法可以跳过梯度计算这些光滑的组件之一，而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐，特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题，其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术，我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算，同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
bAdag: an adaptive block coordinate gradient method for smooth nonconvex functions
University of Mons（蒙斯大学）；Università degli Studi di Firenze（佛罗伦萨大学）
提出一种基于AdaGrad的自适应块坐标梯度方法bAdag，通过累积块梯度计算步长，在光滑非凸函数上实现次线性收敛，支持循环、均匀随机和贪婪选择策略。
2026-06-11 math.OC
A gradient flow method for smooth splines versus least-squares fitting on Riemannian manifolds
本文提出利用网络梯度流方法解决光滑黎曼流形上的样条插值与最小二乘拟合问题，严格证明了全局解的存在性，并暗示了数值求解方案。
2024-05-29 math.OC
Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems
现代极大极小问题，如生成对抗网络和对抗训练，通常是在非凸-非凹设置下，开发一个有效的方法，这样的设置是感兴趣的。最近，在这个方向上研究了两种变体的超梯度（EG）方法。首先，在光滑结构的非凸-非凹条件下，提出了EG的双时间尺度变体EG+，其中$k$表示迭代次数，在平方梯度范数上具有缓慢的$\mathcal{O}(1/k)$速率.其次，EG的另一种变体与锚定技术，命名为额外锚定梯度（EAG），在光滑的凹凸设置下进行了研究，产生一个快速的$\mathcal{O}(1/k^2)$率的平方梯度范数。本文在EG+和EAG的基础上，提出了一种具有锚定的双时标EG，称为快速外梯度（FEG），它对光滑结构的非凸-非凹问题具有快速的$\mathcal{O}(1/k^2)$速度，相应的鞍梯度算子满足负共单调性条件.本文进一步发展了其回溯线搜索版本，命名为FEG-A，在问题参数不可用的情况下。并对FEG进行了随机分析。
2021-11-19 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Generalizing the optimized gradient method for smooth convex minimization
本文推广了优化梯度法（OGM），它能使光滑凸极小化一阶方法的最坏费用函数界达到最优。具体而言，本文研究了广义的制定OGM和分析其最坏情况下的利率的函数值和范数的函数梯度。本文还提出了一种新的算法称为OGM-OG，它是在OGM的广义家庭，并具有最好的已知的分析最坏情况下的限制率$O(1/N^{1.5})$的梯度范数下降固定步骤的一阶方法。本文还证明了Nesterov的快速梯度法具有$O(1/N^{1.5})$最坏情况梯度范数率，但常数大于OGM-OG。证明是基于最坏情况下的分析称为性能估计问题。
2018-04-01 math.OC
(Adaptive) Scaled gradient methods beyond locally Holder smoothness: Lyapunov analysis, convergence rate and complexity
KU Leuven（荷语鲁汶大学）；University of Antwerp（安特卫普大学）
本文针对梯度局部Hölder连续的光滑凸函数无约束最小化问题，分析SGA的收敛性与复杂度，提出可自动调参的自适应变体AdaSGA并证明其收敛性质。
2025-11-13 math.OC
Decentralized Relaxed Smooth Optimization with Gradient Descent Methods
针对深度学习中$L_0$-平滑性的限制，提出在$(L_0,L_1)$-平滑条件下的去中心化梯度下降（DGD）通用框架，引入新分析技术，在无先验知识下实现最佳收敛速率，并通过真实数据验证了理论与实践的桥梁。
2025-08-11 math.OC
An Improved Gradient Method with Approximately Optimal Stepsize Based on Conic model for Unconstrained Optimization
Liu和Liu（Optimization，67（3），427-440，2018）最近引入的一种新型步长被称为近似最优步长，并且对于梯度法非常有效。有趣的是，所有的梯度法都可以看作是具有近似最优步长的梯度法。在本文中，基于工作（Numer.算法78（1），21-39，2018），我们提出了一种改进的梯度法，具有近似最优步长，基于圆锥模型无约束优化。如果目标函数$ f $在当前迭代和最近一次迭代之间的线段上不接近二次函数，则如果可以使用圆锥模型，则构造圆锥模型来生成梯度法的近似最优步长;否则，构造一些二次模型来生成梯度法的近似最优步长。在适当的条件下，分析了该方法的收敛性.数值比较与一些众所周知的共轭梯度软件包，如CG $ \_ $下降（SIAM J. Optim. 16（1），170-192，2005）和CGOPT（SIAM J. Optim. 23（1），296-320，2013）表明所提出的方法非常有前途。
2019-07-22 math.OC
A proximal gradient method with adaptive backtracking for weakly smooth multiobjective optimization
Nihon University（日本大学）；The Institute of Statistical Mathematics（统计数学研究所）
针对弱光滑多目标优化问题，提出无参数自适应线搜索近端梯度法，建立非凸、凸情形下的复杂度结果，非凸情形接受更宽松的 stationarity 测度，凸情形复杂度优于非凸情形。
2026-08-04 math.OC
On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions
本文研究了梯度（或最速）下降法在精确线搜索下对具有Lipschitz连续梯度的强凸函数的求解。我们建立了这个计划的确切的最坏情况下的收敛速率，并表明，这种最坏情况下的行为表现出一定的凸二次函数。我们还给出了严格的最坏情况下的复杂性约束的噪声的梯度下降法的变体，其中精确的线搜索是在搜索方向，不同于负梯度最多规定的相对公差。证明是计算机辅助的，并且依赖于文献[Y. Drori和M.特布勒光滑凸极小化一阶方法的性能：一种新方法。数学规划，145（1-2）：451-482，2014]。
2016-09-15 math.OC
A Continuous-Time Analysis of Smoothed Matrix-Polar Spectral Gradient Flows for Muon-Type Optimization
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Huzhou Normal University（湖州师范学院）；State Key Laboratory of Industrial Control Technology, the Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院网络控制系统研究所工业控制技术国家重点实验室）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
本文针对标准极分解映射的秩亏与病态问题，引入谱反馈律提出平滑矩阵-极谱梯度流，证明其适定性与全局收敛性，分析不同设置下的收敛速率，并对比其与标准梯度方向的局部下降速率优势。
2026-08-04 math.OC
Variable Smoothing Alternating Proximal Gradient Algorithm for Coupled Composite Optimization
针对含非光滑弱凸复合项的非凸优化问题，提出变平滑交替近端梯度算法，证明了 $\mathcal{O}(\varepsilon^{-3})$ 迭代复杂度，并在稀疏信号恢复和图像去噪实验中验证了其优越性。
2025-10-31 math.OC
Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions
本文利用PEP框架，对光滑凸函数上带相对误差界的梯度下降算法进行最坏情况收敛性分析，推导单步精确行为、多步上下界，并给出最优常数步长选择。
2025-09-11 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Convergence of Clipped SGD on Convex $(L_0,L_1)$-Smooth Functions
本文在$(L_0,L_1)$-光滑凸函数上分析带梯度裁剪的SGD，证明其高概率收敛速率与$L$光滑情形下的SGD速率相当，并提出一种具有相同保证的自适应SGD变体，通过实验验证了理论与算法选择。
2025-06-03 math.OC
Decentralized Proximal Gradient Algorithms with Linear Convergence Rates
研究了一类非光滑分散多智能体最优化问题，其中智能体的目标是最小化局部强凸光滑分量和公共非光滑项之和.我们提出了一个通用的原始对偶算法框架，统一了许多现有的最先进的算法。我们建立了线性收敛所提出的方法的精确解的非光滑项的存在。此外，对于更一般的一类代理特定的非光滑项的问题，我们表明，线性收敛不能实现（在最坏的情况下）的类算法，使用的梯度和近端映射的光滑和非光滑的部分，分别。我们还提供了一个数值反例，显示了一些国家的最先进的算法无法线性收敛的强凸目标和不同的本地非光滑项。
2020-07-09 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题，通过简化子问题和放宽梯度连续性假设，实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
Nonlinear conjugate gradient for smooth convex functions
针对非线性共轭梯度法（NCG）在一般光滑凸函数上复杂度较差的问题，提出C+AG方法，结合共轭梯度与加速梯度步，在二次函数上保持最优性且对一般光滑凸函数达到最佳复杂度界限，实验表现优异。
2024-01-03 math.OC
Gradient-Free Methods for Non-Smooth Convex Stochastic Optimization with Heavy-Tailed Noise on Convex Compact
针对仅能黑盒访问的带重尾噪声的非光滑凸随机优化问题，提出两种基于随机镜像下降的无梯度方法，并结合重启技术为满足r-增长条件的目标函数设计了更快的算法。
2023-08-24 math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系）；School of Mathematics, Nanjing University（南京大学数学学院）
本文提出名为UGM的统一框架，将重球法与梯度下降结合，开发增强型加速梯度算法，经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
Inexactly Smooth Performance Estimation and New Optimized Gradient Methods
Johns Hopkins University（约翰斯·霍普金斯大学）
针对非精确光滑凸函数类，提出插值定理并利用性能估计问题（PEP）分析一阶方法，进而设计出最优或最优已知的梯度方法。
2026-06-19 math.OC
Optimal Gradient-Norm Minimization in Non-Euclidean Hölder-Smooth Convex Optimization
Zuse Institute Berlin（柏林齐美研究所）；Technical University of Berlin（柏林工业大学）；IMDEA Software Institute（IMDEA软件研究所）
本研究针对关于ℓₚ范数的Hölder光滑凸优化问题，开发两类算法填补了梯度范数最小化的复杂度差距，解决了p>2等未决问题，实现近最优梯度或acular复杂度。
2026-09-02 math.OC
Convergence Analysis of Stochastic Accelerated Gradient Methods for Generalized Smooth Optimizations
Center for Data Science and School of Mathematical Sciences, Zhejiang University（浙江大学数据科学中心与数学科学学院）；Center for Data Science, Zhejiang University（浙江大学数据科学中心）
本文针对广义光滑随机优化问题，研究带固定/自适应步长的RSAG方法，在松弛仿射方差假设下推导凸与非凸场景的高概率收敛速率，小噪声下速率可提升，且分析同样适用于SGD。
2026-10-27 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题，其中一个是光滑的，另一个是非光滑的。在本文中，我们介绍了一般类的近似邻近分裂（APS）方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法，例如用于光滑凸优化的邻近分裂方法（PSM）、块坐标下降法（BCD）和近似梯度投影法。在局部误差有界的假设下，证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题，我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Two efficient gradient methods with approximately optimal stepsizes based on regularization models for unconstrained optimization
一般认为，步长对梯度法有重要意义。针对无约束优化问题，提出了两种基于正则化模型的近似最优步长的高效梯度法。更确切地说，如果目标函数不接近当前迭代和最近迭代之间的线段上的二次函数，则仔细利用正则化模型来生成近似最优步长。否则，使用二次近似模型。特别是，当曲率为非正时，开发了特殊的正则化模型。在较弱的条件下证明了所提出方法的收敛性。大量的数值实验表明，该方法优于BBQ方法（SIAM J. Optim. 2021，31（4），3068-3096）和其他有效的梯度法，并且与两个著名的有效的共轭梯度软件包CG $ \_ $ DESCENT（5.0）（SIAM J. Optim. 16（1），170-192，2005）和CGOPT（1.0）（SIAM J. Optim. 23（1），296-320，2013）。由于令人惊讶的效率，我们相信，梯度法与近似最优的步长可以成为强有力的候选人大规模无约束优化。
2022-01-21 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
A Single-Loop Gradient Algorithm for Pessimistic Bilevel Optimization via Smooth Approximation
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen, Southern University of Science and Technology（深圳应用数学国家中心）；Detection Institute for Advanced Technology Longhua-Shenzhen (DIATLHSZ)（龙华-深圳先进技术检测研究院）
本文提出SiPBA算法，通过平滑近似解决悲观双层优化问题，避免二阶导数和内环迭代，理论分析和实验验证其有效性与效率。
2026-02-03 math.OC
Inertial Bregman Proximal Gradient under Partial Smoothness
本文提出了一种用于最小化两函数之和的惯性 Bregman 近端梯度算法（IBPG），在三角缩放性质和 KL 性质框架下证明了其全局收敛性，并在部分光滑性假设下确立了局部线性收敛速率。
2025-01-29 math.OC
