A Modified Dai-Liao Spectral Conjugate Gradient Method with an Application to Signal Processing
Banaras Hindu University（贝拿勒斯印度教大学）；The Technion -- Israel Institute of Technology（以色列理工学院）；Indian Institute of Technology Roorkee（罗克勒印度理工学院）
本文提出一种改进的 Dai-Liao 谱共轭梯度法，通过引入新的 secant 条件和拟牛顿方向，提升收敛速度和计算效率，并应用于信号处理中。
2025-12-15 math.OC
Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
Institute of Mathematics, University of Mannheim（曼海姆大学数学研究所）
本文针对有限时间马尔可夫决策过程中最优策略非平稳的问题，提出动态策略梯度方法，按时间反向训练参数，并在表格型softmax参数化下证明了其相比同时训练具有更好的全局收敛界。
2024-05-06 cs.LG math.OC stat.ML
Gradient Descent Monotonically Decreases the Sharpness of Gradient Flow Solutions in Scalar Networks and Beyond
Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
针对梯度下降（GD）损失震荡的稳定性边缘现象，本文发现GD训练中梯度流解（GFS）的sharpness单调下降，在标量网络中给出理论证明并刻画了收敛设定，实验验证了该方法在回归模型及实际网络中的有效性。
2023-05-22 cs.LG math.OC stat.ML
Proximal gradient methods beyond monotony
本文研究无凸性假设的复合优化问题，提出基于平均价值函数的自适应非单调近端梯度方法，在弱假设下证明了渐近收敛性并推导了全局最坏情况收敛速率，数值实验验证了其潜力。
2023-06-01 math.OC
(Adaptive) Scaled gradient methods beyond locally Holder smoothness: Lyapunov analysis, convergence rate and complexity
KU Leuven（荷语鲁汶大学）；University of Antwerp（安特卫普大学）
本文针对梯度局部Hölder连续的光滑凸函数无约束最小化问题，分析SGA的收敛性与复杂度，提出可自动调参的自适应变体AdaSGA并证明其收敛性质。
2025-11-13 math.OC
Low-Discrepancy Set Post-Processing via Gradient Descent
University of Washington（华盛顿大学）
针对现有基于优化与机器学习的低偏差集构建方法计算成本高的问题，提出基于梯度下降的低偏差集后处理方法，可在高效易获取的前提下取得相当效果，适配各类生成方法与偏差度量。
2025-11-13 cs.NA math.NA math.OC
Multidimensional extrapolated global proximal gradient and applications for image processing
针对含更一般张量正则项的非光滑优化问题，本文提出改进的迭代近端梯度法，并用新型张量外推加速收敛，在彩色图像去模糊实验中验证了效率。
2024-01-18 cs.NA math.NA math.OC
A nonmonotone extrapolated proximal gradient-subgradient algorithm beyond global Lipschitz gradient continuity
Sun Yat-sen University（中山大学）；University of Tsukuba（筑波大学）
本文提出一种无需问题参数的新型算法，通过精心设计的非单调线搜索和外推步骤，解决非全局Lipschitz梯度连续性问题，并在Kurdyka-Ł ojasiewicz性质下建立收敛分析。
2026-05-08 math.OC
Improved Gradient Descent Lower Bounds Beyond Nesterov
MIT（麻省理工学院）
该研究在光滑凸优化中，突破经典梯度下降一阶神谕下界，得到更优的非任意时间与任意时间梯度下降下界，还明确了两种场景收敛指数的严格区分。
2026-09-04 cs.LG math.OC stat.ML
Muon meets Tamed Langevin: Momentum Preconditioning beyond Convex and gradient-Lipschitz Potentials
University of Edinburgh（爱丁堡大学）；National Technical University of Athens（雅典国立技术大学）；Athena/Archimedes Research Centre（Athena/Archimedes 研究中心）
针对非凸且非梯度-Lipschitz 势的矩阵空间 Gibbs 采样，提出非二次动能驱动的欠阻尼 Langevin 系统，实现动量预处理，证明测度不变性与指数收敛，并保证离散化算法的稳定性。
2026-10-02 cs.LG math.OC math.PR
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术，可以稳定训练过程，解决容易出现梯度爆炸问题的问题。尽管它的广泛流行，梯度裁剪启发式算法的收敛特性知之甚少，特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机（次）梯度法（SCD）的定性和定量收敛结果。我们的分析表明，裁剪增强了SGD的稳定性，裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下，我们还研究了带动量的剪切方法的收敛性，其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析，我们表明，所提出的方法达到了最好的已知率所考虑的一类问题，证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
A Gauss-Newton Method with No Additional PDE Solves Beyond Gradient Evaluation for Large-Scale PDE-Constrained Inverse Problems
Colorado School of Mines（科罗拉多矿业学院）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出了一种无需额外PDE求解的Gauss-Newton方法，用于解决大规模PDE约束反问题，提升了FWI的计算效率与收敛速度。
2026-03-06 cs.NA math.NA math.OC
Beyond the Edge of Stability via Two-step Gradient Updates
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
本文通过分析两步梯度更新，研究了梯度下降在步长超过稳定性边缘时仍能收敛的条件，提出了涉及三阶导数的局部条件，并在教师-学生设置及矩阵分解中验证了其动力学行为。
2023-07-26 cs.LG math.OC stat.ML
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
Saarland University（萨尔大学）
矩阵分解是一个非常流行的非凸优化问题，对于它，最常用的是交替极小化算法。他们通常遭受的主要缺点，解决方案是偏向于优化变量之一。一种补救办法是非交替方案。然而，由于在矩阵分解问题中梯度缺乏Lipschitz连续性，不能保证收敛。最近开发的方法依赖于Bregman距离的概念，它概括了标准的欧几里得距离。我们利用这一理论，提出了一种新的Bregman距离矩阵分解问题，这在同一时间，允许简单的/封闭的形式更新步骤。因此，对于非交替的计划，如最近推出的Bregman邻近梯度（BPG）方法和惯性变凸-凹惯性BPG（CoCaIn BPG），收敛的整个序列的一个稳定点被证明为矩阵分解。在几个实验中，我们观察到一个优越的性能，我们的非交替计划的速度和目标值在极限点。
2019-12-06 cs.CV cs.IR math.OC
How to Make the Gradient Mapping Small for Constrained Stochastic Min-Max Problems and Beyond
University of British Columbia（不列颠哥伦比亚大学）
本研究将约束凸凹极小极大问题的梯度映射复杂度从$\widetilde{O}(\varepsilon^{-4})$改进至$\widetilde{O}(\varepsilon^{-2})$，并推广至无界方差情形。
2026-09-09 cs.LG math.OC
Beyond Convexity -- Contraction and Global Convergence of Gradient Descent
本文考虑通过非线性收缩理论的镜头，连续时间梯度为基础的优化算法的分析。它表明，在时不变的目标的情况下，大多数基本的结果梯度下降的凸性的基础上，可以取代更一般的结果的基础上收缩。特别是，梯度下降收敛到一个唯一的平衡，如果它的动态收缩在任何度量，与凸的成本对应的特殊情况下收缩的身份度量。更广泛地说，收缩分析为测地线凸优化的情况提供了新的见解，其中欧几里得空间中的非凸问题可以转化为黎曼流形上的凸问题。在这种情况下，自然梯度下降收敛到一个唯一的平衡，如果它是在任何度量收缩，与测地凸的成本对应的收缩在自然度量。使用半收缩的新结果提供了额外的见解的拓扑结构的一组优化的情况下，当存在多个最优。此外，他们还展示了半收缩如何与特定的附加信息相结合，以得出关于动力系统的广泛结论。收缩透视图也很容易扩展到随时间变化的优化设置，并允许人们递归地从更简单的元素中构建大型优化结构。自然的原始对偶优化和博弈论的背景下，进一步说明了这些新的观点的潜在影响。
2022-12-22 math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
ENS - PSL Univ.（巴黎文理研究大学-高等师范学院）；Univ Lyon, EnsL, UCBL, CNRS, Inria, LIP（里昂大学,里昂高等师范学院,里昂第一大学,法国国家科学研究中心,法国国家信息与自动化研究所,里昂计算科学实验室）；CNRS（法国国家科学研究中心）
本文刻画非欧几里得几何与基于动量动力学中的所有守恒律，证明其具有时间依赖性，并在线性网络、ReLU 网络及 NMF 中揭示守恒损失。
2024-05-21 cs.LG math.OC
Beyond Minimax Optimality: A Subgame Perfect Gradient Method
Johns Hopkins University（约翰斯·霍普金斯大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文提出子博弈完美梯度法，通过利用完整的一阶信息历史，实现动态最优，优于传统梯度法在收敛率上的表现。
2026-04-20 math.OC
Randomized Gradient Descents on Riemannian Manifolds: Almost Sure Convergence to Global Minima in and beyond Quantum Optimization
本文研究黎曼流形上随机梯度下降的收敛性，证明用随机投影替代黎曼梯度可几乎必然收敛到全局最小值，并将其应用于酉群上的量子基态制备。
2025-07-04 math.OC quant-ph
On the Convergence of Adam and Beyond
Google（谷歌）
最近提出的几种已成功用于训练深度网络的随机优化方法，如RMSProp，Adam，Adadelta，Nadam，都是基于使用过去梯度平方的指数移动平均的平方根来缩放梯度更新。在许多应用中，例如具有大输出空间的学习，根据经验观察到这些算法无法收敛到最优解（或非凸设置中的临界点）。我们表明，这种故障的原因之一是在算法中使用的指数移动平均。我们给出了一个简单的凸优化设置的显式例子，亚当不收敛到最优解，并描述了与亚当算法的前面的分析精确的问题。我们的分析表明，收敛问题可以通过赋予这种算法与“长期记忆”的过去的梯度，并提出新的变种的亚当算法，不仅解决了收敛问题，但往往也导致改善经验性能。
2019-04-19 cs.LG math.OC stat.ML
Beyond Scaffold: A Unified Spatio-Temporal Gradient Tracking Method
Division of Decision and Control Systems, School of EECS, KTH Royal Institute of Technology（决策与控制系统系，皇家理工学院）；College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）
ST-GT通过统一时空梯度跟踪方法，有效缓解数据异质性和局部梯度噪声，实现强凸问题的线性收敛和非凸问题的次线性收敛，提升通信效率。
2025-12-01 cs.LG math.OC
Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
MBZUAI（穆罕默德·本·拉什德智能技术研究院）；University of Southern California（南加州大学）
本文提出基于谱方法的梯度裁剪，通过裁剪超过阈值的奇异值来稳定训练，适用于现代架构的矩阵结构，分析了重尾噪声下的收敛性，并提出层适应性阈值和高效实现方法。
2026-05-12 cs.LG math.OC
First Order Methods beyond Convexity and Lipschitz Gradient Continuity with Applications to Quadratic Inverse Problems
我们专注于非凸和非光滑最小化问题的复合目标，其中的可微部分的目标是从通常的和限制性的全局Lipschitz梯度连续性假设。这种长期存在的光滑性限制是普遍的一阶方法（FOM），最近规避凸复合优化的Bauschke，Bolte和Teboulle，通过一个简单而优雅的框架，捕捉，所有一次，几何的功能和可行集。在这项工作的基础上，我们解决真正的非凸问题。我们首先补充和扩展他们的方法，通过引入光滑适应函数的概念，得到一个完整的扩展下降引理。然后，我们考虑了一种基于Bregman的逼近梯度法，该方法适用于具有光滑适应函数的非凸复合模型，并证明了该方法在对问题数据的自然假设下全局收敛于一个临界点.为了说明我们的一般框架和结果的权力和潜力，我们考虑了广泛的一类二次反问题的稀疏性约束，出现在许多基本的应用，我们应用我们的方法来获得新的全局收敛计划，这一类。
2017-06-20 cs.NA math.NA math.OC
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics（数学系）
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性，通过线性函数逼近的log-linear softmax策略，在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式，并识别两种特征机制下非均匀常数的有界性，证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
Using a New Nonlinear Gradient Method for Solving Large Scale Convex Optimization Problems with an Application on Arabic Medical Text
ITMO University（ITMO大学）；Aleppo University（阿勒颇大学）
梯度法在信号处理、图像处理和动态系统等多个领域都有应用。本文提出了一种求解凸超二次函数的非线性梯度法，它是通过混合两个共轭系数HRM [2]和NHS [1]来发展搜索方向。数值算例表明，当目标函数为二次凸函数时，该方法能得到标准问题的精确解，证明了该方法的有效性。在这篇文章中，还提出了一个应用程序的问题命名的实体在阿拉伯医学语言，因为它证明了所提出的方法的稳定性和执行时间方面的效率。
2021-06-09 cs.CL math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法，用于求解闭凸集上可分解非光滑凸函数的极小值，并将其命名为光滑加速邻近梯度（SAPG）算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案，并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外，我们在SAPG算法中引入了一个误差项，得到了非精确平滑加速邻近梯度算法。在误差可和条件下，我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Multidimensional TV-Stokes for image processing
Western Norway University of Applied Sciences（挪威西部应用科技大学）；University of Bergen（卑尔根大学）
提出了一种完整的多维TV-Stokes模型，该模型首先对梯度场进行平滑处理，然后由梯度场重建多维图像。它是原来二维TV-Stokes方程到多维的正确推广。提出了利用Chambolle半隐式对偶公式的数值算法。数值结果适用于去噪3D图像和电影。它们在避免楼梯效应和保持精细结构方面表现出优异的性能。
2020-09-28 cs.CV cs.NA math.NA
Beyond backpropagation: bilevel optimization through implicit differentiation and equilibrium propagation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文综述了基于梯度的双层优化方法，重点介绍隐式微分与均衡传播两类方法的数学基础、梯度估计算法及其竞争优势。
2022-10-27 cs.LG math.OC
Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime
Johns Hopkins University（约翰霍普金斯大学）
提出一个分析梯度下降动力学的收敛框架，适用于广泛神经网络架构和数据集，证明在温和假设下梯度下降几乎必然收敛到驻点邻域，并给出学习率缩放规律。
2026-06-23 cs.LG math.DS math.OC
On the global convergence of gradient flow for wide shallow models beyond homogeneous nonlinearities
CNRS and ENS, PSL Université（CNRS和ENS，PSL大学）；Mathematics Institute, University of Warwick（数学研究所，沃里克大学）
本文研究了梯度下降在宽浅神经网络中寻找训练损失全局极小值的能力，证明了非全局极小值的不稳定性，并扩展了对向量输出权重模型的构造。
2026-08-12 cs.LG math.OC
Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization
Sapienza University of Rome（罗马大学）
针对自适应梯度方法内存开销大、收敛理论不完善的问题，提出F-CMA快速受控小批量算法，通过充分下降条件与线搜索确保每周期损失下降，并证明全局收敛，实验显示训练时间减少68%，效率提升20%，准确率提升5%。
2024-12-16 cs.LG math.OC
Beyond Constant Truncations: The Bounded Sobolev Approximation Gap
Université de Toulouse（图卢兹大学）；Università degli Studi di Padova（帕多瓦大学）
本文提出一种基于空间相关障碍的一般方法，解决有界Sobolev逼近中普通截断因尾部梯度置零而失效的问题，实现强收敛与能量密度L1收敛。
2026-09-30 math.CA math.OC
Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization
Technology Innovation Institute（技术创新研究院）
论文研究sum-log-concave函数负对数的非凸最小化问题，提出基于交叉梯度的XGD算法并证明其收敛性，同时用checkered regression实现非线性可分分类。
2023-09-26 cs.LG math.OC
