Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Vector Institute（矢量研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文针对非凸优化中 AdaGrad 理论分析不足的问题，引入概率论中的新型停时技术，在温和条件下建立了其稳定性、几乎必然与均方渐近收敛性，并证明了以期望平均平方梯度衡量的近最优非渐近收敛速率，填补了现有理论空白。
2024-12-29 cs.LG math.OC stat.ML
Convergence of AdaGrad for Non-convex Objectives: Simple Proofs and Relaxed Assumptions
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出辅助函数$ξ$简化AdaGrad非凸收敛分析，在更弱假设下得到$\mathcal{O}(1/\varepsilon^2)$速率，并证明$(L_0,L_1)$-光滑条件下学习率阈值的必要性。
2023-09-28 cs.LG math.OC
Revisiting Convergence of AdaGrad with Relaxed Assumptions
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本研究在更贴合实际的通用噪声模型与广义光滑性假设下，重新分析带动量的AdaGrad的非凸优化收敛性，得到不依赖先验参数的概率收敛速率，且该速率匹配已知下界。
2024-09-13 cs.LG math.OC stat.ML
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
Moscow Institute of Physics and Technology, Russia（莫斯科物理技术学院）；Ivannikov Institute for System Programming RAS, Russia（伊万诺夫系统编程研究所）；Sber AI Lab, Russia（俄罗斯Sber人工智能实验室）；Innopolis University, Russia（因诺波利斯大学）；The Russian Presidential Academy of National Economy and Public Administration, Russia（俄罗斯总统经济与公共行政学院）；Skolkovo Institute of Science and Technology, Russia（斯克沃尔佐夫科学与技术研究所）；Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学）；Machine Learning and Optimization Laboratory (MLO), EPFL, Lausanne, Switzerland（机器学习与优化实验室（MLO），EPFL，拉瓦尔普勒斯，瑞士）
针对重尾噪声下AdaGrad/Adam高概率收敛性差的问题，证明梯度裁剪能为其及延迟版本提供多重对数依赖的新收敛界，并在实验中验证了优越性。
2025-08-14 cs.LG math.OC
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize
EPFL（洛桑联邦理工学院）；Technion（以色列理工学院）
在本文中，我们提出了一个新的，简化的高概率分析的AdaGrad光滑，非凸问题。更具体地说，我们专注于一个特定的加速梯度（AGD）模板（Lan，2020），通过该模板，我们恢复了原始的AdaGrad及其平均变体，并证明了$\mathcal O (1/ \sqrt{T})$在不知道平滑度和方差的情况下具有高概率的收敛速度。我们使用一个特定版本的弗里德曼的浓度界限鞅差序列（Kakade & Tewari，2008），使我们能够实现最有名的依赖$\log (1 / δ)$的概率裕度$δ$。我们提出了我们的分析，在一个模块化的方式，并获得一个互补的$\mathcal O (1 / T)$收敛速度的确定性设置。据我们所知，这是AdaGrad使用真正自适应方案的第一个高概率结果，即，完全忘记了光滑性和一致方差界的知识，同时具有$\log( 1/ δ)$的最佳依赖性。我们进一步证明了AdaGrad在附加噪声假设下的噪声自适应特性。
2022-04-06 cs.LG math.OC
SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
Yandex Research（Yandex研究院）
本文提出自适应预条件SGD的统一收敛分析，恢复多种自适应梯度方法的最优结果，并首次证明利用Nesterov动量可加速AdaGrad等方法收敛，为Adam的效率提供理论解释。
2025-06-30 cs.LG math.OC
Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions
虽然随机梯度下降（SGD）方法及其变体（例如，随机动量方法（AdaGrad）是解决非凸问题（特别是深度学习）的算法选择，但理论与实践之间仍存在很大差距，许多问题尚未解决。例如，仍然缺乏SGD及其变体的收敛理论，其使用逐阶段步长并在实践中返回平均解。此外，对于非凸优化，AdaGrad的自适应步长可以改善{ \sgd }的非自适应步长的理论解释仍然缺乏。本文旨在解决这些问题，填补理论与实践之间的空白。我们提出了一个通用的阶段优化框架，用于一个广泛的{ \bf非光滑非凸}（即弱凸）问题，具有以下关键特征：（i）在每个阶段，任何合适的随机凸优化算法（例如，SGD或AdaGrad），其返回平均解，可以用于最小化正则化凸问题;（ii）步长以逐阶段的方式减小;（iii）返回平均解作为最终解，该最终解是从具有采样概率{ \it递增}作为阶段号的所有逐阶段平均解中选择的。我们的理论结果阶段AdaGrad显示其自适应收敛，因此，它的收敛速度比阶段SGD稀疏随机梯度问题的见解。据我们所知，这些新的结果是第一个解决先前提到的现有理论中未解决的问题。除了理论上的贡献，我们的实证研究表明，我们的stagewise SGD和ADAGRAD提高泛化性能的现有的变体/实现SGD和ADAGRAD。
2019-03-06 math.OC stat.ML
On stochastic optimization methods for Monte Carlo least-squares problems
这项工作提出了随机最优化方法，针对最小二乘问题，涉及蒙特卡罗积分。虽然解决这些问题最常见的方法是应用随机梯度下降（SGD）或类似的方法，如AdaGrad和Adam，其中涉及估计一个随机梯度从少量的蒙特卡罗样本计算在每次迭代，我们表明，对于这类问题，有可能实现更快的渐近收敛率使用增加的样本个数每次迭代，而不是，我们称之为精确度递增策略（IP）。然后，我们通过引入一种混合方法来提高预渐近收敛，该方法结合了提高精度和其他“恒定”精度的特性，从而产生了诸如IP-SGD混合和IP-AdaGrad混合的方法，基本上是通过修改其梯度估计量来提高精度。最后，我们观察到，在某些问题中，将高斯-牛顿预条件的IP-SGD混合方法可以提供更好的收敛性比采用拟牛顿方法或协方差预处理AdaGrad或亚当。
2018-04-26 math.OC
Revisiting AdaGrad in Stochastic Convex Optimization: Last Iterates, High Probability, and Lower Bounds
Shanghai University of Finance and Economics（上海财经大学）
本文重新审视随机凸优化中的AdaGrad方法，证明其无通用最后迭代速率，并给出紧下界，同时表明有界迭代条件下可消除log T损失，达到O(1/√T)速率。
2026-09-29 cs.LG math.OC
Towards Simple and Provable Parameter-Free Adaptive Gradient Methods
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；School of Computing and Data Science, the University of Hong Kong（香港大学计算科学与数据科学学院）；Bytedance Inc（字节跳动公司）
提出 AdaGrad++ 和 Adam++ 两种简单无参数自适应梯度方法，在无需预设学习率的情况下实现与 AdaGrad 和 Adam 相当的收敛保证。
2026-05-31 cs.LG math.OC stat.ML
Fast Stochastic Second-Order Adagrad for Nonconvex Bound-Constrained Optimization
Dipartimento di Ingegneria Industriale, Università degli Studi di Firenze（佛罗伦萨大学工业工程系）；Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；Namur Center for Complex Systems (naXys), University of Namur（纳慕尔复杂系统中心（naXys），纳慕尔大学）
提出ADAGB2算法，推广Adagrad至有界约束问题并利用二阶信息，在梯度均方根误差足够小时以高概率在O(ε^{-2})次迭代内达到ε-近似一阶临界点。
2026-06-12 math.OC
High Probability Convergence of Stochastic Gradient Methods
New York University（纽约大学）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们描述了一个通用的方法来显示收敛的概率高的随机凸和非凸优化与亚高斯噪声。在以往的凸优化的工作中，要么收敛仅在期望中，要么界依赖于区域的直径。相反，我们表现出高概率收敛的界限取决于初始距离的最优解。该算法使用类似于标准设置的步长，并且对于Lipschitz函数、光滑函数及其线性组合是通用的。该方法可应用于非凸情形。我们证明了一个$O((1+σ^{2}\log(1/δ))/T+σ/\sqrt{T})$收敛速度时，迭代次数$T$是已知的和一个$O((1+σ^{2}\log(T/δ))/\sqrt{T})$收敛速度时，$T$是未知的SGD，其中$1-δ$是所需的成功概率。这些界限改善了现有的界限在文献中。此外，我们证明了我们的技术可以用于获得AdaGrad-Norm的高概率界（Ward等人，2019），删除了之前作品中的有界梯度假设。此外，我们的AdaGrad-Norm技术扩展到标准的每坐标AdaGrad算法（Duchi等人，2011），为AdaGrad提供了第一个噪声适应的高概率收敛。
2023-02-28 cs.DS cs.LG math.OC
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin（德克萨斯大学奥斯汀分校奥登研究所）；Department of Mathematics, UT Austin（德克萨斯大学奥斯汀分校数学系）
我们证明了自适应随机梯度方法的范数版本（AdaGrad-Norm）对于满足Polyak Lojasiewicz（PL）不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上，我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性，而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论，并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction
本文针对仅能通过可能有偏的随机梯度预言机访问的近似光滑凸复合优化问题，提出基于AdaGrad步长的基础与加速自适应梯度方法，并统一证明了其在方差有界、隐式方差缩减及显式SVRG型方差缩减三种情形下均达到最优复杂度。
2024-06-10 math.OC
Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad
Zijian Liu（刘子健）
本文研究 AdaGrad 在重尾梯度噪声下的收敛性，首次证明当尾指数 p 满足 4/3 < p ≤ 2 时，无需先验知识即可获得非凸优化的收敛率，并给出了算法相关的下界。
2026-05-30 cs.LG math.OC stat.ML
Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations
IAMM Research, Department of Applied Artificial Intelligence（IAMM研究院应用人工智能系）；DAMM
提出 AdaGrad、RMSProp 和 Adam 的连续时间积分微分方程模型，通过数值模拟和稳定性分析验证其与离散算法的一致性，为自适应优化方法提供新视角。
2026-06-05 cs.LG cs.NA math.NA
Remove that Square Root: A New Efficient Scale-Invariant Version of AdaGrad
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Innopolis University（因诺波利斯大学）
该研究提出新型尺度不变优化算法KATE，证明其在广义线性模型下的尺度不变性，推导其光滑非凸问题的收敛速率，实验显示其性能优于AdaGrad、比肩或超过Adam。
2025-01-13 cs.AI cs.LG math.OC
SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
该研究针对现有AdaGrad步长SGD方法分析的缺陷，给出了无需已知问题参数、无强利普希茨条件且高概率成立的全面分析，覆盖凸与非凸场景，支持仿射方差噪声模型并提供高低噪声下的精确收敛速率。
2023-06-11 cs.LG math.OC stat.ML
A Unified Analysis of AdaGrad with Weighted Aggregation and Momentum Acceleration
JD Explore Academy, Beijing, China（京东探索研究院，北京，中国）；Facebook, USA（Facebook，美国）；Meituan, Beijing, China（美团，北京，中国）；University of Minnesota, Twin Cities, USA（明尼苏达大学双城分校，美国）；Tencent, Shenzhen, China（腾讯，深圳，中国）
本文提出了一种名为AdaUSM的加权AdaGrad算法，通过统一动量方案和新型加权自适应学习率，实现了在非凸随机设置下的O(√(log(T)/T))收敛率，并从新视角解释了Adam和RMSProp的自适应学习率。
2023-05-15 cs.LG cs.NA math.NA
Finite-sum optimization: Adaptivity to smoothness and loopless variance reduction
本文提出 AdaLVR，将 AdaGrad 与 SAGA、L-SVRG 等无循环方差缩减估计器结合，在未知光滑度参数下获得自适应梯度复杂度，并经实验验证优于现有方法。
2024-04-08 math.OC
Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过引入更契合自适应梯度方法逐坐标特性的光滑性与噪声假设，并采用梯度 l1-范数作为平稳性度量，首次在非凸优化中证明了 AdaGrad 相对 SGD 的迭代复杂度可改进达维度因子 d，并给出匹配下界。
2025-06-06 cs.LG math.OC stat.ML
bAdag: an adaptive block coordinate gradient method for smooth nonconvex functions
University of Mons（蒙斯大学）；Università degli Studi di Firenze（佛罗伦萨大学）
提出一种基于AdaGrad的自适应块坐标梯度方法bAdag，通过累积块梯度计算步长，在光滑非凸函数上实现次线性收敛，支持循环、均匀随机和贪婪选择策略。
2026-06-11 math.OC
AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates
Department of Mathematics University of California, Los Angeles（数学系 加州大学洛杉矶分校）
本文提出 AdaGO 优化器，结合 AdaGrad 型自适应步长与 Muon 的正交化更新方向，在保持正交性的同时自适应调整步长，理论证明非凸收敛率，并在 CIFAR-10 和回归任务上优于 Muon 和 Adam。
2025-09-06 cs.LG math.OC
Lean and Mean Adaptive Optimization via Subset-Norm and Subspace-Momentum with Convergence Guarantees
Khoury College of Computer Sciences, Northeastern University, Boston.（东北大学柯里计算机科学学院）
提出子集范数步长和子空间动量两种技术，在减少内存占用同时加速大规模神经网络训练，并证明收敛性；在LLaMA 1B上以一半训练令牌达到Adam性能，内存减少超80%。
2025-05-24 cs.LG cs.NE math.OC
An objective-function-free algorithm for general smooth constrained optimization
Dipartimento di Ingegneria Industriale, Università degli Studi di Firenze（佛罗伦萨大学工业工程系）；Université de Toulouse, INP, IRIT（图卢兹大学国立理工学院IRIT）；Namur Center for Complex Systems (naXys), University of Namur（那慕尔大学复杂系统中心(纳克斯)）；INdAM Research Group GNCS（意大利国家数学研究院GNCS研究组）
本文提出了一种无需计算目标函数的算法，用于解决一般光滑约束优化问题，通过自适应切换策略提高收敛性并减少对噪声的敏感性。
2026-02-12 math.OC
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University（印第安纳大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；Rice University（莱斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题，对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析，证明其期望收敛到一阶驻点且维度相关收敛速率更优，还首次建立三类方法的高概率收敛界，助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Recursive Bound-Constrained AdaGrad with Applications to Multilevel and Domain Decomposition Minimization
Toulouse-INP, IRIT, ANITI（图卢兹INP、IRIT、ANITI）；Namur Center for Complex Systems (naXys), University of Namur（纳慕尔复杂系统中心（naXys）、纳慕尔大学）
本文提出两种处理边界约束与非精确梯度的OFFO算法（多层与区域分解方法），推广了AdaGrad，并给出统一的收敛与复杂性理论，证明其高概率下仅需$O(ε^{-2})$次迭代即可求得$ε$-近似一阶临界点。
2025-07-15 cs.AI cs.NA math.NA
On the Convergence of Stochastic Gradient Descent with Adaptive Stepsizes
Boston University（波士顿大学）
随机梯度下降是机器学习目标函数的大规模优化的首选方法。然而，它的性能变化很大，很大程度上取决于步长的选择。这激发了大量关于自适应步长的研究。然而，目前我们对这些方法的理论理解存在差距，特别是在非凸设置中。在本文中，我们开始缩小这一差距：我们从理论上分析在凸和非凸设置的AdaGrad步长的广义版本。我们证明了这些步长的充分条件，以实现几乎一定的渐近收敛的梯度为零，证明了第一个保证广义AdaGrad步长的非凸设置。此外，我们表明，这些步长允许自动适应的随机梯度在凸和非凸设置的噪声水平，$O(1/T)$和$O(1/\sqrt{T})$之间插值，对数项。
2019-02-26 cs.LG math.OC stat.ML
FlexGrad: a root-free approach to adaptive step sizes
Fundação Getulio Vargas（热图里奥·瓦加斯基金会）；Meta
FlexGrad是一种无根式自适应步长优化器，利用累积梯度和平方梯度缩放步长，在噪声与持续梯度场景间平衡，实现最优收敛，实验表现优异。
2026-10-08 math.OC
An objective-function-free algorithm for nonconvex stochastic optimization with deterministic equality and inequality constraints
Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；NAXYS, University of Namur（NAXYS，纳慕尔大学）
本文提出一种无目标函数算法，用于解决具有随机目标和确定性等式和不等式约束的优化问题。该算法通过自适应选择函数减少和约束改善迭代，采用Adagrad型步长，证明在全秩雅可比问题中，联合对偶最优度量以O(1/sqrt{k})速率收敛。
2026-10-07 math.OC
A regret minimization approach to fixed-point iterations
提出将遗憾最小化算法转换为固定点迭代的通用方案，推广了Krasnoselskii--Mann迭代，并基于AdaGrad获得自适应迭代，实验显示收敛更快。
2026-09-21 cs.LG cs.NA math.NA
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中，顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而，由于每个方向的步骤序列是相同的，这可能会导致在病态问题的情况下，在实践中的不良结果。为了克服这一点，自适应梯度算法，如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法（SGD）的一个范例，其中步长根据观察到的随机梯度变化，以最小化非凸，光滑的目标。尽管他们的流行，自适应SGD的分析落后于非自适应方法在这种情况下。具体地说，所有先前的工作都依赖于以下假设的某个子集：（i）均匀有界的梯度范数，（ii）均匀有界的随机梯度方差（甚至噪声支持），（iii）步长和随机梯度之间的条件独立性。在这项工作中，我们表明，AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后，最优调谐非自适应SGD（无界梯度范数和仿射噪声方差缩放）相同的假设下，关键的是，不需要任何调整参数。因此，我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
Grad-GradaGrad? A Non-Monotone Adaptive Stochastic Gradient Method
Meta AI；Lehigh University（理海大学）
经典的AdaGrad方法通过除以梯度平方和的平方根来调整学习率。因为分母上的这个和是增加的，所以该方法只能随着时间的推移减小步长，并且需要仔细调整学习率缩放超参数。为了克服这个限制，我们引入了GradaGrad，这是同一家族中的一种方法，它可以根据分母中的不同累积来自然地增加或缩小学习率，这种累积既可以增加也可以减少。我们表明，它服从一个类似的收敛速度AdaGrad，并证明其非单调适应能力与实验。
2022-06-14 cs.LG math.OC stat.ML
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及，随机梯度下降及其自适应变体（例如Adagrad，Adam等）已经成为机器学习从业者的首选方法。虽然大量的工作已经证明，这些一阶最优化方法可以实现次线性或线性收敛，我们建立了局部平方收敛的随机梯度下降与自适应步长的问题，如矩阵求逆。
2021-12-30 cs.LG math.OC
Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities
Boston University（波士顿大学）；Northeastern University（东北大学）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）
我们提供了新的自适应一阶方法约束凸优化。我们的主要算法AdaACSA和AdaAGD+是加速方法，它们是通用的，因为它们对于光滑和非光滑函数都实现了接近最优的收敛速度，即使它们只能访问随机梯度。此外，它们不需要关于目标函数如何参数化的任何先验知识，因为它们自动调整其每坐标学习率。这些可以被看作是约束优化的真正加速Adagrad方法。我们用一个更简单的算法AdaGrad+来补充它们，该算法具有相同的功能，并实现了标准的非加速收敛速度。我们还提出了一组新的结果，涉及自适应方法的无约束优化和单调算子。
2021-02-15 cs.DS cs.LG math.OC
OFFO minimization algorithms for second-order optimality and their complexity
提出了一类受Adagrad启发的光滑无约束优化算法，其中目标函数从未被评估，但梯度范数至少像$\calO(1/\sqrt{k+1})$一样快地下降，而二阶最优性测度至少像$\calO(1/(k+1)^{1/3})$一样快地收敛到零。后者的收敛速度收敛速率被证明是本质上是尖锐的，是相同的，已知的更标准的算法（如信赖域或自适应正则化方法）使用函数和导数的评估。文中还介绍了一种相关的“发散步长”方法，其基本上锐的收敛速度收敛速率稍差。最后讨论了如何获得较弱的二阶最优性保证（大大）减少计算成本。
2022-03-07 math.OC
Multilevel Objective-Function-Free Optimization with an Application to Neural Networks Training
Université de Toulouse, INP, IRIT（图卢兹大学，国立图卢兹应用科学学院，图卢兹计算机科学研究所）；Brown University（布朗大学）；University of Namur（那慕尔大学）
提出了一类求解无约束非线性最优化的多层算法，该算法不需要对目标函数求值。该类包含动量较少的AdaGrad方法作为特定（单级）实例。避免评估目标函数的选择旨在使该类算法对噪声不太敏感，而多级特征旨在降低其计算成本。分析了这些算法的评估复杂性，然后在训练用于监督学习应用的深度神经网络的背景下说明了它们在存在噪声的情况下的行为。
2023-02-14 cs.AI cs.CC math.OC
Complexity and performance for two classes of noise-tolerant first-order algorithms
本文提出两类无需目标函数评估的噪声容忍一阶优化算法，分析了第一类（推广Adagrad）的复杂度并推导出性能更优的第二类算法，初步实验表明第二类在深度学习有限和问题上表现更好。
2025-01-29 math.OC
Adaptive Gradient Descent for Optimal Control of Parabolic Equations with Random Parameters
本文将自适应梯度下降（AdaGrad）算法推广到具有不确定参数的抛物型偏微分方程的最优分布控制问题。这种随机最优化方法通过自适应缩放梯度步长来实现改进的收敛速度。我们证明了这个无限维问题的算法的收敛性在适当的正则性，凸性和有限方差条件下，并与这些相关的基本系统参数的可验证的属性。最后，我们将我们的算法应用于不确定负载下的锂电池系统的最优热调节。
2021-10-20 cs.NA math.NA math.OC
Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
George Mason University（乔治梅森大学）
本文在 $(L_0, L_1)$-光滑条件下研究自适应梯度算法的复杂度下界，证明 AdaGrad 多种变体对问题参数至少存在二次依赖，并揭示该设定比标准光滑设定本质上更难。
2025-05-07 cs.LG math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
Complexity of a Class of First-Order Objective-Function-Free Optimization Algorithms
研究无需计算目标函数值的信赖域优化算法，证明其复杂度可媲美使用函数值与梯度的一阶方法，并提出一类本质最优的新算法。
2023-06-06 cs.CC math.OC
Universal Gradient Methods for Stochastic Convex Optimization
本研究针对随机凸优化问题，提出基于梯度差与迭代点差组合累积调整步长的通用梯度方法，可自动适配噪声与赫尔德光滑性，达当前最优最坏情况收敛率，还给出了具最优效率估计的通用快速梯度方法。
2024-07-11 math.OC
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
Division of Data and Decision Sciences（数据与决策科学部）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of Maryland（马里兰大学）；Department of Mechanical Engineering（机械工程系）
本文基于状态空间建模与控制理论传递函数提出自适应梯度优化通用框架及 Adam 新变体 AdamSSM，证明其收敛性，并在图像分类和语言建模任务上验证其泛化与收敛优势。
2023-08-19 cs.LG cs.SY eess.SY
Divergence Results and Convergence of a Variance Reduced Version of ADAM
Industrial Engineering and Management Sciences, Northwestern University, Evanston, IL, USA, 60201（工业工程与管理科学，西北大学，伊利诺伊州埃文斯顿，60201）
本文提出了一种方差减少的ADAM变体，证明其在方差减少条件下收敛，解决了原始ADAM在特定问题上的发散问题。
2026-01-29 cs.LG math.OC
An Adaptive Smoothing Algorithm for Non-Lipschitz Optimization on Manifolds with Complexity Guarantees
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种自适应平滑Riemannian梯度算法，针对非利普斯连续优化问题，在流形上实现O(ε^{p-4})的迭代复杂度，首次给出非利普斯连续优化在流形上的复杂度结果。
2026-04-20 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法（ADMM）的收敛性.我们的收敛性分析依赖于广义中值定理，由于耦合目标函数的存在，该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明，直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
ADSWITCH: A Simple First-Order Algorithm for Full-Rank Equality Constrained Optimization
Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；NAXYS, University of Namur（NAXYS，那慕尔大学）
本文提出了一种简单的一阶算法，用于解决带有全秩等式约束的非线性优化问题，该算法在切平面或减少不可行性方面自适应选择步骤，无需惩罚函数或滤波器，具有O(1/sqrt{k})的全局收敛速度，并在噪声环境下表现出良好的稳定性。
2026-10-20 math.OC
On the Convergence of A Class of Adam-Type Algorithms for Non-Convex Optimization
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了一类基于自适应梯度的动量算法，该算法利用过去的梯度同时更新搜索方向和学习率。这个类，我们称之为“亚当类型”，包括流行的算法，如亚当，AMSGrad和AdaGrad。尽管它们在训练深度神经网络方面很受欢迎，但这些算法用于解决非凸问题的收敛性仍然是一个悬而未决的问题。本文给出了一组保证Adam型方法收敛的温和的充分条件。我们证明了在我们导出的条件下，这些方法对非凸随机优化问题能达到$O(\log{T}/\sqrt{T})$阶的收敛速度。我们证明了条件是必不可少的，在这个意义上，违反它们可能会使算法发散。此外，我们提出并分析了一类（确定性）增量自适应梯度算法，它具有相同的$O(\log{T}/\sqrt{T})$收敛速度。我们的研究还可以扩展到机器学习和优化中更广泛的自适应梯度方法。
2019-03-10 cs.LG math.OC stat.ML
Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
Yandex Research（Yandex研究院）
针对非欧几里得SGD（如SignSGD、Lion、Muon）在深度学习中成功但理论速率不如欧几里得SGD的问题，提出统一收敛分析，证明其能利用稀疏/低秩结构、受益于外推或动量方差缩减，并匹配AdaGrad等自适应算法的最优速率。
2026-06-23 cs.LG math.OC
Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
Simon Fraser University（西蒙弗雷泽大学）；Stony Brook University（石溪大学）
本文在非均匀光滑假设下，研究最速下降法及RMSProp和Adam的确定性对角变体的收敛率，证明在逻辑回归、softmax策略梯度等目标上符号梯度下降线性收敛且快于梯度下降，并在两层神经网络上证明RMSProp和Adam可线性收敛。
2026-05-28 cs.LG math.OC
A Unified Convergence Rate Analysis of The Accelerated Smoothed Gap Reduction Algorithm
在本文中，我们为[20，Tran-Dinh et al，2015]中引入的加速平滑GAp缩减算法（ASGARD）开发了一个统一的收敛分析框架。与[20]不同，新的分析涵盖了单个算法中的三个设置：一般凸性，强凸性以及强凸性和光滑性。此外，我们建立了三个标准的收敛性保证：（i）间隙函数，（ii）原始目标残差，（iii）双重目标残差。我们的收敛速度在所有情况下都是最优的（直到一个常数因子）。在文献[20]中，我们证明了一般凸情形下原目标残差的收敛速度，而在间隙函数和对偶目标残差上，我们证明了另外的收敛速度。最后两个案例的分析是全新的。我们的研究结果提供了一个完整的画面上的收敛保证ASGARD。最后，我们提出了四个不同的数值实验上的一个代表性的最优化模型，以验证我们的算法，并比较它与Nesterov的平滑技术。
2021-06-15 math.OC
Stochastic Non-Smooth Convex Optimization with Unbounded Gradients
Yandex Research（Yandex研究院）
针对梯度范数受最优性间隙仿射函数约束的广义Lipschitz函数类，证明AdamW带裁剪更新在随机非光滑凸优化中优于SGD和AdaGrad，并建立其指数加权梯度累积的关键作用及推广到广义光滑和拟凸设置。
2026-05-26 cs.LG math.OC
