Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation
Texas A&M University（德克萨斯理工大学）
针对高维M估计中标准Polyak步长因平滑度度量不匹配而失效的问题，提出稀疏Polyak自适应步长，通过估计受限Lipschitz平滑常数，实现更快收敛与更优统计精度。
2025-10-14 cs.LG math.OC stat.ML
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ServiceNow Research（ServiceNow研究院）
本文研究随机镜像下降在插值条件下的收敛性，提出自适应步长方案mSPS，在无需梯度有界和方差有界假设下给出收敛保证，并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Dynamics of SGD with Stochastic Polyak Stepsizes: Truly Adaptive Variants and Convergence to Exact Solution
针对随机Polyak步长（SPS）在非过参数化场景下需预知最优损失且仅收敛至邻域的缺点，提出新变体DecSPS，在无需预知参数及限制性假设下实现强凸优化精确收敛。
2024-02-16 math.OC
Cutting Some Slack for SGD with Adaptive Polyak Stepsizes
Flatiron Institute（弗莱肯研究所）；Google Research（谷歌研究院）；Télécom Paris（巴黎电信学院）
本文针对随机梯度下降步长调节繁琐的问题，提出基于引入松弛变量的 SPS 自适应步长方法新变体，使其更适合非线性模型，并提供了收敛性理论与数值验证。
2022-05-20 cs.LG math.OC
Exact Convergence rate of the subgradient method by using Polyak step size
本文研究使用 Polyak 步长的次梯度方法，证明其最后迭代的收敛速率为 O(1/N^(1/4)) 且精确，并引入自适应步长和动量项使速率提升至最优的 O(1/√N)，同时给出交替投影方法的精确速率。
2024-07-21 math.OC
Extremely Fast Convergence Rates for Extremum Seeking Control with Polyak-Ruppert Averaging
本文研究极值搜索控制的收敛速率，通过引入两种新技术并结合数论与随机逼近理论，将无梯度优化等应用中的最优收敛速率从 $O(n^{-2})$ 提升至 $O(n^{-4+δ})$，在标准基准上验证了该方法的有效性。
2024-03-25 math.OC
Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence
Mila（米拉研究所）；DIRO（计算机科学与运筹学系（蒙特利尔大学））；Université de Montréal（蒙特利尔大学）；University of Alberta（阿尔伯塔大学）；McGill（麦吉尔大学）；Element AI（Element AI公司）；CIFAR（加拿大高级研究院）
我们提出了一个随机变量的经典Polyak步长（Polyak，1987年）常用的次梯度法。虽然计算Polyak步长需要了解最佳函数值，但此信息可随时用于典型的现代机器学习应用程序。因此，提出的随机Polyak步长（SPS）是一个有吸引力的选择，用于设置随机梯度下降（SGD）的学习率。我们提供了理论上的收敛性保证配备SPS SGD在不同的设置，包括强凸，凸和非凸函数。此外，我们的分析结果在新的收敛保证SGD与一个恒定的步长。我们表明，SPS是特别有效的训练过参数化模型能够插值的训练数据。在这种情况下，我们证明了SPS使SGD收敛到真正的解决方案，在一个快速的速度，而不需要任何问题相关的常数或额外的计算开销的知识。我们通过对合成数据集和真实数据集的大量实验来验证我们的理论结果。我们证明了与最先进的最优化方法相比，在训练过参数化模型时，具有SPS的SGD具有强大的性能。
2021-03-22 cs.LG math.OC stat.ML
Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler
Mathematical Institute for Data Science (MINDS), Johns Hopkins University, Baltimore, MD, USA（数据科学数学研究所（MINDS），约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Computer Science, Johns Hopkins University, Baltimore, MD, USA（计算机科学系，约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Applied Mathematics and Statistics, Johns Hopkins University, Baltimore, MD, USA（应用数学与统计学系，约翰霍普金斯大学，巴尔的摩，MD，美国）
针对锐度感知最小化（SAM）对学习率敏感的问题，受随机Polyak步长启发，提出适用于SAM的Polyak调度器，在确定性和随机设置下实现自适应算法，并证明收敛性，实验表明性能优于或媲美调优的SAM基线。
2026-06-01 cs.LG math.OC stat.ML
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
H. Milton Stewart School of Industrial and Systems Engineering（H. 米尔顿·斯图尔特工业与系统工程学校）；Georgia Institute of Technology（佐治亚理工学院）
证明在动量和非收敛预条件化下，Polyak-Ruppert平均的Adam迭代仍满足经典中心极限定理，渐近协方差与SGD相同。
2026-06-17 math.OC math.ST stat.ML
Polyak Stepsize: Estimating Optimal Functional Values Without Parameters or Prior Knowledge
针对梯度下降Polyak步长需最优函数值先验知识的问题，提出无参数方法，通过维护两个迭代序列估计未知最优值，经理论分析和数值实验验证，无需函数相关先验即可实现有竞争力的性能。
2025-08-24 math.OC
Tight Heavy-Tailed Complexity Bounds for Optimizing Polyak--Łojasiewicz Objectives
Shanghai University of Finance and Economics（上海财经大学）；MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics（上海财经大学计算与经济交叉研究教育部重点实验室）
该研究针对满足条件无偏随机梯度的重尾一阶优化，推导了高维极小极大下界，提出中心裁剪镜像下降方法达到匹配高概率上界，还刻画了固定维度下的随机复杂度并明确了间隙。
2026-09-29 math.OC
Fast Convergence of Random Reshuffling under Over-Parameterization and the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
本文研究了过参数化设置下随机重排(RR)相比随机梯度下降(SGD)的收敛优势，证明了在Polyak-Łojasiewicz函数类中，当样本数小于弱增长条件参数与条件数乘积或小于强增长条件参数时，RR能优于SGD。
2023-04-02 cs.LG math.OC
SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Flatiron Institute（熨斗研究所）
SANIA框架通过消除手动步长调整并处理病态问题，结合多种预处理方法（如Hutchinson近似Hessian对角），在凸与非凸分类任务中实现尺度不变的随机优化。
2023-12-28 cs.LG math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题，给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Adaptive SGD with Polyak stepsize and Line-search: Robust Convergence and Variance Reduction
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
针对现有随机Polyak步长和随机线搜索SGD在非插值场景下收敛性差、人为降步长会拖慢收敛的问题，提出AdaSPS和AdaSLS两种变体，结合新型方差缩减技术提升了收敛效率，且易实现分析，经实验验证有效鲁棒。
2023-08-21 cs.LG math.OC stat.ML
Local Curvature Descent: Squeezing More Curvature out of Standard and Polyak Gradient Descent
本文提出局部曲率下降（LCD1、LCD2、LCD3）三种新方法，利用现成局部曲率信息构造矩阵值步长，推广标准及Polyak梯度下降，理论恢复已知速率且实证优于梯度下降。
2024-05-26 math.OC
Global Convergence of Arbitrary-Block Gradient Methods for Generalized Polyak-Łojasiewicz Functions
在本文中，我们介绍了两个新的推广理论的梯度下降型方法在最近的设置。首先，我们引入比例函数，我们进一步使用它来分析所有已知的（和许多新的）块坐标下降法在一个单一的框架下的块选择规则。该框架包括具有均匀、非均匀甚至自适应采样策略的随机方法，以及具有批量、贪婪或循环选择规则的确定性方法。其次，强凸优化理论最近被推广到一类满足所谓的Polyak条件的非凸函数。为了反映这一推广的弱凸的情况下，我们引入弱Polyak-Chaojasiewicz条件，使用它我们给整体收敛保证一类非凸函数以前没有考虑在理论上。此外，我们建立（必然有点弱）收敛保证更大的一类非凸函数满足一定的光滑性假设。通过结合上述两个概括，我们恢复了最先进的收敛保证的一个大类以前已知的方法和设置作为我们的一般框架的特殊情况。此外，我们的框架允许衍生新的保证，许多新的组合的方法和设置，以及一大类新的非凸目标。我们的方法的灵活性为未来的研究提供了很大的潜力，作为一个新的块选择程序将有一个收敛的保证，我们的框架中考虑的所有目标，而根据我们的方法分析的一个新的目标将有一个完整的舰队块选择规则与收敛保证随时可用。
2017-09-09 math.OC
SP2: A Second Order Stochastic Polyak Method
UCLA（加州大学洛杉矶分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Flatiron Institute（熨斗研究所）
最近，“SP”（随机Polyak步长）方法已成为一种具有竞争力的自适应方法，用于设置SGD的步长。SP可以解释为一种专门用于插值模型的方法，因为它解决了插值方程。SP通过使用模型的局部线性化来求解这些方程。我们采取进一步的措施，并开发了一种方法来解决插值方程，使用局部二阶近似的模型。我们得到的方法SP2使用Hessian向量乘积来加速SP的收敛。此外，在二阶方法中，SP2的设计并不依赖于正定Hessian矩阵或目标函数的凸性。我们发现SP2在矩阵完备化、非凸检验问题和逻辑回归方面具有很强的竞争力。我们还提供了二次和的收敛理论。
2022-07-17 cs.LG math.OC
A Single Stepsize Suffices for Unprojected Linear TD(0): Simultaneous Robust and Fast Rates via Polyak--Ruppert Averaging
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
研究马尔可夫采样下线性TD(0)的Polyak-Ruppert平均，提出依赖混合时间的单一步长，无需曲率参数先验知识，实现无投影下自动有界，同时获得鲁棒和快速收敛速率。
2026-06-25 cs.LG math.OC stat.ML
Function Value Learning: Adaptive Learning Rates Based on the Polyak Stepsize and Function Splitting in ERM
Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Center for Computational Mathematics（计算数学中心）；Flatiron Institute（熨斗研究所）；Technical University of Munich（慕尼黑工业大学）
本文开发了利用采样损失值的自适应步长 SGD 变体 $\texttt{SPS}_+$ 和 $\texttt{FUVAL}$，虽然在非平滑分析上有一定贡献，但新方法在理论和实验上尚未显示出明显优势。
2023-07-26 cs.LG math.OC
Adaptive Learning Rates for Faster Stochastic Gradient Methods
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这项工作中，我们提出了新的自适应步长策略，改善了几个随机梯度方法。我们的第一种方法（StoPS）是基于经典的Polyak步长（Polyak，1987），并且是该方法用于随机优化-SPS（Loizou等人，2021），我们的第二种方法，表示为梯度，通过“随机梯度的多样性”重新调整步长。我们提供了一个强凸光滑函数的这些方法的理论分析，并表明他们享受确定性的速度，尽管随机梯度。此外，我们证明了我们的自适应方法在二次目标上的理论优越性。不幸的是，StoPS和Grades都依赖于未知量，这只适用于过参数化模型。为了弥补这一点，我们放弃了这种不必要的依赖性，并将StoPS和Grades分别重新定义为StoP和Grad。我们证明了这些新方法在相同的假设下线性收敛到最优解的邻域。最后，我们通过实验验证证实了我们的理论主张，这表明GraD对深度学习优化特别有用。
2022-08-10 cs.LG math.OC
On the Lower Bound of Minimizing Polyak-Łojasiewicz Functions
本文研究了一阶算法最小化平滑 Polyak-Łojasiewicz (PL) 函数的下界，证明任何一阶算法均需 $Ω(L/μ \log(1/ε))$ 的梯度成本，揭示了平滑 PL 函数无法像平滑强凸函数那样通过动量技术加速，从而论证了梯度下降算法的最优性。
2023-08-02 math.OC
An Infeasible-Point Subgradient Method Using Adaptive Approximate Projections
本文提出了一种新的次梯度法，用于求解凸集上非光滑凸函数的极小化问题。为了加快计算速度，我们使用自适应近似投影，只需要在精确投影的一定距离内移动（在算法过程中会减少）。特别是，我们方法中的迭代在整个过程中可能是不可行的。然而，我们提供的条件，确保收敛到一个最佳的可行点，在适当的假设。一个收敛的结果处理的步长序列是固定的先验。另外两个结果处理动态Polyak型步长取决于最佳目标函数值的下限或上限估计，分别。此外，我们简要概述了两个应用：凸机会约束的优化，并找到最小l1范数解欠定线性系，在压缩感知的一个重要问题。
2013-03-08 math.OC
Minimizing Quantum Renyi Divergences via Mirror Descent with Polyak Step Size
量子信息量在描述各种量子信息论问题中的操作量方面起着重要作用。我们考虑了四个量子信息量的数值计算：Petz-Augustin信息量，三明治Augustin信息量，条件三明治Renyi熵和三明治Renyi信息量。为了计算这些量，需要最小化量子态集合上的某阶$α$量子Renyi发散。由于优化问题是明显凸的，它们违反了文献中的标准有界梯度/Hessian条件，因此现有的凸优化方法及其收敛性保证不直接适用。在本文中，我们提出了一类新的凸优化方法称为镜像下降与Polyak步长。我们证明了他们的收敛性在一个较弱的条件下，表明他们可证明收敛于最小化量子Renyi分歧。数值实验结果表明，采用Polyak步长的熵镜下降法在极小化量子Renyi发散方面收敛较快。
2022-02-04 cs.IT math.IT math.OC
A Stochastic Proximal Polyak Step Size
Technical University of Munich（慕尼黑工业大学）；Flatiron Institute（熨斗研究所）
针对随机Polyak步长需目标函数下界且带正则化时下界估计宽松的问题，提出仅需损失下界的近端变体ProxSPS，其调优更简单、稳定性更强，图像分类性能媲美AdamW且权重更小，还给出多场景收敛性分析。
2023-05-04 cs.LG math.OC stat.ML
Distributed Inexact Newton Method with Adaptive Step Sizes
本文提出带自适应步长的分布式非精确牛顿法DINAS，可求解两类分布式优化问题，具备收敛速率优势且减少全局参数需求，实验表现优于现有方法，还首次给出相关非精确牛顿法的收敛性分析。
2025-01-14 math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Heuristic adaptive fast gradient method in stochastic optimization tasks
本文提出了一种启发式自适应快速梯度法。我们表明，在实践中，我们的方法有一个更好的收敛速度比今天流行的最优化方法。此外，我们证明我们的方法，并指出一些问题，不允许我们获得理论估计。
2019-10-10 math.OC
A Riemannian Inertial Adaptive Gradient Method with Momentum Restart
University of Hertfordshire（赫特福德大学）；Sefako Makgatho Health Sciences University（塞法科·马卡索健康科学大学）
本文提出RIAG-R，一种结合自适应步长、惯性外推和梯度触发重启的黎曼优化方法，在多个矩阵流形上显著优于基线，证明了自适应重启对曲率空间动量的关键作用。
2026-09-29 math.OC
Stochastic Polyak Step-sizes and Momentum: Convergence Guarantees and Practical Performance
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对带动量的随机梯度下降法（SHB）参数调优困难的问题，基于迭代移动平均视角提出了三种新型Polyak型步长选择，并提供了紧致的收敛性分析与实验验证。
2025-03-04 cs.LG math.OC stat.ML
A Modular Analysis of Provable Acceleration via Polyak's Momentum: Training a Wide ReLU Network and a Deep Linear Network
Georgia Institute of Technology（佐治亚理工学院）
在梯度下降方法中描述所谓的“动量”动态被广泛用于神经网络训练，因为已经广泛观察到，至少在经验上，它通常导致显著更快的收敛。同时，在文献中很少有理论保证来解释这种明显的加速效应。即使对于经典的强凸二次型问题，已有的结果也只是证明了Polyak动量的线性加速率是渐近的。在本文中，我们首先回顾了二次问题，并证明了一个非渐近的加速线性率的Polyak的动量。然后，我们证明了Polyak的动量在训练一层宽的ReLU网络和深度线性网络时实现了加速，这可能是文献中研究优化和深度学习的两个最流行的规范模型。Du等人2019和Wu等人2019的先前工作表明，使用香草梯度下降，并使用过度参数化，在$t$迭代后，误差衰减为$(1- Θ(\frac{1}{ κ'}))^t$，其中$κ'$是Gram矩阵的条件数。我们的结果表明，在适当选择参数的情况下，Polyak的动量有一个速率为$(1-Θ(\frac{1}{\sqrt{κ'}}))^t$ .对于深度线性网络，Hu et al. 2020的先前工作表明，香草梯度下降的速率为$(1-Θ(\frac{1}κ))^t$，其中$κ$是数据矩阵的条件数。我们的结果表明，加速率$(1- Θ(\frac{1}{\sqrtκ}))^t$是由Polyak的动量实现。在这项工作中的所有结果是从模块化分析，这可以是独立的利益。这项工作证明动量确实可以加速神经网络的训练。
2021-06-10 cs.LG math.OC stat.ML
Adaptive Algorithms for Nonconvex Bilevel Optimization under PŁ Conditions
School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学上海市重点实验室）
本文提出AF²BA和A²F²BA算法，通过自适应步长策略在PŁ条件下高效求解非凸双层优化问题，达到与现有方法相当的迭代和Oracle复杂度。
2025-12-30 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Discrete-Time Adaptive Control in High Dimensions: Near Dimension-Free Performance via Mirror Descent
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）
针对高维离散时间非线性系统自适应控制的维度相关性能局限，提出带非欧几里得Polyak型步长的镜像下降型自适应律，其后悔界对环境维度至多呈对数依赖，数值实验验证了方案有效性。
2026-08-04 math.OC
Provable Acceleration of Heavy Ball beyond Quadratics for a Class of Polyak-Łojasiewicz Functions when the Non-Convexity is Averaged-Out
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对一类非凸性被平均化的PL函数，提出新技术分析Hessian变化对收敛速度的影响，证明重球法超越二次函数的加速，并展示自适应动量参数的优势。
2023-08-29 cs.LG math.OC
Adaptive Restart of the Optimized Gradient Method for Convex Optimization
带动量的一阶方法，如Nesterov的快速梯度法，对于凸优化问题非常有用，但在某些应用中可能会出现不希望的振荡，从而导致缓慢的收敛速度。当强凸费用函数的参数未知或迭代过程进入局部强凸区域时，自适应重新启动方案可以提高快速梯度法的收敛速度.最近，我们介绍了优化的梯度法，一阶算法，具有廉价的每次迭代的计算成本类似的快速梯度法，但有一个最坏情况下的费用函数的速度比快速梯度法的两倍，这是最佳的大规模光滑凸问题。在利用自适应重启加速快速梯度法的成功基础上，本文研究了优化梯度法的类似启发式加速。我们首先推导出一个新的一阶方法，类似于优化的梯度法的强凸二次问题与已知的函数参数，产生的线性收敛速率比类似版本的快速梯度法。然后，我们提供了一个启发式的分析和数值实验，说明自适应重新启动可以加快收敛的优化梯度法。数值结果还表明，自适应重新启动有助于非光滑复合凸函数的优化梯度法的近似形式。
2017-11-28 math.OC
Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients
Mathematical Institute for Data Science (MINDS), Johns Hopkins University, Baltimore, MD, USA（数据科学数学研究所（MINDS），约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Computer Science, Johns Hopkins University, Baltimore, MD, USA（计算机科学系，约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Applied Mathematics and Statistics, Johns Hopkins University, Baltimore, MD, USA（应用数学与统计学系，约翰霍普金斯大学，巴尔的摩，MD，美国）
针对非光滑凸优化问题，提出保护性随机Polyak步长（SPS_safe）用于随机次梯度方法，在无需强假设下提供收敛保证，并融入动量机制，实验验证其在深度神经网络训练中避免梯度消失的鲁棒性。
2026-06-01 cs.LG math.OC stat.ML
A scaled, inexact and adaptive Fast Iterative Soft-Thresholding Algorithm for convex image restoration
在这篇文章中，我们考虑了最近在（Rebegoldi，Calatroni，'21）中提出的用于强凸复合优化问题的有效解的缩放的、不精确的和自适应的广义快速迭代软保持算法（SAGE-FISTA）的一个特殊实例。特别是，我们在这里解决的唯一（非强）凸优化的情况下，这是经常遇到的许多成像应用。所提出的不精确S-FISTA算法示出了与（Bonettini，Rebegoldi，Ruggiero，'19）中研究的FISTA的可变度量和不精确版本的类比，主要区别是使用自适应（非单调）回溯策略，允许沿着迭代自动调整算法步长（参见（Scheinberg，Goldfarb，Bai，'14，Calatroni，Chambolle，'19））。给出了函数值依赖于回溯参数和变度量算子谱的上、下界的一个平方收敛结果。电视图像去模糊问题的泊松噪声的实验结果，然后报告的数值验证，显示出提高计算效率和精度。
2021-04-01 math.OC
Adaptive Stochastic Gradient Descent Ascent Algorithm for Nonconvex Minimax Problems with Decision-Dependent Distributions
本文研究了具有决策依赖分布的非凸极小极大问题，提出了自适应随机梯度下降上升算法（ASGDA）及其交替版本（AASGDA），动态学习分布映射并优化目标，在多种非凸设置下证明了收敛复杂度，并通过数值实验验证了有效性。
2025-09-14 math.OC
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin（德克萨斯大学奥斯汀分校奥登研究所）；Department of Mathematics, UT Austin（德克萨斯大学奥斯汀分校数学系）
我们证明了自适应随机梯度方法的范数版本（AdaGrad-Norm）对于满足Polyak Lojasiewicz（PL）不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上，我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性，而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论，并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, U. Washington（数学系，华盛顿大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛，提出基于“沟壑”流形分解的步长策略，并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Adaptive Gradient Methods Converge Faster with Over-Parameterization (but you should do a line-search)
University of Alberta（阿尔伯塔大学）；Mila, McGill University（米拉研究所，麦吉尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Cornell University（康奈尔大学）；Mila, Université de Montréal（米拉研究所，蒙特利尔大学）
自适应梯度方法通常用于训练过参数化模型。为了更好地理解它们的行为，我们研究了一个简单的设置-平滑，凸损失与模型过度参数化足以插值数据。在这种情况下，我们证明了AMSGrad与恒定的步长和动量收敛到极小值在一个更快的$O(1/T)$率。当插值仅近似满足时，恒定步长AMSGrad以相同的速率收敛到解的邻域，而AdaGrad对插值的违反具有鲁棒性。然而，即使对于满足插值的简单凸问题，这两种方法的经验性能在很大程度上取决于步长，需要调整，质疑其自适应性。我们通过使用随机线搜索或Polyak步长自动确定步长来缓解这个问题。通过这些技术，我们证明了AdaGrad和AMSGrad都保留了它们的收敛保证，而不需要知道问题相关的常数。从经验上讲，我们证明了这些技术可以提高自适应梯度方法在不同任务中的收敛性和泛化能力，从使用内核映射的二进制分类到使用深度网络的多类分类。
2021-02-18 cs.LG math.OC stat.ML
Adaptive Mirror Descent Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对非凸双层优化问题，基于镜像下降提出了自适应方法AdaPAG与AdaVSPAG，分别用于确定性和随机场景，并证明了其具有已知最佳的梯度复杂度和快速收敛速率。
2023-11-18 cs.LG math.OC
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Indian Institute of Technology（印度理工学院）
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛，提出统一理论框架，适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；Ohio State University（俄亥俄州立大学）
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而，它们在实践中的加速效果，特别是在神经网络训练中，很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中，我们提供了自适应梯度法一个新的分析与额外的温和的假设，并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标，我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度，这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比，现有的自适应梯度法和随机洗牌SGD，分别。据我们所知，这是第一次证明，自适应梯度法可以确定性地比SGD有限时期后更快。此外，我们进行了全面的实验，以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
近年来，由于超参数最优化和Meta学习等多种应用，双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法，这些方法没有考虑使用自适应学习率。众所周知，自适应学习率可以加速优化算法。为了填补这一空白，本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵，包括多种类型的自适应学习率，并可以灵活地使用动量和方差减少技术。特别是，我们提供了一个有用的收敛性分析框架的双层优化。具体来说，我们提出了一个快速的单循环自适应双层优化（BiAdam）算法，它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时，我们提出了一种加速的BiAdam算法（VR-BiAdam），它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知，我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
Glocal Smoothness: Line search and adaptive step sizes can help in theory too!
Stanford University（斯坦福大学）
本文提出全球局部平滑性概念，通过函数属性定义，允许用迭代无关常数界迭代复杂度，展示线搜索优于固定步长，且在某些情况下梯度下降比加速方法更优。
2026-05-15 cs.LG math.OC
AdamL: A fast adaptive gradient method incorporating loss function
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
本文提出AdamL，一种融合损失函数信息的Adam优化器变体，在Polyak-Lojasiewicz条件下保证线性收敛，并在基准函数及多种深度学习任务中优于Adam、EAdam和AdaBelief，且无需手动调整学习率。
2023-12-23 cs.LG math.OC stat.ML
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh（匹兹堡大学）
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法，但它们主要集中在经验或理论方面，并且仅通过使用特定的自适应学习率来解决特定的问题。因此，需要设计一个通用的框架，为实际的自适应梯度算法与理论保证，以解决一般问题。为了填补这一空白，我们提出了一个更快和通用的自适应梯度框架（即，SUPER-ADAM）通过引入一个通用的自适应矩阵，包括大多数现有的自适应梯度形式。此外，我们的框架可以灵活地集成动量和方差减少技术。特别是，我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中，我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度（即，随机一阶预言（SFO））复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化，它匹配的下界随机光滑非凸优化。在数值实验中，我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
