Accelerated Stein Variational Gradient Flow
Institute of Mathematics, Technical University Berlin(柏林工业大学数学研究所);Department of Mathematics, University of South Carolina(南卡罗来纳大学数学系)
本文提出加速 Stein 变分梯度下降(ASVGD),通过 Nesterov 加速梯度流和动量离散更新提升高维采样效率,并用 Wasserstein 正则化稳定动量,实验验证其优于 SVGD 等流行方法。
2025-04-09 cs.LG math.OC stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University(莱斯大学)
针对 Nesterov 动量在神经网络训练中的加速收敛难题,本文提出一类仅部分参数满足强凸性的新目标函数,从理论上证明其加速效果,并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
Advancing Wasserstein Convergence Analysis of Score-Based Models: Insights from Discretization and Second-Order Acceleration
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学)
本文针对基于分数的扩散模型,系统比较Euler离散化、指数积分器和中点随机化等方案对Wasserstein收敛性的影响,并提出基于Hessian信息和局部线性化的加速采样器,将收敛速率从标准二阶改进到一阶级别。
2025-02-07 cs.LG math.PR stat.ML
Accelerated Regularized Wasserstein Proximal Sampling Algorithms
Department of Mathematics, University of California, Los Angeles, CA 90095(加州大学洛杉矶分校数学系);Department of Mathematics, University of South Carolina, Columbia, SC 29208(南卡罗来纳大学数学系)
本文提出了一种加速的正则化Wasserstein近端采样算法,通过二阶分数ODE提升粒子混合效率,实现更快的收敛和更优的泛化性能。
2026-01-16 cs.LG math.OC stat.CO
Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization
University of Pittsburgh(匹兹堡大学);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们提出了一类用于非凸极小优化和极小极大优化的加速零阶和一阶动量方法。具体来说,我们提出了一个新的加速零阶动量(ACC-ZOM)的黑盒小优化方法,只有功能值可以获得。此外,我们证明了我们的Acc-ZOM方法实现了较低的查询复杂度为$\tilde{O}(d^{3/4}ε^{-3})$寻找一个$ε$ -平稳点,这提高了最好的已知结果的一个因素的$O(d^{1/4})$,其中$d$表示的可变尺寸。特别是,我们的Acc-ZOM不需要在现有的零阶随机算法所需的大批量。同时,我们提出了一个加速零阶动量下降上升(ACC-ZOMDA)方法的黑箱极小极大优化,其中只有函数值可以得到。我们的Acc-ZOMDA获得了低查询复杂度的$\tilde{O}((d_1+d_2)^{3/4}κ_y^{4.5}ε^{-3})$,而不需要大批量寻找一个$ε$ -平稳点,其中$d_1$和$d_2$表示可变尺寸和$κ_y$是条件数。此外,我们提出了一个加速的一阶动量下降上升(Acc-MDA)方法的极小极大优化,其显式梯度是可访问的。我们的Acc-MDA实现了$\tilde{O}(κ_y^{4.5}ε^{-3})$的低梯度复杂性,而不需要大批量来寻找$ε$ -稳定点。特别是,我们的Acc-MDA可以获得具有批量大小$O(κ_y^4)$的$\tilde{O}(κ_y^{2.5}ε^{-3})$的较低梯度复杂度,这将…
2022-01-17 cs.CV cs.LG math.OC
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong(香港大学)
三次正则化方法(CR)及其自适应方法(ARC)是求解无约束非凸优化问题的常用牛顿型方法,由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法(ARCm),以提高收敛性能。在适当选择动量步长的情况下,证明了ARCm的整体收敛,并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明,所提出的ARCm显着优于最先进的三次正则化方法(例如,CR、基于动量的CR、ARC)和置信域方法。特别地,ARCm所需的迭代次数比实验中最具竞争力的方法(ARC)所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
Department of Mathematics, Ecole Normale Supérieure Paris-Saclay(数学系,巴黎萨克雷高等师范学院);Department of Mathematics, Imperial College London(数学系,伦敦帝国理工学院)
本文提出动量SVGD-EM方法,通过引入Nesterov加速提升MMLE的收敛速度,适用于不同难度的任务。
2026-03-09 cs.LG stat.CO stat.ML
Scheduled Restart Momentum for Accelerated Stochastic Gradient Descent
University of Utah(犹他大学);Rice University(莱斯大学);National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校)
具有恒定动量的随机梯度下降(SGD)及其变体(如Adam)是训练深度神经网络(DNN)的首选优化算法。由于DNN训练在计算上非常昂贵,因此人们对加速收敛非常感兴趣。Nesterov加速梯度(NAG)使用特殊设计的动量提高了凸优化的梯度下降(GD)的收敛速度;然而,当使用不精确的梯度时(如SGD),它会积累误差,最好的情况下会减慢收敛速度,最坏的情况下会发散。在本文中,我们提出了计划重启SGD(SRSGD),这是一种新的NAG风格的DNN训练方案。SRSGD用NAG中增加的动量代替SGD中的恒定动量,但根据时间表将动量重置为零来稳定迭代。使用各种图像分类的模型和基准,我们证明,在训练DNN时,SRSGD显着提高了收敛性和泛化能力;例如,在训练ResNet 200进行ImageNet分类时,SRSGD实现了20.93%的出错率,而基准为22.13%。随着网络的深入,这些改进变得更加重要。此外,在CIFAR和ImageNet上,SRSGD达到了类似甚至更好的出错率,与SGD基线相比,训练时间明显减少。
2020-04-26 cs.LG cs.NE stat.ML
(Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum
Simon Fraser University(西蒙弗雷泽大学);Samsung AI, Montreal(三星人工智能,蒙特利尔)
本文研究了SHB在强凸二次问题中的加速收敛条件,提出噪声自适应多阶段算法和一般强凸设置下的变体,确保收敛到极小化点并验证其有效性。
2025-05-30 cs.LG math.OC stat.ML
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI(微软研究院AI)
最小化非凸函数之和的问题(即,凸函数(即非凸函数的平均值)在机器学习中变得越来越重要,并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数,由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量,并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用,我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum
Kuwait University, Kuwait(科威特大学)
针对非凸强凹或PL条件的极小极大优化问题,提出基于偏差校正动量的算法,利用Hessian-向量积实现$\mathcal{O}(\varepsilon^{-3})$迭代复杂度,并通过鲁棒逻辑回归和自适应巡航控制验证有效性。
2026-06-24 cs.LG math.OC
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对二次回归问题在各向异性梯度噪声下,首次为随机重球方法建立非渐近收敛界,证明其偏差项加速收敛,整体速率接近统计最优,适用于大批量分布式学习。
2024-03-17 cs.LG math.OC
When is Momentum Extragradient Optimal? A Polynomial-Based Analysis
Rice University(莱斯大学);Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Google DeepMind(谷歌DeepMind)
本文基于多项式分析,确定了动量额外梯度法在可微博弈中实现进一步加速收敛的三个特征值分布场景,并推导了各场景下实现最快收敛率的超参数。
2024-02-10 cs.LG math.OC stat.ML
An Accelerated Stochastic Variance-Reduced Algorithm for Entropic Wasserstein Barycenters
City University of Hong Kong(香港城市大学);Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
研究固定正则化参数下的熵正则化Wasserstein重心问题,提出加速随机方差减少原始对偶算法,该算法利用半对偶有限和结构,有维度无关平滑界,实验验证其优势。
2026-07-07 cs.DS math.OC stat.ML
Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space
Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Center for Data Science, New York University(纽约大学数据科学中心)
本文研究了 Wasserstein 空间上的多面体优化理论,并将其应用于平均场变分推断(MFVI),在分布具有强对数凹且对数光滑性质时,提供了逼近速率证明和基于加速梯度下降的 KL 散度最小化算法,实现了首个基于梯度的 MFVI 端到端分析。
2025-05-29 cs.LG math.OC math.ST
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University(康奈尔大学);IBM Research(IBM研究院)
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法(NASG)。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明,我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划,其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案,我们进一步提高了收敛界。当采用某些初始条件时,我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
IHT dies hard: Provable accelerated Iterative Hard Thresholding
University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM T.J. Watson Research Center(IBM 沃森研究中心)
本文研究了在理论和实践中经典迭代硬阈值(IHT)方法中动量运动的使用,通过简单修改普通IHT,探讨了其在具有非凸约束的凸优化标准下的收敛行为,并观察到IHT的加速在投影梯度下降和Frank-Wolfe变体中带来了显著改进。
2019-09-13 cs.DS cs.LG cs.NA
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University(北京大学)
由于求解大规模最优化问题的迫切需求,异步算法近年来受到了广泛的关注。然而,异步算法的加速版本很少被研究。在本文中,我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说,我们首先加速普通的异步梯度下降,这实现了更快的$O(1/\sqrtε)$(与$O(1/ε)$)收敛速度,以及$O(\sqrtκ\log(1/ε))$(v.s. $O(κ\log(1/ε))$),使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法,如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知,我们是第一个考虑加速算法,允许更新延迟梯度,是第一个提出真正的加速异步算法。最后,在共享内存系统上的实验结果表明,加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Parametrized Accelerated Methods Free of Condition Number
Department of Computer Science and Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
加速(基于动量)梯度下降的分析通常假设有界条件数以获得指数收敛率。然而,在许多实际问题中,例如,核方法或深度神经网络,条件数,即使是局部的,也可能是无界的、未知的或错误估计的。这就给加速算法的实现和分析带来了问题。在本文中,我们解决这个问题,提出参数化加速方法考虑的条件数作为一个自由参数。我们提供了几个重要的加速算法的谱级分析,获得明确的表达和改善最坏情况下的收敛速度。此外,我们证明了这些算法指数收敛,即使条件数是未知的或错误估计。
2018-02-28 cs.LG math.OC
Accelerated Information Gradient flow
我们提出了一个框架Nesterov的加速梯度流在概率空间设计有效的平均场马尔可夫链蒙特卡罗(MCMC)算法的贝叶斯逆问题。本文考虑了四种信息度量的例子,包括Fisher-Rao度量、Wasserstein-2度量、Kalman-Wasserstein度量和Stein度量。对于Fisher-Rao和Wasserstein-2度量,我们证明了加速梯度流的收敛性质。在实现中,我们提出了一个采样有效的离散时间算法的Wasserstein-2,Kalman-Wasserstein和Stein加速梯度流与重新启动技术。我们还制定了一个核带宽选择方法,学习密度的对数梯度从布朗运动样本。数值实验,包括贝叶斯逻辑斯谛回归和贝叶斯神经网络,表明所提出的方法相比,国家的最先进的算法的强度。
2022-06-23 cs.IT math.IT math.OC
Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization
LMU Munich(慕尼黑大学)
渐进式提升(CWB),也称为基于模型的提升,是梯度提升的一种变体,它建立在加性模型作为基础学习器上,以确保可解释性。因此,CWB经常用于模型被用作解释数据关系的工具的研究领域。CWB的一个缺点是它在内存和运行时间方面的计算复杂性。在本文中,我们提出了两种技术来克服这些问题,而不会失去CWB的属性:特征离散化的数值特征,并将Nesterov动量函数梯度下降。由于后者可能容易出现早期过拟合,我们还提出了一种混合方法,可以防止可能的发散梯度下降例程,同时确保更快的收敛。我们对多个模拟和真实数据集进行了广泛的基准测试,以证明在运行时间和内存消耗方面的改进,同时保持最先进的估计和预测性能。
2021-10-29 cs.LG stat.CO
The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院)
该研究针对高维学习问题中SGD及其加速变体的最优性边界问题,分析带指数衰减步长和动量的SGD,建立ASGD收敛上界,明确两类算法达到极小极大最优的问题类别,揭示了SGD学习偏差的新规律。
2024-09-15 cs.LG math.OC
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong(香港中文大学)
近年来,许多方差缩减的随机交替方向乘子法(ADMM)方法(例如,SAG-ADMM、SDCA-ADMM和SVRG-ADMM)在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而,一般凸问题的最佳已知收敛速度是O(1/T),而加速批处理算法的收敛速度是O(1/T^2),其中$T$是迭代次数。因此,现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距,我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM(SVRG-ADMM),这导致了加速(ASVRG-ADMM)方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外,还将一般凸问题的收敛速度从O(1/T)提高到O(1/T^2)。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks
Center for Strategic Assessment and Consulting, Academy of Military Science(军事科学院战略评估咨询中心)
动量法,包括重球法(heavy-ball~(HB))和Nesterov加速梯度法(NAG),因其收敛速度快而被广泛应用于神经网络的训练。然而,由于神经网络的优化景观是非凸的,因此它们的收敛和加速缺乏理论保证。现在,一些工作取得了进展,了解收敛的动量方法在一个过参数化的制度,其中的参数的数量超过了训练实例。尽管如此,目前的结果主要集中在两层神经网络上,这远远不能解释动量方法在训练深度神经网络方面的显着成功。受此启发,我们研究了具有恒定学习率和动量参数的NAG在训练两种深度线性网络架构:深度全连接线性神经网络和深度线性ResNets时的收敛性。基于过参数化机制,本文首先分析了随机高斯初始化下深度全连接线性神经网络的NAG训练轨迹引起的剩余动力学.我们的研究结果表明,NAG可以收敛到全局最小值在一个$(1 - \mathcal{O}(1/\sqrtκ))^t$率,其中$t$是迭代次数和$κ> 1$是一个常数依赖于条件数的特征矩阵。与GD的$(1 - \mathcal{O}(1/κ))^t$速率相比,NAG实现了超过GD的加速。据我们所知,这是NAG在训练深度神经网络时收敛到全局最小值的第一个理论保证。此外,我们将我们的分析扩展到深度线性ResNets,并得出类似的收敛结果。
2022-04-18 cs.LG math.OC
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School(罗格斯商学院);Penn State University(宾夕法尼亚州立大学)
在这项工作中,我们考虑强凸强凹(SCSC)鞍点(SP)问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$,其中$f$是$L$-光滑的,$f(.,y)$是$μ$-强凸的每个$y$,和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中,在稳健的经验风险最小化(ERM)的背景下,例如$\textit{distributionally robust}$ ERM,经常出现这样的问题,其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言,我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶(SAPD)算法是一种针对梯度噪声的鲁棒方法。特别地,当动量参数被设置为零时,SAPD恢复众所周知的随机梯度下降上升(SGDA)作为特殊情况,并且当动量参数被适当地调谐时,即,将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推,并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
Deterministic Adam-Inspired Methods with Accelerated Convergence Rate
School of Mathematics, Sichuan University(四川大学数学学院);Department of Mathematics, University of California, Irvine(加州大学尔湾分校数学系)
本文提出Adam-HNAG算法,通过结合变量分割和算子分割,实现Adam算法的收敛性重新表述,证明其在凸光滑设置下的收敛性,包括加速收敛。
2026-08-18 cs.LG math.OC
Accelerated Markov Chain Monte Carlo Algorithms on Discrete States
Department of Mathematics University of California Santa Barbara, CA 93106, USA(数学系,加州大学圣巴巴拉分校);Department of Mathematics Florida State University Tallahassee, FL 32306, USA(数学系,佛罗里达州立大学);Department of Mathematics University of California Los Angeles, CA 90095, USA(数学系,加州大学洛杉矶分校);Department of Mathematics University of South Carolina Columbia, SC 29208, USA(数学系,南卡罗来纳大学)
本文提出了一种基于Nesterov加速梯度方法的离散状态采样算法,通过改进的哈密顿流和相互作用粒子系统,有效估计离散得分函数,无需归一化常数。
2026-08-14 cs.LG math.OC stat.CO
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne(克莱蒙奥弗涅大学);University of Macau(澳门大学);UM Zhuhai Research Institute(澳门大学珠海研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research (BICMR), Peking University(北京大学北京国际数学研究中心)
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系,本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Accelerating SGD with momentum for over-parameterized learning
The Ohio State University(俄亥俄州立大学)
Nesterov SGD被广泛用于训练现代神经网络和其他机器学习模型。然而,其相对于SGD的优势尚未在理论上阐明。事实上,正如我们在我们的论文中所示,无论是理论上还是经验上,Nesterov SGD与任何参数选择一般不会提供普通SGD的加速。此外,Nesterov SGD可以发散步长,以确保普通SGD的收敛。这与确定性场景中的经典结果相反,其中相同的步长确保Nesterov方法在最优梯度下降上的加速收敛。为了解决非加速问题,我们向Nesterov SGD引入补偿条款。由此产生的算法,我们称之为MaSS,收敛相同的步长为SGD。我们证明了在线性环境下,对于任何小批量,MaSS都能获得比SGD更快的收敛速度。对于整批,MaSS的收敛速度与众所周知的Nesterov方法的加速速度相匹配。我们还分析了收敛速度和最优超参数对小批量大小的依赖性的实际重要问题,展示了三种不同的制度:线性缩放,收益递减和饱和。针对深度网络的几种标准架构(包括ResNet和卷积网络)对MaSS进行的实验评估显示,其性能优于SGD、Nesterov SGD和Adam。
2019-09-27 cs.LG stat.ML
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工科大学)
在基于梯度的方法中消除二阶曲率信息已经显示出极大地改善收敛,尽管其计算强度。在本文中,我们提出了一个随机(在线)拟牛顿方法与Nesterov的加速梯度在其完全和有限的记忆形式解决大规模非凸优化问题的神经网络。在Tensorflow中对所提出的算法在基准分类和回归问题上的性能进行了评估。结果表明,改进的性能相比,经典的二阶oBFGS和oLBFGS方法和流行的一阶随机方法,如SGD和亚当。还说明了不同动量率和批量大小的性能。
2019-09-09 cs.LG stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah(犹他大学)
交替梯度下降上升(AltGDA)是一种优化算法,已被广泛用于各种机器学习应用中的模型训练,其目的是解决非凸极大极小优化问题。然而,现有的研究表明,它遭受了高计算复杂性的非凸极大极小优化。在本文中,我们开发了一个单循环和快速AltGDA型算法,利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术,我们证明了该算法收敛到一个临界点在非凸极小极大优化,并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$,其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度(参见\Cref{table1}中的比较概要)}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms
University of Southern California(南加州大学)
该研究针对受加性白噪声影响的两步动量一阶优化算法,利用Jury稳定性判据给出线性收敛的几何刻画,揭示收敛速度与噪声放大的权衡关系,建立强凸优化的不确定性原理,并提出两类兼顾二者且保持帕累托最优的参数化算法族。
2024-06-19 cs.LG cs.SY eess.SY
Accelerated Stochastic Power Iteration
Stanford University(斯坦福大学)
本文提出一种带有动量项的幂迭代变种,实现了最优的样本和迭代复杂度,适用于在线和离线设置的随机PCA算法,加速了迭代复杂度至O(1/√Δ)。
2017-07-10 cs.DS cs.LG cs.NA
Connections between Schedule-Free Optimizers, AdEMAMix, and Accelerated SGD Variants
Kempner Institute, Harvard University(哈佛大学肯普纳研究所);Department of Computer Science, Harvard University(哈佛大学计算机科学系)
本文揭示了无调度优化器、AdEMAMix 等新算法与噪声主导情形下加速 SGD 理论之间的联系,并基于 AdEMAMix 提出 Simplified-AdEMAMix,在保持性能的同时简化了动量结构。
2025-02-04 cs.AI cs.LG
Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
Columbia University, Irving Medical Center(哥伦比亚大学,伊文斯医疗中心)
HB-SGE通过结合重力球动量与预测梯度外推,提供了一种在不良条件和非凸问题上更稳健的梯度下降方法,兼具稳定性与效率。
2025-12-10 cs.LG
Nesterov Acceleration of Alternating Least Squares for Canonical Tensor Decomposition: Momentum Step Size Selection and Restart Mechanisms
Monash University(莫纳什大学);University of Queensland(昆士兰大学);University of Waterloo(滑铁卢大学)
我们提出了Nesterov型加速技术的交替最小二乘(ALS)方法应用于规范张量分解。虽然Nesterov加速通过添加具有特定权重序列的动量项将梯度下降变成凸问题的最优一阶方法,但将该方法和权重序列直接应用于ALS会导致不稳定的收敛行为。这是因为张量分解问题是非凸的,并且ALS被加速而不是梯度下降。相反,我们考虑各种重启机制和适当的动量权重的选择,使有效的加速。我们广泛的实证结果表明,Nesterov加速ALS方法与重新启动可以显着更有效地比独立的ALS或Nesterov加速梯度法,当问题是病态的或准确的解决方案是期望的。所得到的方法与现有的用于ALS的加速方法(包括通过NCG、NGMRES或LBFGS的ALS加速)竞争或优于现有的用于ALS的加速方法,并且另外享有更容易实现的益处。我们还比较了Nesterov型更新的动量权重是由线搜索,这是等价的或密切相关的现有的线搜索法ALS。在一个大的和病态的71 $\times$ 1000 $\times$ 900张量组成的读数从化学传感器跟踪有害气体,重新启动Nesterov-ALS方法显示出理想的鲁棒性,并优于任何现有的方法的一个大的因素。有明显的潜力,扩展我们的Nesterov型加速方法,以加速其他优化算法比ALS适用于其他非凸问题,如塔克张量分解。我们的Matlab代码可以在https://github.com/hansdesterc…
2019-11-30 cs.LG cs.NA math.NA
Stochastic gradient-free descents
Princeton University(普林斯顿大学);Nanjing University(南京大学)
本文提出了求解随机最优化问题的随机无梯度方法和带动量的加速方法。所有这些方法都依赖于随机方向而不是随机梯度。在均值-方差框架下分析了这些方法的收敛性,并对随机环境中动量项的引入进行了理论分析,结果表明动量项增加了$\mathcal{O}(1/k)$阶的偏差,但在第$k$次迭代中控制了$\mathcal{O}(1/k)$阶的方差.结果表明,对于具有Lipschitz梯度的强凸目标,当步长$α_k=\mathcal{O}(1/k)$逐渐减小时,随机无梯度方法仍能保持次线性收敛速度$\mathcal{O}(1/k)$,而带动量的加速方法能获得概率收敛速度$\mathcal{O}(1/k^2)$;当目标函数为非凸、二次可微且有界时,所有这些方法都收敛于期望梯度范数为零的解。
2020-01-14 cs.LG cs.NA math.NA
Accelerated Dynamic Importance Weighting with Versatile Divergence-Minimizing Estimators
The Institute of Statistical Mathematics(统计数学研究所);University of Bristol(布里斯托大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心);The University of Tokyo(东京大学)
针对联合分布偏移问题,提出加速动态重要性加权(ADIW)框架,通过轻量投影梯度下降和通用散度最小化,在提升效率的同时实现最优性能。
2026-05-25 cs.LG
Momentum-based gradient descent methods for Lie groups
Departament de Matemàtiques, Universitat de València(瓦伦西亚大学数学系);Departamento de Matemática Aplicada, Ciencia e Ingeniería de los Materiales y Tecnología Electrónica, Universidad Rey Juan Carlos(雷乌恩卡洛斯大学应用数学系);Instituto de Ciencias Matemáticas (CSIC-UAM-UC3M-UCM)(数学科学研究所);Departamento de Matemáticas, Universidad de Córdoba(科尔多瓦大学数学系)
针对现有类PHB动量优化方法向非线性空间推广研究不足的问题,本文基于经典与加速动量法的变分对应关系,提出面向李群优化的类NAG推广方法,数值实验验证其在旋转群上收敛速度更快,与欧氏空间结果一致。
2025-07-31 cs.LG cs.NA math.DG
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds
Department of Mathematics, University of South Carolina(南卡罗来纳大学数学系);Institute of Mathematics, Technische Universität Berlin(柏林技术大学数学研究所)
SympFormer通过在密度流形上引入惯性Nesterov动力学,提出加速注意力块架构,利用哈密顿动量注意力块提升效率,保留Oracle调用次数的同时加快收敛速度。
2026-03-17 cs.LG math.OC stat.ML
On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);Mila – Quebec Artificial Intelligence Institute(Mila-魁北克人工智能研究所)
我们研究Nesterov的加速梯度法与恒定的步长和动量参数的随机近似设置(无偏梯度有界方差)和有限和设置(随机性是由于采样小批量)。为了更好地了解Nesterov方法在随机环境中的行为,我们始终关注光滑,强凸和两次连续可微的目标。在随机近似设置,Nesterov的方法收敛到最佳点的邻域在相同的加速率在确定性设置。也许令人惊讶的是,在有限和设置中,我们证明了Nesterov的方法可能会偏离通常选择的步长和动量,除非额外的条件有关的问题的条件和数据的一致性得到满足。我们的结果揭示了为什么Nesterov的方法可能无法收敛或实现加速在有限和设置。
2020-06-27 cs.LG math.OC stat.ML
Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms
提出 aHOLA 和 aHOLLA 算法用于高维目标分布采样,并在非凸设定下取得优于现有算法的最优非渐近收敛速率。
2025-08-08 math.PR math.ST stat.CO
How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities(明尼苏达大学双城分校);Delft University of Technology(代尔夫特理工大学)
我们揭示了弗兰克沃尔夫(FW)型算法和加速梯度法(AGM)的动量之间的联系。在消极的一面,这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面,这种联系背后令人鼓舞的信息是,动量对FW在一类问题上是有用的。特别是,我们证明了一个动量的FW的变体,我们的加速弗兰克沃尔夫(AFW),收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集,尽管在一般情况下,FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速,因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
Direct Acceleration of SAGA using Sampled Negative Momentum
The Chinese University of Hong Kong(香港中文大学)
方差缩减是一种简单而有效的方法,可以加速凸(或非凸)随机优化。在现有的方差缩减方法中,SVRG和SAGA采用无偏梯度估计,是近年来最流行的方差缩减方法。尽管SVRG的各种加速变体(例如,Katyusha和Acc-Prox-SVRG),但SAGA的直接加速仍然未知。在本文中,我们提出了一个直接加速的变体SAGA使用一种新的采样负动量(SSNM),它实现了最好的已知的预言复杂性强凸问题(与已知的强凸性参数)。因此,我们的工作填补了直接加速SAGA的空白。
2019-04-22 cs.LG stat.ML
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
加速和动量是机器学习和优化的现代应用中事实上的标准,但隐式正则化的大部分工作都集中在非加速方法上。在本文中,我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险,当应用于最小二乘回归时,绘制了几个连接到显式惩罚。我们在连续时间中进行分析,使我们能够做出比以前的工作更清晰的陈述,并揭示早期停止,稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Wasserstein GANs with Gradient Penalty Compute Congested Transport
University of Toronto(多伦多大学)
Wasserstein GANs with Gradient Penalty(WGAN-GP)是一种非常流行的方法,用于训练生成模型以产生高质量的合成数据。虽然WGAN-GP最初是为了计算生成数据和真实数据之间的Wasserstein 1距离而开发的,但最近的工作(例如[23])提供了经验证据,证明这种情况不会发生,并认为WGAN-GP表现良好,而不是尽管有这个问题,但因为它。在本文中,我们首次表明,WGAN-GP计算不同的最优运输问题的最小值,所谓的交通拥堵[7]。拥挤的运输决定了在惩罚拥挤的运输模型下将一个配送中心移动到另一个配送中心的成本。对于WGAN-GP,我们发现拥塞惩罚具有由[12]中使用的采样策略确定的空间变化分量,其作用类似于局部速度限制,使得某些区域的拥塞成本低于其他区域。这方面的拥挤的运输问题是新的,在拥挤的罚款原来是无界的,并取决于要运输的分布,所以我们提供了必要的数学证明,这种设置。我们发现的一个方面是将WGAN-GP中的优化问题的解的梯度与最优质量流的时间平均动量连接起来的公式。这与Wasserstein 1距离的Kantorovich势的梯度相反,Wasserstein 1距离只是流动的归一化方向。基于这一点和其他考虑,我们推测我们的结果如何解释观察到的WGAN-GP性能。除了应用于GANs之外,我们的定理还指出了使用神经网络技术近似解决大规模拥挤运输问…
2022-06-30 cs.LG math.OC stat.ML
Federated Learning with Nesterov Accelerated Gradient
联邦学习(FL)是一种快速发展的技术,允许多个工作人员训练基于分布式数据集的全局模型。传统的FL(FedAvg)采用梯度下降算法,其效率可能不够。Momentum能够通过添加额外的动量步骤来加速收敛,从而改善这种情况,并且已经在集中式和FL环境中证明了其优势。众所周知,Nesterov加速梯度(NAG)是一种更有利的动量形式,但目前尚不清楚如何量化NAG在FL中的好处。这促使我们提出FedNAG,它在每个工作者中使用NAG,以及在聚合器中使用NAG动量和模型聚合。我们提供了一个详细的收敛性分析FedNAG,并比较它与FedAvg。基于真实世界数据集和跟踪驱动的仿真进行了大量的实验,表明FedNAG在广泛的设置下,与基准相比,学习精度提高了3-24%,总训练时间减少了11-70%。
2022-10-26 cs.DC cs.LG stat.ML
Repulsive Monte Carlo on the sphere for the sliced Wasserstein distance
本文提出基于排斥性数值积分方法计算切线瓦瑟斯坦距离,分析UnifOrtho估计器方差并推荐在不同维度下使用不同的计算方法。
2026-03-10 cs.LG stat.ML
Accelerated Block Coordinate Proximal Gradients with Applications in High Dimensional Statistics
Hong Kong University of Science and Technology(香港科技大学)
非凸最优化问题在信号处理、统计学和机器学习等领域都有广泛的应用。在这项工作中,我们探讨了加速近梯度法和它的一些变种,最近已被证明是收敛于非凸的情况下。我们表明,这里提出的一种新的变体,它利用自适应动量和块坐标更新与特定的更新规则,进一步提高了性能的广泛的一类非凸问题。在稀疏线性回归的正则化,如Lasso,分组Lasso,加盖$\ell_1$和SCAP的应用中,所提出的计划享有可证明的局部线性收敛,与实验的理由。
2017-12-03 cs.LG math.OC stat.ML
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML