Accelerated Stochastic Gradient Descent for Minimizing Finite Sums
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）
本文提出了一种最小化光滑凸函数有限和的优化方法。我们的方法采用了加速梯度下降（AGD）和随机方差减少梯度（SVRG）在一个小批量设置。与SVRG不同，我们的方法可以直接应用于非强和强凸问题。我们表明，我们的方法实现了较低的整体复杂性比最近提出的方法，支持非强凸问题。此外，对于强凸问题，该方法具有较快的收敛速度。实验结果表明了该方法的有效性。
2015-06-10 cs.LG stat.ML
Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
本文提出随机化积分时间的哈密顿下降算法RHGD，证明其在光滑强凸和弱凸优化中达到与Nesterov加速梯度下降相同的加速收敛速率，并在实验中展现竞争力。
2025-09-17 cs.LG math.OC stat.ML
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics（上海财经大学）；Georgia Institute of Technology（佐治亚理工学院）
随机梯度下降（\textsc{Sgd}）方法是训练机器学习和深度学习模型中最强大的优化工具。此外，加速度（a.k.a.动量）方法和对角缩放（a.k.a.自适应梯度）方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势，但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中，我们提出了一类新的自适应和加速随机梯度下降方法，并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说，我们表明，对角缩放，最初设计用于改善香草随机梯度，可以被纳入加速随机梯度下降，以实现平滑随机最优化的最佳收敛速度。我们还表明，动量，除了被称为加快确定性优化的收敛速度，也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后，我们提出了一些启发式方法，有助于实现自适应加速随机梯度下降方法，并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标，Chen et al.（2018）证明了该方法的一致稳定性随着优化步骤的数量呈二次增长，并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想，并显示，两个概念的算法稳定性（包括一致稳定性），Nesterov的加速方法的稳定性，实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比，也与非加速梯度方法的已知结果形成鲜明对比，其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University（浙江大学）
在大数据时代，由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求，具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种，因此在处理这种大数据挑战时效率低下。在本文中，我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究，以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky（数学系，肯塔基大学）
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法，分析了AdaGrad、RMSProp、Adam等算法的加速机制，并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Stacking as Accelerated Gradient Descent
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文揭示深度残差网络中的 stacking 本质上实现 Nesterov 加速梯度下降，并将理论扩展至 boosting，证明其在线性残差网络中的加速效果。
2025-02-19 cs.LG stat.ML
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Federated Accelerated Stochastic Gradient Descent
Stanford University（斯坦福大学）
我们提出了联邦加速随机梯度下降（FedAc），联邦平均（FedAvg，也称为本地SGD）的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速，它提高了各种凸函数的收敛速度和通信效率。例如，对于强凸和光滑函数，当使用$M$工作器时，如果给定$M$同步轮，则先前最先进的FedAvg分析可以在$M$中实现线性加速，而FedAc仅需要$M^{\frac{1}{3}}$轮。此外，我们证明了更强的保证FedAc时，目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析，一种新的稳定性分析广义加速SGD，加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
Scheduled Restart Momentum for Accelerated Stochastic Gradient Descent
University of Utah（犹他大学）；Rice University（莱斯大学）；National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
具有恒定动量的随机梯度下降（SGD）及其变体（如Adam）是训练深度神经网络（DNN）的首选优化算法。由于DNN训练在计算上非常昂贵，因此人们对加速收敛非常感兴趣。Nesterov加速梯度（NAG）使用特殊设计的动量提高了凸优化的梯度下降（GD）的收敛速度;然而，当使用不精确的梯度时（如SGD），它会积累误差，最好的情况下会减慢收敛速度，最坏的情况下会发散。在本文中，我们提出了计划重启SGD（SRSGD），这是一种新的NAG风格的DNN训练方案。SRSGD用NAG中增加的动量代替SGD中的恒定动量，但根据时间表将动量重置为零来稳定迭代。使用各种图像分类的模型和基准，我们证明，在训练DNN时，SRSGD显着提高了收敛性和泛化能力;例如，在训练ResNet 200进行ImageNet分类时，SRSGD实现了20.93%的出错率，而基准为22.13%。随着网络的深入，这些改进变得更加重要。此外，在CIFAR和ImageNet上，SRSGD达到了类似甚至更好的出错率，与SGD基线相比，训练时间明显减少。
2020-04-26 cs.LG cs.NE stat.ML
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中，要么收敛只是在预期或边界依赖于区域的直径。相反，我们表现出高概率收敛的界限取决于初始距离的最优解，而不是域直径。该算法使用类似于标准设置的步长，并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Mixing of Stochastic Accelerated Gradient Descent
ETH Zurich（苏黎世联邦理工学院）
研究了随机加速梯度下降（SAGD）模型在最小二乘回归下的混合性质。首先，我们证明了随机梯度下降（SGD）和SAGD模拟相同的不变分布。受此启发，我们然后建立混合率SAGD迭代，并将其与SGD迭代进行比较。理论上，我们证明了链的SAGD迭代是几何遍历-使用适当的参数选择和输入分布的正则性假设。更具体地说，我们得到一个明确的混合率取决于前4个时刻的数据分布。通过实例证明了SAGD-BLM链的混合速度比SGD迭代链的混合速度快。此外，我们强调应用建立的混合率在SAGD的收敛性分析可实现的目标。所提出的分析是基于一种新的随机矩阵的产品的非渐近分析。这一理论结果得到了实验的证实和验证。
2019-10-31 cs.LG math.OC
Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
IST, ULisboa（里斯本大学理工学院）；Old Dominion University（老 Dominion 大学）
本文提出CT-AGD算法，通过捕捉局部曲率加速一阶方法，减少训练周期，与Adam等自适应方法具有相似的存储和计算开销。
2026-05-15 cs.LG
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文提出加速异步并行随机梯度下降方法A2PSGD，通过无锁调度、贪心负载均衡和Nesterov加速梯度，提升高维稀疏数据低秩表示的训练效率与准确率。
2024-08-29 cs.DC cs.LG
Stacey: Promoting Stochastic Steepest Descent via Accelerated $\ell_p$-Smooth Nonconvex Optimization
Purdue University（普渡大学）
本文提出 Stacey，一种利用插值原对偶序列的加速 $\ell_p$ 随机最速下降算法，以处理深度网络训练中的非欧几里得结构，并通过理论保证与图像分类、LLM 预训练实验验证其优势。
2025-06-07 cs.LG
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
Restarted Nonconvex Accelerated Gradient Descent: No More Polylogarithmic Factor in the $O(ε^{-7/4})$ Complexity
Nankai University（南开大学）；Peking University（北京大学）
针对梯度和 Hessian 均 Lipschitz 连续的非凸优化，提出带重启机制的 AGD 与 HB，以初等证明获得无多对数因子的 $O(ε^{-7/4})$ 梯度评估复杂度。
2023-04-26 cs.LG math.OC
Streaming Krylov-Accelerated Stochastic Gradient Descent
Lehigh University（莱斯大学）
本文提出 SKA-SGD，利用流式 Gauss-Seidel 投影、Chebyshev 基 Krylov 子空间和 AMD GPU HIP 实现加速病态随机优化，以 O(s^2) 复杂度获得近机器精度后向误差，并显著优于 SGD 与 Adam。
2025-05-11 cs.LG cs.NA math.NA
Encrypted accelerated least squares regression
University of Oxford（牛津大学）
根据定义，以加密格式存储的信息通常不适合统计分析或机器学习方法。在本文中，我们提出了详细的分析坐标和加速梯度下降算法，能够拟合最小二乘和惩罚岭回归模型，使用数据加密下的全同态加密方案。梯度下降的加密计算速度方面占主导地位，并证明了理论结果给出的参数范围，确保解密的正确性。经验表明，加密计算的特性有利于非标准的加速技术。这证明了使用加密数据近似传统统计回归方法而不损害隐私的可能性。
2017-03-02 cs.LG stat.ML
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Accelerated Gradient Descent Learning over Multiple Access Fading Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们考虑了一个无线网络中的分布式学习问题，该网络由N个分布式边缘设备和一个参数服务器（PS）组成。目标函数是边缘设备的本地损失函数的总和，其目的是通过在多个接入信道（MAC）上与PS通信来训练共享模型。这个问题在分布式传感系统中引起了越来越多的兴趣，最近在联邦学习中，称为空中计算。在本文中，我们开发了一种新的加速连续下降多址接入（AGMA）算法，使用基于动量的梯度信号噪声衰落MAC相比，现有的方法，以提高收敛速度。此外，AGMA不需要功率控制或波束成形来消除衰落效应，这简化了实现复杂度。我们对AGMA进行了理论分析，并对具有Lipschitz梯度的凸和强凸损失函数建立了误差的有限样本界。对于强凸的情况下，我们表明，AGMA接近最知名的线性收敛速度的网络增加。对于凸的情况下，我们表明，AGMA显着提高了次线性收敛速度相比，现有的方法。最后，我们提出了模拟结果，使用真实的数据集，表现出更好的性能AGMA。
2021-10-08 cs.LG eess.SP
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
McGill University（麦吉尔大学）；Mila Institute（Mila研究院）；Concordia University（康科迪亚大学）
本文提出平等梯度下降（EGD）方法，通过规范化梯度使所有主方向的动态以相同速度演化，从而加速模型的 Grokking 过程，消除测试性能的停滞现象。
2026-05-18 cs.LG
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley（加州大学伯克利分校）
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输（OT）的距离，并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力，在解决其他问题的大规模，如Wasserstein重心问题的多个概率分布。首先，我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}（APDRCD）算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$，其中$n$代表这些概率测度的原子数，$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性，包括自适应原始-对偶加速梯度下降（APDGD）和自适应原始-对偶加速镜像下降（APDAMD）算法。然后，通过大量的实验研究，证明了APDRCD算法优于APDAGD和APDAMD算法，并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}（APDGCD），进一步提高了算法的实际性能.最后，我们将APDRCD和APDGCD算法推广到分布式算法，用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
Riemannian accelerated gradient methods via extrapolation
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文提出了一种简单的黎曼梯度法的加速格式，它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时，加速格式渐近地达到最优收敛速度，并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
Efficient Optimal Transport Algorithm by Accelerated Gradient descent
Stony Brook University（石溪大学）；Dalian University of Technology（大连理工大学）
最佳传输（OT）在机器学习和深度学习等各个领域发挥着至关重要的作用。然而，计算离散的最优运输计划的大规模问题，具有足够的精度和效率仍然是极具挑战性的。最近，基于Sinkhorn算法的方法在原问题中加入了一个熵正则化算子，在效率和精度之间取得了平衡。在本文中，我们提出了一种新的算法，以进一步提高效率和准确性的基础上Nesterov的平滑技术。基本上，Kantorovich势的非光滑c变换由光滑Log-Sum-Exp函数近似，该函数最终平滑了原始的非光滑Kantorovich对偶泛函（能量）。快速邻近梯度算法（FISTA）可以有效地优化光滑Kantorovich泛函.理论上，该方法的计算复杂性为$O(n^{\frac{5}{2}} \sqrt{\log n} /ε)$，低于Sinkhorn算法。实验结果表明，与Sinkhorn算法相比，在相同参数下，该算法具有更快的收敛速度和更高的精度。
2021-07-19 cs.LG
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降（SGD）算法在权值与t成正比的情况下，对强凸函数的概率收敛速度为O（κ/T），而不是O（κ ln（T）/T）.我们还证明了一个加速的SGD算法也达到了O（κ/T）的速度。
2013-05-09 cs.AI cs.LG
FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
School of Artificial Intelligence Xi'an Xidian University, China；College of Intelligence；Computing Tianjin Tianjin University, China；Medical College, Tianjin University\ Cheng Laboratory Tianjin China；University of Southern California Los Angeles US；School of Artificial Intelligence；Medical College, Tianjin University\ Cheng Laboratory；University of Southern California
本文提出FedBCGD方法，通过划分模型参数为多个块以降低通信开销，并开发FedBCGD+算法实现加速，首次在大规模深度模型中应用参数块通信。
2026-03-05 cs.AI cs.LG
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh（匹兹堡大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对稀疏正则化损失最小化问题，提出加速双随机梯度下降（ADSGD）方法，通过消除非活动系数实现显式模型识别，理论证明线性收敛与识别速率，实验验证其高效性。
2022-08-11 cs.LG stat.ML
Stochastic gradient-free descents
Princeton University（普林斯顿大学）；Nanjing University（南京大学）
本文提出了求解随机最优化问题的随机无梯度方法和带动量的加速方法。所有这些方法都依赖于随机方向而不是随机梯度。在均值-方差框架下分析了这些方法的收敛性，并对随机环境中动量项的引入进行了理论分析，结果表明动量项增加了$\mathcal{O}(1/k)$阶的偏差，但在第$k$次迭代中控制了$\mathcal{O}(1/k)$阶的方差.结果表明，对于具有Lipschitz梯度的强凸目标，当步长$α_k=\mathcal{O}(1/k)$逐渐减小时，随机无梯度方法仍能保持次线性收敛速度$\mathcal{O}(1/k)$，而带动量的加速方法能获得概率收敛速度$\mathcal{O}(1/k^2)$;当目标函数为非凸、二次可微且有界时，所有这些方法都收敛于期望梯度范数为零的解。
2020-01-14 cs.LG cs.NA math.NA
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
Simon Fraser University（西蒙弗雷泽大学）；DI ENS, Ecole normale supérieure, Université PSL, CNRS, INRIA, 75005 Paris, France（巴黎第七大学、法国国家科学研究中心、INRIA、ENS巴黎研究院）；SAIT AI lab, Montreal（蒙特利尔SAIT人工智能实验室）
本文研究了适应噪声和问题特性的加速随机梯度下降方法，通过引入随机线搜索和指数步长策略，实现了在未知噪声情况下达到最优收敛速率。
2026-03-23 cs.LG math.OC stat.ML
Coordinate Descent with Arbitrary Sampling I: Algorithms and Complexity
The University of Edinburgh（爱丁堡大学）
研究了光滑凸函数与凸块可分正则化子之和的极小化问题，提出了一种新的随机坐标下降法，我们称之为ALPHA。我们的方法在每次迭代更新坐标的随机子集，遵循任意分布。没有坐标下降法能够处理一个任意的采样已经在文献中研究了这个问题。ALPHA是一个非常灵活的算法：在特殊情况下，它可以简化为确定性和随机性方法，如梯度下降，坐标下降，并行坐标下降和分布式坐标下降-无论是在非加速和加速变体。具有任意（或重要性）采样的变量是新的。我们提供了一个复杂性分析的ALPHA，从中我们推导出一个直接的推论复杂性界限，其许多变种，所有匹配或改善最知名的界限。
2015-06-15 cs.LG cs.NA math.NA
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
Department of Mathematics, Ecole Normale Supérieure Paris-Saclay（数学系，巴黎萨克雷高等师范学院）；Department of Mathematics, Imperial College London（数学系，伦敦帝国理工学院）
本文提出动量SVGD-EM方法，通过引入Nesterov加速提升MMLE的收敛速度，适用于不同难度的任务。
2026-03-09 cs.LG stat.CO stat.ML
Accelerated Dual Learning by Homotopic Initialization
ETH Zurich（苏黎世联邦理工学院）
梯度下降和坐标下降在其渐近行为方面得到了很好的理解，但在机器学习中经常用于近似的瞬态状态中则不那么容易理解。我们研究如何适当的初始化可以有深刻的影响，快速找到接近最优的解决方案。我们表明，数据集的某个属性，即特征和响应变量之间的相关性的有界性，可以导致更快的初始进展比预期的普通分析。凸优化问题可以默认地从中受益，但这种自动性并不适用于它们的对偶公式。我们分析了这一现象，并设计了可证明良好的初始化策略，用于对偶优化以及非凸情况下的算法，与深度学习相关。我们发现我们的预测和方法得到了实验的充分支持。
2017-06-13 cs.LG
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
Accelerated Parallel Optimization Methods for Large Scale Machine Learning
Princeton University（普林斯顿大学）；AT&T Labs - Research（AT&T实验室研究院）
在不同的机器学习应用中，高维数据的数量不断增长，这就需要更高效和可扩展的优化算法。在这项工作中，我们考虑结合两种技术，并行和Nesterov的加速，设计更快的算法L1正则化损失。我们首先简化了BOOM，一个变种的梯度下降，并研究它在一个统一的框架，这使我们不仅可以提出一个精细的测量稀疏性，以改善BOOM，但也表明，BOOM是可证明的慢于FISTA。接下来我们讨论并行坐标下降方法，然后提出了Shotgun的一个高效加速版本，将收敛速度从$O(1/t)$提高到$O(1/t^2)$。与以前的工作相比，我们的算法具有简洁的形式和分析，并且还允许以统一的方式研究多个连接的工作。
2014-11-25 cs.LG
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Momentum-based gradient descent methods for Lie groups
Departament de Matemàtiques, Universitat de València（瓦伦西亚大学数学系）；Departamento de Matemática Aplicada, Ciencia e Ingeniería de los Materiales y Tecnología Electrónica, Universidad Rey Juan Carlos（雷乌恩卡洛斯大学应用数学系）；Instituto de Ciencias Matemáticas (CSIC-UAM-UC3M-UCM)（数学科学研究所）；Departamento de Matemáticas, Universidad de Córdoba（科尔多瓦大学数学系）
针对现有类PHB动量优化方法向非线性空间推广研究不足的问题，本文基于经典与加速动量法的变分对应关系，提出面向李群优化的类NAG推广方法，数值实验验证其在旋转群上收敛速度更快，与欧氏空间结果一致。
2025-07-31 cs.LG cs.NA math.DG
Linear Coupling: An Ultimate Unification of Gradient and Mirror Descent
Institute for Advanced Study（高等研究院）；Boston University（波士顿大学）
本文提出线性耦合方法，通过结合梯度下降和镜像下降，统一了两种优化算法，重新解释了Nesterov加速梯度方法，并扩展至其他无法应用Nesterov方法的场景。
2016-11-07 cs.DS cs.LG cs.NA
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia（不列颠哥伦比亚大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
现代机器学习专注于高度表达的模型，这些模型能够完全拟合或插值数据，从而实现零训练损失。对于这样的模型，我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下，我们证明了恒定步长随机梯度下降（SGD）与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明，这一条件意味着SGD可以找到一个一阶稳定点，有效的全梯度下降在非凸设置。在插值条件下，我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下，我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下，上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O（1/k^2）错误界。最后，我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们研究了深度学习架构的流水线并行学习的理论限制，这是一种分布式设置，其中计算是按层而不是按示例分布的。对于光滑的凸和非凸目标函数，我们提供了匹配的复杂性下限和上限，并表明Nesterov的加速梯度下降的朴素流水线并行化是最佳的。对于非光滑凸函数，我们提出了一种新的算法流水线并行随机平滑（PPRS），是在一个$d^{1/4}$乘法因子的最佳收敛速度，其中$d$是底层的尺寸。虽然收敛速度仍然遵循缓慢的$\varepsilon^{-2}$收敛速度，但深度依赖部分被加速，导致接近线性的加速和收敛时间，仅略微取决于深度学习架构的深度。最后，我们对非光滑非凸的情况进行了实证分析，结果表明，对于困难和高度非光滑的问题，PPRS优于更传统的优化算法，如梯度下降和Nesterov的加速梯度下降，用于样本量有限的问题，如Few-Shot或对抗学习。
2019-10-11 cs.DC cs.LG stat.ML
Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization
LMU Munich（慕尼黑大学）
渐进式提升（CWB），也称为基于模型的提升，是梯度提升的一种变体，它建立在加性模型作为基础学习器上，以确保可解释性。因此，CWB经常用于模型被用作解释数据关系的工具的研究领域。CWB的一个缺点是它在内存和运行时间方面的计算复杂性。在本文中，我们提出了两种技术来克服这些问题，而不会失去CWB的属性：特征离散化的数值特征，并将Nesterov动量函数梯度下降。由于后者可能容易出现早期过拟合，我们还提出了一种混合方法，可以防止可能的发散梯度下降例程，同时确保更快的收敛。我们对多个模拟和真实数据集进行了广泛的基准测试，以证明在运行时间和内存消耗方面的改进，同时保持最先进的估计和预测性能。
2021-10-29 cs.LG stat.CO
