Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
IST, ULisboa（里斯本大学理工学院）；Old Dominion University（老 Dominion 大学）
本文提出CT-AGD算法，通过捕捉局部曲率加速一阶方法，减少训练周期，与Adam等自适应方法具有相似的存储和计算开销。
2026-05-15 cs.LG
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
Blockwise Adaptivity: Faster Training and Better Generalization in Deep Learning
Hong Kong University of Science and Technology（香港科技大学）
具有坐标方向自适应步长的随机方法（如RMSprop和Adam）已广泛用于训练深度神经网络。尽管它们的收敛速度很快，但它们的泛化能力比随机梯度下降差。在本文中，通过重新审视Adagrad的设计，我们建议将网络参数分成块，并使用分块自适应步长。直观地说，分块自适应比对单个坐标的自适应更不积极，并且可以在自适应和泛化之间取得更好的平衡。我们从理论上表明，提出的块自适应梯度下降具有可比的收敛速度，其对应的坐标明智的自适应步长，但更快的一些常数。我们还研究了它的一致稳定性，并表明，分块自适应可以导致较低的泛化误差比坐标式自适应。实验结果表明，分块自适应梯度下降收敛速度快，提高了Nesterov的加速梯度和亚当的泛化性能。
2019-05-23 cs.LG math.OC stat.ML
Variance Reduction for Faster Non-Convex Optimization
Princeton University（普林斯顿大学）
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反，在这个基本问题的长期历史中，关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降，以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧，以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标，我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛，并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
Simon Fraser University（西蒙 Fraser大学）
本文证明了Armijo线搜索可使随机梯度下降在特定条件下实现更快的收敛速度，尤其在凸和非凸目标函数中表现出优于传统方法的性能。
2026-02-24 cs.LG math.OC stat.ML
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University（普林斯顿大学）；University of Hong Kong（香港大学）；University of Edinburgh（爱丁堡大学）；Cornell University（康奈尔大学）
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$，方法基于坐标光滑性参数的平方根比例采样，适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA
Faster Acceleration for Steepest Descent
Purdue University（普渡大学）
针对非欧光滑凸优化问题，提出一种基于$\textit{differing}$范数下原对偶序列与插值参数耦合的新型加速一阶方法，突破了最速下降的维度依赖障碍，显著降低了迭代复杂度。
2025-06-17 cs.LG math.OC stat.ML
On the convergence properties of a $K$-step averaging stochastic gradient descent algorithm for nonconvex optimization
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
尽管异步随机梯度下降方法（ASGD）在解决大规模机器学习问题中很受欢迎，但其实际性能并不像理论结果所表明的那样好。我们采用并分析了一种同步K步平均随机梯度下降算法，我们称之为K-AVG。我们建立了非凸目标的K-AVG的收敛结果，并解释了为什么K步延迟是必要的，并导致更好的性能比传统的并行随机梯度下降，这是一个特殊的情况下，K-AVG与$K=1$。我们还表明，K-AVG规模优于ASGD。K-AVG相对于ASGD的另一个优点是它允许更大的步长。在$128$ GPU集群上，K-AVG比ASGD实现更快，并为\cifar数据集实现更好的精度和更快的收敛。
2018-05-16 cs.DC cs.LG stat.ML
Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection
University of British Columbia（不列颠哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）；Dato
最近在随机坐标下降算法的理论和应用方面已经有了重要的工作，开始于Nesterov [SIAM J. Optim.，22（2），2012]，其示出了随机坐标选择规则实现与高斯-索斯韦尔选择规则相同的收敛速度。这个结果表明，我们不应该使用高斯-索斯韦尔规则，因为它通常比随机选择昂贵得多。然而，这些算法的经验行为与这一理论结果相矛盾：在选择规则的计算成本相当的应用中，高斯-索斯韦尔选择规则往往比随机坐标选择表现得更好。我们给出了一个简单的分析高斯Southwell规则显示-除了在极端情况下-其收敛速度是快于选择随机坐标。此外，在这项工作中，我们（i）表明，精确的坐标优化提高了某些稀疏问题的收敛速度，（ii）提出了一个高斯-Southwell-Lipschitz规则，给出了一个更快的收敛速度给定知识的Lipschitz常数的偏导数，（iii）分析近似高斯-Southwell规则的效果，（iv）分析近似梯度的高斯-Southwell规则的变体。
2018-10-28 cs.LG math.OC stat.CO
On Faster Convergence of Scaled Sign Gradient Descent
Tongji University（同济大学）
通信一直被视为大规模网络上工业应用的重要瓶颈。为了减轻通信负担，基于符号的优化算法近年来在工业界和学术界得到了广泛的应用，这与自适应梯度法（如Adam）密切相关。沿着这条线，本文研究了更快的收敛性的一种变体的基于符号的梯度下降，称为缩放signGD，在三种情况下：1）的目标函数是强凸的; 2）的目标函数是非凸的，但满足Polyak-Lojasiewicz（PL）不等式; 3）梯度是随机的，在这种情况下称为缩放signGD。对于前两种情况，可以表明，缩放的signGD以线性速率收敛。对于情况3），当采用恒定学习率时，算法线性收敛到最优值的邻域;当采用递减学习率时，算法以$O(1/k)$的速率收敛，其中$k$是迭代次数.结果还扩展到分布式设置中的参数服务器框架中的多数表决。最后，通过对逻辑斯谛回归的数值实验，验证了理论分析的正确性。
2021-09-04 cs.LG math.OC
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks
University of Alberta（阿尔伯塔大学）
梯度下降和反向传播使神经网络在许多现实世界的应用中取得了显着的成果。尽管不断取得成功，但用梯度下降训练神经网络可能是一件缓慢而费力的事情。我们提出了一种简单但更快的训练算法，称为零阶松弛反向传播（ZORB）。ZORB不计算梯度，而是使用目标的伪逆来反向传播信息。ZORB旨在减少训练深度神经网络所需的时间，而不会影响性能。为了说明速度的提高，我们在MNIST上训练了一个具有11层的前馈神经网络，并观察到ZORB的收敛速度比Adam快300倍，同时实现了相当的出错率，而无需任何超参数调整。我们还将ZORB的范围扩展到卷积神经网络，并将其应用于CIFAR-10数据集的子样本。对标准分类和回归基准的实验证明了ZORB相对于传统的带有梯度下降的反向传播的优势。
2020-11-17 cs.LG cs.NE stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach
ShanghaiTech University（上海科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文研究了大规模物联网设备的免授权随机接入问题。通过在签名序列中嵌入数据符号，可以实现联合设备活动检测和数据解码，然而，这显著增加了计算复杂性。坐标下降算法，享受一个低的每次迭代的复杂性已被用来解决检测问题，但以前的作品通常采用随机坐标选择策略，导致收敛速度慢。在本文中，我们开发了多臂强盗的方法，通过坐标下降，这使得一个微妙的平衡之间的探索和开发坐标选择更有效的检测。具体来说，我们首先提出了一个基于强盗的策略，即，Bernoulli采样，通过学习哪些坐标将导致目标函数的更积极的下降来加快坐标下降的收敛速度。为了进一步提高算法的收敛速度，建立了一个多臂内强盗问题来学习Bernoulli采样的探索策略。收敛速度分析和仿真结果表明，所提出的基于强盗算法享有更快的收敛速度与更低的时间复杂度相比，国家的最先进的算法。此外，我们提出的算法适用于不同的场景，例如，低精度模数转换器（ADC）的大规模随机访问。
2020-01-28 cs.LG eess.SP stat.ML
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh（匹兹堡大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对稀疏正则化损失最小化问题，提出加速双随机梯度下降（ADSGD）方法，通过消除非活动系数实现显式模型识别，理论证明线性收敛与识别速率，实验验证其高效性。
2022-08-11 cs.LG stat.ML
Learning and Generalization in Overparameterized Neural Networks, Going Beyond Two Layers
Microsoft Research AI（微软研究院人工智能部门）；Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
神经网络背后的基本学习理论在很大程度上仍然是开放的。神经网络实际上可以学习哪类函数？为什么经过训练的网络在过参数化时不会过拟合？在这项工作中，我们证明了过参数化神经网络可以学习一些显着的概念类，包括两层和三层网络，具有较少的参数和光滑的激活。此外，学习可以简单地通过SGD（随机梯度下降）或其变体在多项式时间内使用多项式多个样本来完成。样本复杂度也几乎与网络中参数的数量无关。在技术方面，我们的分析超越了以前的工作中所谓的NTK（神经切线核）线性化的神经网络。我们建立了神经网络的二次逼近的新概念（可以看作是NTK的二阶变体），并将其与逃逸鞍点的SGD理论相联系。
2020-06-01 cs.DS cs.LG cs.NE
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Indian Institute of Technology（印度理工学院）
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛，提出统一理论框架，适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Dynamic of Stochastic Gradient Descent with State-Dependent Noise
Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）
随机梯度下降（SGD）及其变体是训练深度神经网络的主流方法。由于神经网络的非凸性，越来越多的工作研究SGD的动态行为及其对泛化能力的影响，特别是对局部极小值的逃逸效率。然而，这些工作采取了过于简化的假设，即SGD中噪声的协方差是常数（或可以是上界），尽管它实际上是状态相关的。在这项工作中，我们进行了正式的研究与状态依赖噪声的SGD的动力学行为。具体来说，我们表明，在局部极小值的局部区域的SGD噪声的协方差是一个状态的二次函数。因此，我们提出了一种新的幂律动力学与状态相关的扩散近似的SGD的动态。我们证明了幂律动力系统逃离尖锐极小点的速度比平坦极小点快，而以前的动力系统只能以多项式的速度逃离尖锐极小点。我们的实验很好地验证了我们的理论结果。受我们理论的启发，我们提出在（大批量）SGD中加入额外的状态相关噪声，以进一步提高其泛化能力。实验证明了该方法的有效性。
2020-10-12 cs.LG stat.ML
Faster Margin Maximization Rates for Generic and Adversarially Robust Optimization Methods
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；Google Research（谷歌研究院）；School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
针对 mirror descent、steepest descent 及对抗训练隐式偏差速率较慢的问题，本文将优化转化为正则化双线性博弈的在线学习动态，并利用遗憾界得到显著更快的最大间隔收敛速率。
2024-04-07 cs.LG
ADINE: An Adaptive Momentum Method for Stochastic Gradient Descent
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
在优化中取得巨大成功的两个主要的基于动量的技术是Polyak的重球方法和Nesterov的加速梯度。在所有基于动量的方法中，关键的一步是动量参数$m$的选择，通常建议将其设置为小于$1$。虽然选择$m < 1$只有在非常强的理论假设下才是合理的，但即使在假设不一定成立的情况下，它在实践中也能很好地工作。在本文中，我们提出了一个新的动量为基础的方法$\textit{ADINE}$，它放宽了$m < 1$的约束，并允许学习算法使用自适应更高的动量。我们通过实验验证了更高的动量（$\ge 1$）可以帮助更快地逃离马鞍，从而激发了我们对$m$的假设。利用这种动机，我们提出了我们的方法$\textit{ADINE}$，该方法有助于更多地权衡先前的更新（通过设置动量参数$> 1$），在深度神经网络上评估我们提出的算法，并表明$\textit{ADINE}$有助于学习算法更快地收敛，而不会影响泛化误差。
2017-12-20 cs.LG stat.ML
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine 公司）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性，其中给出下一个回报向量的估计，并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法，我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者（FTRL）和在线镜像下降（OMD）是在线凸优化中最流行的后悔极小化算法。尽管这种流行，遗憾匹配（RM）和遗憾匹配+（RM+）算法已在解决大型游戏的实践中首选（作为反事实遗憾最小化框架内的局部遗憾最小化）。我们表明，RM和RM+是运行FTRL和OMD的结果，分别选择半空间，以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接，我们获得预测Blackwell可接近性算法，以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中，我们表明，预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法（CFR+，DCFR，LCFR）在所有的游戏，但两个扑克游戏，有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
Faster Stochastic First-Order Method for Maximum-Likelihood Quantum State Tomography
National Taiwan University（国立台湾大学）；Hon Hai (Foxconn) Quantum Computing Centre（鸿海（富士康）量子计算中心）
在极大似然量子态层析成像中，样本大小和维数都随着量子比特的数量呈指数增长。因此，需要开发一种随机一阶方法，就像现代机器学习的随机梯度下降一样，来计算极大似然估计。为此，我们提出了一种算法称为随机镜像下降与伯格熵。其预期优化误差以$O ( \sqrt{ ( 1 / t ) d \log t } )$速率消失，其中$d$和$t$分别表示迭代的维数和次数。其每次迭代的时间复杂度为$O ( d^3 )$，与样本大小无关。据我们所知，这是目前计算最快的随机一阶方法的最极大似然量子态层析成像。
2022-11-23 cs.LG math.OC quant-ph
An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent
Adobe Research（奥多比研究院）；Sun Yat-sen University（中山大学）
提出RDBD算法，改进delta-bar-delta以解决小批量优化中的收敛问题，可与任意优化器集成，显著提升收敛速度。
2023-10-17 cs.LG
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；Criteo AI Lab（Criteo人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文分析了随机梯度下降（SGD）的轨迹，以帮助理解算法的收敛性在非凸问题。我们首先证明，在非常广泛的步长调度范围内，SGD生成的迭代序列保持有界，并以概率$1$收敛。随后，超越现有的正概率保证，我们表明，SGD避免严格的鞍点/流形的概率$1$为整个频谱的步长政策考虑。最后，我们证明了该算法的收敛速率Hurwicz极小是$\mathcal{O}(1/n^{p})$，如果该方法采用$Θ(1/n^p)$步长时间表。这为调整算法的步长提供了一个重要的指导方针，因为它表明具有消失步长的冷却阶段可能会导致更快的收敛;我们在CIFAR上使用ResNet架构演示了这种启发式。
2020-06-19 cs.LG math.OC math.PR
Solving Inverse Problems with Conditional-GAN Prior via Fast Network-Projected Gradient Descent
Technische Universität Berlin（柏林工业大学）；Technische Universität München（慕尼黑工业大学）
投影梯度下降（PGD）方法已经显示出在恢复由生成模型以数据驱动的方式描述的压缩信号中是有效的，即，生成器，其已经学习了数据分布。这种逆问题的进一步重建改进可以通过根据测量调节生成器来实现。边界均衡生成对抗网络（BEGAN）实现了基于均衡的损失函数和自动编码的均衡器，以更好地平衡生成器和均衡器的性能。在这项工作中，我们研究了一个基于网络的投影梯度下降（NPGD）算法的测量条件生成模型，以解决反问题比常规PGD快得多。我们结合NPGD和条件GAN/BEGAN来评估它们在解决压缩感知类问题中的有效性。我们在MNIST和CelebA数据集上的实验表明，测量条件模型与NPGD的组合在恢复压缩信号方面效果很好，同时实现了类似或在某些情况下甚至更好的性能以及更快的重建。实验中获得的重建速度提升可达140-175。
2021-09-02 cs.IT cs.LG eess.SP
Improved Gradient Descent Lower Bounds Beyond Nesterov
MIT（麻省理工学院）
该研究在光滑凸优化中，突破经典梯度下降一阶神谕下界，得到更优的非任意时间与任意时间梯度下降下界，还明确了两种场景收敛指数的严格区分。
2026-09-04 cs.LG math.OC stat.ML
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Equivalence Analysis between Counterfactual Regret Minimization and Online Mirror Descent
University of Science and Technology of China（中国科学技术大学）
FTRL（Follow-the-Regularized-Lead）和OMD（Online Mirror Descent）是求解在线凸优化（OCO）问题的后悔最小化算法，它们在数学上很优雅，但在求解可拓形式博弈（EFG）问题时却不太实用。反事实后悔最小化（CFR）是一种近似EFG纳什均衡的技术。CFR及其变体在实践中收敛速度快，但理论结果并不令人满意。近年来，研究人员一直试图将CFRs与OCO算法联系起来，这可能会提供新的理论结果并启发新的算法。然而，现有的分析仅限于局部决策点。在本文中，我们表明，与遗憾匹配和遗憾匹配+CFRs是等价的特殊情况下，FTRL和OMD，分别。根据这些等价关系，我们得到了一个新的FTRL和一个新的OMD算法，它们可以看作是vanilla CFR和CFR+的扩展。实验结果表明，这两种算法的收敛速度比传统的FTRL和OMD算法快，在某些EFG中甚至比vanilla CFR和CFR+算法快。
2022-04-19 cs.LG
OD-SGD: One-step Delay Stochastic Gradient Descent for Distributed Training
National University of Defense Technology（国防科技大学）
现代深度学习神经网络的训练需要大量的计算，这些计算通常由GPU或其他特定的加速器提供。为了实现更快的训练速度，在分布式训练过程中主要采用两种更新算法，即同步SGD算法（SSGD）和异步SGD算法（ASGD）。SSGD算法在同步障碍降低训练速度的同时，仍能获得较好的收敛点。ASGD具有更快的训练速度，但与SSGD相比，收敛点较低。为了充分利用SSGD和ASGD的优点，我们提出了一种新的技术称为一步延迟SGD（OD-SGD），结合他们的优势在训练过程中。因此，我们可以分别实现与SSGD和ASGD相似的收敛点和训练速度。据我们所知，我们首次尝试结合SSGD和ASGD的特点，以提高分布式训练性能。OD-SGD算法的每一次迭代都包含参数服务器节点的全局更新和工作节点的局部更新，局部更新用于更新和补偿延迟的局部权值。我们在MNIST，CIFAR-10和ImageNet数据集上评估了我们提出的算法。实验结果表明，OD-SGD可以获得与SSGD相似甚至略好的准确率，而其训练速度要快得多，甚至超过ASGD的训练速度。
2020-05-14 cs.DC cs.LG cs.NE
Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
The University of Washington（华盛顿大学）；Adobe Research（奥多比研究院）；Sun Yat-sen University（中山大学）
针对现有SGD变体算法非凸条件下收敛分析困难的问题，提出统一的一阶方法收敛分析框架，并据此发现两种可直接提升收敛速率的即插即用加速方法。
2024-02-02 cs.AI cs.LG math.OC
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Faster Differentially Private Convex Optimization via Second-Order Methods
Google（谷歌）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research–Brain Team（谷歌研究院大脑团队）
本研究提出利用损失函数二阶信息加速差分隐私凸优化的方法，开发了正则化三次牛顿法的隐私变体，在强凸损失函数上实现二次收敛与最优超出损失，且比DP-GD/DP-SGD快10-40倍。
2023-05-22 cs.CR cs.LG math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Improving the Efficiency of Gradient Descent Algorithms Applied to Optimization Problems with Dynamical Constraints
介绍了两种求解常微分方程动态约束优化问题的块坐标下降算法。该算法不需要执行直接或伴随灵敏度分析方法来评估损失函数梯度。他们的结果从原来的问题作为一个等价的优化问题与等式约束的重新制定。这些算法自然地遵循旨在基于ODE解算器恢复梯度下降算法的步骤，所述ODE解算器明确地考虑ODE解的灵敏度。在我们提出的第一个算法中，我们避免显式求解ODE集成ODE求解器作为一个序列的隐式约束。在我们的第二个算法中，我们使用一个ODE求解器来重置ODE解决方案，但没有直接的伴随灵敏度分析方法。这两种算法都接受小批量实现，并显示出显着的效率优势，基于GPU的并行化。我们证明了算法的性能时，适用于学习的Cucker-Smale模型的参数。该算法进行了比较与梯度下降算法的基础上ODE求解器赋予灵敏度分析能力，为各种数量的状态大小，使用Pytorch和Jax实现。实验结果表明，所提出的算法比Pytorch实现至少快4倍，比Jax实现至少快16倍。对于Cucker-Smale模型的大型版本，Jax实现比基于敏感性分析的实现快数千倍。此外，我们的算法在训练和测试数据上都能生成更准确的结果。计算效率的这种增益对于实现实时的参数估计的算法（诸如诊断算法）是至关重要的。
2022-08-26 cs.LG math.OC
Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia（不列颠哥伦比亚大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
现代机器学习专注于高度表达的模型，这些模型能够完全拟合或插值数据，从而实现零训练损失。对于这样的模型，我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下，我们证明了恒定步长随机梯度下降（SGD）与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明，这一条件意味着SGD可以找到一个一阶稳定点，有效的全梯度下降在非凸设置。在插值条件下，我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下，我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下，上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O（1/k^2）错误界。最后，我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Grams: Gradient Descent with Adaptive Momentum Scaling
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
本文提出新型优化算法Grams，通过解耦参数更新方向与动量幅度实现更快的损失下降与全局收敛，在训练大型语言模型时展现出优于Adam等优化器的收敛与泛化性能。
2025-03-05 cs.AI cs.DS cs.LG
Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
McGill University（麦吉尔大学）；Mila Institute（Mila研究院）；Concordia University（康科迪亚大学）
本文提出平等梯度下降（EGD）方法，通过规范化梯度使所有主方向的动态以相同速度演化，从而加速模型的 Grokking 过程，消除测试性能的停滞现象。
2026-05-18 cs.LG
"Oddball SGD": Novelty Driven Stochastic Gradient Descent for Training Deep Neural Networks
University of Surrey（萨里大学）
随机梯度下降（SGD）可以说是当今应用于训练深度神经网络（DNN）的最流行的机器学习方法。最近已经证明，SGD可以在统计上有偏差，使得训练集的某些元素比其他元素更快地学习。在这篇文章中，我们将SGD放入一个反馈回路中，从而选择的概率与误差大小成正比。这提供了一个新颖性驱动的oddball SGD过程，通过优先考虑训练集中具有最大新颖性（错误）的元素，比传统SGD更快地学习。在我们的DNN示例中，oddball SGD的训练速度比常规SGD快50倍。
2015-09-18 cs.LG
Parle: parallelizing stochastic gradient descent
University of California, Los Angeles（加州大学洛杉矶分校）；Bocconi University（博科尼大学）；McGill University（麦吉尔大学）
我们提出了一种名为Parle的新算法，用于深度网络的并行训练，其收敛速度比SGD的数据并行实现快2- 4倍，同时实现了显着改善的出错率，在包括CIFAR-10和CIFAR-100在内的几个基准测试中几乎是最先进的，而无需引入任何额外的超参数。我们利用平坦极小值现象，该现象已被证明可以改善深度网络的泛化误差。Parle不需要与参数服务器进行频繁的通信，而是在每个客户端上执行更多的计算，这使得它非常适合单机，多GPU设置和分布式实现。
2017-09-10 cs.DC cs.LG stat.ML
Parallel Stochastic Gradient Descent with Sound Combiners
Microsoft Research（微软研究院）
随机梯度下降（SGD）是用于回归和分类任务的公知方法。然而，它在每一步都是固有的顺序算法，当前示例的处理取决于从先前示例中学习的参数。使用SGD并行化线性学习器的先前方法，例如HOGWILD！和ALLREDUCE不尊重这些跨线程的依赖性，因此可能会遭受差的收敛速率和/或差的可伸缩性。本文提出了SYMSGD，一个并行SGD算法，一阶近似，保留了顺序语义的SGD。除了模型组合器之外，每个线程还学习一个本地模型，这允许本地模型被组合以产生与顺序SGD所产生的结果相同的结果。本文评估了SYMSGD在共享内存机器上的6个数据集上的准确性和性能，在16个核心上显示了高达11倍的加速比我们高度优化的顺序基线，平均比HOGWILD快2.2倍！
2017-05-22 cs.LG stat.ML
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Bregman Alternating Direction Method of Multipliers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
镜像下降算法（MDA）通过使用Bregman散度代替平方欧几里德距离来推广梯度下降。在本文中，我们同样推广的交替方向法的乘法器（ADMM）Bregman ADMM（BADMM），它允许选择不同的Bregman分歧，利用问题的结构。BADMM为ADMM及其变体提供了一个统一的框架，包括广义ADMM，不精确ADMM和Bethe ADMM。我们建立了BADMM的整体收敛和$O(1/T)$迭代复杂性。在某些情况下，BADMM可以比ADMM快$O(n/\log(n))$倍。在求解大批量运输问题的线性规划问题时，BADMM具有大规模并行性，易于在GPU上运行。BADMM比高度优化的商业软件Guidelines快几倍。
2014-07-08 cs.LG math.OC stat.ML
Making Asynchronous Stochastic Gradient Descent Work for Transformers
University of Edinburgh（爱丁堡大学）
异步随机梯度下降（SGD）从速度的角度来看是有吸引力的，因为工人不等待同步。然而，Transformer模型与异步SGD的收敛性较差，导致与同步SGD相比质量显著降低。为了研究为什么会出现这种情况，我们隔离了异步和同步方法之间的差异，以研究批量大小和过期效应。我们发现，总结几个异步更新，而不是立即应用它们，恢复收敛行为。通过这种混合方法，神经机器翻译任务的Transformer训练在单节点多GPU训练中达到了近1.36倍的收敛水平，而对模型质量没有影响。
2019-06-08 cs.CL cs.LG
Sequential Gradient Descent and Quasi-Newton's Method for Change-Point Analysis
Texas A&M University（得克萨斯农工大学）
检测变点的一种常见方法是在变点的可能数量和位置上最小化成本函数。该框架包括几个完善的程序，如惩罚的可能性和最小描述长度。这种方法需要在数据集的不同段上重复地找到成本值，当（i）数据序列很长并且（ii）获得成本值涉及解决非平凡优化问题时，这可能是耗时的。本文介绍了一种新的顺序方法（SE），可以耦合梯度下降（SeGD）和拟牛顿法（SeN），以有效地找到成本值。其核心思想是使用先前步骤中的信息更新成本值，而无需重新优化目标函数。将该方法应用于广义线性模型和惩罚回归的变点检测。数值研究表明，新的方法可以比修剪精确线性时间（PELT）方法快几个数量级，而不牺牲估计精度。
2022-10-21 cs.LG stat.ML
Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions
University of Warwick（华威大学）
次模函数最小化是在机器学习和计算机视觉中的若干应用中出现的基本优化问题。已知该问题在多项式时间内是可解的，但是通用算法具有高运行时间并且不适合于大规模问题。最近的工作已经使用凸优化技术，以获得非常实用的算法，最小化的功能，是“简单”的功能。在本文中，我们使用随机坐标下降方法，以获得更快的线性收敛速度和更便宜的迭代费用的算法。与交替投影方法相比，我们的算法不依赖于全维向量运算，并且它们在更少的迭代中收敛。
2015-02-09 cs.AI cs.LG
