Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）
在本文中，我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中，我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法，以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出新颖的乐观在线到批量转换方法，将乐观性纳入理论分析，在简化在线算法设计的同时，实现光滑与强凸目标的最优加速收敛，并具备对光滑性的普适性且每次迭代仅需一次梯度查询。
2025-11-10 cs.LG math.OC
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
INRIA Lille（法国国家信息与自动化研究所里尔中心）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一种新的方法来自动确定批量大小的随机梯度下降方法。批量大小的选择导致梯度估计的准确性和每次更新的样本成本之间的权衡。我们建议通过优化下限到预期改进的线性或二次泰勒近似和用于估计梯度的样本数之间的比率来确定批量大小。所提出的方法的性能进行了实证比较与流行的分类任务的相关方法。这项工作是在NIPS研讨会上提出的优化优化。2016年，西班牙巴塞罗那。
2017-12-09 cs.LG stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University（南京大学）
针对大批次SGD训练泛化精度下降的问题，提出带动量的随机归一化梯度下降方法SNGM，理论上可在相同梯度计算量下用更大批次收敛，实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Mixing of Stochastic Accelerated Gradient Descent
ETH Zurich（苏黎世联邦理工学院）
研究了随机加速梯度下降（SAGD）模型在最小二乘回归下的混合性质。首先，我们证明了随机梯度下降（SGD）和SAGD模拟相同的不变分布。受此启发，我们然后建立混合率SAGD迭代，并将其与SGD迭代进行比较。理论上，我们证明了链的SAGD迭代是几何遍历-使用适当的参数选择和输入分布的正则性假设。更具体地说，我们得到一个明确的混合率取决于前4个时刻的数据分布。通过实例证明了SAGD-BLM链的混合速度比SGD迭代链的混合速度快。此外，我们强调应用建立的混合率在SAGD的收敛性分析可实现的目标。所提出的分析是基于一种新的随机矩阵的产品的非渐近分析。这一理论结果得到了实验的证实和验证。
2019-10-31 cs.LG math.OC
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia（不列颠哥伦比亚大学）；CIFAR（加拿大高等研究院）；Amii（阿尔伯塔机器智能研究所）
本文通过改变批量大小直至全批量来检验重尾噪声假设，证明随机性并非 Transformer 上 Adam 优于 SGD 的主因，并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
尽管其经验上的成功和最近的理论进展，一般缺乏定量分析的效果批量归一化（BN）的梯度下降的收敛性和稳定性。在本文中，我们提供了这样一个分析的简单问题的普通最小二乘（OLS）。由于梯度下降（GD）的精确动力学性质是完全已知的OLS问题，它允许我们隔离和比较BN的附加效果。更准确地说，我们表明，与GD，梯度下降BN（BNGD）收敛于任意学习率的权重，收敛保持线性温和的条件下。此外，我们量化了两个不同的来源的加速BNGD GD-一个是由于过度参数化，提高了有效的条件数，另一个是由于有一个大范围的学习率引起快速下降。这些现象将BNGD与GD区分开来，并且可以解释其大部分鲁棒性特性。数值实验定量地证实了这些发现，这进一步表明，在OLS中的BNGD的许多未被发现的属性也被定性地观察到在更复杂的监督学习问题。
2019-05-09 cs.LG stat.ML
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
本文提出Fisher-正交投影技术，用于在大规模批量训练中提升自然梯度下降的性能，实现更优的泛化能力和更快的收敛速度。
2026-02-08 cs.AI cs.LG
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories, USA（NEC实验室）
SGD是训练CNN广泛采用的方法。从概念上讲，它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中，我们展示了采样偏差，固有图像差和固定周期伪随机采样区分训练中的批次，从而影响它们的学习速度。因此，SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题，我们提出了不一致的随机梯度下降（ISGD），根据批次的学习状态动态地改变训练工作。具体来说，ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足，ISGD解决一个新的子问题，一个追逐逻辑加上一个保守约束，以加速对批处理的训练，同时避免剧烈的参数变化。在各种数据集上的大量实验表明，ISGD比SGD收敛得更快。在训练AlexNet时，ISGD比SGD快21.05%，在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上，使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论，最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是，ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
本文提出随机化积分时间的哈密顿下降算法RHGD，证明其在光滑强凸和弱凸优化中达到与Nesterov加速梯度下降相同的加速收敛速率，并在实验中展现竞争力。
2025-09-17 cs.LG math.OC stat.ML
On the Computational Inefficiency of Large Batch Sizes for Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
增加随机梯度下降的小批量大小提供了减少挂钟训练时间的重要机会，但存在各种理论和系统挑战，阻碍了该技术的广泛成功。我们调查这些问题，重点是收敛时间和总计算成本，通过广泛的实证分析网络训练的几个架构和问题领域，包括图像分类，图像分割和语言建模。虽然增加批量大小以充分利用可用的计算资源是常见的做法，但我们发现了一个更加微妙的画面。我们的主要发现是，在广泛的网络架构和问题域，增加批量大小超过一定的点产生没有减少时钟时间\emph{either}训练或测试损失收敛。该批量通常大大低于当前系统的容量。我们发现，在我们能够填充所有可用的计算资源之前，大批量优化的流行训练策略就开始失败，并且我们表明，这些方法的崩溃点更多地取决于模型架构和数据复杂性等属性，而不是直接取决于数据集的大小。
2018-11-30 cs.DC cs.LG stat.ML
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）；IBM Research（IBM研究院）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；eBay（易贝）
针对传统个体裁剪的DPSGD无法使用批量归一化层、现有自适应逐层裁剪无严格差分隐私证明的问题，提出批量裁剪与新的自适应逐层裁剪方法，给出严格DP证明，实验验证其在CIFAR-10的resnet-18任务上可实现收敛。
2023-07-21 cs.LG
Tuple-oriented Compression for Large-scale Mini-batch Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
数据压缩是一种流行的技术，用于提高数据处理工作负载的效率，例如SQL查询和最近的机器学习（ML）与经典的批量梯度方法。但是这些想法对于小批量随机梯度下降（MGD）的有效性，可以说是现代ML的主力算法，是一个悬而未决的问题。MGD独特的数据访问模式使得现有技术（包括为批量梯度方法设计的那些）不太有效。我们填补了这一关键的研究空白，提出了一个新的无损压缩计划，我们称之为面向元组的压缩（TOC），这是一个不太可能的来源，字符串/文本压缩方案Lempel-Ziv-Welch的启发，但量身定制的MGD的方式，保留小批量的元组边界。然后，我们提出了一套新的压缩矩阵运算执行技术，专门针对TOC压缩方案，直接在压缩数据表示，避免解压开销。对真实世界数据集的广泛实证评估表明，TOC始终实现高达51倍的压缩比，并在流行的ML系统中将MGD工作负载的运行时间减少了10.2倍。
2019-01-20 cs.DB cs.LG stat.ML
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
Stochastic Item Descent Method for Large Scale Equal Circle Packing Problem
Huazhong University of Science and Technology（华中科技大学）；Université de Picardie Jules Verne（皮卡第儒勒-凡尔纳大学）
随机梯度下降（SGD）是机器学习领域中解决大规模最优化问题的一种有效方法，特别是对于多变量的有限和问题。近年来，小批量SGD取得了巨大的成功，并已成为训练大量数据的深度神经网络的标准技术。受其在深度学习中的成功启发，我们将SGD的思想与批量选择样本应用于决策版本中的经典最优化问题。给定$n$单位圆，等圆装箱问题（ECPP）研究的是是否存在一个可行的装箱方案，使所有的圆都能不重叠地放入一个圆形容器中。具体地说，我们提出了一种随机项下降法（SIDM）来求解大规模的ECPP问题，该方法将单位圆随机划分为若干批，并在相应的批函数上迭代运行Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法以加快计算速度.我们还在批量迭代过程中增加批量大小，以获得更高质量的解决方案。与目前最好的装箱算法相比，SIDM算法大大加快了优化过程的计算速度，并保证了最多可达1500个圈项的大规模实例的解质量，而基线算法通常处理300个圈项左右。结果表明，SIDM在大规模经典优化问题上具有很高的效率，并显示出其在其他大规模经典最优化问题中应用梯度下降法进行优化的潜力。
2020-01-22 cs.CG cs.LG cs.NA
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida（佛罗里达州立大学马纳学院）；McCombs School of Business, University of Texas at Austin（德克萨斯大学奥斯汀分校麦克纳学院）
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性，推导了扩散极限与Oracle复杂度的理论边界，并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Optimizing Predictive AI in Physical Design Flows with Mini Pixel Batch Gradient Descent
NVIDIA Corp.（英伟达公司）
针对预测性AI在芯片物理设计中的MSE优化局限，提出即插即用的小像素批量梯度下降（MPGD）算法，聚焦关键信息条目，在CNN和图模型上显著提升预测性能。
2024-02-08 cs.AI cs.LG
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University（明治大学）
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响，证明使用临界批量大小可最小化SFO复杂度，并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
On the equivalence of different adaptive batch size selection strategies for stochastic gradient descent methods
University of Nottingham（诺丁汉大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；RWTH Aachen University（亚琛工业大学）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文证明了在ε²=θ²+ν²条件下，SGD方法中范数检验与内积/正交性检验在收敛速率上等价，并分析了两种自适应批量选择策略的计算开销关系。
2023-07-04 cs.LG math.OC stat.ML
Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
Mila, Montreal, Canada（Mila，加拿大蒙特利尔）；Meta Platforms, Menlo Park, California, USA（Meta平台，美国Menlo Park，加利福尼亚州）
针对符号下降和谱下降优化器，推导了非欧几里得梯度噪声尺度，并提出高效方差估计方法，实现自适应批大小，在Llama模型上减少高达66%训练步数。
2026-07-03 cs.AI cs.LG
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Theoretical Analysis of Auto Rate-Tuning by Batch Normalization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tsinghus University（清华大学）
批量归一化（BN）已成为跨不同架构的深度学习的基石，似乎有助于优化和泛化。虽然这一想法具有直观的意义，但缺乏对其有效性的理论分析。这里提供了理论支持，它的一个固定的属性，即，能够让梯度下降成功的学习率较少的调整。结果表明，即使我们固定尺度不变参数的学习率（例如，具有BN的每一层的权重）到常数（例如，$0.3$），梯度下降仍然接近稳定点（即，梯度为零的解决方案）在$T$迭代中的$T^{-1/2}$的速率中，渐进地匹配梯度下降的最佳界限与良好调整的学习率。对于随机梯度下降，也给出了收敛速度为$T^{-1/4}$的类似结果。
2018-12-10 cs.LG stat.ML
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标，Chen et al.（2018）证明了该方法的一致稳定性随着优化步骤的数量呈二次增长，并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想，并显示，两个概念的算法稳定性（包括一致稳定性），Nesterov的加速方法的稳定性，实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比，也与非加速梯度方法的已知结果形成鲜明对比，其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们引入了一个条件加速惰性随机梯度下降算法，具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$，比Hazan和Kale [2012]的无投影，基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中，要么收敛只是在预期或边界依赖于区域的直径。相反，我们表现出高概率收敛的界限取决于初始距离的最优解，而不是域直径。该算法使用类似于标准设置的步长，并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Submodular Batch Selection for Training Deep Neural Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
基于小批量梯度下降的方法是当今用于训练神经网络架构的事实上的算法。本文提出了一种基于子模函数最大化的小批量选择策略。我们的新的子模块化配方捕捉每个样本的信息量和整个子集的多样性。我们设计了一个有效的，贪心算法，可以提供高质量的解决方案，这个NP难的组合优化问题。我们在标准数据集上进行的大量实验表明，使用所提出的批量选择策略训练的深度模型比随机梯度下降以及不同学习率、批量大小和距离度量的流行基线采样策略提供了更好的泛化能力。
2019-06-20 cs.LG stat.ML
