Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）
在本文中，我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中，我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法，以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
INRIA Lille（法国国家信息与自动化研究所里尔中心）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一种新的方法来自动确定批量大小的随机梯度下降方法。批量大小的选择导致梯度估计的准确性和每次更新的样本成本之间的权衡。我们建议通过优化下限到预期改进的线性或二次泰勒近似和用于估计梯度的样本数之间的比率来确定批量大小。所提出的方法的性能进行了实证比较与流行的分类任务的相关方法。这项工作是在NIPS研讨会上提出的优化优化。2016年，西班牙巴塞罗那。
2017-12-09 cs.LG stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University（南京大学）
针对大批次SGD训练泛化精度下降的问题，提出带动量的随机归一化梯度下降方法SNGM，理论上可在相同梯度计算量下用更大批次收敛，实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia（不列颠哥伦比亚大学）；CIFAR（加拿大高等研究院）；Amii（阿尔伯塔机器智能研究所）
本文通过改变批量大小直至全批量来检验重尾噪声假设，证明随机性并非 Transformer 上 Adam 优于 SGD 的主因，并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
尽管其经验上的成功和最近的理论进展，一般缺乏定量分析的效果批量归一化（BN）的梯度下降的收敛性和稳定性。在本文中，我们提供了这样一个分析的简单问题的普通最小二乘（OLS）。由于梯度下降（GD）的精确动力学性质是完全已知的OLS问题，它允许我们隔离和比较BN的附加效果。更准确地说，我们表明，与GD，梯度下降BN（BNGD）收敛于任意学习率的权重，收敛保持线性温和的条件下。此外，我们量化了两个不同的来源的加速BNGD GD-一个是由于过度参数化，提高了有效的条件数，另一个是由于有一个大范围的学习率引起快速下降。这些现象将BNGD与GD区分开来，并且可以解释其大部分鲁棒性特性。数值实验定量地证实了这些发现，这进一步表明，在OLS中的BNGD的许多未被发现的属性也被定性地观察到在更复杂的监督学习问题。
2019-05-09 cs.LG stat.ML
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
本文提出Fisher-正交投影技术，用于在大规模批量训练中提升自然梯度下降的性能，实现更优的泛化能力和更快的收敛速度。
2026-02-08 cs.AI cs.LG
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories, USA（NEC实验室）
SGD是训练CNN广泛采用的方法。从概念上讲，它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中，我们展示了采样偏差，固有图像差和固定周期伪随机采样区分训练中的批次，从而影响它们的学习速度。因此，SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题，我们提出了不一致的随机梯度下降（ISGD），根据批次的学习状态动态地改变训练工作。具体来说，ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足，ISGD解决一个新的子问题，一个追逐逻辑加上一个保守约束，以加速对批处理的训练，同时避免剧烈的参数变化。在各种数据集上的大量实验表明，ISGD比SGD收敛得更快。在训练AlexNet时，ISGD比SGD快21.05%，在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上，使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论，最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是，ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
On the Computational Inefficiency of Large Batch Sizes for Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
增加随机梯度下降的小批量大小提供了减少挂钟训练时间的重要机会，但存在各种理论和系统挑战，阻碍了该技术的广泛成功。我们调查这些问题，重点是收敛时间和总计算成本，通过广泛的实证分析网络训练的几个架构和问题领域，包括图像分类，图像分割和语言建模。虽然增加批量大小以充分利用可用的计算资源是常见的做法，但我们发现了一个更加微妙的画面。我们的主要发现是，在广泛的网络架构和问题域，增加批量大小超过一定的点产生没有减少时钟时间\emph{either}训练或测试损失收敛。该批量通常大大低于当前系统的容量。我们发现，在我们能够填充所有可用的计算资源之前，大批量优化的流行训练策略就开始失败，并且我们表明，这些方法的崩溃点更多地取决于模型架构和数据复杂性等属性，而不是直接取决于数据集的大小。
2018-11-30 cs.DC cs.LG stat.ML
Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）；IBM Research（IBM研究院）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；eBay（易贝）
针对传统个体裁剪的DPSGD无法使用批量归一化层、现有自适应逐层裁剪无严格差分隐私证明的问题，提出批量裁剪与新的自适应逐层裁剪方法，给出严格DP证明，实验验证其在CIFAR-10的resnet-18任务上可实现收敛。
2023-07-21 cs.LG
Tuple-oriented Compression for Large-scale Mini-batch Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
数据压缩是一种流行的技术，用于提高数据处理工作负载的效率，例如SQL查询和最近的机器学习（ML）与经典的批量梯度方法。但是这些想法对于小批量随机梯度下降（MGD）的有效性，可以说是现代ML的主力算法，是一个悬而未决的问题。MGD独特的数据访问模式使得现有技术（包括为批量梯度方法设计的那些）不太有效。我们填补了这一关键的研究空白，提出了一个新的无损压缩计划，我们称之为面向元组的压缩（TOC），这是一个不太可能的来源，字符串/文本压缩方案Lempel-Ziv-Welch的启发，但量身定制的MGD的方式，保留小批量的元组边界。然后，我们提出了一套新的压缩矩阵运算执行技术，专门针对TOC压缩方案，直接在压缩数据表示，避免解压开销。对真实世界数据集的广泛实证评估表明，TOC始终实现高达51倍的压缩比，并在流行的ML系统中将MGD工作负载的运行时间减少了10.2倍。
2019-01-20 cs.DB cs.LG stat.ML
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida（佛罗里达州立大学马纳学院）；McCombs School of Business, University of Texas at Austin（德克萨斯大学奥斯汀分校麦克纳学院）
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性，推导了扩散极限与Oracle复杂度的理论边界，并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Stochastic Item Descent Method for Large Scale Equal Circle Packing Problem
Huazhong University of Science and Technology（华中科技大学）；Université de Picardie Jules Verne（皮卡第儒勒-凡尔纳大学）
随机梯度下降（SGD）是机器学习领域中解决大规模最优化问题的一种有效方法，特别是对于多变量的有限和问题。近年来，小批量SGD取得了巨大的成功，并已成为训练大量数据的深度神经网络的标准技术。受其在深度学习中的成功启发，我们将SGD的思想与批量选择样本应用于决策版本中的经典最优化问题。给定$n$单位圆，等圆装箱问题（ECPP）研究的是是否存在一个可行的装箱方案，使所有的圆都能不重叠地放入一个圆形容器中。具体地说，我们提出了一种随机项下降法（SIDM）来求解大规模的ECPP问题，该方法将单位圆随机划分为若干批，并在相应的批函数上迭代运行Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法以加快计算速度.我们还在批量迭代过程中增加批量大小，以获得更高质量的解决方案。与目前最好的装箱算法相比，SIDM算法大大加快了优化过程的计算速度，并保证了最多可达1500个圈项的大规模实例的解质量，而基线算法通常处理300个圈项左右。结果表明，SIDM在大规模经典优化问题上具有很高的效率，并显示出其在其他大规模经典最优化问题中应用梯度下降法进行优化的潜力。
2020-01-22 cs.CG cs.LG cs.NA
Optimizing Predictive AI in Physical Design Flows with Mini Pixel Batch Gradient Descent
NVIDIA Corp.（英伟达公司）
针对预测性AI在芯片物理设计中的MSE优化局限，提出即插即用的小像素批量梯度下降（MPGD）算法，聚焦关键信息条目，在CNN和图模型上显著提升预测性能。
2024-02-08 cs.AI cs.LG
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University（明治大学）
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响，证明使用临界批量大小可最小化SFO复杂度，并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
On the equivalence of different adaptive batch size selection strategies for stochastic gradient descent methods
University of Nottingham（诺丁汉大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；RWTH Aachen University（亚琛工业大学）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文证明了在ε²=θ²+ν²条件下，SGD方法中范数检验与内积/正交性检验在收敛速率上等价，并分析了两种自适应批量选择策略的计算开销关系。
2023-07-04 cs.LG math.OC stat.ML
Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
Mila, Montreal, Canada（Mila，加拿大蒙特利尔）；Meta Platforms, Menlo Park, California, USA（Meta平台，美国Menlo Park，加利福尼亚州）
针对符号下降和谱下降优化器，推导了非欧几里得梯度噪声尺度，并提出高效方差估计方法，实现自适应批大小，在Llama模型上减少高达66%训练步数。
2026-07-03 cs.AI cs.LG
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Theoretical Analysis of Auto Rate-Tuning by Batch Normalization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tsinghus University（清华大学）
批量归一化（BN）已成为跨不同架构的深度学习的基石，似乎有助于优化和泛化。虽然这一想法具有直观的意义，但缺乏对其有效性的理论分析。这里提供了理论支持，它的一个固定的属性，即，能够让梯度下降成功的学习率较少的调整。结果表明，即使我们固定尺度不变参数的学习率（例如，具有BN的每一层的权重）到常数（例如，$0.3$），梯度下降仍然接近稳定点（即，梯度为零的解决方案）在$T$迭代中的$T^{-1/2}$的速率中，渐进地匹配梯度下降的最佳界限与良好调整的学习率。对于随机梯度下降，也给出了收敛速度为$T^{-1/4}$的类似结果。
2018-12-10 cs.LG stat.ML
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Submodular Batch Selection for Training Deep Neural Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
基于小批量梯度下降的方法是当今用于训练神经网络架构的事实上的算法。本文提出了一种基于子模函数最大化的小批量选择策略。我们的新的子模块化配方捕捉每个样本的信息量和整个子集的多样性。我们设计了一个有效的，贪心算法，可以提供高质量的解决方案，这个NP难的组合优化问题。我们在标准数据集上进行的大量实验表明，使用所提出的批量选择策略训练的深度模型比随机梯度下降以及不同学习率、批量大小和距离度量的流行基线采样策略提供了更好的泛化能力。
2019-06-20 cs.LG stat.ML
Improving the convergence of SGD through adaptive batch sizes
Air Force Research Laboratory（空军研究实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出根据训练损失自适应调整 SGD 批量大小的方法，在保持 SGD 梯度计算量级的同时达到梯度下降的更新次数量级，并通过损失近似与实验验证其不增加总计算量。
2023-09-27 cs.LG math.OC stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Sung Kyun Kwan University（顺天妇女大学）；New York University and Flatiron Institute（纽约大学和Flatiron研究所）；University of Southern California（南加州大学）
研究单索引学习中全批量GD与单次SGD的样本复杂度差异，发现通过截断激活函数，全批量GD在n≃d样本时实现弱恢复，优于单次SGD的n≳d log d样本需求。
2026-06-05 cs.LG stat.ML
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们研究了如何通过随机梯度下降找到的最终参数受到过参数化的影响。我们通过增加基础网络中的通道数量来生成模型族，然后执行大型超参数搜索以研究测试误差如何取决于学习率、批量大小和网络宽度。我们发现，最佳SGD超参数是由“归一化噪声尺度”，这是一个函数的批量大小，学习率，和初始化条件。在没有批量归一化的情况下，最佳归一化噪声尺度与宽度成正比。更宽的网络，具有更高的最佳噪声尺度，也可以实现更高的测试精度。这些观察结果适用于MLP，ConvNets和ResNets，以及两种不同的参数化方案（“标准”和“NTK”）。我们观察到ResNets的批量归一化也有类似的趋势。令人惊讶的是，由于最大稳定学习率是有界的，与最佳归一化噪声尺度一致的最大批量大小随着宽度的增加而减小。
2019-05-09 cs.AI cs.CV cs.LG
The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究两层网络多索引目标函数学习中多次遍历梯度下降重用批次的训练动态，证明其能突破信息指数和跳跃指数限制，并刻画了有限时间内可高效学习的函数类。
2024-06-30 cs.LG stat.ML
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University（明治大学）
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法，并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
WNGrad: Learn the Learning Rate in Gradient Descent
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
在随机梯度方法中，调整学习率是一个重要的未解决的问题，需要在实践中调整。如果已知损失函数的某些参数，如平滑度或强凸性常数，则可以应用理论学习率计划。然而，在实践中，这样的参数是未知的，并且感兴趣的损失函数在任何情况下都不是凸的。最近提出的批量归一化重新参数化被广泛采用在大多数神经网络架构今天，因为，除其他优点外，它是鲁棒的损失函数中的梯度的Lipschitz常数的选择，允许一个设置一个大的学习率没有担心。受批处理归一化的启发，我们提出了一个通用的非线性更新规则，用于批处理和随机梯度下降中的学习率，以便学习率可以初始化为一个高值，随后根据沿途的梯度观测值降低。所提出的方法是实现鲁棒性的学习率和Lipschitz常数之间的关系，并接近最佳的收敛速度在批量和随机设置（$O(1/T)$为平滑损失的批量设置，和$O(1/\sqrt{T})$为凸损失的随机设置）。我们还通过数值证据表明，该方法的鲁棒性扩展到深度学习问题中的高度非凸和可能非光滑的损失函数。我们的分析建立了对批量归一化和权重归一化的鲁棒性的初步理论理解。
2020-11-19 cs.AI cs.LG cs.NA
AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Innopolis University（因诺波利斯大学）；Skoltech（斯科尔科沃科学技术研究院）
提出AdaBatchGrad，一种结合自适应批大小与自适应步长的SGD变体，以增强收敛鲁棒性和稳定性，在精确与不精确测试下均达到理论收敛，并实验验证其优于现有方法。
2024-02-07 cs.LG math.OC
Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization
DeepOpinion；University of Innsbruck（因斯布鲁克大学）
训练深度神经网络是一项非常苛刻的任务，尤其具有挑战性的是如何调整架构以提高训练模型的性能。我们可以发现，有时候，浅层网络比深层网络更好地泛化，增加更多的层会导致更高的训练和测试错误。深度残差学习框架通过向多个神经网络层添加跳过连接来解决这种退化问题。乍一看，成功训练深度网络需要这样的跳跃连接，这似乎是违反直觉的，因为网络的表现力将随着深度呈指数级增长。本文首先分析了神经网络中的信息流。我们介绍和评估批量熵，它量化了通过神经网络的每一层的信息流。我们从经验和理论上证明了一个积极的批量熵需要梯度下降为基础的训练方法，以优化一个给定的损失函数成功。基于这些见解，我们引入了批量熵正则化，使基于梯度下降的训练算法能够单独优化通过每个隐藏层的信息流。通过批量熵正则化，梯度下降优化器可以将不可训练的网络转换为可训练的网络。我们的经验表明，我们可以因此训练一个“香草”全连接网络和卷积神经网络-没有跳过连接，批量归一化，dropout或任何其他架构调整-通过简单地将批量熵正则化项添加到损失函数，具有500层。批量熵正则化的效果不仅在香草神经网络上进行了评估，而且还在残差网络，自编码器以及广泛的计算机视觉和自然语言处理任务上的Transformer模型上进行了评估。
2022-08-01 cs.LG
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Google Brain（谷歌大脑）
我们考虑机器学习的两个核心问题：我们如何预测最小值是否会推广到测试集，以及为什么随机梯度下降能找到推广良好的最小值？我们的工作是对Zhang et al.（2016）的回应，他表明深度神经网络可以很容易地记住随机标记的训练数据，尽管在相同输入的真实标签上泛化得很好。我们发现，同样的现象发生在小的线性模型。这些观察结果解释了贝叶斯证据，惩罚尖锐的最小值，但不变的模型参数化。我们还证明，当一个持有固定的学习率，有一个最佳的批量大小，最大限度地提高测试集的准确性。我们建议，小的小批量引入的噪声驱动器的参数朝向最小值的证据是大的。将随机梯度下降解释为随机微分方程，我们确定了“噪声尺度”$g = ε(\frac{N}{B} - 1) \approx εN/B$，其中$ε$是学习率，$N$是训练集大小，$B$是批量大小。因此，最佳批量大小与学习速率和训练集$B_{opt} \propto εN$的大小成比例。我们验证这些预测经验。
2018-02-14 cs.AI cs.LG stat.ML
A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss
Northern Arizona University（北亚利桑那大学）
受试者工作特征（ROC）曲线是真阳性率与假阳性率的曲线图，用于评估二元分类算法。因为曲线下面积（AUC）是预测值的恒定函数，所以学习算法反而优化凸松弛，其涉及对所有对标记的正和负示例的求和。朴素的学习算法以二次时间计算梯度，这对于使用大批量的学习来说太慢了。我们提出了一种新的平方损失和平方铰链损失的函数表示，这导致在线性或对数线性时间内计算梯度的算法，并使得可以使用大批量的梯度下降学习。在我们的监督二进制分类问题的实证研究中，我们表明，我们的新算法可以实现更高的测试AUC值的不平衡数据集比以前的算法，并利用更大的批量比以前可行的。
2023-02-21 cs.AI cs.LG
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能中心）
随机梯度下降（SGD）及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值，通常推广良好。但是，从数学上讲，深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题，我们发展了一个密度扩散理论（DDT）来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知，我们是第一个从理论上和经验上证明，受益于随机梯度噪声的海森相关的协方差，SGD有利于平坦的最小值指数比尖锐的最小值，而梯度下降（GD）与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现，无论是小学习率还是大批量训练，都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此，大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
Accelerating Training of Batch Normalization: A Manifold Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
批量归一化（BN）已成为各种深度神经网络的关键组件。具有BN的网络对正线性尺度变换具有不变性，这使得存在无穷多个不同权值尺度的功能等价网络。然而，使用一阶方法（例如随机梯度下降）优化这些等效网络将获得一系列收敛到不同局部最优值的迭代，这是由于它们在训练过程中的梯度不同。为了解决这个问题，我们提出了一个商流形\emph{PSI manifold}，其中所有的等效权的网络BN被视为相同的元素。接下来，我们在建议的PSI流形上构造梯度下降和随机梯度下降来训练具有BN的网络。这两个算法保证了每一组等价权值（由正重标度引起）收敛到等价最优解。此外，我们给出了算法在PSI流形上的收敛速度。实验结果表明，与欧氏权值空间上的算法相比，该方法加快了训练速度。最后，实验结果表明，我们的算法一致提高现有的方法在收敛速度和泛化能力在各种实验设置。
2022-06-06 cs.LG
