The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University（康奈尔大学）
在黑盒优化的许多应用中，可以同时评估多个点，例如，当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造，该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点，我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时，实际机器学习算法，特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
Optimizing Predictive AI in Physical Design Flows with Mini Pixel Batch Gradient Descent
NVIDIA Corp.（英伟达公司）
针对预测性AI在芯片物理设计中的MSE优化局限，提出即插即用的小像素批量梯度下降（MPGD）算法，聚焦关键信息条目，在CNN和图模型上显著提升预测性能。
2024-02-08 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Hyper-Learning for Gradient-Based Batch Size Adaptation
University of Strathclyde（思克莱德大学）
在训练深度神经网络时，调度批量增加是控制梯度噪声的有效策略。目前的方法实现调度算法，忽略了优化过程中的结构，限制了它们对训练动态的灵活性和辨别其适应性对泛化的影响的能力。我们引入仲裁器作为一个新的超参数优化算法来执行批量大小的适应可学习的调度算法使用梯度从一个元目标函数，它克服了以前的启发式约束，通过执行一个新的学习过程称为超学习。通过超学习，Arbiter制定了一个神经网络代理，通过观察T个内部下降步骤的伴随响应来学习自适应启发式算法，为内部深度网络生成最佳批量样本。Arbiter避免了展开优化，并且不需要超网络来促进梯度，这使得它相当便宜，易于实现，并且适用于不同的任务。我们证明仲裁的有效性，在几个说明性的实验：作为一个独立的批量大小调度;补充固定批量大小的时间表具有更大的灵活性;并促进方差减少随机元优化的学习率。
2022-05-17 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Analysis on Gradient Propagation in Batch Normalized Residual Networks
University of Southern California（南加州大学）
我们进行数学分析的效果批量归一化（BN）的梯度反向传播的残差网络的训练，这被认为是在解决梯度消失/爆炸问题中发挥了关键作用，在这项工作中。通过分别分析输入和梯度在通过BN和残差分支的前向和后向传递中的均值和方差行为，我们表明它们共同作用，将梯度方差限制在反向传播中残差块的一定范围内。因此，避免了梯度消失/爆炸问题。我们还显示了相对重要性的批量归一化w.r.t.剩余网络中的剩余分支。
2018-12-02 cs.LG stat.ML
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds
Princeton University（普林斯顿大学）；University of Arizona（亚利桑那大学）；Microsoft Research NYC（微软研究院纽约分部）；Microsoft Research Redmond（微软研究院雷德蒙德分部）
我们设计了一种新的算法，用于使用深度神经网络模型进行批量主动学习。我们的算法，批量主动学习的多样性梯度嵌入（BADGE），样本组的点是不同的和高幅度时，表示在一个幻觉梯度空间，一个策略，旨在将预测的不确定性和样本多样性到每个选定的批次。至关重要的是，BADGE在多样性和不确定性之间进行权衡，而不需要任何手动调整的超参数。我们表明，虽然其他方法有时成功的特定批量大小或架构，BADGE一贯表现良好或更好，使其成为一个通用的选择，为实际的主动学习问题。
2020-02-24 cs.LG stat.ML
DIVEBATCH: Accelerating Model Training Through Gradient-Diversity Aware Batch Size Adaptation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出DiveBatch算法，利用梯度多样性动态调整批量大小，在保持小批量训练泛化性能的同时显著加速SGD收敛，并在多个数据集上验证其优于标准SGD和AdaBatch。
2025-09-19 cs.LG
See through Gradients: Image Batch Recovery via GradInversion
NVIDIA（英伟达）
训练深度神经网络需要从数据批次中进行梯度估计以更新参数。每个参数的权重是在一组数据上平均的，这被认为对于联合、协作和联邦学习应用中的隐私保护训练是安全的。以前的工作只显示了在非常严格的条件下恢复给定梯度的输入数据的可能性-单个输入点，或没有非线性的网络，或小的32 x32 px输入批次。因此，对较大批次的梯度求平均值被认为是安全的。在这项工作中，我们引入了GradInversion，使用它可以在ImageNet（1000个类，224 x224 px）等复杂数据集上为ResNets（50层）等大型网络恢复较大批次（8 - 48张图像）的输入图像。我们制定了一个优化任务，将随机噪声转换为自然图像，匹配梯度，同时正则化图像保真度。我们还提出了一个算法的目标类标签恢复给定的梯度。我们进一步提出了一个组一致性正则化框架，其中多个代理从不同的随机种子开始共同努力，找到一个增强的重建原始数据批次。我们发现梯度编码了惊人的大量信息，因此即使对于复杂的数据集，深度网络和大批量数据，也可以通过GradInversion以高保真度恢复所有单个图像。
2021-04-15 cs.CV cs.LG
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
INRIA Lille（法国国家信息与自动化研究所里尔中心）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一种新的方法来自动确定批量大小的随机梯度下降方法。批量大小的选择导致梯度估计的准确性和每次更新的样本成本之间的权衡。我们建议通过优化下限到预期改进的线性或二次泰勒近似和用于估计梯度的样本数之间的比率来确定批量大小。所提出的方法的性能进行了实证比较与流行的分类任务的相关方法。这项工作是在NIPS研讨会上提出的优化优化。2016年，西班牙巴塞罗那。
2017-12-09 cs.LG stat.ML
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Grad Queue : A probabilistic framework to reinforce sparse gradients
提出Grad Queue概率框架，通过在线梯度队列度量并强化稀疏梯度，结合特征聚类减少大mini-batch冲突，恢复批次多样性并拓宽最优边界，在多个数据集上优于传统梯度下降。
2024-04-25 cs.AI cs.CV cs.LG
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University（南京大学）
针对大批次SGD训练泛化精度下降的问题，提出带动量的随机归一化梯度下降方法SNGM，理论上可在相同梯度计算量下用更大批次收敛，实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
New York University（纽约大学）；Columbia University（哥伦比亚大学）
本研究发现小批量训练可稳定训练语言模型，优于大批次，且能使用普通SGD实现稳定训练，无需动量和优化器状态。
2025-12-15 cs.LG
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）
在本文中，我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中，我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法，以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Unbiased Gradients, Moving Stability Boundaries: Exact Mini-Batch Geometry in Linear Self-Attention
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计学系）
本文研究了双因子线性变换器模型在大学习率下的训练动态，通过分析发现大步长学习率可以改变变换器的训练吸引子，而非仅仅加速收敛，可能在稳定性阈值之外导致训练进入循环、有界混沌或发散。
2026-09-23 cs.AI cs.LG math.DS
A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss
Northern Arizona University（北亚利桑那大学）
受试者工作特征（ROC）曲线是真阳性率与假阳性率的曲线图，用于评估二元分类算法。因为曲线下面积（AUC）是预测值的恒定函数，所以学习算法反而优化凸松弛，其涉及对所有对标记的正和负示例的求和。朴素的学习算法以二次时间计算梯度，这对于使用大批量的学习来说太慢了。我们提出了一种新的平方损失和平方铰链损失的函数表示，这导致在线性或对数线性时间内计算梯度的算法，并使得可以使用大批量的梯度下降学习。在我们的监督二进制分类问题的实证研究中，我们表明，我们的新算法可以实现更高的测试AUC值的不平衡数据集比以前的算法，并利用更大的批量比以前可行的。
2023-02-21 cs.AI cs.LG
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley（加州大学伯克利分校）；UW Madison（威斯康星大学麦迪逊分校）
实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
针对分布式局部梯度方法，提出自适应增大批量大小以降低梯度方差，并在同质数据下给出收敛保证，实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
Every Batch Is Its Own Validation Set: Leave-One-Out Gradient Matching for Online Data Selection in LLM Fine-Tuning
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对在线批次选择中样本内梯度匹配的偏差问题，提出留一法梯度匹配（LOOM），通过移除Gram矩阵对角线实现无偏估计，在多个微调任务上显著优于全批次训练及其他选择器。
2026-10-02 cs.LG
History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms
The Ohio State University（俄亥俄州立大学）；University of Utah（犹他大学）；Southern University of Science and Technology（南方科技大学）
方差缩减算法虽然在理论上取得了很好的性能，但由于大批量数据的周期性梯度估计，在实际应用中运行缓慢。因此，批量大小自适应出现作为一个有前途的方法来加速这样的算法。然而，现有的计划要么应用规定的批量大小的自适应规则或利用沿优化路径的信息，通过额外的回溯和条件验证步骤。在本文中，我们提出了一种新的计划，它消除了回溯线搜索，但仍然利用沿优化路径的信息，通过调整批量大小通过历史随机梯度。我们进一步从理论上表明，这种方案大大降低了流行的方差减少算法SVRG和SARAH/SPIDER的整体复杂性，为传统的非凸优化和强化学习问题。为此，我们开发了一个新的收敛分析框架，以处理历史随机梯度的批量大小的依赖。大量的实验验证了所提出的批量大小自适应计划的有效性。
2020-07-27 cs.LG math.OC stat.ML
Batch size invariant Adam
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
针对分布式训练中 Adam 随 micro-batch 划分而改变更新尺度的问题，本文通过先平方后平均梯度构造 v 项，在无需梯度方差主导假设的情况下实现批量大小不变性。
2024-02-29 cs.LG
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）；IBM Research（IBM研究院）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；eBay（易贝）
针对传统个体裁剪的DPSGD无法使用批量归一化层、现有自适应逐层裁剪无严格差分隐私证明的问题，提出批量裁剪与新的自适应逐层裁剪方法，给出严格DP证明，实验验证其在CIFAR-10的resnet-18任务上可实现收敛。
2023-07-21 cs.LG
Big Batch SGD: Automated Inference using Adaptive Batch Sizes
University of Maryland, College Park（马里兰大学帕克分校）
本文提出大批次SGD方法，通过自适应增长批次大小保持梯度近似信号与噪声比，实现无需凸优化的高效收敛，并支持自动学习率选择。
2017-04-06 cs.LG cs.NA math.NA
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
该研究针对自适应梯度优化器提出AdAdaGrad及AdAdaGradNorm两种自适应批量大小方案，理论证明其收敛性，经图像分类实验验证，可提升大规模模型训练的效率与泛化性。
2026-08-26 cs.LG math.OC stat.ML
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
On the Role of Batch Size in Stochastic Conditional Gradient Methods
研究了随机条件梯度方法中批量大小的作用，揭示了批量大小与步长、噪声的交互关系，提出了适应性策略以提升大规模优化效率。
2026-10-20 cs.LG math.OC stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures
Computer Science Department, UCLA（计算机科学系，加州大学洛杉矶分校）
提出CoLM方法，通过包含小数据源样本、梯度历史指数归一化和零阶方法稀疏化V投影矩阵梯度，解决LLM在数据混合物上小批量核心集训练的内存瓶颈，实现2倍内存降低且优于4倍大批量训练。
2025-05-28 cs.AI cs.CL cs.LG
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
Meiji University（明治大学）
本文对采用Armijo线搜索的SGD非凸优化进行收敛分析，证明所需步数随批量增大单调递减，SFO复杂度存在最优临界批量，并通过数值实验验证了理论结论。
2024-02-01 cs.LG math.OC
Never Go Full Batch (in Stochastic Convex Optimization)
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了随机凸优化的$\text{full-batch}$优化算法的泛化性能：这些是一阶方法，只访问经验风险的精确梯度（而不是相对于单个数据点的梯度），包括广泛的算法，如梯度下降，镜像下降，以及它们的正则化和/或加速变体。我们提供了一个新的分离结果表明，虽然算法，如随机梯度下降可以概括和优化人口的风险，在$ε$后，$O(1/ε^2)$迭代，全批方法要么需要至少$Ω(1/ε^4)$迭代或表现出依赖于维度的样本复杂性。
2021-06-29 cs.LG math.OC
Improving the convergence of SGD through adaptive batch sizes
Air Force Research Laboratory（空军研究实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出根据训练损失自适应调整 SGD 批量大小的方法，在保持 SGD 梯度计算量级的同时达到梯度下降的更新次数量级，并通过损失近似与实验验证其不增加总计算量。
2023-09-27 cs.LG math.OC stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories, USA（NEC实验室）
SGD是训练CNN广泛采用的方法。从概念上讲，它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中，我们展示了采样偏差，固有图像差和固定周期伪随机采样区分训练中的批次，从而影响它们的学习速度。因此，SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题，我们提出了不一致的随机梯度下降（ISGD），根据批次的学习状态动态地改变训练工作。具体来说，ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足，ISGD解决一个新的子问题，一个追逐逻辑加上一个保守约束，以加速对批处理的训练，同时避免剧烈的参数变化。在各种数据集上的大量实验表明，ISGD比SGD收敛得更快。在训练AlexNet时，ISGD比SGD快21.05%，在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上，使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论，最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是，ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
Revisit Micro-batch Clipping: Adaptive Data Pruning via Gradient Manipulation
Google（谷歌公司）
本文首次从数据剪枝视角解释微批次裁剪提升模型收敛率的机制，证明特定微批次大小可最小化不随迭代消失的常数偏差，并验证其在视觉和语言模型上的有效性及多领域数据的局限性。
2024-08-29 cs.LG cs.SD eess.AS
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）；National Research Council of Canada（加拿大国家研究委员会）；CIFAR Canada AI Chair（CIFAR加拿大人工智能首席科学家）
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
