Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
小批量最优传输（Mini-batch optimal transport，m-OT）是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性，m-OT遭受误指定的映射，即，映射是最佳的小批量水平，但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题，我们提出了一种新的小批量方法，通过使用部分最优运输（POT）之间的小批量经验措施，我们称之为小批量部分最优运输（m-POT）。利用部分运输的洞察力，我们解释了m-OT中错误指定映射的来源，并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后，我们对各种应用程序进行了广泛的实验，如深度域自适应，部分域自适应，深度生成模型，颜色转移和梯度流，以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降（SGD）算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程（SDES）。我们利用连续公式化的方法和Fokker-Planck方程的理论，对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是，我们发现，随机过程的解决方案往往收敛到平坦的最小值，无论批量大小的渐近制度。然而，收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research（谷歌研究院）
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而，它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中，我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明，损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet，任何固定小批量的损失都可以通过二次函数精确建模，并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型，可以分析随机小批量和全批量的梯度之间的关系。我们的分析，使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是，对于指数移动平均（EMA）和随机权重平均，我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测，一个更简单的平均技术，平均只有两个点的许多步骤分开，显着提高精度相比，基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
随机梯度下降（SGD）方法及其变体是许多深度学习任务的首选算法。这些方法以小批量方式操作，其中对训练数据的一部分（例如$32$ - $512$数据点）进行采样以计算对梯度的近似。在实践中已经观察到，当使用较大的批次时，模型的质量会下降，如通过其概括能力所测量的。我们调查的原因，这种泛化下降的大批量政权和目前的数值证据支持的观点，即大批量的方法往往收敛到尖锐的极小值的训练和测试功能-众所周知，尖锐的极小值导致较差的泛化。相比之下，小批量方法始终收敛到平坦的最小值，我们的实验支持一个普遍持有的观点，这是由于梯度估计中的固有噪声。我们讨论了几种策略，试图帮助大批量方法消除这种泛化差距。
2017-02-09 cs.LG math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
小批量最优运输（m-OT）已成功地用于实际应用中，涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题，然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势，但它没有考虑小批量之间的关系，这导致了不期望的估计。此外，m-OT不近似于概率测度之间的适当度量，因为不满足恒等性质。为了解决这些问题，我们提出了一种新的小批量计划的最佳运输，命名为小批量最佳运输（BoMb-OT），找到小批量之间的最佳耦合，它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外，我们表明，m-OT是一个限制的熵正则化版本的BoMb-OT时，正则化参数趋于无穷大。最后，我们对各种应用进行了实验，包括深度生成模型，深度域自适应，近似贝叶斯计算，颜色转移和梯度流，以表明BoMb-OT可以广泛应用，并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global（斯派尔全球）；Post Luxembourg（卢森堡邮政）；University of Luxembourg（卢森堡大学）
深度神经网络（DNN）通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是，通过适当选择的批量大小，可以最佳地利用（包括并行化）可用的计算资源进行快速模型训练。然而，许多作品报告了当训练批量大小增加超过一定限度时，模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题，一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要，因为最近的研究发现，针对泛化缺口问题提出的几种解决方案，如学习率缩放和增加训练预算，并没有真正解决这个问题。因此，本文的主要论述是调查并提供新的视角，以研究大批量训练的DNN的泛化损失来源。我们的分析表明，大的训练批量会导致单元激活（即输出）张量的近秩损失增加，从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型（如VGG-16、残差网络（ResNet-56）和LeNet-5）进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Active Mini-Batch Sampling using Repulsive Point Processes
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度下降（SGD）的收敛速度可以通过积极选择小批量来提高。我们探索的抽样方案，类似的数据点是不太可能被选中在同一个小批量。特别是，我们证明了这种排斥抽样方案降低了梯度估计的方差。这概括了最近关于使用决定点过程（DPP）进行小批量多样化的工作（Zhang等人，2017年）到更广泛的类排斥点过程。我们首先表明，由多样化的采样方差减少的现象，特别是推广到非平稳点过程。然后，我们表明，其他点的过程可能是计算更有效的比DPP。特别是，我们建议和调查泊松磁盘采样-经常遇到的计算机图形社区-这项任务。我们的经验表明，我们的方法在收敛速度和最终模型性能方面都优于标准SGD。
2018-06-20 cs.AI cs.LG stat.ML
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
The Effect of SGD Batch Size on Autoencoder Learning: Sparsity, Sharpness, and Feature Learning
University of California, Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
本文研究单神经元自编码器训练中SGD批量大小的影响，证明任意批量均能收敛到全局最小值，但小批量诱导稀疏且与初始化正交的特征选择，而全批量解稠密且更平坦，并引入非齐次随机游走工具证明收敛性。
2023-08-06 cs.LG stat.ML
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures
Computer Science Department, UCLA（计算机科学系，加州大学洛杉矶分校）
提出CoLM方法，通过包含小数据源样本、梯度历史指数归一化和零阶方法稀疏化V投影矩阵梯度，解决LLM在数据混合物上小批量核心集训练的内存瓶颈，实现2倍内存降低且优于4倍大批量训练。
2025-05-28 cs.AI cs.CL cs.LG
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；AI for Science Institute, Beijing（北京科学智能研究院）
该研究以幂律核回归为场景，分析单轮训练中Polyak和Nesterov动量对大批量训练的影响，推导临界学习率与风险动态标度律，得出三区域批量相图，验证了Polyak扩临界批量、Nesterov提数据效率的结论。
2026-10-28 cs.LG math.OC stat.ML
Tuple-oriented Compression for Large-scale Mini-batch Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
数据压缩是一种流行的技术，用于提高数据处理工作负载的效率，例如SQL查询和最近的机器学习（ML）与经典的批量梯度方法。但是这些想法对于小批量随机梯度下降（MGD）的有效性，可以说是现代ML的主力算法，是一个悬而未决的问题。MGD独特的数据访问模式使得现有技术（包括为批量梯度方法设计的那些）不太有效。我们填补了这一关键的研究空白，提出了一个新的无损压缩计划，我们称之为面向元组的压缩（TOC），这是一个不太可能的来源，字符串/文本压缩方案Lempel-Ziv-Welch的启发，但量身定制的MGD的方式，保留小批量的元组边界。然后，我们提出了一套新的压缩矩阵运算执行技术，专门针对TOC压缩方案，直接在压缩数据表示，避免解压开销。对真实世界数据集的广泛实证评估表明，TOC始终实现高达51倍的压缩比，并在流行的ML系统中将MGD工作负载的运行时间减少了10.2倍。
2019-01-20 cs.DB cs.LG stat.ML
Mini-batch Estimation for Deep Cox Models: Statistical Foundations and Practical Guidance
Department of Biostatistics and Health Data Science, University of Pittsburgh（生物统计与健康数据科学系，匹兹堡大学）；Department of Statistics and Data Science, Carnegie Mellon University（统计与数据科学系，卡内基梅隆大学）；Department of Statistics, University of Pittsburgh（统计系，匹兹堡大学）
本文探讨了小批量梯度下降在深度Cox模型中的应用，建立了小批量最大偏似然估计器的统计性质，并通过理论分析和模拟验证了其一致性与最优收敛率，同时提供了实践指导和实际应用案例。
2026-04-15 cs.LG stat.ML
Batchless Normalization: How to Normalize Activations Across Instances with Minimal Memory Requirements
Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Universidad Autónoma de Yucatán（尤卡坦自治大学）
本文提出一种无批归一化方法，通过在损失函数中添加项以最小化高斯分布的负对数似然来跨实例归一化激活值，从而降低内存消耗并简化实现，助力AI研究民主化。
2024-07-25 cs.LG cs.NE
A view of mini-batch SGD via generating functions: conditions of convergence, phase transitions, benefit from negative momenta
Technology Innovation Institute（技术创新研究院）；CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP）；Skoltech（斯科尔科沃科技学院）；Yandex Research（Yandex研究院）
带动量的小批量SGD是学习大型预测模型的基本算法。在本文中，我们开发了一个新的分析框架，分析噪声平均性能的小批量SGD线性模型在恒定的学习率，动量和批量大小。我们的主要思想是考虑一个特殊的家庭的“频谱可表达”近似模型参数的二阶矩的动态。这允许获得损失值序列的生成函数的显式表达式。通过对生成函数的分析，我们发现：1）SGD动力学根据问题的谱分布表现出几种收敛和发散区域; 2）在幂律谱分布的情况下，这些收敛区域具有显式的稳定性条件和显式的损失渐近性; 3）在负动量下可以达到最优收敛速度.我们验证了我们的理论预测与MNIST，CIFAR 10和合成问题的广泛实验，并找到了一个很好的定量协议。
2023-03-09 cs.LG math.OC stat.ML
Submodular Batch Selection for Training Deep Neural Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
基于小批量梯度下降的方法是当今用于训练神经网络架构的事实上的算法。本文提出了一种基于子模函数最大化的小批量选择策略。我们的新的子模块化配方捕捉每个样本的信息量和整个子集的多样性。我们设计了一个有效的，贪心算法，可以提供高质量的解决方案，这个NP难的组合优化问题。我们在标准数据集上进行的大量实验表明，使用所提出的批量选择策略训练的深度模型比随机梯度下降以及不同学习率、批量大小和距离度量的流行基线采样策略提供了更好的泛化能力。
2019-06-20 cs.LG stat.ML
mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization
LinkedIn Corporation（领英公司）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
针对过参数化深度学习模型的泛化问题，本文提出微批次SAM（mSAM）变体，通过聚合小批次内多微批次的对抗扰动更新，理论与实验均证明其能找到比SAM更平坦的极小值，且可并行实现、计算成本无显著增加，泛化性能更优。
2023-10-01 cs.LG stat.ML
Approaching Backpropagation Accuracy with Weight Perturbation on MNIST
Albstadt-Sigmaringen University（阿尔布斯塔特-西格马林根大学）
该研究在MNIST上探究权重扰动（WP）的精度与效率，发现浅层WP大批量训练精度接近BP，10个epoch下效率差距显著，深层WP经稳定处理仍未达BP级，且WP精度依赖配置与预算。
2026-10-16 cs.LG cs.NE
Optimal mini-batch and step sizes for SAGA
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；IMAG, Univ Montpellier, CNRS（IMAG，蒙彼利埃大学，法国国家科学研究中心）
最近，它已被证明的步长的家庭方差约化梯度法称为JacSketch方法依赖于预期的平滑常数。特别地，如果可以先验地计算该期望平滑度常数，则可以安全地设置大得多的步长，这将导致快得多的收敛速度。我们填补了这一空白，并提供了简单的封闭形式表达式的预期平滑常数和仔细的数值实验验证这些界限。使用这些界限，因为SAGA算法是这个JacSketch家庭的一部分，我们建议一个新的标准做法，为SAGA设置的步长和小批量大小是有竞争力的数值网格搜索。此外，我们现在可以证明，SAGA算法的总复杂度在小批量大小中线性下降到预定义的值：最佳小批量大小。这是一个罕见的结果，在随机方差减少文献中，只有以前的喀秋莎算法。最后，我们猜想，这是许多其他的随机方差减少的方法的情况下，我们的边界和分析的预期平滑常数是关键，以延长这些结果。
2019-09-18 cs.LG math.OC stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
University of Michigan（密歇根大学）
本文提出结合部分二阶信息的方差缩减随机牛顿算法Mb-SVRN，证明当数据量足够大时，该方法能在很宽的小批量范围内实现独立于批量大小的快速线性收敛，显著提升了可扩展性与鲁棒性。
2024-04-23 cs.LG math.OC stat.ML
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
Batch Multi-Fidelity Active Learning with Budget Constraints
University of Utah（犹他大学）
高维输出函数的学习在物理仿真和工程设计等许多应用中至关重要。然而，为这些应用收集训练样本通常是昂贵的，例如通过运行数值求解器。最近的工作（Li et al.，2022）提出了第一种面向高维输出的多保真度主动学习方法，该方法可以获取不同维数的样本，在提高学习性能的同时降低学习成本。然而，该方法一次只能查询一对保真度和输入，因此存在引入强相关示例以降低学习效率的风险。在本文中，我们提出了批量多保真度主动学习与预算约束（BMFAL-BC），它可以促进训练样本的多样性，以提高效益成本比，同时尊重一个给定的预算约束批量查询。因此，我们的方法可以更实用。具体而言，我们提出了一种新的批量采集功能，测量一批多保真度查询和目标函数之间的互信息，从而惩罚高度相关的查询，并鼓励多样性。批量采集功能的优化是具有挑战性的，因为它涉及到许多并行性的组合搜索，同时受到预算约束。为了解决这一挑战，我们开发了一个加权贪心算法，可以顺序地识别每个（保真度，输入）对，同时实现近$(1 - 1/e)$ -近似的最佳。我们在几个计算物理和工程应用中显示了我们的方法的优势。
2022-10-23 cs.LG
ConBatch-BAL: Batch Bayesian Active Learning under Budget Constraints
Delft University of Technology（代尔夫特理工大学）
本文提出两种预算约束下的批量贝叶斯主动学习策略ConBatch-BAL，通过动态阈值或贪心选择样本，并发布两个地理定位航拍图像数据集，实验证明其能减少迭代次数和获取成本。
2025-07-07 cs.CV cs.LG
DARTS: Targeting Prognostic Covariates in Budget-Constrained Sequential Experiments
Department of Statistical Science（统计科学系）
DARTS通过动态适应重随机化和回归调整，减少批次层面的处理效应方差，同时保持随机化有效性。
2026-05-07 cs.LG stat.ME stat.ML
