Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research（谷歌研究院）
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而，它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中，我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明，损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet，任何固定小批量的损失都可以通过二次函数精确建模，并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型，可以分析随机小批量和全批量的梯度之间的关系。我们的分析，使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是，对于指数移动平均（EMA）和随机权重平均，我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测，一个更简单的平均技术，平均只有两个点的许多步骤分开，显着提高精度相比，基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University（西北大学）
在高维情况下，大多数机器学习方法即使存在少量离群值，其性能也是脆弱的。为了解决这个问题，我们希望引入一种新的方法与基础学习，如贝叶斯回归或随机梯度下降，以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛，所以我们使用小批量梯度下降的方法，称为带有修剪的小批量梯度下降（MBGDT）。当我们将我们的方法应用于设计的数据集时，我们的方法显示出最先进的性能，并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Nested Mini-Batch K-Means
EPFL（洛桑联邦理工学院）
提出了一种新的算法，该算法通过使用Elkan（2003）的距离定界方法来加速Sculley（2010）的小批量k-means算法。我们认为，当将距离界限到一个小批量算法，已经使用的数据应优先重用。为此，我们建议使用嵌套的小批处理，从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先，不平衡的数据使用可能会导致估计偏差，我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小，我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明，所得到的nmbatch算法是非常有效的，往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
小批量最优传输（Mini-batch optimal transport，m-OT）是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性，m-OT遭受误指定的映射，即，映射是最佳的小批量水平，但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题，我们提出了一种新的小批量方法，通过使用部分最优运输（POT）之间的小批量经验措施，我们称之为小批量部分最优运输（m-POT）。利用部分运输的洞察力，我们解释了m-OT中错误指定映射的来源，并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后，我们对各种应用程序进行了广泛的实验，如深度域自适应，部分域自适应，深度生成模型，颜色转移和梯度流，以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
Tsinghua University（清华大学）；Yale University（耶鲁大学）
本文提出通用小批量采样方法 BatchSampler，通过邻近图与重启随机游走构造含真实困难负样本的批次，持续提升视觉、语言和图对比模型性能。
2023-06-06 cs.CL cs.CV cs.LG
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
An Investigation into Mini-Batch Rule Learning
Institute for Application-oriented Knowledge Processing (FAW)（应用型知识处理研究所）
我们研究是否有可能学习规则集有效地在一个网络结构中使用一个单一的隐藏层迭代细化的小批量的例子。第一个基本版本在除了一个数据集之外的所有数据集上都显示出可接受的性能，尽管它还没有达到Ripper的性能水平。
2021-06-18 cs.AI cs.LG
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
随机梯度下降（SGD）方法及其变体是许多深度学习任务的首选算法。这些方法以小批量方式操作，其中对训练数据的一部分（例如$32$ - $512$数据点）进行采样以计算对梯度的近似。在实践中已经观察到，当使用较大的批次时，模型的质量会下降，如通过其概括能力所测量的。我们调查的原因，这种泛化下降的大批量政权和目前的数值证据支持的观点，即大批量的方法往往收敛到尖锐的极小值的训练和测试功能-众所周知，尖锐的极小值导致较差的泛化。相比之下，小批量方法始终收敛到平坦的最小值，我们的实验支持一个普遍持有的观点，这是由于梯度估计中的固有噪声。我们讨论了几种策略，试图帮助大批量方法消除这种泛化差距。
2017-02-09 cs.LG math.OC
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
小批量最优运输（m-OT）已成功地用于实际应用中，涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题，然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势，但它没有考虑小批量之间的关系，这导致了不期望的估计。此外，m-OT不近似于概率测度之间的适当度量，因为不满足恒等性质。为了解决这些问题，我们提出了一种新的小批量计划的最佳运输，命名为小批量最佳运输（BoMb-OT），找到小批量之间的最佳耦合，它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外，我们表明，m-OT是一个限制的熵正则化版本的BoMb-OT时，正则化参数趋于无穷大。最后，我们对各种应用进行了实验，包括深度生成模型，深度域自适应，近似贝叶斯计算，颜色转移和梯度流，以表明BoMb-OT可以广泛应用，并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Diverse mini-batch Active Learning
Amazon Research（亚马逊研究院）
我们研究了如何减少训练监督分类模型所需的标记训练数据量的问题。我们通过利用主动学习，通过顺序选择最有利于模型的例子来接近它。对于现代深度学习模型所需的训练样本数量来说，逐个选择样本是不切实际的。我们考虑小批量主动学习设置，其中一次选择多个示例。我们提出了一种方法，既考虑到模型的例子的信息量，以及在一个小批量的例子的多样性。通过使用研究良好的K-means聚类算法，这种方法比以前提出的方法更好地扩展，并实现可比或更好的性能。
2019-01-17 cs.LG stat.ML
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria（比勒陀利亚大学）
小批量子采样在神经网络训练是不可避免的，由于不断增长的数据需求，内存有限的计算资源，如图形处理单元（GPU），和动态的在线学习。在这项研究中，我们特别区分静态小批量子采样损失函数，其中小批量在训练过程中间歇性地固定，导致平滑但有偏差的损失函数;和动态子采样等价物，其中在每次损失评估时对新的小批量进行采样，在采样引起的不连续性中交易偏差方差。这些使自动优化策略，如最小化线搜索无效，因为临界点可能不存在，函数最小化找到虚假的，不连续诱导的最小值。本文建议重铸的优化问题，以寻找随机非负相关梯度投影点（SNN-GPP）。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查，比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置，特别是当使用具有高曲率特性的平滑激活函数时，我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Implicit Regularization of Mini-Batch Training in Graph Neural Networks
Institut Polytechnique de Paris（巴黎理工学院）；Mirakl
本文研究了图神经网络中mini-batch训练的隐式正则化现象，发现简单的随机节点采样方法在多个数据集上表现优异，且效率更高。
2026-05-21 cs.AI cs.LG
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research（微软研究院）；Amazon（亚马逊）
最优传输（OT）是比较概率分布的基本工具，但其精确计算对于大型数据集仍然是禁止的。在这项工作中，我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限，发现最佳耦合的小批量在其他。在这些极端之间，我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验，我们探索了计算预算和边界紧密性之间的权衡，并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
Taming Resource Heterogeneity In Distributed ML Training With Dynamic Batching
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对分布式ML训练中集群资源异构的普遍问题，提出基于资源可用性与吞吐量、结合比例控制及PID思路的动态批处理技术，均衡各节点迭代时长，可将异构集群训练时间缩短4倍以上。
2023-05-20 cs.DC cs.LG
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
NGAME: Negative Mining-aware Mini-batching for Extreme Classification
IIT Kanpur（印度理工学院坎普尔分校）；IIT Delhi（印度理工学院德里分校）；UT Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Microsoft（微软公司）
极端分类（XC）试图从一个非常大的标签集中用最相关的标签子集来标记数据点。使用数据点和标签的密集、学习表示执行深度XC吸引了很多关注，因为它比使用稀疏、手工制作的特征的早期XC方法更优越。负面挖掘技术已经成为所有深度XC方法的关键组成部分，使它们能够扩展到数百万个标签。然而，尽管最近取得了进展，但使用大型编码器架构（如Transformers）训练深度XC模型仍然具有挑战性。本文指出，流行的负面挖掘技术的内存开销往往迫使小批量保持较小的规模，并减慢训练速度。作为回应，本文介绍了NGAME，一个轻量级的小批量创建技术，提供可证明准确的批内阴性样本。这允许使用更大的小批量进行训练，与现有的负采样技术相比，可以提供更快的收敛速度和更高的精度。NGAME被发现比最先进的方法在一系列基准数据集上的极端分类准确率高出16%，并且在响应用户网页访问以显示个性化广告时检索搜索引擎查询时准确率高出3%。在一个流行的搜索引擎上进行的实时A/B测试中，NGAME的点击率提高了23%。
2022-07-10 cs.IR cs.LG
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
MBA: Mini-Batch AUC Optimization
受试者工作特性曲线下面积（AUC）是广泛的信号处理和机器学习问题的重要度量，并且最近已经提出了用于优化AUC的可扩展方法。然而，处理非常大的数据集仍然是一个开放的挑战，这个问题。本文提出了一种新的AUC最大化方法，基于正/负实例对的小批量采样和计算U-统计量来近似全局风险最小化问题。该算法简单、快速、无学习率。我们表明，良好性能所需的样本数量与可用对的数量无关，这是正实例和负实例的二次函数。大量的实验表明，所提出的方法的实际效用。
2018-05-31 cs.LG stat.ML
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
Mini-Batch Learning Strategies for modeling long term temporal dependencies: A study in environmental applications
University of Minnesota（明尼苏达大学）；University of Pittsburgh（匹兹堡大学）；Pennsylvania State University（宾夕法尼亚州立大学）
在许多环境应用中，经常使用递归神经网络（RNN）来建模具有长时间依赖性的物理变量。然而，由于小批量训练，不考虑批内（批内）以及批之间（批间）的训练段之间的时间关系，这可能导致有限的性能。有状态RNN旨在通过在批处理之间传递隐藏状态来解决这个问题。由于有状态RNN忽略了批内时间依赖性，因此在训练稳定性和捕获时间依赖性之间存在权衡。在本文中，我们提供了不同的有状态RNN建模策略的定量比较，并提出了两种策略，以加强批内和批间的时间依赖性。首先，我们通过将一个批次定义为一组按时间排序的训练片段来扩展有状态RNN，这使得批次内能够共享时间信息。虽然这种方法显着提高了性能，但由于高度连续的训练，它导致了更大的训练时间。为了解决这个问题，我们进一步提出了一种新的策略，该策略从训练段开始之前的时间步开始，用目标变量的初始值来增加训练段。换句话说，我们提供目标变量的初始值作为额外的输入，这样网络就可以专注于学习相对于初始值的变化。通过使用这种策略，样本可以以任何顺序传递（小批量训练），这大大减少了训练时间，同时保持了性能。在演示我们的水文建模方法时，我们观察到，当这些方法应用于值变化较慢的状态变量（如土壤水和积雪）而不是持续移动的通量变量（如径流）时，预测准确性会获得最显著的收益。
2023-02-02 cs.AI cs.LG
Improving memory banks for unsupervised learning with large mini-batch, consistency and hard negative mining
Samsung AI Cambridge（三星AI剑桥）
通过基于实例的判别的无监督学习的一个重要组成部分是用于存储数据集中每个训练样本的特征表示的存储体。在本文中，我们介绍了3个改进的香草存储体为基础的配方，带来了巨大的准确性增益：（a）大的小批量：我们拉多个扩增的每个样本在同一批，并表明，这导致更好的模型和增强的存储体更新。(b)一致性：我们强制通过相同样本的不同扩增获得的logit接近，而不试图强制如先前方法所提出的关于负样本的区分。(c)硬负面挖矿：由于实例鉴别对于在视觉上太相似的样本没有意义，我们设计了一种新的最近邻方法，用于改进存储体，该方法逐渐合并先前由于实例级分类丢失而被迫分开的极其相似的数据样本。总的来说，我们的方法大大提高了香草内存银行为基础的实例歧视和优于所有现有的方法，可见和不可见的测试类别与余弦相似性。
2021-02-08 cs.CV cs.LG
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Active Mini-Batch Sampling using Repulsive Point Processes
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度下降（SGD）的收敛速度可以通过积极选择小批量来提高。我们探索的抽样方案，类似的数据点是不太可能被选中在同一个小批量。特别是，我们证明了这种排斥抽样方案降低了梯度估计的方差。这概括了最近关于使用决定点过程（DPP）进行小批量多样化的工作（Zhang等人，2017年）到更广泛的类排斥点过程。我们首先表明，由多样化的采样方差减少的现象，特别是推广到非平稳点过程。然后，我们表明，其他点的过程可能是计算更有效的比DPP。特别是，我们建议和调查泊松磁盘采样-经常遇到的计算机图形社区-这项任务。我们的经验表明，我们的方法在收敛速度和最终模型性能方面都优于标准SGD。
2018-06-20 cs.AI cs.LG stat.ML
Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
这项工作提出了一种用于深度神经网络的新训练技术，该技术利用来自与原始输入数据不同的分布的附加数据。该技术旨在减少过拟合，提高网络的泛化性能。我们提出的技术，即被动批量注入训练技术（PBITT），甚至降低了网络中的过拟合水平，这些网络已经使用标准技术来减少过拟合，如$L_2$正则化和批量归一化，从而显著提高了准确性。被动批量注入训练技术（PBITT）将一些被动小批量引入到训练过程中，这些小批量包含来自与输入数据分布不同的分布的数据。这种技术不会增加最终模型中的参数数量，也不会增加推理（测试）时间，但仍然提高了深度CNN的性能。据我们所知，这是第一个利用不同数据分布来帮助训练卷积神经网络（CNN）的工作。我们在标准架构（VGG，ResNet和WideResNet）以及几个流行的数据集（CIFAR-10，CIFAR-100，SVHN和ImageNet）上彻底评估了所提出的方法。我们观察一致的精度提高，通过使用所提出的技术。我们还通过实验证明，通过我们的技术训练的模型可以很好地推广到其他任务，例如使用Faster R-CNN在MS-COCO数据集上进行目标检测。我们提出了广泛的消融来验证所提出的方法。我们的方法在CIFAR-100数据集上将VGG-16的准确性提高了2.1%。
2020-06-08 cs.CV cs.LG
Improving the performance of bagging ensembles for data streams through mini-batching
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Waikato（怀卡托大学）
通常，机器学习应用必须应对动态环境，其中数据以具有潜在无限长度和瞬态行为的连续数据流的形式收集。与传统的（批处理）数据采掘相比，流处理算法对计算资源和数据演化的适应性有额外的要求。它们必须增量地处理实例，因为数据的连续流禁止为多个传递存储数据。在这种情况下，包围学习取得了显著的预测性能。作为一组（几个）单独的分类器实现，集成自然是并行任务。然而，用于捕获概念漂移的增量学习和动态数据结构增加了高速缓存未命中并阻碍了并行性的益处。本文提出了一种mini-decompression策略，可以提高多核环境下流挖掘集成算法的存储访问局部性和性能。借助一个正式的框架，我们证明了迷你的缓存可以显着降低重用距离（和缓存未命中的数量）。应用具有不同特征的四个基准数据集对六种不同的最先进的集成算法进行的实验显示，在8核处理器上的加速比高达5倍。这些好处是以预测性能的小幅降低为代价的。
2021-12-18 cs.LG cs.PF
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Mini-batch $k$-means terminates within $O(d/ε)$ iterations
JAIST（日本先进科学技术研究所）
本文证明了当批次大小为 $\tildeΩ((d/ε)^2)$ 时，mini-batch $k$-means 算法以高概率在 $O(d/ε)$ 次迭代内终止，且在使用 $k$-means++ 初始化时能达到 $O(\log k)$ 的近似比，该结论适用于 sklearn 库实现。
2023-04-02 cs.AI cs.DS cs.LG
Mini-batch Estimation for Deep Cox Models: Statistical Foundations and Practical Guidance
Department of Biostatistics and Health Data Science, University of Pittsburgh（生物统计与健康数据科学系，匹兹堡大学）；Department of Statistics and Data Science, Carnegie Mellon University（统计与数据科学系，卡内基梅隆大学）；Department of Statistics, University of Pittsburgh（统计系，匹兹堡大学）
本文探讨了小批量梯度下降在深度Cox模型中的应用，建立了小批量最大偏似然估计器的统计性质，并通过理论分析和模拟验证了其一致性与最优收敛率，同时提供了实践指导和实际应用案例。
2026-04-15 cs.LG stat.ML
Batchless Normalization: How to Normalize Activations Across Instances with Minimal Memory Requirements
Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Universidad Autónoma de Yucatán（尤卡坦自治大学）
本文提出一种无批归一化方法，通过在损失函数中添加项以最小化高斯分布的负对数似然来跨实例归一化激活值，从而降低内存消耗并简化实现，助力AI研究民主化。
2024-07-25 cs.LG cs.NE
