Taming Resource Heterogeneity In Distributed ML Training With Dynamic Batching
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对分布式ML训练中集群资源异构的普遍问题，提出基于资源可用性与吞吐量、结合比例控制及PID思路的动态批处理技术，均衡各节点迭代时长，可将异构集群训练时间缩短4倍以上。
2023-05-20 cs.DC cs.LG
Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
Google Inc.（谷歌公司）
批量归一化在加速和改进深度模型的训练方面非常有效。然而，当训练小批量很小时，或者不包含独立样本时，它的有效性就会降低。我们假设这是由于模型层输入对minibatch中所有示例的依赖性，以及训练和推理之间产生的不同激活。我们提出了批量重正化，这是一种简单有效的扩展，可以确保训练和推理模型生成相同的输出，这些输出取决于单个示例，而不是整个minibatch。当使用小或非i.i.d.训练时，使用Batch Renormalization训练的模型比batchnorm执行得更好。小批量。同时，Batch Renormalization保留了batchnorm的优点，例如对初始化和训练效率不敏感。
2017-03-30 cs.LG
Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们证明了两个算法的性能保证近似$Q^\star$在批量强化学习。与经典的迭代法相比，如拟合Q迭代-其性能损失引起对水平的二次依赖-这些方法估计（某些形式的）贝尔曼误差并享受线性水平误差传播，这是第一次为仅依赖于批量数据和输出稳定策略的算法建立的属性。其中一个算法使用了一个新的和明确的重要性加权校正，以克服臭名昭著的“双采样”困难贝尔曼误差估计，并不使用任何平方损失。我们的分析揭示了它的显着特点和潜在的优势相比，经典的算法。
2020-08-24 cs.AI cs.LG stat.ML
Comparison and Unification of Three Regularization Methods in Batch Reinforcement Learning
Department of Applied Mathematics, Harvard University（哈佛大学应用数学系）；Department of Computer Science, Harvard University（哈佛大学计算机科学系）；Department of Statistics, Harvard University（哈佛大学统计学系）
在批处理强化学习中，可能存在探索不足的状态-动作对，从而导致学习不足、不准确的模型和执行不良的关联策略。各种正则化方法可以缓解马尔可夫决策过程（MDP）中学习过于复杂的模型的问题，但是它们在技术上和直观上都是不同的，并且缺乏一种通用的形式来比较它们。本文将三种正则化方法统一到一个通用的框架--加权平均转移矩阵中。以这种常见形式考虑正则化方法说明了批量数据集的MDP结构和状态-动作对分布如何影响正则化方法的相对性能。我们通过对一系列MDP和数据汇集政策的实证评估，证实了从共同框架中产生的直觉。
2021-09-16 cs.LG stat.ML
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley（加州大学伯克利分校）；UW Madison（威斯康星大学麦迪逊分校）
实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes
Google Research（谷歌研究院）
最近，LARS和LAMB优化器已经被提出用于使用大批量更快地训练神经网络。LARS和LAMB分别为Heavy-ball momentum和Adam的更新规则添加了逐层规范化，并在著名的基准测试和深度学习库中流行。然而，如果没有与标准优化器进行公平的比较，LARS和LAMB是否比传统的通用算法有任何好处仍然是一个悬而未决的问题。在这项工作中，我们证明了标准的优化算法，如Nesterov动量和亚当可以匹配或超过LARS和LAMB在大批量的结果。我们的研究结果建立了新的，更强大的基线，为未来的比较，在这些批量大小，并揭示了比较优化的神经网络训练更普遍的困难。
2021-06-09 cs.LG stat.ML
Mini-Batch Optimization of Contrastive Loss
KRAFTON（魁匠团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
本文研究对比学习的小批量优化理论，证明其与全批量优化等价的条件，并提出基于谱聚类识别高损失小批量以加速 SGD 的方法。
2023-07-12 cs.LG
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回，因为（1）它是在没有共同作者知情或同意的情况下上传的，（2）有剽窃的指控。
2017-08-03 cs.LG
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Meta-Learning Mini-Batch Risk Functionals
Carnegie Mellon University（卡内基梅隆大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
Supervised learning typically optimizes the expected value risk functional of the loss, but in many cases, we want to optimize for other risk functionals. In full-batch gradient descent , this is done by taking gradients of a risk functional of interest, such as the Conditional Value at Risk (CVaR) which ignores some quantile of extreme losses. However, deep learning must almost always use mini-batch gradient descent , and lack of unbiased estimators of various risk functionals make the right optimization procedure unclear. In this work, we introduce a meta-learning-based method of learning an…
2023-01-27 cs.LG
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University（西北大学）
在高维情况下，大多数机器学习方法即使存在少量离群值，其性能也是脆弱的。为了解决这个问题，我们希望引入一种新的方法与基础学习，如贝叶斯回归或随机梯度下降，以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛，所以我们使用小批量梯度下降的方法，称为带有修剪的小批量梯度下降（MBGDT）。当我们将我们的方法应用于设计的数据集时，我们的方法显示出最先进的性能，并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Nested Mini-Batch K-Means
EPFL（洛桑联邦理工学院）
提出了一种新的算法，该算法通过使用Elkan（2003）的距离定界方法来加速Sculley（2010）的小批量k-means算法。我们认为，当将距离界限到一个小批量算法，已经使用的数据应优先重用。为此，我们建议使用嵌套的小批处理，从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先，不平衡的数据使用可能会导致估计偏差，我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小，我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明，所得到的nmbatch算法是非常有效的，往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
小批量最优传输（Mini-batch optimal transport，m-OT）是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性，m-OT遭受误指定的映射，即，映射是最佳的小批量水平，但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题，我们提出了一种新的小批量方法，通过使用部分最优运输（POT）之间的小批量经验措施，我们称之为小批量部分最优运输（m-POT）。利用部分运输的洞察力，我们解释了m-OT中错误指定映射的来源，并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后，我们对各种应用程序进行了广泛的实验，如深度域自适应，部分域自适应，深度生成模型，颜色转移和梯度流，以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
Tsinghua University（清华大学）；Yale University（耶鲁大学）
本文提出通用小批量采样方法 BatchSampler，通过邻近图与重启随机游走构造含真实困难负样本的批次，持续提升视觉、语言和图对比模型性能。
2023-06-06 cs.CL cs.CV cs.LG
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research（谷歌研究院）
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而，它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中，我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明，损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet，任何固定小批量的损失都可以通过二次函数精确建模，并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型，可以分析随机小批量和全批量的梯度之间的关系。我们的分析，使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是，对于指数移动平均（EMA）和随机权重平均，我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测，一个更简单的平均技术，平均只有两个点的许多步骤分开，显着提高精度相比，基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降（SGD）算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程（SDES）。我们利用连续公式化的方法和Fokker-Planck方程的理论，对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是，我们发现，随机过程的解决方案往往收敛到平坦的最小值，无论批量大小的渐近制度。然而，收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Meta；Tencent（腾讯）
Adam是训练深度神经网络的最有影响力的自适应随机算法之一，通过几个简单的反例指出，即使在简单的凸设置中，Adam也是发散的。为了提高Adam型算法的收敛性，人们进行了许多尝试，如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比，我们引入了一个易于检验的充分条件，该条件仅依赖于基学习率和历史二阶矩的组合参数，从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察，加上这个充分条件，对亚当的分歧给出了更深层次的解释。另一方面，在实践中，mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响，从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛，最后，我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例，并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
An Investigation into Mini-Batch Rule Learning
Institute for Application-oriented Knowledge Processing (FAW)（应用型知识处理研究所）
我们研究是否有可能学习规则集有效地在一个网络结构中使用一个单一的隐藏层迭代细化的小批量的例子。第一个基本版本在除了一个数据集之外的所有数据集上都显示出可接受的性能，尽管它还没有达到Ripper的性能水平。
2021-06-18 cs.AI cs.LG
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
随机梯度下降（SGD）方法及其变体是许多深度学习任务的首选算法。这些方法以小批量方式操作，其中对训练数据的一部分（例如$32$ - $512$数据点）进行采样以计算对梯度的近似。在实践中已经观察到，当使用较大的批次时，模型的质量会下降，如通过其概括能力所测量的。我们调查的原因，这种泛化下降的大批量政权和目前的数值证据支持的观点，即大批量的方法往往收敛到尖锐的极小值的训练和测试功能-众所周知，尖锐的极小值导致较差的泛化。相比之下，小批量方法始终收敛到平坦的最小值，我们的实验支持一个普遍持有的观点，这是由于梯度估计中的固有噪声。我们讨论了几种策略，试图帮助大批量方法消除这种泛化差距。
2017-02-09 cs.LG math.OC
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
小批量最优运输（m-OT）已成功地用于实际应用中，涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题，然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势，但它没有考虑小批量之间的关系，这导致了不期望的估计。此外，m-OT不近似于概率测度之间的适当度量，因为不满足恒等性质。为了解决这些问题，我们提出了一种新的小批量计划的最佳运输，命名为小批量最佳运输（BoMb-OT），找到小批量之间的最佳耦合，它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外，我们表明，m-OT是一个限制的熵正则化版本的BoMb-OT时，正则化参数趋于无穷大。最后，我们对各种应用进行了实验，包括深度生成模型，深度域自适应，近似贝叶斯计算，颜色转移和梯度流，以表明BoMb-OT可以广泛应用，并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research（微软研究院）；Amazon（亚马逊）
最优传输（OT）是比较概率分布的基本工具，但其精确计算对于大型数据集仍然是禁止的。在这项工作中，我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限，发现最佳耦合的小批量在其他。在这些极端之间，我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验，我们探索了计算预算和边界紧密性之间的权衡，并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Diverse mini-batch Active Learning
Amazon Research（亚马逊研究院）
我们研究了如何减少训练监督分类模型所需的标记训练数据量的问题。我们通过利用主动学习，通过顺序选择最有利于模型的例子来接近它。对于现代深度学习模型所需的训练样本数量来说，逐个选择样本是不切实际的。我们考虑小批量主动学习设置，其中一次选择多个示例。我们提出了一种方法，既考虑到模型的例子的信息量，以及在一个小批量的例子的多样性。通过使用研究良好的K-means聚类算法，这种方法比以前提出的方法更好地扩展，并实现可比或更好的性能。
2019-01-17 cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
KAIST（韩国科学技术院）；AITRICS
大多数现有的集合编码算法都是在隐含的假设下操作的，即所有的集合元素都是可访问的，并且在训练和推理期间有足够的计算和内存资源将集合加载到内存中。然而，当集合太大以至于不可能将所有集合元素加载到内存中时，或者当数据到达流时，这两个假设都失败了。为了解决大规模集合编码中的实际挑战，置换不变性和等变性的一般集合函数约束是不够的。我们引入了一个新的属性称为小批量一致性（MBC），需要大规模的小批量集编码。此外，我们提出了一个可扩展的和有效的注意力为基础的集编码机制，是服从迷你批处理的集，并能够更新集表示数据到达。所提出的方法坚持所需的对称性的不变性和等变性，以及保持MBC的任何分区的输入集。我们进行了广泛的实验，并表明我们的方法是计算效率高，结果在丰富的集合编码表示集结构化数据。
2021-10-26 cs.LG
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria（比勒陀利亚大学）
小批量子采样在神经网络训练是不可避免的，由于不断增长的数据需求，内存有限的计算资源，如图形处理单元（GPU），和动态的在线学习。在这项研究中，我们特别区分静态小批量子采样损失函数，其中小批量在训练过程中间歇性地固定，导致平滑但有偏差的损失函数;和动态子采样等价物，其中在每次损失评估时对新的小批量进行采样，在采样引起的不连续性中交易偏差方差。这些使自动优化策略，如最小化线搜索无效，因为临界点可能不存在，函数最小化找到虚假的，不连续诱导的最小值。本文建议重铸的优化问题，以寻找随机非负相关梯度投影点（SNN-GPP）。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查，比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置，特别是当使用具有高曲率特性的平滑激活函数时，我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
