Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning
本文提出因果超图框架HGCNet，利用深度结构因果模型和do-演算揭示批大小通过梯度噪声与平坦极小值影响泛化的因果机制，并在多领域实验中优于强基线，为训练策略提供可操作解释。
2025-06-21 cs.AI cs.LG
Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration
Apple（苹果公司）
本文提出了一种统一宽度、深度、批大小和持续时间缩放的参数化方法，实现了跨模块超参数的优化与转移，提升了大规模模型的训练效率。
2025-12-26 cs.AI cs.LG stat.ML
Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
AI for Good Istituto Italiano di Tecnologia（AI for Good 意大利技术研究院）；DITEN University of Genoa（DITEN Genoa大学）；State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology（新型软件技术国家重点实验室 智能科学与技术学院）；School of Artificial Intelligence Nanjing University（人工智能学院 南京大学）；Department of Computer Science University of Verona（计算机科学系 Verona大学）
研究训练时批量归一化在分段仿射网络中通过切换超平面几何和诱导的仿射区域分区影响局部分区精度。
2026-05-12 cs.LG stat.ML
Inefficiency of K-FAC for Large Batch Size Training
University of California at Berkeley（加州大学伯克利分校）
在随机优化中，在训练期间使用大批量可以利用并行资源来产生更快的每个训练时期的挂钟训练时间。然而，对于训练损失和测试误差，最近分析大批量随机梯度下降（SGD）的结果发现，超过一定的临界批量大小，收益急剧递减。为了解决这一问题，已经提出，对于诸如神经网络优化的非凸机器学习问题，克罗内克因子近似曲率（\mbox{K-FAC}）方法允许对大批量的更大可扩展性，以及对模型超参数的变化的更大鲁棒性。在这里，我们对这两个假设的大批量训练%进行了详细的实证分析，对于\mbox{K-FAC}和SGD，从挂钟时间和总计算成本两个方面评估性能。我们的主要结果有两个方面：首先，我们发现\mbox{K-FAC}和SGD在超过特定批量大小时都不具有理想的可伸缩性行为，并且与SGD相比，\mbox{K-FAC}没有表现出改进的大批量可伸缩性行为;其次，我们发现\mbox{K-FAC}除了需要更多的超参数来调优之外，还遭受与SGD类似的超参数敏感性行为。我们讨论了使用ResNet和AlexNet分别对\mbox{CIFAR-10}和SVHN的广泛结果，以及我们的研究结果的更一般的含义。
2019-07-31 cs.LG stat.ML
Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
New York University（纽约大学）；Columbia University（哥伦比亚大学）
本研究发现小批量训练可稳定训练语言模型，优于大批次，且能使用普通SGD实现稳定训练，无需动量和优化器状态。
2025-12-15 cs.LG
The Best Optimizer Depends on Batch Size
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文挑战了优化器性能与批大小无关的假设，证明Muon缺乏普适缩放规则，且语言模型预训练的最佳优化器随批大小变化而改变。
2026-10-14 cs.LG stat.ML
Augment your batch: better training with larger batches
Technion（以色列理工学院）；Habana-Labs（哈巴纳实验室）；ETH Zurich（苏黎世联邦理工学院）
大批量SGD对于深度神经网络的缩放训练很重要。然而，如果没有微调超参数时间表，模型的推广可能会受到阻碍。我们建议使用批量增强：在同一批中复制具有不同数据增强的样本实例。批量增强充当正则化器和加速器，提高泛化和性能扩展。我们分析了批量增强对梯度方差的影响，并表明它可以凭经验提高各种深度神经网络和数据集的收敛性。我们的研究结果表明，批量增强减少了必要的SGD更新的数量，以达到与最先进水平相同的精度。总体而言，这种简单而有效的方法通过允许同时使用更多的计算资源，实现了更快的训练和更好的泛化。
2019-01-27 cs.LG stat.ML
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
Budgeted Batch Bayesian Optimization With Unknown Batch Sizes
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
参数设置深刻地影响机器学习算法和实验室实验的性能。经典的网格搜索或试错法在大参数空间中的代价是指数级的，贝叶斯优化（BO）为黑箱函数的全局优化提供了一个优雅的选择。在可以同时在多个点评估黑盒函数的情况下，使用批贝叶斯优化。当前的批量BO方法是限制性的，因为它们固定每个批量的评估数量，并且当指定评估的数量大于底层采集函数中的实际最大值的数量时，这可能是浪费的。我们提出了用于超参数调整和实验设计的批量贝叶斯优化（B3O）-我们以优雅的方式为每次迭代确定适当的批量大小。为了灵活设置批量大小，我们使用无限高斯混合模型（IGMM）自动识别底层采集函数中的峰数。我们解决了难以估计的IGMM直接从采集功能制定批量广义切片采样，有效地从采集功能中提取样本。我们进行了广泛的实验，合成功能和两个现实世界的应用-机器学习超参数调整和合金硬化的实验设计。我们的经验表明，拟议的B3O优于现有的固定批量BO的方法，同时需要更少的评估，从而节省成本和时间，找到最佳的。
2017-04-15 cs.LG
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们研究了如何通过随机梯度下降找到的最终参数受到过参数化的影响。我们通过增加基础网络中的通道数量来生成模型族，然后执行大型超参数搜索以研究测试误差如何取决于学习率、批量大小和网络宽度。我们发现，最佳SGD超参数是由“归一化噪声尺度”，这是一个函数的批量大小，学习率，和初始化条件。在没有批量归一化的情况下，最佳归一化噪声尺度与宽度成正比。更宽的网络，具有更高的最佳噪声尺度，也可以实现更高的测试精度。这些观察结果适用于MLP，ConvNets和ResNets，以及两种不同的参数化方案（“标准”和“NTK”）。我们观察到ResNets的批量归一化也有类似的趋势。令人惊讶的是，由于最大稳定学习率是有界的，与最佳归一化噪声尺度一致的最大批量大小随着宽度的增加而减小。
2019-05-09 cs.AI cs.CV cs.LG
Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler
IBM（国际商业机器公司）
针对大语言模型预训练超参数搜索成本高的问题，研究发现WSD调度器相关变量间的幂律关系，提出与批量大小、token数无关的Power调度器，结合muP可跨多维度稳定取得优异性能。
2024-09-11 cs.AI cs.CL cs.LG
Batch size-invariance for policy optimization
OpenAI
我们说一个算法是批量不变的，如果批量大小的变化可以在很大程度上通过其他超参数的变化来补偿。众所周知，随机梯度下降通过学习率在小批量时具有此属性。然而，一些策略优化算法（如PPO）不具有此属性，因为它们如何控制策略更新的大小。在这项工作中，我们将展示如何使这些算法批量大小不变。我们的关键见解是将邻近策略（用于控制策略更新）与行为策略（用于策略外纠正）解耦。我们的实验有助于解释为什么这些算法工作，并展示了它们如何更有效地利用陈旧数据。
2022-09-24 cs.LG stat.ML
Batched Gaussian Process Bandit Optimization via Determinantal Point Processes
Microsoft Research（微软研究院）
高斯过程bandit优化已经成为优化噪声黑盒函数的一个强大工具。机器学习中的一个示例是超参数优化，其中目标函数的每个评估都需要训练可能涉及数天甚至数周计算的模型。这种所谓的“贝叶斯优化”的大多数方法只允许对参数空间进行顺序探索。然而，通常希望提出一批或多组参数值来同时探索，特别是当我们可以使用大型并行处理设施时。批处理方法需要对批处理中不同评估之间的交互进行建模，这在复杂的场景中可能是昂贵的。在本文中，我们提出了一种新的方法，并行贝叶斯优化建模的多样性，一批通过确定性点过程（DPP）的内核是自动学习。这使我们能够推广以前的结果，以及证明更好的后悔界限的基础上，DPP采样。我们对各种合成和真实世界的机器人和超参数优化任务的实验表明，我们基于DPP的方法，特别是基于DPP采样的方法，优于最先进的方法。
2016-11-13 cs.LG
The Effect of Mini-Batch Noise on the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文研究了小批量噪声如何影响Adam优化器中记忆的隐式偏差，发现大批次时高β₂会降低泛化能力，而小批次时需调整β₁和β₂以提升验证精度。
2026-05-07 cs.AI cs.LG math.OC
Don't Decay the Learning Rate, Increase the Batch Size
Google Brain（谷歌大脑）
降低学习率是常见的做法。在这里，我们展示了通常可以在训练和测试集上获得相同的学习曲线，而不是在训练过程中增加批量大小。这个过程是成功的随机梯度下降（SGD），SGD与动量，Nesterov动量，亚当。它在相同数量的训练时期后达到相同的测试精度，但参数更新更少，导致更大的并行性和更短的训练时间。我们可以通过增加学习率$ε$和缩放批量大小$B \propto ε$来进一步减少参数更新的次数。最后，可以增加动量系数$m$和缩放$B \propto 1/(1-m)$，尽管这倾向于稍微降低测试精度。至关重要的是，我们的技术允许我们重新利用现有的训练计划进行大批量训练，而无需超参数调整。我们在ImageNet上对ResNet-50进行训练，使其在30分钟内达到$76.1\%$验证准确性。
2018-02-24 cs.CV cs.DC cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择通常被用作机器学习中最重要的预处理技术之一，因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此，通过利用特征选择，可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法，但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块（FM-模块）。该方法几乎不需要超参数，可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明，我们的方法易于使用，与其他最先进的基于深度学习的特征选择方法相比，具有更优越的性能。
2021-04-23 cs.LG
Empirical Study of Overfitting in Deep FNN Prediction Models for Breast Cancer Metastasis
University of Pittsburgh（匹兹堡大学）
过度拟合是指当前模型与特定数据集完美拟合，导致泛化能力减弱，最终可能影响预测未来数据的准确性。在这项研究中，我们使用有关乳腺癌转移的EHR数据集来研究深度前馈神经网络（FNN）预测模型的过拟合。我们包含了深度FNN模型的11个超参数，并采取了一种实证方法来研究这些超参数中的每一个在给定大范围值时如何影响预测性能和过拟合。我们还研究了一些有趣的超参数对如何相互作用以影响模型性能和过拟合。我们研究的11个超参数包括激活函数、权重初始化器、隐藏层数、学习率、动量、衰减、辍学率、批量大小、历元、L1和L2。我们的研究结果表明，大多数单超参数与模型预测性能和过拟合呈负或正相关。特别是，我们发现过度拟合总体上倾向于与学习率、衰减、批次侧和L2负相关，但倾向于与动量、时期和L1正相关。根据我们的研究结果，学习率、衰减和批量大小可能对过拟合和预测性能的影响比大多数其他超参数（包括L1、L2和辍学率）更显著，这些参数是为了最小化过拟合而设计的。我们还发现了一些有趣的相互作用的超参数对，如学习率和动量，学习率和衰减，批量大小和历元。关键词：深度学习，过拟合，预测，网格搜索，前馈神经网络，乳腺癌转移。
2022-08-03 cs.AI cs.LG
Small Batch Sizes Improve Training of Low-Resource Neural MT
HEIG-VD / HES-SO（沃州工程师学院/瑞士西部应用科学大学）；EPFL（洛桑联邦理工学院）
我们研究了一个重要的超参数的作用，该参数在低资源环境下管理神经机器翻译的Transformers训练：批量大小。使用理论见解和实验证据，我们反对普遍认为批量大小应该设置为GPU内存所允许的大小。我们表明，在低资源环境中，较小的批量大小会在较短的训练时间内获得较高的分数，并认为这是由于训练过程中梯度的更好的正则化。
2022-03-20 cs.AI cs.CL cs.LG
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出了一种新的归一化层--批处理层归一化（BLN），以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本，在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算，在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据，其统计配置在很大程度上取决于执行的任务，训练数据的量，和批量的大小。实验结果表明，BLN在卷积神经网络和递归神经网络中具有应用潜力，其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取（https：//github.com/A2Amir/Batch-Layer-Normalization）。
2022-09-19 cs.AI cs.LG cs.NE
Large-Batch Training for LSTM and Beyond
Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
大批量训练方法使研究人员能够利用大规模分布式处理，并大大加快了深度神经网络（DNN）的训练。例如，通过将批量大小从256扩展到32K，研究人员已经能够将ResNet50在ImageNet上的训练时间从29小时减少到2.2分钟（Ying等人，2018年）。在本文中，我们提出了一种新的方法，称为线性历元逐步预热（LEGW），以更好地进行大批量训练。通过LEGW，我们能够使用Sqrt Scaling方案对CNN和RNN进行大批量训练。LEGW使得Sqrt Scaling方案在实践中是有用的，因此我们实现了比线性Scaling学习率方案更好的结果。对于LSTM应用程序，我们能够将批量大小扩展到64倍，而不会失去准确性，也不会调整超参数。对于CNN应用程序，即使我们将批量大小扩展到32K，LEGW也能够实现相同的精度。LEGW比以前的大批量自动调优技术工作得更好。LEGW在相同硬件上的四个基于LSTM的应用程序的基线上实现了5.3倍的平均加速比。我们还提供了一些理论解释LEGW。
2019-01-24 cs.LG stat.ML
Deriving Hyperparameter Scaling Laws via Modern Optimization Theory
本文通过现代优化理论推导出超参数缩放规律，揭示了学习率、动量和批量大小与迭代或token预算的关系，为超参数调整提供了新的视角。
2026-03-16 cs.LG
Convergence Bound and Critical Batch Size of Muon Optimizer
Meiji University（立命经济大学）；Université de Montréal（蒙特利尔大学）；Mila（蒙特利尔人工智能研究院）
本文理论分析了Muon优化器在四种实际设置下的收敛性，证明权重衰减确保参数和梯度范数有界，并推导了临界批量大小的下界，揭示了超参数β和λ对其缩放的影响。
2026-06-08 cs.LG
The Effects of Hyperparameters on SGD Training of Neural Networks
Google, Inc.（谷歌公司）
神经网络分类器的性能由多个超参数决定，包括学习率、批量大小和深度。在文献中已经进行了许多尝试来探索这些参数，并且有时开发用于优化它们的方法。然而，参数空间的探索往往是有限的。在这篇文章中，我报告了探索这些不同参数及其相互作用的大规模实验的结果。
2015-08-12 cs.LG cs.NE
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras；Tesla（特斯拉）；Cerebras Systems, Inc（Cerebras Systems 公司）；Google（谷歌）
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发，探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中，我们评估使用小批量，细粒度的流水线反向传播，异步流水线并行训练算法，具有显着的硬件优势。我们介绍了两种方法，尖峰补偿和线性权重预测，有效地减轻了由流水线反向传播的并行性造成的缺点，并在我们的设置中优于现有技术。我们表明，适当的规范化和小批量也可以帮助训练。使用我们的方法，使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练，而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis
Meiji University（明治大学）
该研究基于李雅普诺夫分析扩展理论框架，研究SGDM在三种动态超参数调度下的收敛性，证明递增批量大小及同步递增批量与学习率可加速收敛，且动态调度SGDM及预热策略表现更优。
2026-07-31 cs.LG
AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple（苹果公司）
当使用大批量训练来加速随机梯度下降时，学习率必须适应新的批量大小，以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的，而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD，这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化，AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量，它保持最终的目标值，即使批量大小变大，迭代次数减少。在实证比较中，AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为，但与热身不同的是，这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计，并且没有新的超参数，这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Simple and Effective Balance of Contrastive Losses
NAVER LABS Europe（NAVER LABS 欧洲）；University of Amsterdam（阿姆斯特丹大学）
对比损失长期以来一直是深度度量学习的关键组成部分，现在由于自监督学习的成功而变得越来越流行。最近的研究表明，将这种损失分解为两个子损失的好处，这两个子损失在学习表示网络时以互补的方式起作用：正项和熵项。虽然总损失因此被定义为两个术语的组合，但这两个术语的平衡往往隐藏在实施细节之后，在实践中基本上被忽视和次优。在这项工作中，我们接近的对比损失作为一个超参数优化问题的平衡，并提出了一个基于坐标下降的搜索方法，有效地找到超参数，优化评估性能。在此过程中，我们将现有的余额分析扩展到对比利润损失，将批次大小纳入余额中，并解释如何汇总批次中的损失元素，以在更大的批次大小范围内保持接近最佳的性能。对深度度量学习和自监督学习的基准测试进行的大量实验表明，与其他常见的搜索方法相比，我们的方法可以更快地找到最佳超参数。
2021-12-22 cs.CV cs.LG
Batch Group Normalization
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）；Queen Mary University of London（伦敦玛丽女王大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
深度卷积神经网络（DCNN）的训练是困难且耗时的。规范化是有效的解决办法之一。在以往的归一化方法中，批量归一化（BN）在中、大批量时性能较好，对多视觉任务具有良好的泛化能力，但在小批量时性能明显下降。在本文中，我们发现BN在极大批量时饱和，即，每个工人128张图像，即，GPU，以及提出的退化/饱和BN在小/超大批量是由嘈杂/混乱的统计计算。因此，在不增加新的可训练参数，使用多层或多次迭代的信息，或引入额外的计算，批量组归一化（BGN）提出解决噪声/混乱的统计计算BN在小/超大批量的引入通道，高度和宽度尺寸来补偿。该算法采用了分组归一化（GN）中的分组技术，并使用超参数G来控制用于统计计算的特征实例的数量，从而为不同的批量提供既不嘈杂也不混乱的统计量。我们的经验表明，BGN在广泛的视觉任务中，包括图像分类，神经结构搜索（NAS），对抗学习，少样本学习（FSL）和无监督领域自适应（UDA），始终优于BN，实例归一化（IN），层归一化（LN），GN和位置归一化（PN），表明其良好的性能，对批量的稳定性和广泛的推广性。例如，在ImageNet上训练ResNet-50，批量大小为2，BN达到了66.512%的Top1准确率，而BGN达到了76.096%，有显著的提高。
2020-12-09 cs.CV cs.LG
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Evaluating task-agnostic exploration for fixed-batch learning of arbitrary future tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；DeepMind（深度思维）
深度强化学习已被证明可以解决具有挑战性的任务，其中大量的训练经验是可用的，通常在学习任务时在线获得。机器人技术是许多这些算法的一个重要的潜在应用领域，但在现实世界中生成机器人经验是昂贵的，特别是当每个任务都需要冗长的在线训练过程时。非策略算法原则上可以从足够多样化的固定数据集中学习任意任务。在这项工作中，我们通过生成机器人数据集来评估流行的探索方法，以学习完全离线解决任务，而无需在现实世界中进行任何进一步的交互。我们目前的结果在三个流行的连续控制任务的仿真，以及连续控制的高维真实的机器人arm.Code记录所有的算法，实验和超参数可在https://github.com/qutrobotlearning/batchlearning。
2019-11-20 cs.LG cs.RO stat.ML
How Does Critical Batch Size Scale in Pre-training?
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；University of California, Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；Amazon（亚马逊公司）
本研究提出临界批量大小（CBS）的度量方法，通过预训练85M至1.2B参数的语言模型，发现CBS主要随数据规模而非模型规模扩展，并给出理论解释。
2025-04-21 cs.AI cs.LG math.OC
Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity
本文研究了深度学习中批量大小和学习率的调度问题，基于随机一阶预言机（SFO）复杂度理论推导出能降低SFO复杂度的最优增长调度，并通过实验验证其有效性，为可扩展且高效的大批量训练提供了理论见解与实用指南。
2025-08-07 cs.LG math.OC
Diagnosing Batch Normalization in Class Incremental Learning
Xi’an Jiaotong University（西安交通大学）；The Macau University of Science and Technology（澳门科技大学）
广泛的研究已经将深度神经网络（DNN）应用于类增量学习（Class-IL）中。作为DNN的构建块，批量归一化（BN）对中间特征图进行了优化，并已被广泛验证以提高训练稳定性和收敛性。然而，我们认为在类IL模型中直接使用标准BN对表示学习和分类器训练都是有害的，从而加剧了灾难性遗忘。在本文中，我们调查的影响BN类IL模型，说明这样的BN困境。我们进一步提出BN技巧来解决这个问题，通过训练一个更好的特征提取器，同时消除分类偏差。在不引入额外超参数的情况下，我们将BN技巧应用于三种基于基线排练的方法，ER，DER++和iCaRL。通过对Seq-CIFAR-10、Seq-CIFAR-100和Seq-Tiny-ImageNet的基准数据集进行的综合实验，我们表明BN技巧可以为所有采用的基线带来显着的性能提升，揭示了其在这一研究领域的潜在通用性。
2022-02-16 cs.CV cs.LG
Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training
Technical University of Denmark（丹麦技术大学）；The Danish Hydrocarbon Research and Technology Centre（丹麦油气研究与技术中心）
在生物医学工程、地震预测和地下能量收集中，间接估计多孔介质的物理性质是至关重要的，因为直接测量这些物理性质通常是不切实际的/禁止的。在这里，我们应用物理知识的神经网络来解决非线性Biot方程的反问题。具体来说，我们考虑批量训练并探索不同批量大小的效果。结果表明，小批量训练，即，每批几个实例提供了比使用大批量或整批更好的物理参数近似值（更低的百分比误差）。物理参数的准确性提高是以更长的训练时间为代价的。具体来说，我们发现大小不应该太小，因为非常小的批量大小需要非常长的训练时间，而不会相应地提高估计精度。我们发现，批量大小为8或32是一个很好的妥协，这也是强大的数据中的加性噪声。学习率也起着重要的作用，应该被用作超参数。
2020-05-18 cs.LG cs.NA math.NA
On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds
该研究针对SAM偏向平坦极小值的隐式偏差，通过线性稳定性分析得到定量超参数边界，验证了增大ρ可降低Hessian最大特征值，并提出TLC-SAM变体进一步优化性能。
2026-08-05 cs.LG
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
Boson AI
本文提出一种自适应策略优化方法，通过动态调整策略更新的信任区域和下策略正则化强度，以提高强化学习在训练后对数据分布变化的鲁棒性。
2026-10-20 cs.AI cs.LG
Differentiable Zero-One Loss via Hypersimplex Projections
School of Data, Mathematical, and Statistical Sciences, University of Central Florida, Orlando, USA（数据、数学与统计科学学院，中央佛罗里达大学，奥兰多，美国）；Department of CIS, University of Macau, Macao, China（信息与系统系，澳门大学，澳门，中国）
本文提出了一种可微的零一损失近似方法，通过超简单面投影和Soft-Binary-Argmax操作符，提升大批次训练下的模型泛化能力。
2026-02-26 cs.LG stat.ML
Unlocking optimal batch size schedules using continuous-time control and perturbation theory
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）
本文通过随机微分方程近似和摄动展开，从理论上推导出SGD的最优批量大小调度，并在线性回归中验证了结果。
2023-12-04 cs.LG math.OC
Large batch size training of neural networks with adversarial training and second-order information
University of California, Berkeley（加州大学伯克利分校）
加速随机梯度下降（SGD）计算的最直接方法是将随机选择的一批输入分布在多个处理器上。为了保持分布式处理器的充分利用，需要不断增加批处理大小。然而，大批量训练往往会导致泛化能力较差。最近提出的解决方案是在SGD中使用自适应批量大小。在这种情况下，我们从少量的过程开始，并随着训练的进行而扩展这些过程。这种方法的两个主要挑战是：（i）动态部署集群可能会增加不小的开销，部分原因是它目前不受支持，以及（ii）整体速度的提高受到初始阶段小批量的限制。在这项工作中，我们通过开发一个新的自适应批量大小框架来解决这两个挑战，并基于Ray框架进行自动缩放。这允许非常有效的弹性缩放，可以忽略不计的时间开销（ResNet 18 ImageNet训练时间的0.32%）。此外，我们提出了一个新的自适应批量训练计划，使用二阶方法和对抗训练。这使得在训练过程中可以更早地增加批量大小，从而缩短训练时间。我们在Cifar-10/100、SVHN、TinyImageNet和ImageNet数据集上广泛评估了我们的方法，使用了多个神经网络，包括ResNets和更小的网络，如SqueezeNext。我们的方法超过了现有的解决方案的准确性和SGD迭代次数（高达1\%和$5\times$，分别）方面的性能。重要的是，这是在没有任何额外的超参数调整的情况下实现的，以在任何这些实验中定制我们的方法。
2020-01-03 cs.AI cs.LG math.OC
Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training
AI Theory Lab（AI理论实验室）；Huawei（华为）；Machine Learning Research Group and Oxford-Man Institute for Quantitative Finance（机器学习研究组与牛津-曼量化金融研究所）；University of Oxford（牛津大学）
我们使用尖峰，场依赖随机矩阵理论研究了mini-bandwidth对深度神经网络损失景观的影响。我们证明了批量海森函数的极值的大小大于经验海森函数的极值。我们也得到了类似的结果广义高斯-牛顿矩阵近似的海森。作为我们的定理的结果，我们推导出作为批量大小的函数的最大学习率的解析表达式，为随机梯度下降（线性缩放）和自适应算法（如Adam（平方根缩放））提供实用的训练方案，用于平滑的非凸深度神经网络。虽然随机梯度下降的线性缩放已经在更严格的条件下推导出来，我们概括了自适应优化器的平方根缩放规则，据我们所知，是完全新颖的。对于随机二阶方法和自适应方法，我们推导出最小阻尼系数与学习率与批量大小之比成正比。我们在CIFAR- $100$和ImageNet数据集上验证了我们对VGG/WideResNet架构的声明。基于我们对子采样Hessian的研究，我们开发了一种基于飞行学习率和动量学习器的随机Lanczos求积，这避免了对这些关键超参数进行昂贵的多次评估的需要，并在CIFAR- $100$的预残差架构上显示了良好的初步结果。
2021-11-05 cs.LG stat.ML
Automated Learning Rate Scheduler for Large-batch Training
Kakao Brain
大批量训练对于在深度学习中利用大规模数据集和模型至关重要。虽然使用大批量在计算上是有益的，但它通常需要专门设计的学习率（LR）调度来实现与较小批量训练相当的性能水平。特别是，当训练时期的数量受到限制时，由于更新步骤的数量减少，使用大LR和预热策略在大批量训练的最终性能中是至关重要的。在这项工作中，我们提出了一个自动LR调度算法，这是有效的神经网络训练下，给定的历元预算大批量。具体来说，整个时间表由两个阶段组成：自适应预热和预定义衰减，其中LR增加，直到训练损失不再减少，并减少到零，直到训练结束。这里，训练损失是否已经达到最小值是通过高斯过程平滑以低计算负担的在线方式鲁棒地检查的。再加上自适应随机优化器，如AdamP和LAMB，所提出的调度成功地调整LR没有繁琐的超参数调整，并实现可比或更好的性能比调整基线上的各种图像分类基准和架构具有广泛的批量大小。
2021-07-13 cs.LG
Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
The University of Hong Kong（香港大学）；Ant Group（蚂蚁集团）
本文从批量大小和Fan-Out大小角度系统比较了全图与小批量GNN训练方法，通过实证和理论分析揭示了批量大小和Fan-Out大小对模型收敛和泛化的影响，为超参数调优提供指导。
2026-05-17 cs.LG
Scaling Law for Language Models Training Considering Batch Size
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文通过125M至2.6B参数模型、最多3000亿token实验，研究全局批量大小与学习率对LLM收敛和泛化的影响，提出固定算力与固定数据量下的批量大小缩放定律。
2024-12-02 cs.CL cs.LG
Enabling Large Batch Size Training for DNN Models Beyond the Memory Limit While Maintaining Performance
Korea University（高丽大学）；Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）
本文提出 Micro-Batch Processing（MBP），通过微批切分、顺序处理与基于梯度累积的损失归一化，使 DNN 在单设备内存受限情况下实现大批量训练并保持性能。
2024-07-02 cs.DC cs.LG
Large Batch Optimization for Deep Learning: Training BERT in 76 minutes
Google Brain（谷歌大脑）；Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
在海量数据集上训练大型深度神经网络在计算上非常具有挑战性。最近，人们对使用大批量随机优化方法来解决这个问题的兴趣激增。在这一研究领域最突出的算法是LARS，它通过采用分层自适应学习率，在几分钟内在ImageNet上训练ResNet。然而，LARS对于像BERT这样的注意力模型表现不佳，这表明它的性能增益在不同任务之间并不一致。在本文中，我们首先研究了一种原则性的分层自适应策略，以加速使用大型小批量的深度神经网络的训练。使用这种策略，我们开发了一种新的分层自适应大批量优化技术，称为LAMB，然后我们提供LAMB以及LARS的收敛性分析，显示收敛到一个固定点在一般的非凸设置。我们的实证结果证明了LAMB在各种任务（如BERT和ResNet-50训练）中的卓越性能，并且几乎没有超参数调整。特别是，对于BERT训练，我们的优化器可以使用32868的超大批量，而不会降低性能。通过将批量大小增加到TPUv 3 Pod的内存限制，BERT训练时间可以从3天缩短到76分钟（表1）。LAMB实现可在https://github.com/tensorflow/addons/blob/master/tensorflow_addons/optimizers/lamb.py上获得
2020-01-03 cs.AI cs.CL cs.LG
Targeting Solutions in Bayesian Multi-Objective Optimization: Sequential and Batch Versions
Groupe PSA（标致雪铁龙集团）；École Nationale Supérieure des Mines de Saint-Étienne（圣艾蒂安国立高等矿业学校）；CNRS LIMOS（法国国家科学研究中心LIMOS实验室）；INRA Toulouse（法国国家农业科学研究院图卢兹分院）
多目标优化的目的是找到折衷的解决方案，以冲突的目标。这些构成了帕累托最优集合。在评价费用很高的职能的情况下，不可能而且往往没有任何信息来寻找整个集合。由于最终用户通常更喜欢目标空间的某一部分，我们修改了贝叶斯多目标优化算法，该算法使用高斯过程来最大化预期超卷改进，以将搜索集中在首选区域。高斯过程和目标策略的累积效应导致特别有效地收敛到帕累托集合的期望部分。为了充分利用并行计算的优势，提出并分析了目标准则的多点扩展。
2020-02-19 cs.LG math.OC stat.ML
Characterizing Well-Behaved vs. Pathological Deep Neural Networks
我们引入了一种新的方法，只需要温和的假设，在初始化的深度神经网络的特征。我们的方法适用于全连接和卷积网络，并且很容易结合批量归一化和跳过连接。我们的关键见解是考虑信号和噪声统计矩的深度演变，从而表征由超参数选择编码的假设空间中病理的存在或不存在。我们确定：（i）对于前馈网络，无论有无批量归一化，层组成的乘法性都不可避免地导致行为不良的矩和病理;（ii）对于具有批量归一化的残差网络，另一方面，跳跃连接诱导幂律而不是指数行为，导致行为良好的矩和无病理。
2019-06-19 cs.LG stat.ML
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
Tencent Hunyuan（腾讯混元）；Institute of Computational Social Science, Peking University（北京大学计算社会科学研究院）；University of Macau（澳门大学）
本文针对Adam风格优化器，理论推导并实验验证最优学习率随批量大小先升后降的激增缩放定律及其峰值随训练向大批量移动的规律。
2024-10-28 cs.LG
Momentum Further Constrains Sharpness at the Edge of Stochastic Stability
Massachusetts Institute of Technology, Cambridge, MA, US.（麻省理工学院）；Meta.（Meta）；Work done at Princeton University, Princeton, NJ, USA.（普林斯顿大学）
本文研究动量对随机稳定性边缘锐度的影响，发现不同批量大小下批量锐度呈现不同收敛特性，揭示动量对优化过程的稳定作用机制。
2026-04-15 cs.LG math.DS math.OC
DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency for Federated Learning with Static and Streaming Dataset
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Carnegie Mellon University（卡内基梅隆大学）
本文提出分析模型与优化算法，利用批量大小与聚合频率的交互，在动态联邦学习中权衡收敛、成本与时间，并设计离线最优与在线自适应方案，实验验证其优越性。
2023-10-20 cs.AI cs.LG
DeepRacer on Physical Track: Parameters Exploration and Performance Evaluation
Western Sydney University（西悉尼大学）
本文通过两组实验评估 AWS DeepRacer 在物理赛道上的表现，发现批量大小 128 与 Huber 损失更优，并指出物理环境中的物体避让仍是开放挑战。
2024-06-06 cs.LG cs.RO
Phase transitions in the mini-batch size for sparse and dense two-layer neural networks
Sapienza Università di Roma（罗马大学）；Università degli studi di Firenze（佛罗伦萨大学）；CNR-Nanotec（意大利国家研究委员会纳米技术研究所）；INFN, sezione di Roma1（意大利国家核物理研究所罗马1分部）
本文在稀疏教师-学生场景下研究两层神经网络训练中小批量大小的作用，发现泛化性能会在临界值处发生相变，揭示了该超参数对学习过程的关键影响。
2024-01-13 cond-mat.dis-nn cond-mat.stat-mech cs.AI
When Do Larger Batches Help Scale LLM Reinforcement Learning?
Tencent（腾讯）
该研究针对大语言模型强化学习，通过分离算法与系统效应，提出更大批次缩短目标时间的决策规则，结合GRPO、PPO实验验证了学习率调整与批次优化可缩短目标时间。
2026-09-01 cs.AI cs.LG
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；Humboldt-Universität zu Berlin（柏林洪堡大学）
深度学习模型在具有许多GPU的服务器上训练，并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型：它们一次处理一批训练数据，在GPU之间进行分区，并对产生的部分梯度进行平均，以获得更新的全局模型。为了充分利用所有GPU，系统必须增加批量大小，这会阻碍统计效率。用户调整超参数，如学习率，以补偿这一点，这是复杂的和特定于模型的。我们描述了CROSSBOW，这是一种用于训练深度学习模型的新的单服务器多GPU系统，使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本，并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA，模型平均的同步变体，其中副本独立地探索解空间与梯度下降，但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本，自动调整副本数量以最大化吞吐量，从而在小批量的情况下实现高硬件效率。我们的实验表明，与TensorFlow相比，CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
