Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
Google Inc.（谷歌公司）
批量归一化在加速和改进深度模型的训练方面非常有效。然而，当训练小批量很小时，或者不包含独立样本时，它的有效性就会降低。我们假设这是由于模型层输入对minibatch中所有示例的依赖性，以及训练和推理之间产生的不同激活。我们提出了批量重正化，这是一种简单有效的扩展，可以确保训练和推理模型生成相同的输出，这些输出取决于单个示例，而不是整个minibatch。当使用小或非i.i.d.训练时，使用Batch Renormalization训练的模型比batchnorm执行得更好。小批量。同时，Batch Renormalization保留了batchnorm的优点，例如对初始化和训练效率不敏感。
2017-03-30 cs.LG
Optimizing Predictive AI in Physical Design Flows with Mini Pixel Batch Gradient Descent
NVIDIA Corp.（英伟达公司）
针对预测性AI在芯片物理设计中的MSE优化局限，提出即插即用的小像素批量梯度下降（MPGD）算法，聚焦关键信息条目，在CNN和图模型上显著提升预测性能。
2024-02-08 cs.AI cs.LG
DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency for Federated Learning with Static and Streaming Dataset
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Carnegie Mellon University（卡内基梅隆大学）
本文提出分析模型与优化算法，利用批量大小与聚合频率的交互，在动态联邦学习中权衡收敛、成本与时间，并设计离线最优与在线自适应方案，实验验证其优越性。
2023-10-20 cs.AI cs.LG
Mini-Batch Class Composition Bias in Link Prediction
University of Southampton School of Electronics and Computer Science（南安普顿大学电子与计算机科学学院）
研究发现，尽管图神经网络在跨图学习表示时表现良好，但链接预测模型在小批量依赖下可能学习出简单启发式方法，导致网络表示与节点分类相关特征不一致，表明链接预测训练可能高估了模型对图表示的一致性学习能力。
2026-04-28 cs.AI cs.LG
Mini-Batch Optimization of Contrastive Loss
KRAFTON（魁匠团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
本文研究对比学习的小批量优化理论，证明其与全批量优化等价的条件，并提出基于谱聚类识别高损失小批量以加速 SGD 的方法。
2023-07-12 cs.LG
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回，因为（1）它是在没有共同作者知情或同意的情况下上传的，（2）有剽窃的指控。
2017-08-03 cs.LG
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Active Mini-Batch Sampling using Repulsive Point Processes
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度下降（SGD）的收敛速度可以通过积极选择小批量来提高。我们探索的抽样方案，类似的数据点是不太可能被选中在同一个小批量。特别是，我们证明了这种排斥抽样方案降低了梯度估计的方差。这概括了最近关于使用决定点过程（DPP）进行小批量多样化的工作（Zhang等人，2017年）到更广泛的类排斥点过程。我们首先表明，由多样化的采样方差减少的现象，特别是推广到非平稳点过程。然后，我们表明，其他点的过程可能是计算更有效的比DPP。特别是，我们建议和调查泊松磁盘采样-经常遇到的计算机图形社区-这项任务。我们的经验表明，我们的方法在收敛速度和最终模型性能方面都优于标准SGD。
2018-06-20 cs.AI cs.LG stat.ML
Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
The University of Hong Kong（香港大学）；Ant Group（蚂蚁集团）
本文从批量大小和Fan-Out大小角度系统比较了全图与小批量GNN训练方法，通过实证和理论分析揭示了批量大小和Fan-Out大小对模型收敛和泛化的影响，为超参数调优提供指导。
2026-05-17 cs.LG
Mini-batch $k$-means terminates within $O(d/ε)$ iterations
JAIST（日本先进科学技术研究所）
本文证明了当批次大小为 $\tildeΩ((d/ε)^2)$ 时，mini-batch $k$-means 算法以高概率在 $O(d/ε)$ 次迭代内终止，且在使用 $k$-means++ 初始化时能达到 $O(\log k)$ 的近似比，该结论适用于 sklearn 库实现。
2023-04-02 cs.AI cs.DS cs.LG
Meta-Learning Mini-Batch Risk Functionals
Carnegie Mellon University（卡内基梅隆大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
Supervised learning typically optimizes the expected value risk functional of the loss, but in many cases, we want to optimize for other risk functionals. In full-batch gradient descent , this is done by taking gradients of a risk functional of interest, such as the Conditional Value at Risk (CVaR) which ignores some quantile of extreme losses. However, deep learning must almost always use mini-batch gradient descent , and lack of unbiased estimators of various risk functionals make the right optimization procedure unclear. In this work, we introduce a meta-learning-based method of learning an…
2023-01-27 cs.LG
Mini-batch Submodular Maximization
JAIST（日本先进科学技术学院）
本文提出非负单调可分解子模最大化的小批量算法，并用平滑分析解释均匀采样在理论与实验中优于加权采样及稀疏化器方法。
2024-10-02 cs.AI cs.DS cs.LG
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出了一种新的归一化层--批处理层归一化（BLN），以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本，在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算，在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据，其统计配置在很大程度上取决于执行的任务，训练数据的量，和批量的大小。实验结果表明，BLN在卷积神经网络和递归神经网络中具有应用潜力，其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取（https：//github.com/A2Amir/Batch-Layer-Normalization）。
2022-09-19 cs.AI cs.LG cs.NE
Nested Mini-Batch K-Means
EPFL（洛桑联邦理工学院）
提出了一种新的算法，该算法通过使用Elkan（2003）的距离定界方法来加速Sculley（2010）的小批量k-means算法。我们认为，当将距离界限到一个小批量算法，已经使用的数据应优先重用。为此，我们建议使用嵌套的小批处理，从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先，不平衡的数据使用可能会导致估计偏差，我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小，我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明，所得到的nmbatch算法是非常有效的，往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架，通过无通信分布式采样、3D并行矩阵乘法和数据并行性，实现大规模小批量GNN训练，提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures
Computer Science Department, UCLA（计算机科学系，加州大学洛杉矶分校）
提出CoLM方法，通过包含小数据源样本、梯度历史指数归一化和零阶方法稀疏化V投影矩阵梯度，解决LLM在数据混合物上小批量核心集训练的内存瓶颈，实现2倍内存降低且优于4倍大批量训练。
2025-05-28 cs.AI cs.CL cs.LG
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
小批量最优传输（Mini-batch optimal transport，m-OT）是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性，m-OT遭受误指定的映射，即，映射是最佳的小批量水平，但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题，我们提出了一种新的小批量方法，通过使用部分最优运输（POT）之间的小批量经验措施，我们称之为小批量部分最优运输（m-POT）。利用部分运输的洞察力，我们解释了m-OT中错误指定映射的来源，并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后，我们对各种应用程序进行了广泛的实验，如深度域自适应，部分域自适应，深度生成模型，颜色转移和梯度流，以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
Tsinghua University（清华大学）；Yale University（耶鲁大学）
本文提出通用小批量采样方法 BatchSampler，通过邻近图与重启随机游走构造含真实困难负样本的批次，持续提升视觉、语言和图对比模型性能。
2023-06-06 cs.CL cs.CV cs.LG
Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling
University of Minnesota（明尼苏达大学）
针对传统IID小批量训练RNN割裂时间依赖的问题，本文提出MPTT算法，通过双记忆模块和三种信息过滤策略保留跨样本长依赖，并在四个气候数据集上优于七种方法。
2023-09-28 cs.LG
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research（谷歌研究院）
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而，它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中，我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明，损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet，任何固定小批量的损失都可以通过二次函数精确建模，并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型，可以分析随机小批量和全批量的梯度之间的关系。我们的分析，使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是，对于指数移动平均（EMA）和随机权重平均，我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测，一个更简单的平均技术，平均只有两个点的许多步骤分开，显着提高精度相比，基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降（SGD）算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程（SDES）。我们利用连续公式化的方法和Fokker-Planck方程的理论，对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是，我们发现，随机过程的解决方案往往收敛到平坦的最小值，无论批量大小的渐近制度。然而，收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）；Illinois Institute of Technology（伊利诺伊理工大学）
针对时序图神经网络多GPU训练的依赖限制问题，提出DepBloom框架，通过三项技术实现平均2.84倍、最高5.16倍加速，且保持相当或更优准确率。
2026-10-14 cs.DC cs.LG
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Phase transitions in the mini-batch size for sparse and dense two-layer neural networks
Sapienza Università di Roma（罗马大学）；Università degli studi di Firenze（佛罗伦萨大学）；CNR-Nanotec（意大利国家研究委员会纳米技术研究所）；INFN, sezione di Roma1（意大利国家核物理研究所罗马1分部）
本文在稀疏教师-学生场景下研究两层神经网络训练中小批量大小的作用，发现泛化性能会在临界值处发生相变，揭示了该超参数对学习过程的关键影响。
2024-01-13 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Influence-Based Mini-Batching for Graph Neural Networks
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
将图神经网络用于大型图是具有挑战性的，因为没有明确的方法来构建小批量。为了解决这个问题，以前的方法依赖于采样或图聚类。虽然这些方法通常会导致良好的训练收敛，但由于昂贵的随机数据访问，它们会引入显著的开销，并且在推理过程中表现不佳。在这项工作中，我们专注于推理过程中的模型行为。我们通过最大化节点对输出的影响得分来理论上建模批量构造。当我们不知道训练模型时，这种公式会导致输出的最佳近似。我们称这种方法为基于影响的最小化方法（IBMB）。与之前达到类似精度的方法相比，IBMB将推理速度提高了130倍。值得注意的是，通过自适应优化和正确的训练计划，IBMB还可以大大加快训练，这要归功于预先计算的批处理和连续的内存访问。与以前的方法相比，这导致每个epoch的训练速度快18倍，每个运行时的收敛速度快17倍。
2022-12-18 cs.AI cs.LG cs.SI
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
随机梯度下降（SGD）方法及其变体是许多深度学习任务的首选算法。这些方法以小批量方式操作，其中对训练数据的一部分（例如$32$ - $512$数据点）进行采样以计算对梯度的近似。在实践中已经观察到，当使用较大的批次时，模型的质量会下降，如通过其概括能力所测量的。我们调查的原因，这种泛化下降的大批量政权和目前的数值证据支持的观点，即大批量的方法往往收敛到尖锐的极小值的训练和测试功能-众所周知，尖锐的极小值导致较差的泛化。相比之下，小批量方法始终收敛到平坦的最小值，我们的实验支持一个普遍持有的观点，这是由于梯度估计中的固有噪声。我们讨论了几种策略，试图帮助大批量方法消除这种泛化差距。
2017-02-09 cs.LG math.OC
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
小批量最优运输（m-OT）已成功地用于实际应用中，涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题，然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势，但它没有考虑小批量之间的关系，这导致了不期望的估计。此外，m-OT不近似于概率测度之间的适当度量，因为不满足恒等性质。为了解决这些问题，我们提出了一种新的小批量计划的最佳运输，命名为小批量最佳运输（BoMb-OT），找到小批量之间的最佳耦合，它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外，我们表明，m-OT是一个限制的熵正则化版本的BoMb-OT时，正则化参数趋于无穷大。最后，我们对各种应用进行了实验，包括深度生成模型，深度域自适应，近似贝叶斯计算，颜色转移和梯度流，以表明BoMb-OT可以广泛应用，并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research（微软研究院）；Amazon（亚马逊）
最优传输（OT）是比较概率分布的基本工具，但其精确计算对于大型数据集仍然是禁止的。在这项工作中，我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限，发现最佳耦合的小批量在其他。在这些极端之间，我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验，我们探索了计算预算和边界紧密性之间的权衡，并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Diverse mini-batch Active Learning
Amazon Research（亚马逊研究院）
我们研究了如何减少训练监督分类模型所需的标记训练数据量的问题。我们通过利用主动学习，通过顺序选择最有利于模型的例子来接近它。对于现代深度学习模型所需的训练样本数量来说，逐个选择样本是不切实际的。我们考虑小批量主动学习设置，其中一次选择多个示例。我们提出了一种方法，既考虑到模型的例子的信息量，以及在一个小批量的例子的多样性。通过使用研究良好的K-means聚类算法，这种方法比以前提出的方法更好地扩展，并实现可比或更好的性能。
2019-01-17 cs.LG stat.ML
Grad Queue : A probabilistic framework to reinforce sparse gradients
提出Grad Queue概率框架，通过在线梯度队列度量并强化稀疏梯度，结合特征聚类减少大mini-batch冲突，恢复批次多样性并拓宽最优边界，在多个数据集上优于传统梯度下降。
2024-04-25 cs.AI cs.CV cs.LG
Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
KAIST（韩国科学技术院）；AITRICS
大多数现有的集合编码算法都是在隐含的假设下操作的，即所有的集合元素都是可访问的，并且在训练和推理期间有足够的计算和内存资源将集合加载到内存中。然而，当集合太大以至于不可能将所有集合元素加载到内存中时，或者当数据到达流时，这两个假设都失败了。为了解决大规模集合编码中的实际挑战，置换不变性和等变性的一般集合函数约束是不够的。我们引入了一个新的属性称为小批量一致性（MBC），需要大规模的小批量集编码。此外，我们提出了一个可扩展的和有效的注意力为基础的集编码机制，是服从迷你批处理的集，并能够更新集表示数据到达。所提出的方法坚持所需的对称性的不变性和等变性，以及保持MBC的任何分区的输入集。我们进行了广泛的实验，并表明我们的方法是计算效率高，结果在丰富的集合编码表示集结构化数据。
2021-10-26 cs.LG
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria（比勒陀利亚大学）
小批量子采样在神经网络训练是不可避免的，由于不断增长的数据需求，内存有限的计算资源，如图形处理单元（GPU），和动态的在线学习。在这项研究中，我们特别区分静态小批量子采样损失函数，其中小批量在训练过程中间歇性地固定，导致平滑但有偏差的损失函数;和动态子采样等价物，其中在每次损失评估时对新的小批量进行采样，在采样引起的不连续性中交易偏差方差。这些使自动优化策略，如最小化线搜索无效，因为临界点可能不存在，函数最小化找到虚假的，不连续诱导的最小值。本文建议重铸的优化问题，以寻找随机非负相关梯度投影点（SNN-GPP）。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查，比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置，特别是当使用具有高曲率特性的平滑激活函数时，我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
