Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley（加州大学伯克利分校）；UW Madison（威斯康星大学麦迪逊分校）
实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame（圣母大学）
本研究发现对抗样本生成时小批量大小增加会降低样本有效性，这与梯度消失有关，通过设计特定损失函数可消除该影响，避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架，通过无通信分布式采样、3D并行矩阵乘法和数据并行性，实现大规模小批量GNN训练，提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Mini-Batch Optimization of Contrastive Loss
KRAFTON（魁匠团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
本文研究对比学习的小批量优化理论，证明其与全批量优化等价的条件，并提出基于谱聚类识别高损失小批量以加速 SGD 的方法。
2023-07-12 cs.LG
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回，因为（1）它是在没有共同作者知情或同意的情况下上传的，（2）有剽窃的指控。
2017-08-03 cs.LG
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
The University of Hong Kong（香港大学）；Ant Group（蚂蚁集团）
本文从批量大小和Fan-Out大小角度系统比较了全图与小批量GNN训练方法，通过实证和理论分析揭示了批量大小和Fan-Out大小对模型收敛和泛化的影响，为超参数调优提供指导。
2026-05-17 cs.LG
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Meta；Tencent（腾讯）
Adam是训练深度神经网络的最有影响力的自适应随机算法之一，通过几个简单的反例指出，即使在简单的凸设置中，Adam也是发散的。为了提高Adam型算法的收敛性，人们进行了许多尝试，如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比，我们引入了一个易于检验的充分条件，该条件仅依赖于基学习率和历史二阶矩的组合参数，从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察，加上这个充分条件，对亚当的分歧给出了更深层次的解释。另一方面，在实践中，mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响，从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛，最后，我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例，并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
Meta-Learning Mini-Batch Risk Functionals
Carnegie Mellon University（卡内基梅隆大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
Supervised learning typically optimizes the expected value risk functional of the loss, but in many cases, we want to optimize for other risk functionals. In full-batch gradient descent , this is done by taking gradients of a risk functional of interest, such as the Conditional Value at Risk (CVaR) which ignores some quantile of extreme losses. However, deep learning must almost always use mini-batch gradient descent , and lack of unbiased estimators of various risk functionals make the right optimization procedure unclear. In this work, we introduce a meta-learning-based method of learning an…
2023-01-27 cs.LG
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University（西北大学）
在高维情况下，大多数机器学习方法即使存在少量离群值，其性能也是脆弱的。为了解决这个问题，我们希望引入一种新的方法与基础学习，如贝叶斯回归或随机梯度下降，以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛，所以我们使用小批量梯度下降的方法，称为带有修剪的小批量梯度下降（MBGDT）。当我们将我们的方法应用于设计的数据集时，我们的方法显示出最先进的性能，并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Nested Mini-Batch K-Means
EPFL（洛桑联邦理工学院）
提出了一种新的算法，该算法通过使用Elkan（2003）的距离定界方法来加速Sculley（2010）的小批量k-means算法。我们认为，当将距离界限到一个小批量算法，已经使用的数据应优先重用。为此，我们建议使用嵌套的小批处理，从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先，不平衡的数据使用可能会导致估计偏差，我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小，我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明，所得到的nmbatch算法是非常有效的，往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
小批量最优传输（Mini-batch optimal transport，m-OT）是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性，m-OT遭受误指定的映射，即，映射是最佳的小批量水平，但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题，我们提出了一种新的小批量方法，通过使用部分最优运输（POT）之间的小批量经验措施，我们称之为小批量部分最优运输（m-POT）。利用部分运输的洞察力，我们解释了m-OT中错误指定映射的来源，并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后，我们对各种应用程序进行了广泛的实验，如深度域自适应，部分域自适应，深度生成模型，颜色转移和梯度流，以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
Tsinghua University（清华大学）；Yale University（耶鲁大学）
本文提出通用小批量采样方法 BatchSampler，通过邻近图与重启随机游走构造含真实困难负样本的批次，持续提升视觉、语言和图对比模型性能。
2023-06-06 cs.CL cs.CV cs.LG
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC（丰田技术研究所（芝加哥））；Microsoft Research（微软研究院）
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析，这表明如何标准的梯度方法有时可能不足以获得显着的加速，并提出了一种新的加速梯度算法，它处理这个不足之处，享有一致的优越性保证，并在实践中工作良好。
2011-06-22 cs.LG
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机对偶坐标上升法（SDCA）是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置，在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现，并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research（谷歌研究院）
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而，它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中，我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明，损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet，任何固定小批量的损失都可以通过二次函数精确建模，并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型，可以分析随机小批量和全批量的梯度之间的关系。我们的分析，使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是，对于指数移动平均（EMA）和随机权重平均，我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测，一个更简单的平均技术，平均只有两个点的许多步骤分开，显着提高精度相比，基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University（明治大学）
本文理论证明并实验验证，在训练深度神经网络时，使用递增批大小比恒定批大小能更快收敛到驻点，并降低计算成本。
2025-09-24 cs.LG
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量，称为梯度视差，是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限，当网络是在这个小批量训练，当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明，梯度视差是一个非常有前途的早期停止标准（i）当数据有限时，因为它使用所有样本进行训练;（ii）当可用数据具有噪声标签时，因为它比验证数据更好地发出过拟合信号。此外，我们表明，在广泛的实验设置，梯度差距是密切相关的训练集和测试集之间的泛化误差，它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
Meiji University（明治大学）
该研究针对提升深度神经网络泛化性的锐度感知最小化算法，分析带递增批量或衰减学习率的GSAM的收敛性，实验验证该策略能找到更平坦的局部极小值。
2026-10-14 cs.LG math.OC
Don't Use Large Mini-Batches, Use Local SGD
EPFL（洛桑联邦理工学院）；IIT Kanpur（印度理工学院坎普尔分校）
小批量随机梯度方法（SGD）是深度神经网络分布式训练的最新技术。近年来，小批量的急剧增加导致了关键的效率和可扩展性的提高。然而，进展面临着一个主要的障碍，因为大批量训练的模型通常不能很好地泛化，即它们在新数据上没有表现出良好的准确性。作为一种补救措施，我们提出了一个\emph{post-local} SGD，并表明它显着提高了泛化性能相比，大批量训练标准基准，同时享受相同的效率（时间准确性）和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
An Investigation into Mini-Batch Rule Learning
Institute for Application-oriented Knowledge Processing (FAW)（应用型知识处理研究所）
我们研究是否有可能学习规则集有效地在一个网络结构中使用一个单一的隐藏层迭代细化的小批量的例子。第一个基本版本在除了一个数据集之外的所有数据集上都显示出可接受的性能，尽管它还没有达到Ripper的性能水平。
2021-06-18 cs.AI cs.LG
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
小批量最优运输（m-OT）已成功地用于实际应用中，涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题，然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势，但它没有考虑小批量之间的关系，这导致了不期望的估计。此外，m-OT不近似于概率测度之间的适当度量，因为不满足恒等性质。为了解决这些问题，我们提出了一种新的小批量计划的最佳运输，命名为小批量最佳运输（BoMb-OT），找到小批量之间的最佳耦合，它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外，我们表明，m-OT是一个限制的熵正则化版本的BoMb-OT时，正则化参数趋于无穷大。最后，我们对各种应用进行了实验，包括深度生成模型，深度域自适应，近似贝叶斯计算，颜色转移和梯度流，以表明BoMb-OT可以广泛应用，并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research（微软研究院）；Amazon（亚马逊）
最优传输（OT）是比较概率分布的基本工具，但其精确计算对于大型数据集仍然是禁止的。在这项工作中，我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限，发现最佳耦合的小批量在其他。在这些极端之间，我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验，我们探索了计算预算和边界紧密性之间的权衡，并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University（韦恩州立大学计算机科学（系））
用于监督学习的深度神经网络（DNN）可以被视为特征提取器（即最后隐藏层）和线性分类器（即输出层）的流水线，其与随机梯度下降（SGD）联合训练。在SGD的每次迭代中，对来自训练数据的小批量进行采样，并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看，特征提取器应该被更新以学习关于整个数据的有意义的特征，并减少对小批量中的噪声的适应。出于这个动机，我们提出了训练中分布匹配（ITDM）来改进DNN训练并减少过拟合。具体地，连同损失函数，ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器，这通过最小化最大均值差异来实现。因此，ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Diverse mini-batch Active Learning
Amazon Research（亚马逊研究院）
我们研究了如何减少训练监督分类模型所需的标记训练数据量的问题。我们通过利用主动学习，通过顺序选择最有利于模型的例子来接近它。对于现代深度学习模型所需的训练样本数量来说，逐个选择样本是不切实际的。我们考虑小批量主动学习设置，其中一次选择多个示例。我们提出了一种方法，既考虑到模型的例子的信息量，以及在一个小批量的例子的多样性。通过使用研究良好的K-means聚类算法，这种方法比以前提出的方法更好地扩展，并实现可比或更好的性能。
2019-01-17 cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria（比勒陀利亚大学）
小批量子采样在神经网络训练是不可避免的，由于不断增长的数据需求，内存有限的计算资源，如图形处理单元（GPU），和动态的在线学习。在这项研究中，我们特别区分静态小批量子采样损失函数，其中小批量在训练过程中间歇性地固定，导致平滑但有偏差的损失函数;和动态子采样等价物，其中在每次损失评估时对新的小批量进行采样，在采样引起的不连续性中交易偏差方差。这些使自动优化策略，如最小化线搜索无效，因为临界点可能不存在，函数最小化找到虚假的，不连续诱导的最小值。本文建议重铸的优化问题，以寻找随机非负相关梯度投影点（SNN-GPP）。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查，比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置，特别是当使用具有高曲率特性的平滑激活函数时，我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
KAIST（韩国科学技术院）；AITRICS
大多数现有的集合编码算法都是在隐含的假设下操作的，即所有的集合元素都是可访问的，并且在训练和推理期间有足够的计算和内存资源将集合加载到内存中。然而，当集合太大以至于不可能将所有集合元素加载到内存中时，或者当数据到达流时，这两个假设都失败了。为了解决大规模集合编码中的实际挑战，置换不变性和等变性的一般集合函数约束是不够的。我们引入了一个新的属性称为小批量一致性（MBC），需要大规模的小批量集编码。此外，我们提出了一个可扩展的和有效的注意力为基础的集编码机制，是服从迷你批处理的集，并能够更新集表示数据到达。所提出的方法坚持所需的对称性的不变性和等变性，以及保持MBC的任何分区的输入集。我们进行了广泛的实验，并表明我们的方法是计算效率高，结果在丰富的集合编码表示集结构化数据。
2021-10-26 cs.LG
Implicit Regularization of Mini-Batch Training in Graph Neural Networks
Institut Polytechnique de Paris（巴黎理工学院）；Mirakl
本文研究了图神经网络中mini-batch训练的隐式正则化现象，发现简单的随机节点采样方法在多个数据集上表现优异，且效率更高。
2026-05-21 cs.AI cs.LG
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh（爱丁堡大学）
在这项工作中，我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术，该技术能够对SDCA进行双自由分析，以实现任意的mini-square方案。此外，我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数，我们的复杂性结果与QUARTZ的结果相匹配，QUARTZ是一种原始-对偶方法，也允许任意的mini-slave方案。双自由分析的优点在于，只要平均损失是凸的，即使对于非凸损失函数，它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources
Amazon Web Services（亚马逊云科技）
随着对用于深度学习算法的训练能力的日益增长的需求以及数据中心中的计算资源的快速增长，期望动态地调度不同的分布式深度学习任务以最大化资源利用并降低成本。在这个过程中，不同的任务可能会在不同的时间接收不同数量的机器，我们称之为弹性分布式训练。尽管最近在大型小批量分布式训练中取得了成功，但这些方法很少在弹性分布式训练环境中进行测试，并且在我们的实验中，当我们立即相对于批量大小线性调整学习率时，性能会下降。我们观察到的一个困难是，随机动量估计中的噪声会随着时间的推移而累积，并且当批量大小变化时会产生延迟效应。因此，我们建议随着时间的推移平滑地调整学习率，以减轻噪声动量估计的影响。我们在图像分类，目标检测和语义分割的实验表明，我们提出的动态SGD方法达到稳定的性能时，不同的GPU数量从8到128。我们还提供了理论上的理解线性学习率调度的最优性和随机动量的影响。
2019-05-02 cs.CV cs.DC cs.LG
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
