Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under Batch Update Policy
CyberAgent Inc.(赛博特工公司)
政策外评估(OPE)的目标是使用通过行为策略获得的历史数据来评估新策略。然而,由于上下文强盗算法基于过去的观察来更新策略,因此样本不是独立且同分布的(i.i.d.)。本文通过构造相依样本的鞅差序列(MDS)的估计量来解决这个问题。在数据生成过程中,我们不假设策略的收敛性,但策略在一定时期内使用相同的条件概率选择行动。然后,我们得到了一个渐近正常的估计值的评价政策。作为我们的方法的另一个优点,基于批处理的方法同时解决了支持不足的问题。使用基准和真实世界的数据集,我们实验证实了所提出的方法的有效性。
2020-10-23 cs.LG econ.EM stat.ML
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley(加州大学伯克利分校);UW Madison(威斯康星大学麦迪逊分校)
实验发现,小批量随机梯度下降(SGD)算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中,我们提出了一个分析暗示,并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念,衡量并发梯度更新之间的相异性,并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题,小批量SGD是适合更好的加速,同时保持串行(一个样本)SGD的泛化性能。我们进一步建立了收敛的下限,其中小批量SGD减慢超过特定的批量大小,仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用,并讨论了如何像dropout,Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training of Convolutional Neural Networks
Institute of Information Science, Academia Sinica(中国科学院信息研究所);Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与资讯工程系)
针对分布式训练中大批次导致的泛化差问题,提出基于参数服务器的双批次学习方案,结合循环渐进式学习调整图像分辨率,在提升模型准确率的同时显著减少训练时间。
2026-11-06 cs.DC cs.LG
Exact Fast Batch Simulation for Tabular Reinforcement Learning
The Pennsylvania State University(宾夕法尼亚州立大学);University of Notre Dame(圣母大学)
该研究提出一种针对表格强化学习的精确快速批量模拟框架,通过聚合马尔可夫流和前向采样将计算复杂度从O(m)降至O(1)或O(log m),适用于多种RL设置。
2026-10-06 cs.LG stat.ML
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University(亚洲大学);Surromind;ETRI(韩国电子通信研究院);Korea Institute of Science and Technology(韩国科学技术研究院)
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而,由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题,基于流言的方法,表现出稳定的可扩展性,无论工人的数量已经提出。然而,为了在一般情况下使用基于流言的方法,需要验证大型小批量的验证准确性。为了验证这一点,我们首先实证研究的八卦方法在一个大的小批量问题的特点,并观察到八卦方法保持更高的验证精度比AllReduce-SGD(随机梯度下降)时,批量大小的数量增加,工人的数量是固定的。然而,基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题,我们提出了Crossover-SGD,它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性,我们进行了实证实验,并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP(随机梯度推)。
2022-10-17 cs.DC cs.LG
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL(洛桑联邦理工学院)
通过实验观察到,随机梯度(SGD)分布式训练的效率决定性地取决于批量大小和(在异步实现中)梯度的陈旧性。特别地,已经观察到,超过一定的批量大小和/或当延迟变得太大时,加速饱和。我们确定了一个依赖于数据的参数,解释了这两种设置中的加速饱和。我们的全面的理论分析,强凸,凸和非凸设置,统一和推广以前的工作方向,往往只集中在这两个方面之一。特别是,我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针,如何学习率可以在实践中进行调整。我们表明,我们的结果是紧密的,并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
Data optimization for large batch distributed training of deep neural networks
Oak Ridge National Lab(橡树岭国家实验室)
随着数据和模型的增长,深度学习(DL)中的分布式训练是常见的做法。当前深度神经网络的分布式训练实践在大规模操作时面临通信瓶颈的挑战,并且随着全局批量大小的增加,模型准确性恶化。目前的解决方案集中在提高消息交换效率以及实现技术来调整训练过程中的批量大小和模型。训练精度的损失通常是因为损失函数陷入局部最小值。我们观察到损失景观最小化是由模型和训练数据塑造的,并提出了一种数据优化方法,该方法利用机器学习隐式地平滑损失景观,从而减少局部最小值。我们的方法过滤掉了对特征学习不太重要的数据点,使我们能够在更大的批量上加快模型的训练,以提高准确性。
2020-12-18 cs.LG
Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
Jiangnan University(江南大学);University of Surrey(萨里大学)
本文提出混合批归一化(HBN),通过分离统计参数与可学习参数的更新,并引入可学习的混合分布因子自适应融合当前批次与全局统计量,有效解决了联邦学习中非独立同分布数据下标准BN性能下降的问题。
2025-05-28 cs.DC cs.LG
Distributed Mini-Batch SDCA
Lehigh University(理海大学);University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化(即SVM和SVM型目标)。我们的分析允许灵活的采样方案,包括数据分布在机器上的情况,并结合了对损失平滑度和/或数据传播(通过频谱范数测量)的依赖。
2015-07-29 cs.LG math.OC
Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources
Amazon Web Services(亚马逊云科技)
随着对用于深度学习算法的训练能力的日益增长的需求以及数据中心中的计算资源的快速增长,期望动态地调度不同的分布式深度学习任务以最大化资源利用并降低成本。在这个过程中,不同的任务可能会在不同的时间接收不同数量的机器,我们称之为弹性分布式训练。尽管最近在大型小批量分布式训练中取得了成功,但这些方法很少在弹性分布式训练环境中进行测试,并且在我们的实验中,当我们立即相对于批量大小线性调整学习率时,性能会下降。我们观察到的一个困难是,随机动量估计中的噪声会随着时间的推移而累积,并且当批量大小变化时会产生延迟效应。因此,我们建议随着时间的推移平滑地调整学习率,以减轻噪声动量估计的影响。我们在图像分类,目标检测和语义分割的实验表明,我们提出的动态SGD方法达到稳定的性能时,不同的GPU数量从8到128。我们还提供了理论上的理解线性学习率调度的最优性和随机动量的影响。
2019-05-02 cs.CV cs.DC cs.LG
DBS: Dynamic Batch Size For Distributed Deep Neural Network Training
Sichuan University(四川大学)
具有数据并行的同步策略,如同步随机梯度下降(S-SGD)和模型平均方法,在深度神经网络(DNN)的分布式训练中得到了广泛的应用,这主要是由于其易于实现且具有良好的性能。特别地,集群的每个工作者托管DNN的副本和具有固定minibatch大小的均匀划分的共享,以保持DNN的训练收敛。在这些策略中,由于网络传输的同步和延迟,不同计算能力的工作者需要相互等待,这必然会造成高性能工作者的计算浪费,从而导致集群的利用率相对较低.为了缓解这个问题,我们提出了动态批量(DBS)策略用于DNN的分布式训练。具体地说,首先根据上一个epoch的实际情况对每个worker的性能进行评估,然后根据worker的当前性能动态调整批大小和集群划分,从而提高集群的利用率.为了验证所提策略的有效性,进行了大量的实验,实验结果表明,所提策略能够充分利用聚类的性能,减少训练时间,对不相关任务的干扰具有良好的鲁棒性.此外,还对所提出的策略的收敛性进行了严格的理论分析.
2022-11-03 cs.DC cs.LG stat.ML
BatchWeave: A Consistent Object-Store-Native Data Plane for Large Foundation Model Training
Lionrock AI Lab, China Merchants Group, Hong Kong, China(狮岩人工智能实验室,中国商人集团,香港,中国);Wuhan University, Wuhan, China(武汉大学,武汉,中国);The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳))
BatchWeave通过版本化清单和条件对象写入协调批量发布、恢复和生命周期管理,提供一致的分布式基础模型训练数据平面,支持事务全局批量、去中心化适应提交算法,提升吞吐量和故障隔离能力。
2026-05-15 cs.DC cs.LG
Tula: Optimizing Time, Cost, and Generalization in Distributed Large-Batch Training
Oak Ridge National Laboratory(橡树岭国家实验室)
Tula通过结合并行系统建模与统计性能预测,自动优化大批次训练的批次大小,从而在时间、成本和收敛质量上取得平衡,提升卷积模型的训练效率和测试准确率。
2026-03-18 cs.AI cs.LG
Batch-Expansion Training: An Efficient Optimization Framework
UC Santa Cruz(加州大学圣克鲁兹分校);Facebook Research(脸书研究院);Microsoft Corporation(微软公司)
我们提出了批量扩展训练(BET),这是一个在逐渐扩展的数据集上运行批量优化器的框架。与随机方法相反,批次不需要重新采样i.i.d.。在每次迭代时,从而使BET在分布式设置中以及当磁盘访问受到约束时更有效地利用资源。此外,BET可以很容易地与大多数批量优化器配对,不需要任何参数调整,并与现有的随机和批量方法相媲美。我们表明,当批量大小与外部迭代次数呈指数增长时,BET实现了强凸目标的最佳$O(1/ε)$数据访问收敛速度。并行和分布式环境下的实验表明,BET比标准的批处理和随机方法更好。
2018-02-23 cs.LG
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab(英特尔人工智能实验室)
我们提出了顺序聚合和再物质化(SAR)计划的分布式全批训练的图神经网络(GNNs)在大型图。最近,GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面,SAR是一种分布式技术,可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案,该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为,其中每个工作线程的内存消耗随工作线程的数量线性下降,即使是密集连接的图形。使用SAR,我们报告了迄今为止全批GNN训练的最大应用,并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术,以优化基于注意力的模型的运行时间和内存效率。我们表明,与SAR相结合,我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库:\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
针对分布式局部梯度方法,提出自适应增大批量大小以降低梯度方差,并在同质数据下给出收敛保证,实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford(牛津大学工程科学系);University of Oxford(牛津大学)
我们介绍了一种新的,高吞吐量,同步,分布式,数据并行,随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理,对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明,同步参数服务器可以,通过利用这样的模型,选择一个最佳的截止时间,超过该时间,从慢工人的小批量梯度消息被忽略,最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致,我们观察到,在现实条件下,急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量,而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点,证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进,从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Minnesota(明尼苏达大学);The Chinese University of Hong Kong(香港中文大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
分布式学习已经成为许多人所设想的大规模连接世界的关键推动者。本文讨论了可扩展的分布式处理和实时智能的四个关键要素-问题、数据、通信和计算。我们的目标是提供一个新的和独特的角度来看,这些因素应该如何在一个有效的和一致的方式一起工作。特别是,我们{提供一个选择性的审查}关于最近开发的优化非凸模型的技术(即,问题类),处理批处理和流数据(即,数据类型),在网络上以分布式方式(即,通信和计算范例)。我们描述了一组流行的分布式算法的核心背后的直觉和连接,强调如何权衡计算和通信成本。还将讨论实际问题和未来的研究方向。
2020-01-14 cs.LG math.OC stat.ML
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架,通过无通信分布式采样、3D并行矩阵乘法和数据并行性,实现大规模小批量GNN训练,提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple(苹果公司)
当使用大批量训练来加速随机梯度下降时,学习率必须适应新的批量大小,以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的,而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD,这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化,AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量,它保持最终的目标值,即使批量大小变大,迭代次数减少。在实证比较中,AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为,但与热身不同的是,这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计,并且没有新的超参数,这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology(东京工业大学计算学院);NVIDIA(英伟达);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心);RIKEN Center for Computational Science(理化学研究所计算科学中心)
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题,或者对批量归一化进行一些特别的修改。我们提出了一种替代方法,使用二阶优化方法,表现出类似的泛化能力,一阶方法,但收敛速度更快,可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法,我们在ImageNet上训练ResNet-50。对于小于16,384的小批量,我们在35个epoch中收敛到了75%的Top-1验证准确率,即使小批量为131,072,也达到了75%,这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation(东芝公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
大批量随机梯度下降(SGD)由于其训练时间效率而被广泛用于分布式深度学习中的训练,然而,极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值,这阻碍了朴素大规模数据并行SGD(DP-SGD)收敛到良好的最小值。为了克服这个困难,我们提出了梯度噪声卷积(GNC),它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD,GNC利用所谓的梯度噪声,其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行,因此非常容易实现。由于与梯度噪声的卷积,梯度噪声倾向于沿着损失函数的更尖锐的方向传播,GNC可以有效地平滑尖锐的最小值并实现更好的泛化,而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果,并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD Explore Academy(京东探索研究院);Tencent AI Lab(腾讯人工智能实验室);Meta;Tencent(腾讯)
Adam是训练深度神经网络的最有影响力的自适应随机算法之一,通过几个简单的反例指出,即使在简单的凸设置中,Adam也是发散的。为了提高Adam型算法的收敛性,人们进行了许多尝试,如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比,我们引入了一个易于检验的充分条件,该条件仅依赖于基学习率和历史二阶矩的组合参数,从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察,加上这个充分条件,对亚当的分歧给出了更深层次的解释。另一方面,在实践中,mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响,从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛,最后,我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例,并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
On the Optimal Batch Size for Byzantine-Robust Distributed Learning
Nanjing University(南京大学)
研究固定梯度计算总数下拜占庭鲁棒分布式学习的最优批量大小问题,发现最优批量随拜占庭节点比例增加而增大,并提出ByzSGDnm方法缓解大批量导致的精度下降,在蓄意攻击下优于现有方法。
2023-05-23 cs.LG math.OC stat.ML
GetBatch: Distributed Multi-Object Retrieval for ML Data Loading
NVIDIA, Santa Clara, USA(NVIDIA公司)
GetBatch通过批量检索优化机器学习数据加载,提升吞吐量并降低延迟
2026-02-25 cs.AI cs.DB cs.DC
Scaling Distributed Training with Adaptive Summation
Microsoft Research(微软研究院);Microsoft(微软)
随机梯度下降(SGD)是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们(例如,对每个批次的梯度求和,这不是顺序SGD将做的),并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum(自适应总和),收敛速度比以前的工作。Adasum易于实现,几乎与简单的梯度求和一样高效,并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum,然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究,以展示Adasum与多个框架(TensorFlow和PyTorch)一起工作,将多个优化器(Momentum-SGD,Adam和LAMB)扩展到更大的批量,同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之,Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例(没有MLPerf v0.5条目收敛超过16 K),Adam优化器在BERT-LARGE上通信之前达到64 K示例(之前的工作表明Adam在16 K时停止扩展),LAMB优化器在BERT-LARGE上通信之前扩展到128 K(先前的工作使用64 K),同时保持下游的准确性指标。最后,如果用户不需要扩展,我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
Massively Distributed SGD: ImageNet/ResNet-50 Training in a Flash
Sony Corporation(索尼公司)
由于大型小批量训练的不稳定性和梯度同步的开销,将分布式深度学习扩展到大规模GPU集群级别具有挑战性。我们通过批量大小控制和标签平滑来解决大型小批量训练的不稳定性。我们使用2D-Torus all-reduce解决梯度同步的开销。具体来说,2D-Torus all-reduce将GPU排列在逻辑2D网格中,并在不同方向上执行一系列集体操作。这两种技术是用神经网络库(NNL)实现的。我们在122秒内成功训练了ImageNet/ResNet-50,在ABCI集群上没有显著的准确性损失。
2019-03-05 cs.CV cs.LG
Batch size invariant Adam
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Bristol(布里斯托大学)
针对分布式训练中 Adam 随 micro-batch 划分而改变更新尺度的问题,本文通过先平方后平均梯度构造 v 项,在无需梯度方差主导假设的情况下实现批量大小不变性。
2024-02-29 cs.LG
A Closer Look at Codistillation for Distributed Training
Facebook AI Research(脸书人工智能研究院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
共蒸馏被提出作为一种机制,通过鼓励它们通过辅助损失来表示相同的函数,从而在并发训练的模型之间共享知识。这与更常用的完全同步数据并行随机梯度下降方法形成对比,其中不同的模型副本在每次迭代时对其梯度(或参数)进行平均,从而保持相同的参数。我们调查共蒸馏在一个分布式的训练设置,补充以前的工作,专注于非常大的批量。令人惊讶的是,我们发现,即使在中等批量的情况下,用共蒸馏训练的模型也可以表现得和用同步数据并行方法训练的模型一样好,尽管使用了弱得多的同步机制。这些发现适用于一系列批量大小和学习率调度,以及不同类型的模型和数据集。然而,获得这种水平的准确性,需要适当考虑共蒸馏的正则化效应,我们强调通过几个经验观察。总体而言,这项工作有助于更好地了解共蒸馏,以及如何最好地利用它在分布式计算环境。
2021-07-26 cs.DC cs.LG math.OC
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度,并基于 FSDP 实现,验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks
Intel Corporation(英特尔公司)
在图神经网络(GNN)上进行全批训练以学习大型图的结构是一个关键问题,需要扩展到数百个计算节点才可行。由于单个计算节点上的内存容量和带宽要求很大,以及多个节点之间的通信量很大,因此这具有挑战性。在本文中,我们提出了DistGNN,它通过高效的共享内存实现,使用最小顶点切割图分区算法减少通信,以及使用延迟更新算法族避免通信,优化了著名的深度图库(DGL),用于CPU集群上的全批训练。我们在四个常见的GNN基准数据集上的结果:Reddit,OGB-Products,OGB-Papers和Proteins,使用单个CPU插槽和使用128个CPU插槽分别显示高达3.7倍的速度提升,超过在单个CPU插槽上运行的基线DGL实现
2021-04-16 cs.DC cs.LG
PGT-I: Scaling Spatiotemporal GNNs with Memory-Efficient Distributed Training
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Argonne National Laboratory(阿贡国家实验室);Arizona State University(亚利桑那州立大学);Sandia National Laboratories(桑塔纳国家实验室)
提出PGT-I框架,通过index-batching和distributed-index-batching策略动态构建快照降低内存开销,首次实现无图划分训练整个PeMS数据集,峰值内存降低89%,128 GPU下加速11.78倍。
2025-09-15 cs.AI cs.DC cs.LG
Distributed Harmonization: Federated Clustered Batch Effect Adjustment and Generalization
Michigan State University(密歇根州立大学);University of Pittsburgh(匹兹堡大学);University of Southern California(南加州大学)
本文提出Cluster ComBat协调算法,利用站点数据聚类模式解决联邦学习中批次效应校正对新站点泛化差和重新训练开销大的问题,并通过模拟和ADNI真实医学影像数据验证其优越性。
2024-08-07 cs.LG
On the Effect of Task-to-Worker Assignment in Distributed Computing Systems with Stragglers
Rutgers University(罗格斯大学)
研究了最近提出的分布式计算算法的期望完成时间,这些算法将计算任务冗余地分配给多台机器,以容忍一定数量的机器故障。我们分析表明,不仅冗余量,而且任务到机器的分配影响在分布式系统中的延迟。我们研究的系统与一个固定数量的计算任务,可能重叠的批次分裂,独立的指数分布的机器服务时间。我们表明,对于这样的系统,非重叠(不相交)批次的计算任务的统一复制达到最小的预期计算时间。
2018-08-08 cs.AI cs.DC cs.IT
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力,在一阶数据异构性假设下给出其新下界,证明加速小批量SGD的极小极大最优性,考虑高阶假设给出新上界,强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
Ray Data: A dynamic and scalable system for heterogeneous data processing
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Anyscale
针对传统分布式数据处理系统异构资源利用率低、故障开销高的问题,提出融合批处理与流处理的流批模型,推出的Ray Data系统显著提升了异构推理流水线吞吐量与多模态模型训练效率。
2026-10-21 cs.DC cs.LG
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing
Royal Institute of Technology (KTH)(瑞典皇家理工学院);Princeton University(普林斯顿大学)
大数据,包括具有高安全要求的应用,通常被收集并存储在多个异构设备上,例如移动设备、无人机和车辆。由于通信成本和安全要求的限制,以分散的方式提取信息而不是将数据聚合到融合中心至关重要。为了训练大规模机器学习模型,边缘/雾计算通常被用作集中式学习的替代方案。我们考虑的问题,学习模型参数的多智能体系统的数据通过分布式边缘节点进行本地处理。研究了一类小批量随机交替方向乘子法(ADMM)算法,建立了分布式学习模型。为了解决分布式网络中的两个主要关键挑战,即,针对通信瓶颈和落后节点(响应慢的节点),研究了基于差错控制编码的随机增量ADMM。给出了一个适当的小批量大小,我们表明,小批量随机ADMM为基础的方法收敛速度为$O(\frac{1}{\sqrt{k}})$,其中$k$表示的迭代次数。数值实验表明,与现有算法相比,该算法具有通信效率高、响应速度快、鲁棒性强等优点.
2020-10-02 cs.DC cs.LG
GraNNDis: Efficient Unified Distributed Training Framework for Deep GNNs on Large Clusters
Seoul National University(首尔大学);Yonsei University(延世大学)
针对多服务器集群下分布式GNN训练存在的通信瓶颈、内存计算冗余及采样误差问题,提出含灵活预加载、协同批处理等策略的GraNNDis框架,实现显著加速并已开源。
2024-08-13 cs.DC cs.LG
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题,提出结合SAM对抗步骤与异步分布式采样的LSAM优化器,消除同步瓶颈、加快收敛且准确率更高,兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
Causal Covariate Shift Correction using Fisher information penalty
Institute of Business Administration(商业管理学院);National University of Computer and Emerging Sciences(国家计算机与新兴科学大学);Habib University(哈比布大学)
针对训练数据分布随时间变化导致的模型选择不可靠问题,提出基于Fisher信息惩罚的因果协变量偏移校正方法,在批次和折级基准上分别提升准确率最高20.3%和最低5.9%。
2025-02-11 cs.LG
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories, USA(NEC实验室)
SGD是训练CNN广泛采用的方法。从概念上讲,它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中,我们展示了采样偏差,固有图像差和固定周期伪随机采样区分训练中的批次,从而影响它们的学习速度。因此,SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题,我们提出了不一致的随机梯度下降(ISGD),根据批次的学习状态动态地改变训练工作。具体来说,ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足,ISGD解决一个新的子问题,一个追逐逻辑加上一个保守约束,以加速对批处理的训练,同时避免剧烈的参数变化。在各种数据集上的大量实验表明,ISGD比SGD收敛得更快。在训练AlexNet时,ISGD比SGD快21.05%,在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上,使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论,最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是,ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
OmniLearn: A Framework for Distributed Deep Learning over Heterogeneous Clusters
针对异构集群下分布式深度学习因掉队者、陈旧更新导致性能下降的问题,提出自适应批量缩放框架OmniLearn,动态调整工作节点小批量以平衡负载,可缩短训练时间14%-85%,异步训练下最高提升准确率6.9%。
2025-03-21 cs.LG
Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization
School of Communications and Electronics Engineering, East China Normal University(通信与电子工程学院,东华大学);School of Electronics and Information Technology, Sun Yat-sen University(电子与信息学院,中山大学);Zhejiang University/University of Illinois at Urbana-Champaign Institute, Zhejiang University(浙江大学/伊利诺伊大学厄巴纳-香槟分校研究院,浙江大学);Department of Electronic Engineering, State Key Laboratory of Space Network and Communications, Tsinghua University(电子工程系,空间网络与通信国家重点实验室,清华大学);Information Systems Technology and Design Pillar, Singapore University of Technology and Design(信息系统技术与设计学院,新加坡科技设计大学)
本文提出混合分割与联邦学习优化方法,通过学习模式选择、批量大小优化和资源联合优化,提升无线分布式学习的收敛速度和效率。
2025-11-25 cs.DC cs.LG
The Effect of Network Width on the Performance of Large-batch Training
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
小批量随机梯度下降(SGD)的分布式实现遭受通信开销,这归因于小批量训练中固有的高频率梯度更新。大批量训练可以减少这些开销;但是,大批量会影响SGD的收敛特性和泛化性能。在这项工作中,我们迈出了第一步,分析神经网络的结构(宽度和深度)如何影响大批量训练的性能。我们提出了新的理论结果,这表明-对于固定数量的参数-更广泛的网络更适合快速大批量训练相比,更深的。我们提供了关于残差和全连接神经网络的大量实验,这些实验表明,与其更深层次的变体不同,更广泛的网络可以使用更大的批次进行训练,而不会导致收敛速度减慢。
2018-06-11 cs.DC cs.LG math.OC
Efficient Parallelization Layouts for Large-Scale Distributed Model Training
Aleph Alpha(阿莱夫阿尔法公司);Hasso Plattner Institute(哈索·普拉特纳研究所)
本研究通过全面消融实验分析大型语言模型训练配置,提出使用微批次大小为1等关键建议,实现最高效的并行化布局,在训练Llama 13B模型时达到70.5%的模型FLOPs利用率。
2024-09-24 cs.DC cs.LG
DecentLaM: Decentralized Momentum SGD for Large-batch Deep Training
Alibaba Group(阿里巴巴集团);University of Pennsylvania(宾夕法尼亚大学)
当今深度学习的规模要求高效的分布式训练算法。去中心化动量SGD(DmSGD),其中每个节点仅与其邻居平均,比在所有计算节点上产生全局平均的vanilla并行动量SGD更有效。另一方面,大批量训练已被证明是实现运行时加速的关键。这促使我们研究DmSGD如何在大批量场景中执行。在这项工作中,我们发现动量项可以放大DmSGD中的不一致偏差。随着批量的增大,这种偏差变得更加明显,从而导致严重的性能下降。接下来,我们提出DecentLaM,一种新的分散的大批量动量SGD,以消除动量引起的偏差。建立了非凸和强凸情形下的收敛速度。我们的理论结果证明了DecentLaM的DmSGD的优越性,特别是在大批量的情况下。在各种计算机视觉任务和模型上的实验结果表明,DecentLaM保证了高效和高质量的训练。
2021-04-24 cs.DC cs.LG math.OC
A Robust Multi-Batch L-BFGS Method for Machine Learning
本文描述了L-BFGS方法的实现,旨在处理两种对抗性的情况。第一种情况发生在分布式计算环境中,其中一些专门用于函数和梯度评估的计算节点无法及时返回结果。类似的挑战也出现在多批处理方法中,其中用于计算函数和梯度的数据点在每次迭代时都有目的地改变,以加速学习过程。困难出现,因为L-BFGS采用梯度差来更新海森近似,并且当这些梯度使用不同的数据点计算时,更新过程可能不稳定。本文展示了如何在多批设置中执行稳定的拟牛顿更新,研究了凸函数和非凸函数的收敛性质,并说明了该算法在分布式计算平台上的行为,在二进制分类逻辑斯谛回归和机器学习中出现的神经网络训练问题。
2019-08-27 cs.LG math.OC stat.ML
HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore(新加坡国立大学)
HelixPipe提出注意力并行划分与双重先进后出微批次调度,结合无注意力重计算和分块MLP,显著提升长序列Transformer分布式训练的吞吐量和可扩展性,在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
Hogwild! over Distributed Local Data Sets with Linearly Increasing Mini-Batch Sizes
CWI Amsterdam(荷兰阿姆斯特丹国家数学和计算机科学研究所);IBM Research(IBM研究院);Thomas J. Watson Research Center(托马斯·J·沃森研究中心);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);eBay(eBay公司);University of Connecticut(康涅狄格大学)
霍格怀德!实现异步随机梯度下降(SGD),其中多个线程并行访问包含训练数据的公共存储库,执行SGD迭代并更新表示联合学习的(全局)模型的共享状态。我们考虑大数据分析,其中训练数据以异构方式分布在本地数据集之间-并且我们希望将SGD计算移动到本地数据驻留的本地计算节点。这些本地SGD计算的结果由模仿Hogwild!的中央“聚合器”聚合。我们展示了本地计算节点如何开始选择小的小批量,这些小批量会增加到更大的批量,以降低通信成本(与聚合器的轮交互)。我们改进了最先进的文献,并显示了强凸问题的异构数据的$O(\sqrt{K}$)通信轮次,其中$K$是所有本地计算节点上的梯度计算总数。对于我们的计划,我们证明了一个\textit{tight}和新的非平凡收敛分析强凸问题的{ \em异构}数据,不使用有界梯度假设,看到在许多现有的出版物。的紧密性是一个后果,我们的证据的下限和上限的收敛速度,这表明一个常数因子的差异。我们展示了有偏(即,异构)和无偏的本地数据集。
2021-02-27 cs.LG math.OC stat.ML
A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition
IBM Research(IBM研究院)
现代自动语音识别(ASR)系统依靠分布式深度学习来快速完成训练。为了实现有效的分布式训练,训练算法必须能够以大的小批量收敛。在这项工作中,我们发现,异步分散并行随机梯度下降(ADPSGD)可以工作在更大的批量比常用的同步SGD(SSGD)算法。在常用的公共SWB-300和SWB-2000 ASR数据集上,ADPSGD可以收敛到SSGD中使用的批量大小的3倍,从而实现更大规模的训练。此外,我们提出了一个层次的ADPSGD(H-ADPSGD)系统中,在同一个计算节点上的学习者通过快速allreduce实现构建一个超级学习者,和超级学习者部署ADPSGD算法之间。在通过100 Gb/s以太网连接的64个Nvidia V100 GPU集群上,我们的系统能够在5.2小时内训练SWB-2000,以达到在集线器5 -2000交换机(SWB)测试集上7.6%的WER和在呼叫中心(CH)测试集上13.2%的WER。据我们所知,这是最快的ASR训练系统,达到这个水平的模型准确性的SWB-2000任务是以往任何时候都在文献中报道。
2019-07-10 cs.DC cs.LG cs.SD
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.(苹果公司)
与传统的基于梯度下降的优化算法相比,基于非线性共轭梯度(NLCG)的优化算法具有更好的损失收敛特性。然而,在深度神经网络(DNN)训练中,选择的主要优化算法仍然是随机梯度下降(SGD)及其变体。在这项工作中,我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现,非线性共轭梯度算法提高了DNN训练的收敛速度,特别是在大型小批量场景中,这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务,在超过65 k的超大型小批量时,NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务,在超过16 k的超大型小批量时,NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上,用于200个epoch。
2019-11-20 cs.LG stat.ML
Scaling Distributed Training of Flood-Filling Networks on HPC Infrastructure for Brain Mapping
The University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
映射大脑中的所有神经元需要从体积电子显微镜数据自动重建整个细胞。洪水填充网络(FFN)架构已经证明了从这些数据中分割结构的领先性能。然而,网络的训练在计算上是昂贵的。为了减少训练时间,我们使用Horovod库实现了同步和数据并行的分布式训练,这与已发布的FFN代码中使用的异步训练方案不同。我们证明了我们的分布式训练可以扩展到Theta超级计算机上的2048个Intel Knights Landing(KNL)节点。我们训练的模型达到了相似的推理性能水平,但与以前的方法相比,训练时间更短。我们关于不同批量大小对FFN训练的影响的研究为进一步提高训练效率提供了方法。我们的最佳学习率和批量大小的研究结果与以前的作品。
2019-12-09 cs.DC cs.LG eess.IV
Normalization Before Shaking Toward Learning Symmetrically Distributed Representation Without Margin in Speech Emotion Recognition
University of Southern California(南加州大学)
正则化对于许多实用的深度学习模型的成功至关重要,特别是在只有少数到中等数量的可访问训练样本的情况下。除了权重衰减、数据增强和丢弃外,基于多分支结构的正则化(如Shake-Shake正则化)在许多应用中被证明是成功的,并受到越来越多的关注。然而,除了基于模型的表示增强之外,尚不清楚Shake-Shake正则化如何帮助进一步改进分类任务,更不用说批量归一化和摇动之间令人困惑的交互了。在这项工作中,我们提出了我们的调查摇动正则化,绘制连接到邻近风险最小化原则和判别特征学习验证任务。此外,我们确定了批归一化残差块和批归一化递归神经网络之间的高度相似性,其中它们都具有相似的收敛行为,这可以通过适当初始化批量归一化来减轻。基于这些发现,我们在语音情感识别上的实验同时表明,分类准确率的提高和泛化差距的减少都具有统计意义。
2018-08-05 cs.HC cs.LG cs.MM
Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer
Arizona State University(亚利桑那州立大学)
增加深度学习模型的批量大小是一项具有挑战性的任务。虽然它可能有助于在模型的训练阶段充分利用可用的系统内存,但它通常会导致测试准确性的显著损失。LARS通过为深度学习模型的每一层引入自适应学习率来解决这个问题。然而,人们对流行的分布式机器学习系统(如SystemML或MLlib)如何使用此优化器表示怀疑。在这项工作中,我们将LARS优化器应用于使用SystemML实现的深度学习模型。我们使用各种批量大小进行实验,并将LARS优化器的性能与\textit{Stochastic Gradient Descent}进行比较。我们的实验结果表明,LARS优化器的性能显着优于随机梯度下降大批量,即使与分布式机器学习框架,SystemML。
2021-02-05 cs.LG