An Optimal Level-synchronous Shared-memory Parallel BFS Algorithm with Optimal parallel Prefix-sum Algorithm and its Implications for Energy Consumption
我们提出了一种高效的并行级同步宽度优先搜索（BFS）算法的共享存储器架构，实现了理论上的并行运行时间的下限。无论图的形状如何，最优性都保持不变。我们还证明了这一最优方案的能源消耗经验的含义。关键的想法是永远不要使用超过必要的处理核心来有效地完成任何计算步骤中的工作。我们保持其余的核空闲以节省能量并减少其他资源争用（例如，带宽、共享高速缓存等）。我们的BFS不使用锁和原子指令，并且很容易扩展到共享内存协处理器。
2022-09-19 cs.CC cs.DC cs.DS
Encoding fairness in a synchronous concurrent program algebra: extended version with proofs
并发程序精化代数为支持共享内存并发程序的组合式机械推理提供了一个合适的基础，例如，它支持Jones的依赖/保证方法。该代数利用了Aczel的并发跟踪模型和Milner的SCCS相似的同步并行操作符。本文着眼于在程序代数中定义一种形式的公平性。编码允许一个原因，公平执行一个单独的进程，以及定义公平并行的基本并行运算符，其中没有公平性的假设。建立了支持公平性和公平并行的代数理论。
2018-05-04 cs.DC cs.LO
Synchronous Relaxation for Parallel Ising Spin Simulations
提出了一种新的模拟Ising自旋系统的并行算法。顺序原型是n重方式算法引用{BKL 75}，这是有效的，但很难并行化使用保守的方法。并行算法是乐观的。与其他乐观算法不同，例如，时间扭曲我们的算法是同步的它也属于被称为“松弛”的模拟类，因此它被命名为“同步松弛”。“”我们推导出该算法的性能保证。如果N是PE的数量，那么在弱假设下，我们表明每单位时间处理的正确事件的数量平均至少是N/log（N）的数量级。所有通信延迟、处理时间和忙等待都被考虑在内。
2004-05-17 cond-mat.mtrl-sci cs.DC cs.DS
Dynamic Stale Synchronous Parallel Distributed Training for Deep Learning
York University（约克大学）；IBM Canada（加拿大国际商业机器公司）
深度学习是一种流行的机器学习技术，已被应用于许多现实世界的问题。然而，训练深度神经网络非常耗时，尤其是在大数据上。单个机器在大型数据集上训练大型模型已经变得困难。一个流行的解决方案是使用参数服务器框架在多台机器上分布和并行化训练过程。在本文中，我们提出了一个分布式范例的参数服务器框架称为动态陈旧同步并行（DSSP），提高了国家的最先进的陈旧同步并行（SSP）的范例，通过动态确定陈旧阈值在运行时间。传统上，为了在SSP中运行分布式训练，用户需要指定特定的过时阈值作为超参数。然而，用户通常不知道如何设置阈值，因此经常通过反复试验来找到阈值，这是耗时的。基于工人的最近的处理时间，我们的方法DSSP自适应地调整阈值每次迭代在运行时，以减少等待时间的更快的工人的全局共享参数的同步，从而增加参数更新的频率（增加迭代吞吐量），从而加快收敛速度。我们通过在同构和异构环境中的GPU集群上运行深度神经网络（DNN）模型，将DSSP与其他范例（如批量同步并行（BSP），异步并行（ASP）和SSP）进行比较。结果表明，在一个异构的环境中，集群由混合模型的GPU，DSSP收敛到更高的精度比SSP和BSP早得多，并执行类似的ASP。在同构分布式集群中，DSSP比SSP和ASP更稳定，性能稍好，收敛速度比BSP快得多。
2019-08-16 cs.DC cs.LG stat.ML
Hybrid Approach to Parallel Stochastic Gradient Descent
School of Computing；Augmented Intelligence Arizona State University Tempe AZ USA；Augmented Intelligence Arizona State University
本文提出一种结合同步与异步的数据并行混合方法，通过阈值函数逐步切换参数聚合方式，在相同时间内取得优于纯同步和纯异步的训练性能。
2024-06-27 cs.AI cs.CC cs.DC
Elastic Bulk Synchronous Parallel Model for Distributed Deep Learning
York University（约克大学）；IBM Canada（IBM加拿大公司）
批量同步并行（BSP）是一种著名的通用并行计算同步模型，已成功地用于机器学习模型的分布式训练。BSP的一个普遍缺点是它要求工作者在每次迭代中等待掉队者。为了改善经典BSP的这一缺点，我们提出了ELASTICBSP模型，旨在放宽其严格的同步要求。该模型在训练阶段提供了更大的灵活性和适应性，而不会牺牲训练模型的准确性。我们还提出了一个有效的方法，实现该模型，命名为ZIPLINE。该算法是可调的，可以有效地平衡收敛质量和迭代吞吐量之间的权衡，以适应不同的环境或应用。一个彻底的实验评估表明，我们提出的ELASTICBSP模型收敛速度更快，更高的精度比经典的BSP。它还实现了与其他合理同步模型相当（如果不是更高）的准确性。
2020-01-06 cs.DC cs.LG stat.ML
DAPPLE: A Pipelined Data Parallel Approach for Training Large Models
在具有多样化互连能力的复杂GPU平台上训练大型DNN模型是一项具有挑战性的任务。最近，流水线训练已经被提出作为提高设备利用率的有效方法。然而，仍然有几个棘手的问题需要解决：在确保收敛的同时提高计算效率，以及在不产生额外计算成本的情况下减少内存使用。我们提出了DAPPLE，一个同步训练框架，它结合了大型DNN模型的数据并行性和流水线并行。提出了一种新的并行化策略规划器来解决划分和布局问题，并探讨了数据并行和流水线并行的最优混合策略。我们还提出了一种新的运行时调度算法来减少设备内存使用，该算法与重新计算方法正交，并且不会以牺牲训练吞吐量为代价。实验表明，在同步训练场景下，DAPPLE规划器的性能始终优于PipeDream规划器生成的策略，最高可达3.23倍; DAPPLE运行时的训练吞吐量比GPipe提高了1.6倍，同时减少了12%的内存消耗。
2020-07-02 cs.DC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.（超威半导体公司）
针对BSP模型在非规则负载下的通信瓶颈，提出结合LCI和OpenMP的多线程细粒度异步BSP方法，通过细粒度零拷贝主动消息实现计算通信重叠，在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
A Case for Stale Synchronous Distributed Model for Declarative Recursive Computation
一旦递归中允许聚合，一大类传统的图和数据采掘算法可以用Datasheet和其他基于逻辑的语言简洁地表达。事实上，对于大多数BigData算法，在递归中使用非单调聚合所带来的困难语义问题通过Pre-Mappability（PreM）解决，PreM是一种属性，可以确保对于递归中使用聚合的程序，存在等效的聚合分层程序。在本文中，我们表明，通过将分层程序的形式抽象语义与非分层程序的有效操作语义结合在一起，PreM也可以促进和提高它们的并行执行。我们证明了PreM优化的无锁和可分解的并行半天真评价产生相同的结果作为单一的执行器程序。因此，PreM可以被同化到不同的分布式系统的数据并行计算计划，无论这些是否遵循批量同步并行（BSP）或异步计算模型。此外，我们表明，非线性递归查询可以使用混合陈旧的同步并行（SSP）模型在分布式环境中进行评估。在提供了一个正式的正确性证明的递归查询评估与PreM在这个宽松的同步模型下，我们提出了实验证据，其好处。本文正在考虑接受逻辑编程理论与实践（TPLP）。
2019-07-24 cs.DB cs.DC cs.LO
Lossy Bulk Synchronous Parallel Processing Model for Very Large Scale Grids
在一个非常大规模的网格并行算法的性能显着影响底层的互联网协议和互连。由于TCP的可靠性，许多网格编程平台都使用TCP，通常会进行一些优化以降低其成本。然而，TCP在高带宽和高延迟的网络环境中表现不佳。另一方面，UDP是可用的最快的协议，因为它省略了连接建立过程，中断和重传，牺牲了可靠的传输。许多新的批量数据传输方案使用UDP进行数据传输，如RBUDP，Tsunami和SABUL已被引入，并显示出比TCP更好的性能。在本文中，我们考虑使用UDP和检查数据包丢失和加速之间的关系，相对于网格节点的数量。我们的测量表明，平均5%-15%之间的数据包丢失率在广泛分布在互联网上的PlanetLab节点之间并不罕见。我们表明，传输多个副本相同的数据包产生更高的加速比。我们展示了最小数量的数据包重复需要最大限度地提高可能的加速比，对于给定数量的节点使用BSP为基础的模型。我们的工作表明，通过使用适当数量的数据包副本，我们可以提高并行程序的性能。
2006-12-20 cs.CC cs.DC cs.PF
Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合国家科学中心人工智能研究院）
针对同步RLHF训练中长尾生成导致的GPU利用率低问题，提出自适应张量并行方法PAT，通过预测引导的在线重配置和轻量级状态迁移机制，显著降低生成延迟和端到端训练迭代延迟。
2026-05-03 cs.AI cs.DC
On the Utility of Gradient Compression in Distributed Training Systems
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
大量的前期工作突出了同步数据并行训练中存在的通信瓶颈。为了缓解这些瓶颈，最近的一系列工作提出了梯度和模型压缩方法。在这项工作中，我们评估梯度压缩方法的有效性，并将其可扩展性与200多种不同设置的同步数据并行SGD的优化实现进行比较。令人惊讶的是，我们观察到，在200多个案例中，只有6个案例中，梯度压缩方法在典型的数据中心设置中提供了优化的同步数据并行训练的加速。我们进行了广泛的调查，以确定这种现象的根本原因，并提供了一个性能模型，可用于确定梯度压缩的各种系统设置的好处。基于我们的分析，我们提出了梯度压缩方法应该满足的理想属性列表，以便它们提供有意义的端到端加速。
2021-06-29 cs.DC cs.LG
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland（克雷瑞士公司）
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中，我们提出了DC-S3 GD，一个分散的（没有参数服务器）延迟补偿异步随机梯度下降（DC-ASGD）算法的静态同步版本。在我们的方法中，我们允许计算和通信的重叠，并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络，并取得了最先进的结果，证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
On the Convergence Analysis of Asynchronous SGD for Solving Consistent Linear Systems
在大数据和机器学习领域，数据并行，分布式随机算法在当今引起了极大的关注。虽然这些算法的同步版本是很好地理解其收敛性，其异步同行的收敛性分析没有得到广泛的研究。在本文中，我们提出并分析了一个{ \it分布式，异步并行} SGD解决一个任意一致的线性系，通过将系统转化为随机最优化问题，研究了Richtárik和Takác在[35]。我们比较了我们的异步SGD算法的收敛速度与同步并行算法提出的Richtárik和Takánik在[35]在不同的选择超参数--步长，阻尼因子，处理器的数量，和延迟因子。我们证明了我们的异步并行SGD算法也具有全局线性收敛速率，类似于{ \em basic}方法和[35]中的同步并行方法，用于通过随机重构求解任意相容线性系。我们还表明，我们的异步并行SGD改进后的{ \em基本}方法具有更好的收敛速度时，处理器的数量大于4。我们进一步表明，这种异步的方法比它的同步对应的某些线性系渐近更好。此外，对于某些线性系，我们计算所需的处理器的最小数量，我们的异步并行SGD是更好的，并发现这个数字可以低至两个病态的问题。
2020-04-05 cs.CC cs.DC cs.NA
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
On the stability and performance of the solution of sparse linear systems by partitioned procedures
在本文中，我们提出，评估和分析的并行同步Jacobi算法的性能，通过不同的分区程序，包括带行分裂，带行稀疏模式分裂和子结构分裂，在解决稀疏大型线性系。通过对一组三维Laplace方程和一组希克苏鲁伯陨石坑重力场的数值实验，验证了分裂对求解稀疏大型线性系的并行同步迭代的影响.数值结果清楚地表明，子结构的方法相比，带行分裂策略的兴趣。
2021-12-04 cs.DC cs.NA math.NA
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；Humboldt-Universität zu Berlin（柏林洪堡大学）
深度学习模型在具有许多GPU的服务器上训练，并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型：它们一次处理一批训练数据，在GPU之间进行分区，并对产生的部分梯度进行平均，以获得更新的全局模型。为了充分利用所有GPU，系统必须增加批量大小，这会阻碍统计效率。用户调整超参数，如学习率，以补偿这一点，这是复杂的和特定于模型的。我们描述了CROSSBOW，这是一种用于训练深度学习模型的新的单服务器多GPU系统，使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本，并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA，模型平均的同步变体，其中副本独立地探索解空间与梯度下降，但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本，自动调整副本数量以最大化吞吐量，从而在小批量的情况下实现高硬件效率。我们的实验表明，与TensorFlow相比，CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
Analytical Estimation of the Scalability of Iterative Numerical Algorithms on Distributed Memory Multiprocessors
本文提出了一种新的高级并行计算模型BSF-Bulk Synchronous Farm。BSF模型扩展了BSP模型，以处理在分布式内存多处理器系统上执行的计算密集型迭代数值方法。BSF模型基于主-工作者范式和SPMD编程模型。BSF模型使得能够以很高的精度预测BSF程序的可伸缩性上界。BSF模型还提供了用于估计BSF程序的加速比和并行效率的方程。
2017-11-10 cs.DC
Efficient Pipeline Planning for Expedited Distributed DNN Training
为了训练现代大型DNN模型，最近出现了流水线并行，它将模型分布在GPU上，使不同的设备能够处理流水线中的不同微批。早期的流水线设计允许多个版本的模型参数共存（类似于异步训练），并且不能确保与没有流水线相同的模型收敛和准确性性能。最近提出了同步流水线，它通过在训练迭代之间实施同步屏障来确保模型性能。然而，同步屏障需要等待来自所有微批次的梯度聚合，从而延迟训练进度。需要优化的流水线规划来最小化这种等待，从而最小化训练时间，这在文献中还没有得到很好的研究。本文设计了高效的、接近最优的算法，用于在任意GPU间连接上加速现代大型DNN的同步流水线并行训练。我们的算法框架包括两个组件：一个管道分区和设备映射算法，和一个管道调度器，决定处理顺序的分区，这一起最大限度地减少每次迭代的训练时间的微批处理。我们进行了深入的理论分析，广泛的测试床实验和跟踪驱动的模拟，并证明我们的计划可以加快训练高达157%，与最先进的设计相比。
2022-04-22 cs.DC
Papaya: Practical, Private, and Scalable Federated Learning
Meta AI
跨设备联邦学习（FL）是一种分布式学习范式，它具有与传统分布式学习不同的几个挑战，每个设备上的系统特性的可变性，以及与中央服务器协调的数百万客户端是主要的。文献中描述的大多数FL系统是同步的-它们执行来自各个客户端的模型更新的同步聚合。扩展同步FL具有挑战性，因为增加并行训练的客户端数量会导致训练速度的收益递减，类似于大批量训练。此外，掉队者阻碍同步外语训练。在这项工作中，我们概述了生产异步FL系统设计。我们的工作解决了上述问题，概述了一些系统设计挑战及其解决方案，并触及了为数百万客户构建生产FL系统所产生的原则。从经验上讲，我们证明了在近一亿台设备上训练时，异步FL比同步FL收敛得更快。特别是，在高并发设置中，异步FL比同步FL快5倍，通信开销几乎少8倍。
2022-04-25 cs.DC cs.LG
Loosely-Stabilizing Phase Clocks and the Adaptive Majority Problem
我们提出了一个松散稳定的相位时钟人口协议。在人口模型中，我们给出了一个$n$相同的代理系统，这些代理在一个随机选择的对序列中相互作用。我们的相位时钟是无前导的，它需要$O(\log n)$状态。它永远运行，并且在任何时间点都处于w.h. p的同步状态。当以任意配置启动时，它迅速恢复并在$O(n\log n)$交互w.h. p内进入同步配置。一旦时钟同步，它至少在多$n$并行时间w. h. p.内保持同步配置。我们使用我们的时钟来设计一个松散的-稳定协议，解决了由Alistarh等人引入的比较问题，2021.在这个问题中，代理的子集在任何时候都有$A$或$B$作为输入。目标是跟踪两种意见中哪一种（暂时）占多数。我们表明，如果大多数人至少$Ω(\log n)$代理和一个足够大的偏见是存在的支持，然后协议收敛到一个正确的输出内$O(n\log n)$的相互作用，并保持在一个正确的配置聚$n$的相互作用，w.h. p。
2021-12-02 cs.DC
Training LLMs with Fault Tolerant HSDP on 100,000 GPUs
在100,000块GPU上提出容错混合共享数据并行训练方法，通过减少故障恢复停滞时间提升训练效率
2026-01-30 cs.AI cs.DC
An efficient implementation of parallel simulated annealing algorithm in GPUs
本文针对GPU平台提出并实现了模拟退火算法的高效并行版本，通过CUDA开发了顺序、异步和同步三种实现，并以归一化Schwefel函数最小化问题为基准验证了同步版本在收敛性、精度和计算成本间的综合优势，同时开发了结合局部最小化的混合方法。
2024-07-30 cs.DC math.OC
Autobahn: Seamless high speed BFT
针对现有部分同步模型下BFT协议无法兼顾良好区间低延迟与波动后平稳恢复的问题，提出结合异步数据传播层与部分同步共识机制的Autobahn协议，消除传统协议滞后效应，同时实现高吞吐量与低延迟。
2025-01-20 cs.DC
Communication-efficient parallel Bruhat decomposition
St Petersburg State University（圣彼得堡国立大学）
本文针对BSP模型中Bruhat分解的通信与同步复杂度挑战，提出一种新的块递归、通信高效的并行Bruhat分解算法，解决了BSP模型中递归算法表达的问题。
2026-08-11 cs.DC cs.DS
BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training
Zhejiang University（浙江大学）
针对同步流水线并行中的气泡与通信开销问题，提出 BitPipe 双向交错流水线及 V 形即时梯度同步调度，在最多 32 GPU 上将 GPT/BERT 风格模型训练吞吐提升 1.05–1.28 倍。
2024-10-25 cs.AI cs.DC cs.LG
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Accelerating Distributed ML Training via Selective Synchronization
Indiana University Bloomington（印第安纳大学布卢明顿分校）
针对分布式BSP训练通信成本高、现有替代方案易损失精度的问题，本文提出低开销的SelSync选择性同步方法，通过动态决策每步是否通信及配套优化，在半同步训练下实现与BSP相当或更优精度，最高提速14倍。
2024-01-29 cs.CV cs.DC cs.LG
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph（圭尔夫大学）；SHARCNET, Compute Canada（加拿大计算公司SHARCNET）
我们开发了一个可扩展和可扩展的训练框架，可以在集群中的节点上利用GPU，并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现，其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中，我们分析了框架的收敛性和能力，以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外，我们探索新的方法来减少由交换参数引起的通信开销。最后，我们将该框架作为开源发布，以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Optimal Collision/Conflict-free Distance-2 Coloring in Synchronous Broadcast/Receive Tree Networks
本文讨论的是消息传递系统，其中通信是（a）同步的，（b）基于“广播/接收”对通信操作。“同步”意味着时间是离散的，并且表现为时隙（或轮）的序列，使得每个消息在其发送的同一轮中被接收。“广播/接收”意味着在一轮中，进程可以向其邻居广播消息，也可以从其中一个邻居接收消息。在这样的通信模型中，同一进程的两个邻居，或者一个进程和它的任何邻居，都不允许在同一时隙期间广播（从而防止第一种情况下的消息冲突，以及第二种情况下的消息冲突）。从图论的角度来看，分配时隙给进程被称为距离2着色问题：颜色必须与每个进程（定义允许广播的时隙）相关联，使得距离最多为2的任何两个进程获得不同的颜色，而颜色的总数“尽可能小”。本文提出了一种适用于树的并行消息传递距离2着色算法，树的根是动态定义的。该算法本身是无冲突和无冲突的，它使用$Δ+ 1$颜色，其中$Δ$是图的最大度（因此该算法是颜色最优的）。它不要求所有进程都有不同的初始标识，其时间复杂度为$O(d Δ)$，其中d是树的深度。据我们所知，这是第一个分布式距离-2着色算法设计的广播/接收轮为基础的通信模型，它拥有所有以前的性质。
2016-01-13 cs.DC cs.NI
RollPacker: Mitigating Long-Tail Rollouts for Fast, Synchronous RL Post-Training
Hong Kong University of Science and Technology（香港理工大学）；Alibaba Group（阿里巴巴集团）；Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）
针对同步RL后训练中长尾生成导致的GPU气泡问题，提出尾部批处理策略与RollPacker系统，通过将长响应集中到少数长轮次并优化三阶段，实现2.03-2.56倍加速且不损精度。
2025-09-25 cs.DC cs.LG
Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems
University of Houston（休斯顿大学）；Northeastern University（东北大学）；University of Nebraska - Lincoln（内布拉斯加大学林肯分校）；Fuzhou University（福州大学）；Columbia University（哥伦比亚大学）
本文针对大语言模型推荐系统分布式训练中的计算与通信瓶颈，提出结合张量/流水线并行及梯度压缩的混合并行方案，实验显示吞吐量提升超30%、资源利用率提升约20%。
2025-06-24 cs.AI cs.DC
PipeMare: Asynchronous Pipeline Parallel DNN Training
SambaNova Systems（桑巴诺瓦系统公司）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
训练神经网络时的流水线并行（PP）使更大的模型能够在空间上进行分区，从而降低网络通信和整体硬件利用率。不幸的是，为了保持顺序训练的统计效率，现有的PP技术通过降低流水线利用率或招致额外的存储器成本来牺牲硬件效率。在本文中，我们调查在何种程度上这些牺牲是必要的。我们设计的PipeMare，一个简单而强大的训练方法，容忍在PP执行过程中的异步更新，而不牺牲利用率或内存，这允许有效地使用细粒度的流水线并行。具体来说，当在ResNet和Transformer网络上进行测试时，与最先进的同步PP训练技术相比，Apploy使PipeMare能够使用最多$2.7\times$更少的内存或获得$4.3\times$更高的管道利用率，同时具有类似的模型质量。
2020-02-09 cs.DC cs.LG stat.ML
Chimera: Efficiently Training Large-Scale Neural Networks with Bidirectional Pipelines
Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院）
本文提出同步双向流水线并行方案Chimera，最多减少50%流水线气泡并均衡激活内存，在2048个GPU上训练13亿参数GPT-2时吞吐量提升1.16至2.34倍。
2025-08-21 cs.DC cs.LG
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models
UC Berkeley（加州大学伯克利分校）；Duke University（杜克大学）
模型并行已经成为训练现代大规模深度语言模型的必要条件。在这项工作中，我们确定了一个新的和正交的维度，从现有的模型并行方法：它是可能的，以执行流水线并行在一个单一的训练序列基于transformer的语言模型由于其自回归属性。与以前的工作相比，这可以实现更细粒度的管道。基于这一核心思想，我们设计了一种高性能的令牌级流水线并行算法TeraPipe，用于基于transformer的语言模型的同步模型并行训练。我们开发了一种新的基于动态规划的算法来计算给定特定模型和集群配置的最优流水线执行方案。我们表明，与最先进的模型并行方法相比，TeraPipe可以将AWS集群上具有1750亿个参数的最大GPT-3模型的训练速度提高5.0倍，其中包含48个p3.16xlarge实例。复制代码可以在https://github.com/zhuohan123/terapipe上找到
2021-09-28 cs.CL cs.DC cs.LG
A communication-avoiding parallel algorithm for the symmetric eigenvalue problem
许多大规模的科学计算需要特征值求解器在缩放制度的效率是有限的数据移动。我们介绍了一个并行算法计算的密集对称矩阵的特征值，它执行渐近通信比以前已知的方法。我们提供了批量同步并行（BSP）模型的分析与本地内存和缓存之间的通信的额外考虑。给定足够的内存来存储对称矩阵的$c$副本，我们的算法需要$Θ(\sqrt{c})$少处理器间通信比以前已知的算法，任何$c\leq p^{1/3}$时，使用$p$处理器。该算法首先将稠密对称矩阵约简为具有相同特征值的带状矩阵。随后，该算法采用连续减少到$O(\log p)$更薄的带状矩阵。我们采用了两种新的并行算法，实现了较低的通信成本的全带和带到带的减少。这两种算法都利用了一种新的矩形矩阵QR分解算法。
2016-04-13 cs.DC cs.NA math.NA
EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization
本文介绍了进化优化代码EOS的主要特点，进化优化在Sapienza，它的成功应用于具有挑战性的，现实世界的空间轨迹优化问题。EOS是一种全局优化算法，用于求解实值变量的约束和无约束问题。它实现了一些著名的差分进化（DE）算法的改进，即自适应的控制参数，流行病机制，聚类技术，一个$\varepsilon$约束的方法来处理非线性约束，和一个同步岛模型来处理多个种群并行。研究结果表明，与现有的单种群自适应差分进化算法相比，该算法在求解高维空间或高约束空间的轨迹优化问题时具有更高的性能.
2020-07-13 cs.DC cs.NE math.OC
Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous Distributed Learning
Concordia University（康考迪亚大学）；Mila（米拉人工智能研究所）；Sorbonne University（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）；McGill University（麦吉尔大学）；Flatiron Institute（弗莱提荣研究所）；CNRS（法国国家科学研究中心）
使用反向传播的神经网络训练的一个常见的低效率是更新锁定问题：每一层在更新之前必须等待信号通过整个网络传播。已经提出了几种可以缓解这个问题的替代方案。在这种情况下，我们考虑一种基于最小反馈的简单替代方案，我们称之为解耦贪婪学习（DGL）。它是基于一个经典的贪婪松弛的联合训练目标，最近被证明是有效的卷积神经网络（CNN）的大规模图像分类的上下文中。我们考虑对这个目标进行优化，使我们能够解耦层训练，允许网络中的层或模块以潜在的线性并行化进行训练。使用一个重放缓冲区，我们表明，这种方法可以扩展到异步设置，模块可以操作，并继续更新可能会有很大的通信延迟。为了解决带宽和内存问题，我们提出了一种基于在线矢量量化的方法。这允许大幅减少模块之间的通信带宽和重放缓冲器所需的存储器。我们从理论上和经验表明，这种方法收敛，并比较它的顺序求解器。我们在CIFAR-10数据集和大规模ImageNet数据集上证明了DGL对替代方法的有效性。
2021-06-11 cs.DC cs.LG
A Closer Look at Codistillation for Distributed Training
Facebook AI Research（脸书人工智能研究院）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
共蒸馏被提出作为一种机制，通过鼓励它们通过辅助损失来表示相同的函数，从而在并发训练的模型之间共享知识。这与更常用的完全同步数据并行随机梯度下降方法形成对比，其中不同的模型副本在每次迭代时对其梯度（或参数）进行平均，从而保持相同的参数。我们调查共蒸馏在一个分布式的训练设置，补充以前的工作，专注于非常大的批量。令人惊讶的是，我们发现，即使在中等批量的情况下，用共蒸馏训练的模型也可以表现得和用同步数据并行方法训练的模型一样好，尽管使用了弱得多的同步机制。这些发现适用于一系列批量大小和学习率调度，以及不同类型的模型和数据集。然而，获得这种水平的准确性，需要适当考虑共蒸馏的正则化效应，我们强调通过几个经验观察。总体而言，这项工作有助于更好地了解共蒸馏，以及如何最好地利用它在分布式计算环境。
2021-07-26 cs.DC cs.LG math.OC
QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
本文提出 QSync 系统，通过双向混合精度敏感性预测、邻域感知成本估计和量化最小化分配，在异构训练与推理 GPU 上实现高效同步数据并行 DNN 训练。
2024-07-02 cs.DC cs.LG
DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
最先进的深度学习算法依赖于分布式训练系统来处理不断增加的模型和训练数据集。小批量随机梯度下降（SGD）算法要求工作者停止前向/反向传播，等待所有工作者聚集的梯度，并在下一批任务之前接收权重更新。这种同步执行模型暴露了分布式训练系统中大量工作者之间的梯度/权重通信的开销。我们提出了一个新的SGD算法，DaSGD（本地SGD与延迟平均），并行SGD和前/后传播隐藏100%的通信开销。该算法通过调整梯度更新机制，有效地利用了硬件资源，减少了对低延迟高吞吐量互连的依赖。理论分析和实验结果表明，该算法的收敛速度为O（1/sqrt（K）），与SGD算法相同。性能评估表明，它可以实现随集群大小的线性性能扩展。
2020-05-31 cs.DC cs.LG
Parallel Breadth-First Search on Distributed Memory Systems
数据密集型的、基于图的计算在一些科学应用中是普遍存在的，并且已知在分布式存储系统上实现是相当具有挑战性的。在这项工作中，我们探讨了设计空间的并行算法的宽度优先搜索（BFS），在几个图形算法的关键子程序。我们提出了两个高度调整的BFS在大型并行系统上的并行方法：一个水平同步策略，依赖于一个简单的基于顶点的分区的图形，和一个二维稀疏矩阵分区为基础的方法，减轻并行通信开销。对于这两种方法，我们还提出了与节点内多线程的混合版本。我们的新的混合二维算法减少了通信时间的3.5倍，相对于一个共同的顶点为基础的方法。我们的实验研究确定执行制度，这些方法将是有竞争力的，我们表现出极高的性能领先的分布式内存并行系统。例如，对于基于AMD Magny-Cours的系统Hopper上的40，000个核心并行执行，我们在具有43亿个顶点和687亿条边的无向图上实现了每秒178亿次边访问的BFS性能速率，其中边具有偏斜度分布。
2011-10-14 cs.DC cs.MS cs.PF
Asynch-SGBDT: Asynchronous Parallel Stochastic Gradient Boosting Decision Tree based on Parameters Server
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
针对传统GBDT在Parameter Server上同步并行无法充分利用资源的问题，提出异步并行算法asynch-SGBDT，实验证明其在满足高可扩展性要求时能实现线性加速。
2019-07-18 cs.DC cs.LG stat.ML
Automatic Cross-Replica Sharding of Weight Update in Data-Parallel Training
Google（谷歌）
在深度神经网络的数据并行同步训练中，不同的设备（副本）运行具有训练批次的不同分区的相同程序，但是权重更新计算在所有副本上重复，因为权重没有要分区的批次维度。这可能是具有大权重的典型语言模型以及具有小的每个副本批量大小（在大规模训练中是典型的）的模型的性能和可扩展性的瓶颈。本文提出了一种方法来自动分割的权重更新计算跨副本有效的通信原语和数据格式化，使用静态分析和转换的训练计算图。我们展示了这种技术在云TPU上的典型图像和语言模型上实现了实质性的加速，无需更改模型代码。这种技术有助于缩小传统昂贵（ADAM）和廉价（SGD）优化器之间的差距，因为它们只需要一小部分训练步骤时间，并且具有类似的峰值内存使用量。它帮助我们在Google的MLPerf 0.6提交中实现了最先进的培训性能。
2020-04-28 cs.DC cs.LG stat.ML
AMPNet: Asynchronous Model-Parallel Training for Dynamic Neural Networks
Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
正在开发和进入市场的新型机器学习硬件有望以与GPU一样深刻的方式彻底改变深度学习。然而，现有的用于深度学习的软件框架和训练算法尚未发展到完全利用新一波硅的能力。我们已经看到了现有算法的局限性，这些算法通过复杂的和依赖于实例的控制流来利用结构化输入，这就禁止了minimizing。我们提出了一个异步模型并行（AMP）的训练算法，是专门由互联设备的网络上的训练。通过在多核CPU上的实现，我们表明AMP训练在相似数量的时期内收敛到与传统同步训练算法相同的精度，但即使对于小的minibatch大小，也可以更有效地利用可用硬件，从而显着缩短整体训练时间。我们的框架为扩展一类新的深度学习模型打开了大门，这些模型目前无法有效训练。
2017-06-22 cs.AI cs.DC cs.LG
Parallel and distributed asynchronous adaptive stochastic gradient methods
随机梯度法（SGM）是训练深度学习模型的主要方法。自适应版本（例如，Adam和AMSGrad）在实践中得到了广泛的使用，部分原因是它们比非自适应版本实现了更快的收敛，同时产生的开销很少。另一方面，异步（异步）并行计算表现出显着更高的速度比同步（同步）对应。异步并行非自适应SGM已经在文献中从理论和实际性能的角度进行了很好的研究。自适应SGM也可以以并行方式实现，没有太大困难。然而，据我们所知，没有理论结果的并行自适应SGM已建立。自适应SGM的二阶矩项是自适应SGM分析的难点。在本文中，我们提出了一种基于AMSGrad的并行自适应SGM。我们表明，所提出的方法继承了收敛保证AMSGrad的凸和非凸问题，如果老化（也称为延迟）所造成的dupy是有界的。我们的收敛速度的结果表明，如果$τ=o(K^{\frac{1}{4}})$，其中$τ$是陈旧性和$K$是迭代次数接近线性的并行化加速。该方法在凸和非凸机器学习问题上进行了测试，数值结果表明其明显优于同步对应和并行非自适应SGM。
2022-04-13 cs.DC cs.NA math.NA
