Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对分布式深度学习中现有量化方案多与Allreduce不兼容、缺乏理论保证的问题，提出具备收敛理论保证的兼容Allreduce的Global-QSGD梯度量化方法，经多硬件环境实验验证可最高提升训练速度3.51%。
2025-07-29 cs.DC cs.LG stat.ML
Detached Error Feedback for Distributed SGD with Random Sparsification
University of Pittsburgh（匹兹堡大学）
通信瓶颈一直是大规模分布式深度学习中的关键问题。在这项工作中，我们研究了分布式SGD与随机块稀疏作为梯度压缩机，这是环allreduce兼容和高计算效率，但导致性能较差。为了解决这一重要问题，我们从一个新的方面，即方差和梯度的二阶矩之间的权衡，提高了通信效率的分布式SGD。基于这种动机，我们提出了一种新的分离式误差反馈（DEF）算法，该算法在非凸问题上显示出比误差反馈更好的收敛界。我们还提出了DEF-A在训练的早期阶段加速DEF的泛化，这表明了比DEF更好的泛化范围。此外，我们首次建立了通信高效的分布式SGD和具有平均值的SGD（SGD-IA）之间的联系。广泛的深度学习实验表明，在各种设置下，所提出的方法有显着的经验改进。
2022-06-13 cs.CV cs.LG stat.ML
Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs
Department of Computer Science, Wake Forest University（沃杰福大学计算机科学系）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
提出混合精度通信避免SGD（CA-SGD），通过分析有限精度误差将精度选择分解为九个独立部分，在NVIDIA GPU上实现5.1-6.8倍加速，且损失与FP32 SGD匹配。
2026-06-18 cs.DC cs.LG cs.NA
Configurable and Hierarchical Allreduce
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Temple University（天普大学）；Politecnico di Milano（米兰理工大学）
针对MPI_Allreduce中小消息场景的性能挑战，提出可配置分层Allreduce算法CHIARA，在Polaris等超算平台及并行k均值应用中实现显著加速。
2026-08-05 cs.DC
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销，例如仅在执行多个本地SGD步骤之后进行同步，以及分散式方法（例如，使用流言算法）来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快，后者在每次更新之前使用阻塞通信，但在相同数量的更新之后，生成的模型可能不太准确。受Chen & Huo（2016）的BMUF方法的启发，我们提出了一个慢动量（SlowMo）框架，其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明，相对于基本优化器，SlowMo始终在优化和泛化性能方面有所改进，即使在许多更新中分摊了额外的开销，使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明，SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示，我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling
Google（谷歌）；UC Irvine（加州大学欧文分校）；VMware Research（VMware研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；VMware
深度神经网络（DNN）训练中的参数聚合选择方法是一项网络密集型任务，受理论保证更好性能的启发，正在从参数服务器模型转向分散聚合方案（AllReduce）。然而，目前的AllReduce实现忽略了通信和计算的相互依赖性，导致显着的性能下降。在本文中，我们开发了Caramel，这是一个通过模型感知计算调度和AllReduce通信优化来加速分散式分布式深度学习的系统。Caramel通过（a）计算DAG调度来实现这一目标，该计算DAG调度为每个参数（传输边界）扩展了可行的传输窗口，以及（b）用于平滑负载的网络优化，包括参数传输的自适应优化和流水线化。Caramel保持了Refllow模型的正确性，是硬件独立的，并且不需要任何用户级或框架级的更改。我们在TensorFlow上实现了Caramel，并表明在云环境中DNN训练的迭代时间可以提高3.62倍。
2020-04-29 cs.DC cs.LG cs.NI
A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition
IBM Research（IBM研究院）
现代自动语音识别（ASR）系统依靠分布式深度学习来快速完成训练。为了实现有效的分布式训练，训练算法必须能够以大的小批量收敛。在这项工作中，我们发现，异步分散并行随机梯度下降（ADPSGD）可以工作在更大的批量比常用的同步SGD（SSGD）算法。在常用的公共SWB-300和SWB-2000 ASR数据集上，ADPSGD可以收敛到SSGD中使用的批量大小的3倍，从而实现更大规模的训练。此外，我们提出了一个层次的ADPSGD（H-ADPSGD）系统中，在同一个计算节点上的学习者通过快速allreduce实现构建一个超级学习者，和超级学习者部署ADPSGD算法之间。在通过100 Gb/s以太网连接的64个Nvidia V100 GPU集群上，我们的系统能够在5.2小时内训练SWB-2000，以达到在集线器5 -2000交换机（SWB）测试集上7.6%的WER和在呼叫中心（CH）测试集上13.2%的WER。据我们所知，这是最快的ASR训练系统，达到这个水平的模型准确性的SWB-2000任务是以往任何时候都在文献中报道。
2019-07-10 cs.DC cs.LG cs.SD
OptiReduce: Resilient and Tail-Optimal AllReduce for Distributed Deep Learning in the Cloud
提出OptiReduce云集合通信系统，利用DDL弹性处理近似或丢失梯度，通过自适应超时机制与Transpose AllReduce等策略平衡尾部性能与模型精度，在云环境中较Gloo和NCCL分别平均提升70%和30%的TTA。
2025-05-03 cs.DC cs.NI
AllReduce Scheduling with Hierarchical Deep Reinforcement Learning
提出基于分层深度强化学习的AllReduce调度方法，无需拓扑特定设计，在BCube、DCell和Jellyfish上优于基线，并开源仿真环境。
2025-03-26 cs.DC cs.NI
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
分布式随机梯度下降（SGD）方法在大规模深度学习中得到了广泛应用，梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而，AllReduce会占用大量带宽资源，而大多数梯度在许多情况下是稀疏的，因为许多梯度值为零，应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销，我们提出了稀疏草图还原器（S2还原器），一种新的基于草图的稀疏梯度聚合方法，具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本，并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明，S2 Reducer收敛到相同的精度，减少了81\%的稀疏通信开销，并实现了1.8 $ \times $的加速比相比，国家的最先进的方法。
2021-11-26 cs.AI cs.DC
SP-Allreduce: Symmetric Tree Schedules for Tori and Beyond
本文提出适用于d维环面及更广泛对称拓扑的SP-allreduce算法，其为完全带宽最优，轮数最少，在环面、HyperX等网络上较现有算法有显著性能提升。
2026-10-14 cs.DC
Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
University of Pittsburgh（匹兹堡大学）
分布式优化作为大规模样本模型训练的有效方法之一，得到了广泛的应用。然而，在大数据时代，大规模学习问题广泛存在，既有海量样本，又有高维特征。安全筛选是一种通过丢弃零系数的非活动特征来加速高维模型的流行技术。然而，现有的安全筛查方法仅限于序贯设置。本文提出了一种新的稀疏正则化模型的分布式动态安全筛选（DDSS）方法，并将其分别应用于共享内存和分布式内存结构，该方法在保证模型和数据集稀疏性的前提下，能够在保证精度的前提下显著提高计算速度.据我们所知，这是分布式安全动态筛选方法的第一项工作。理论上，我们证明了所提出的方法实现了线性收敛速度与较低的整体复杂度，可以消除几乎所有的非活动功能，在有限的迭代次数几乎肯定。最后，在基准数据集上的大量实验结果证实了我们提出的方法的优越性。
2022-04-23 cs.DC cs.LG stat.ML
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
CodedReduce: A Fast and Robust Framework for Gradient Aggregation in Distributed Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Southern California（南加利福尼亚大学）
我们专注于常用的同步梯度下降范式的大规模分布式学习，有越来越多的兴趣，开发高效和强大的梯度聚合策略，克服两个关键的系统瓶颈：通信带宽和掉队者的延迟。特别地，已经提出了Ring-AllReduce（RAR）设计，以通过允许每个工作者仅与布置在逻辑环中的其邻居通信来避免任何特定节点处的带宽瓶颈。另一方面，最近已经提出了梯度编码（GC），以减轻在主-工人拓扑中的掉队者，通过允许精心设计的冗余分配的数据集的工人。我们提出了一个联合通信拓扑设计和数据集分配策略，命名为CodedReduce（CR），结合了RAR和GC的优点。也就是说，它并行的树拓扑结构，导致有效的带宽利用率的通信，并仔细设计了一个冗余的数据集分配和编码策略的节点，使所提出的梯度聚合计划的强大的掉队者。特别是，我们量化的通信并行化增益和弹性的建议CR计划，并证明其最优性时，通信拓扑结构是一个规则的树。此外，我们的CR的预期运行时间的特点，并显示顺序明智的加速比基准计划。最后，我们通过Amazon EC2实证评估了我们提出的CR设计的性能，并证明它分别比基准GC和RAR实现了高达27.2倍和7.0倍的加速比。
2021-09-29 cs.DC cs.IT cs.LG
Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate
Nanjing University（南京大学）
多台机器集群的分布式稀疏学习在机器学习中引起了广泛关注，特别是对于具有高维数据的大规模应用。实现稀疏学习的一种流行方法是使用$L_1$正则化。在本文中，我们提出了一种新的方法，称为近端\mbox{SCOPE} ~（\mbox{pSCOPE}），分布式稀疏学习$L_1$正则化。pSCOPE基于\underline{c}操作性\underline{a}可操作性\underline{l}局部\underline{l}可操作性~（\mbox{CALL}）框架。在\mbox{pSCOPE}的\mbox{CALL}框架中，我们发现数据划分会影响学习过程的收敛性，因此我们定义了一个度量数据划分优劣的指标。基于定义的度量，我们从理论上证明了pSCOPE是收敛的线性收敛速度，如果数据划分是足够好的。我们还证明了更好的数据划分意味着更快的收敛速度。此外，pSCOPE还具有通信效率。在真实数据集上的实验结果表明，pSCOPE可以优于其他最先进的分布式稀疏学习方法。
2018-10-26 cs.LG stat.ML
Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach
Iowa State University（爱荷华州立大学）
随着机器学习（ML）的兴起和智能移动设备的激增，近年来人们对在无线边缘网络中执行ML的兴趣激增。在本文中，我们考虑共同提高分布式边缘学习的数据隐私和通信效率的问题，这两者都是无线边缘网络计算中的关键性能指标。为此，我们提出了一种新的分散随机梯度方法与稀疏差分高斯掩蔽随机梯度（SDM-DSGD）的非凸分布边缘学习。我们的主要贡献是三方面的：i）我们从理论上建立了我们的SDM-DSGD方法的隐私和通信效率的性能保证，它优于所有现有的工作; ii）我们表明，与现有技术相比，SDM-DSGD将基本的训练隐私权衡提高了{ \em两个数量级}。我们揭示了理论的见解，并提供实用的设计准则之间的相互作用的隐私保护和通信效率，两个相互冲突的性能目标。我们在MNIST和CIFAR-10数据集上使用各种学习模型进行了广泛的实验，以验证我们的理论发现。总的来说，我们的研究结果有助于分布式边缘学习的理论和算法设计。
2020-03-28 cs.CR cs.DC cs.LG
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
Global Momentum Compression for Sparse Communication in Distributed Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
针对DMSGD稀疏通信的带宽瓶颈，本文提出使用全局动量的GMC及其增强版GMC+，证明二者收敛性，并在non-IID设置下取得更高准确率与更快收敛。
2024-04-03 cs.LG stat.ML
Rina: Enhancing Ring-AllReduce with In-network Aggregation in Distributed Model Training
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Institute of Financial Technology, Fudan University（复旦大学金融科技研究院）；Pengcheng Laboratory（鹏城实验室）
针对PS架构incast问题和RAR长依赖链问题，提出将网络内聚合（INA）引入RAR的Rina框架，通过代理-工作者机制实现优异的增量部署能力和吞吐量提升，在同等硬件成本下较ATP吞吐量提升超50%。
2024-07-29 cs.AI cs.DC cs.NI
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
SparCML: High-Performance Sparse Communication for Machine Learning
将机器学习技术应用于科学和工业中快速增长的数据需要高度可扩展的算法。大型数据集通常是分布在许多节点上的“数据并行”处理。每个节点对整体梯度的贡献使用全局allreduce求和。这种allreduce是单一通信，因此是大多数机器学习工作负载的可扩展性瓶颈。我们经常观察到，许多梯度值（接近）为零，导致稀疏的稀疏通信。为了利用这一洞察力，我们分析，设计，并实现了一组通信高效的协议稀疏输入数据，结合高效的机器学习算法，可以利用这些原语。我们的通信协议通过允许进程贡献任意稀疏的输入数据向量来概括标准的集体操作。我们的通用通信库SparCML扩展了MPI以支持其他功能，例如非阻塞（异步）操作和低精度数据表示。因此，SparCML及其技术将成为未来高度可扩展的机器学习框架的基础。
2019-08-16 cs.DC stat.ML
Optimizing Network Performance for Distributed DNN Training on GPU Clusters: ImageNet/AlexNet Training in 1.5 Minutes
扩展深度神经网络（DNN）训练对于减少模型训练时间非常重要。高通信开销是多GPU分布式DNN训练的主要性能瓶颈之一。我们的调查表明，流行的开源DNN系统只能在56 Gbps网络连接的64个GPU上实现2.5的加速比。为了解决这个问题，我们提出了一个名为AdmisentFlow的通信后端，用于分布式DNN训练，并采用了一组网络优化技术。首先，我们将基于环的allreduce，混合精度训练和计算/通信重叠集成到ConcurrentFlow中。其次，我们提出了懒惰的allreduce通过融合多个通信操作到一个单一的，以提高网络吞吐量，并设计粗粒度稀疏通信，以减少网络流量，通过只传输重要的梯度块。当在512个GPU上训练ImageNet/AlexNet时，我们的方法实现了410.2的加速比，并在1.5分钟内完成了95个epoch的训练，优于现有的方法。
2019-10-22 cs.DC
Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce
State Key Laboratory of Reliability and Intelligence of Electrical Equipment（可靠性与智能电气设备国家重点实验室）；Hebei University of Technology（河北工业大学）
在配备加速器系统的大规模集群上训练大型深度学习模型是必然的。深度梯度压缩可以大大提高带宽利用率，加快训练过程，但难以在环形结构上实现。在本文中，我们发现冗余梯度和梯度老化对训练有负面影响。我们观察到，在不同的时期和不同的步骤，神经网络的重点是更新不同的层和不同的参数。为了节省更多的通信带宽，同时保持环结构的准确性，突破节点增加时的限制，提出了一种基于参数计算梯度与参数值之比大小的大规模集群环全归约梯度重要性度量算法。我们的重要性加权剪枝方法在AlexNet和ImageNet上分别实现了64倍和58.8倍的梯度压缩比。同时，为了保持梯度传播的稀疏性，我们在每个节点上随机广播重要梯度的索引。而其余节点准备好索引梯度并执行all-reduce更新。这将加快模型的收敛速度并保持训练精度。
2019-01-06 cs.DC cs.LG stat.ML
Trivance: Latency-Optimal AllReduce by Shortcutting Multiport Networks
Weizenbaum Institute（魏曾鲍姆研究所）；TU Berlin（柏林工业大学）；Purdue University（普渡大学）
Trivance是一种在log_3 n步内完成的延迟最优AllReduce算法，通过多端口网络减少拥堵并保持带宽最优性。
2026-07-13 cs.DC cs.NI
Scalable Distributed DNN Training using TensorFlow and CUDA-Aware MPI: Characterization, Designs, and Performance Evaluation
TensorFlow是最广泛采用的机器/深度学习框架。然而，文献中几乎没有提供对TensorFlow为需要大规模计算和通信的大型ML/DL模型的分布式训练提供的功能的全面理解。最常用的TF分布式训练方法可以分为以下几类：1）Google Remote Procedure Call（gRPC），2）gRPC+X：X=（InfiniBand Verbs，Message Passing Interface，GPUDirect RDMA），3）No-gRPC：Baidu Allreduce with MPI，Horovod with MPI，Horovod with NVIDIA NCCL。在本文中，我们对这些分布式训练方法在各种GPU集群上的性能进行了深入的表征和分析，包括Piz Daint系统（Top500排名第6）。我们进行实验以获得以下向量的新见解：1）DNN训练的应用级可扩展性，2）批量大小对扩展效率的影响，3）用于no-gRPC方法的MPI库的影响，以及4）DNN架构的类型和大小。基于这些实验，我们提出了两个关键的见解：1）总体而言，与大多数配置的基于gRPC的方法相比，No-gRPC设计实现了更好的性能，以及2）No-gRPC的性能受到使用Allreduce的梯度聚合的严重影响。最后，我们提出了一个真正的CUDA感知MPI Allreduce设计，利用CUDA内核和指针缓存，…
2018-10-25 cs.DC
BlueFog: Make Decentralized Algorithms Practical for Optimization and Deep Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Inc.（谷歌公司）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
分散式算法是一种通过依赖于直接连接的代理之间的低成本通信的局部动态来实现全局目标的计算形式。在涉及分布式数据集的大规模优化任务中，分散式算法表现出比具有中心节点的分布式算法更强，有时更优越的性能。最近，开发用于深度学习的分散算法引起了极大的关注。它们被认为是使用参数服务器或Ring-Allreduce协议的低通信开销替代方案。然而，由于缺乏一个易于使用和有效的软件包，大多数分散算法仅仅停留在纸面上。为了填补这一空白，我们引入了BlueFog，这是一个Python库，用于各种分散算法的简单，高性能实现。基于对各种通信操作的统一抽象，BlueFog提供了直观的界面来实现一系列分散式算法，从使用静态无向图进行同步操作的算法到使用动态有向图进行异步操作的算法。BlueFog还采用了几种系统级加速技术，以进一步优化深度学习任务的性能。在主流DNN训练任务中，BlueFog达到了更高的吞吐量，并实现了比Horovod更高的$1.2\times \sim 1.8\times$整体加速，Horovod是一种基于Ring-Allreduce的最先进的分布式深度学习包。BlueFog在https://github.com/Bluefog-Lib/bluefog上是开源的。
2021-11-08 cs.DC cs.LG
DualColl: Throughput-Optimal Bandwidth-Bound Collective Communications via Fractional Tree Packing
Technion – Israel Institute of Technology（以色列理工学院）
DualColl针对带宽受限的AllReduce，采用乘权算法与最小代价集体树预言机，实现吞吐量至少为最优值(1-ε)²倍的调度，还扩展框架至多种路由与网络场景及多集体操作。
2026-10-14 cs.DC cs.DS cs.NI
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute（应用人工智能研究所）
本文提出Rennala NIGT和Malenia NIGT算法，通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率，理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
dPRO: A Generic Profiling and Optimization System for Expediting Distributed DNN Training
University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
使用多个设备的分布式训练（例如，GPU）已被广泛用于在大型数据集上学习DNN模型。然而，大规模分布式训练的性能在实践中往往远离线性加速。考虑到分布式系统的复杂性，当出现意外的低训练速度时，识别效率低下的根本原因并进行有效的性能优化是具有挑战性的。到目前为止，还没有软件工具可以诊断性能问题并帮助加快分布式DNN训练，而训练可以使用不同的深度学习框架运行。本文提出了一个工具包dPRO，它包括：（1）一个高效的profiler，它可以收集跨多个框架的分布式DNN训练的运行时痕迹，特别是细粒度的通信痕迹，并构建全局数据流图，包括详细的通信操作，以便准确回放;（2）有效识别性能瓶颈并探索优化策略的优化器（从计算、通信和存储器方面）用于训练加速。我们在多个深度学习框架（TensorFlow，MXNet）和代表性的通信方案（AllReduce和Parameter Server）上实现了dPRO。广泛的实验表明，dPRO在大多数情况下都能预测各种设置下的分布式训练性能，误差小于5%，并找到比基线速度提高3.48倍的优化策略。
2022-05-18 cs.DC cs.LG cs.PF
Collective Communication for Distributed LLM Systems: Planning, Runtime Adaptation, and Computation Coordination
School of Software, Beihang University（北京航空航天大学软件学院）；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学互联网架构国家重点实验室）；Infrawaves（英伟拉维斯）
本文提出以集体为中心的分类法，将分布式LLM系统集体通信进展分为规划、执行适配、计算通信协调三层，探讨相关开放挑战与未来机遇。
2026-08-18 cs.DC
SignMuon: Communication-Efficient Distributed Muon Optimization
Microsoft（微软公司）；IIIT Hyderabad（Hyderabad印度理工学院）
本文提出Sign-Muon优化器，结合signSGD的符号聚合与Muon的极步框架，通过矩阵感知的1位优化方法，在减少通信开销的同时提升训练效率，实验表明其在多个数据集上均取得最佳性能。
2026-10-20 cs.DC cs.LG
Robust Fully-Asynchronous Methods for Distributed Training over General Architecture
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Amazon（亚马逊公司）
提出鲁棒全异步随机梯度跟踪方法R-FAST，通过辅助变量消除数据异构性并容忍丢包，利用双生成树实现灵活通信，收敛速度比同步基准快1.5-2倍且精度相当。
2024-07-29 cs.DC cs.LG
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
Optimizing Distributed ML Communication with Fused Computation-Collective Operations
针对分布式机器学习中集合通信位于关键路径且难以隐藏延迟的问题，提出融合计算与依赖集合通信的 GPU 内核方法，实现通信与计算重叠，显著降低 DLRM 等模型执行时间。
2024-04-23 cs.AR cs.DC
Sparse Distributed Learning Based on Diffusion Adaptation
Sapienza University of Rome（罗马大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了扩散LMS策略，用于自适应网络的分布式估计，能够利用底层系统模型中的稀疏性。该方法依赖于压缩感知中常见的凸正则化，通过网络上的扩散过程来增强稀疏性的检测。由此产生的算法赋予网络学习能力，并允许它们实时从传入数据中学习稀疏结构，并跟踪模型稀疏度的变化。我们提供的收敛性和均方性能分析所提出的方法，并显示在什么条件下，它优于非正则扩散版本。我们还展示了如何自适应地选择正则化参数。仿真结果表明，所提出的滤波器的稀疏数据恢复的优势。
2012-11-12 cs.DC cs.LG
Learned Gradient Compression for Distributed Deep Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec
在包含高维数据的大型数据集上训练深度神经网络需要大量的计算。这个问题的一个解决方案是数据并行分布式训练，其中模型被复制到几个可以访问不同数据块的计算节点中。然而，这种方法需要高的通信速率和延迟，因为计算的梯度需要在每次迭代时在节点之间共享。在节点之间存在无线通信的情况下（即，由于有限的网络带宽），该问题变得更加明显。为了解决这个问题，已经提出了各种压缩方法，包括稀疏化、量化和梯度的熵编码。现有方法利用节点内信息冗余，即它们独立地压缩每个节点处的梯度。相反，我们主张跨节点的梯度是相关的，并提出了利用这种节点间冗余来提高压缩效率的方法。根据节点通信协议（参数服务器或环allreduce），我们提出了两个实例的LGC方法，我们硬币学习梯度压缩（LGC）。我们的方法利用自动编码器（即在分布式训练的第一阶段进行训练）来捕获分布式节点梯度中存在的共同信息。我们已经使用不同的卷积神经网络（ResNet50，ResNet101，PSPNet）和多个数据集（ImageNet，Cifar10，CamVid）在图像分类和语义分割任务上测试了我们的LGC方法。在Cifar 10上训练的用于图像分类的ResNet 101模型达到了93.57%的准确率，这比使用未压缩梯度的基线分布式训练仅低0.18%。
2021-03-17 cs.AI cs.DC cs.LG
Performance Analysis and Comparison of Distributed Machine Learning Systems
近年来，深度学习已经渗透到计算/处理系统的许多方面。虽然采用分布式训练架构/框架来快速训练大型深度学习模型，但尚未系统地研究这些架构的通信瓶颈及其对计算周期时间和可扩展性的影响。为了分析深度学习模型的同步随机梯度下降（SGD）训练的这个问题，我们开发了三种不同系统架构下的计算时间和通信延迟的性能模型：参数服务器（PS），点对点（P2P）和环所有减少（RA）。为了用定量结果补充和证实我们的分析模型，我们通过使用Tensorflow和Horovod框架进行的实验评估了这些系统架构的计算和通信性能。我们发现系统架构对训练的表现有非常显著的影响。基于RA的系统实现了可扩展的性能，因为它们成功地将网络使用与系统中的工人数量解耦。相比之下，1 PS系统由于参数服务器侧的网络拥塞而遭受低性能。虽然P2P系统比1 PS系统更好，但它们仍然遭受严重的网络瓶颈。最后，RA系统还因计算时间和通信时间重叠而表现出色，这是PS和P2P架构无法实现的。
2019-09-04 cs.DC
SparDL: Distributed Deep Learning Training with Efficient Sparse Communication
College of Computer Science, Zhejiang University（浙江大学计算机学院）
针对分布式深度学习Top-k稀疏化中的稀疏梯度累积困境，提出SparDL框架，通过Spar-Reduce-Scatter、Spar-All-Gather和全局残差收集算法实现高效稀疏通信与快速收敛。
2024-02-23 cs.DC cs.LG
NEST: Network- and Memory-Aware Device Placement For Distributed Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）
提出NEST框架，通过结构化动态规划统一模型并行、拓扑建模和内存可行性，在多种硬件和网络上实现高达2.43倍的吞吐量提升。
2026-05-24 cs.DC cs.LG stat.ML
Distributed-Memory Sparse Kernels for Machine Learning
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
采样稠密时间稠密矩阵乘法（SDDMM）和稀疏时间稠密矩阵乘法（SpMM）出现在不同的设置中，如协同过滤，文档聚类和图嵌入。通常，SDDMM输出成为后续SpMM操作的输入稀疏矩阵。现有的工作集中在共享内存并行这些原语。虽然已经有广泛的分析，通信最小化分布式1.5D算法的SpMM，没有这样的分析存在SDDMM或背靠背序列的SDDMM和SpMM，称为融合MM。我们发现，分布式存储器1.5D和2.5D算法的SpMM可以转换为算法SDDMM具有相同的通信成本和输入/输出数据布局。此外，我们给出了两个通信省略策略，以进一步降低成本的FusionMM内核：要么重用SDDMM和SpMM的输入稠密矩阵的复制顺序，或融合本地SDDMM和SpMM内核。我们基准测试FusedMM算法Cori，Cray XC 40在LBNL，使用Erdos-Renyi随机矩阵和大型现实世界的稀疏矩阵。在256个节点上，每个节点有68个内核，与依次执行分布式内存SpMM和SDDMM内核相比，使用任何一种通信省略方法的1.5D FusedMM算法可以节省至少30%的通信时间。在具有数亿条边的真实矩阵上，我们所有的算法都比PETSc中的SpMM算法至少有10倍的加速。在这些矩阵上，我们的通信省略技术的运行时间比未优化的SDDMM和SpMM序列快1.6倍。我们嵌入和测试我们的算法在现实世界中的应用，包括协同过滤通过交替最小二乘法和…
2022-03-18 cs.DC cs.LG
ScaleAcross: Designing Multi-Data-Center Infrastructure for Geo-Distributed AI Training
Indian Institute of Technology Indore（印度印多尔理工学院）；Indian Institute of Technology Jodhpur（印度焦特布尔理工学院）
本文提出一个基于EVPN-VXLAN的可扩展仿真框架，用于研究地理分布式AI训练中的同步密集型通信和跨站点数据交换问题，通过ECMP、BFD和队列对感知流量分配机制提升性能。
2026-06-12 cs.DC cs.ET cs.NI
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题，本文提出新技术ACOWA，通过增加一轮通信在略微增加运行时间下显著提升近似质量，在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
SpDISTAL: Compiling Distributed Sparse Tensor Computations
我们介绍SpDISTAL，稀疏张量代数的编译器，目标是分布式系统。SpDISTAL结合了张量代数表达式、稀疏数据结构、数据分布和计算分布的单独描述。因此，它使得稀疏张量代数表达式的分布式执行具有各种各样的稀疏数据结构和数据分布。SpDISTAL作为一个C++库实现，目标是基于任务的分布式运行时系统，可以为具有多核CPU和多个GPU的节点生成代码。SpDISTAL生成的分布式代码可以与特定稀疏张量代数表达式的手写分布式函数竞争性能，并且性能优于基于一般解释的系统一到两个数量级。
2022-07-28 cs.DC cs.PL
Distributed Averaging in the presence of a Sparse Cut
我们考虑一个图的平均问题，该图有一个稀疏的切割分离两个内部连通良好的子图。虽然已经有大量的工作致力于分布式平均算法，几乎所有的算法只涉及{ \it凸}更新。在本文中，我们建议{ \it非凸}更新可以导致显着的改善。我们这样做，展示一个分散的算法，图与一个稀疏的削减，使用非凸平均值，并具有平均时间，可以显着小于平均时间的已知分布式算法，如\cite{tsitsiklis, Boyd}。我们使用随机优势来证明这一结果的方式，可能是独立的利益。
2008-04-30 cs.DC
A sparsity-aware distributed-memory algorithm for sparse-sparse matrix multiplication
提出一种分布式内存1D SpGEMM算法，利用MPI RDMA和块获取策略降低通信成本，在多种配置下优于CombBLAS中的2D和3D实现。
2024-08-26 cs.DC
MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
Microsoft（微软）
本文提出MTraining方法，通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题，实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K，并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。
2026-05-19 cs.CL cs.DC cs.LG
Efficient Distributed Transposition Of Large-Scale Multigraphs And High-Cardinality Sparse Matrices
基于图形的表示是广泛的科学问题的基础。图形连接通常表示为压缩稀疏行格式的稀疏矩阵。大规模图依赖于分布式存储，将不同的行子集分配给计算节点。高效的矩阵转置是一个非常重要的操作，它提供了反向图路径和列有序矩阵视图。对于简单的图模型，这种操作已经得到了很好的研究。然而，它的解决方案的多重图和更高的基数连接矩阵是不存在的。我们先进的最先进的分布式换位方法，提供了一个理论模型，算法的细节，基于MPI的实现和证明这样复杂的模型的数学合理性。基准测试结果分别证明了完美平衡和异质平衡数据集的理想和几乎理想的缩放特性
2020-12-10 cs.DC
Distributed-Memory Parallel Algorithms for Sparse Matrix and Sparse Tall-and-Skinny Matrix Multiplication
针对稀疏矩阵与高瘦矩阵乘法（TS-SpGEMM）的性能瓶颈，提出一种基于定制1D划分和稀疏感知分块的分布式内存算法，结合本地与远程计算降低通信开销，较2D和3D SUMMA平均提升5倍性能，并在512节点上验证了多源广度优先搜索等应用的可扩展性。
2024-08-21 cs.DC
Cloud Collectives: Towards Cloud-aware Collectives forML Workloads with Rank Reordering
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Facebook AI（脸书人工智能研究院）
ML工作负载在云中越来越受欢迎。良好的云训练性能取决于VM之间的有效参数交换。我们发现，由于数据中心网络的分层拓扑结构和云计算的多租户性质，广泛使用的分布式通信算法Collectives无法实现最佳的开箱即用性能。在本文中，我们提出了Cloud Collectives，一个原型，通过重新排序参与VM的队列来加速集体，使得由所选集体操作决定的通信模式最好地利用Collectives是非侵入性的，不需要更改代码或重建现有应用程序，并且在没有云提供商支持的情况下运行。我们在公共云中的allreduce操作上初步应用Cloud Collectives，在多个微基准测试中实现了高达3.7倍的加速，在使用最先进的框架进行深度神经网络和梯度提升决策树分布式训练的真实工作负载中实现了1.3倍的加速。
2021-05-28 cs.AI cs.DC cs.NI
Flexible Communication for Optimal Distributed Learning over Unpredictable Networks
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对分布式深度学习中通信成本与精度、效率的权衡问题，提出兼容Allreduce的带宽最优Topk压缩器及AG/AR灵活切换策略，通过多目标优化动态调压缩比，在不可预测网络下实现高精度与训练加速的平衡。
2024-01-29 cs.AI cs.CV cs.DC
Distributed Bayesian Piecewise Sparse Linear Models
NEC System Platform Research Laboratories（NEC系统平台研究所）；NEC Data Science Research Laboratories（NEC数据科学研究所）
由于新兴的企业预测分析、数据隐私的威胁、人工智能在社会中的责任等，机器学习模型的可解释性的重要性日益增加。它们通常会产生与最先进的非线性方法相比具有竞争力的准确性。此外，他们的陈述（即，基于规则的分割加上稀疏线性公式）通常被领域专家所偏好。然而，这样的模型的一个缺点是，同时确定的“件”和基数的每个线性预测，这限制了它们的适用性中等规模的数据集的计算成本高。提出了一种基于分布式存储结构的分段稀疏线性模型学习的分布式因子分解渐近贝叶斯（FAB）推理方法。分布式FAB推理解决了同时模型选择问题，而无需传送$O(N)$数据，其中N是训练样本的数量，并实现了相对于CPU核数量的线性横向扩展。实验结果表明，分布式FAB推理具有较高的预测精度和性能的可扩展性与合成和基准数据。
2017-11-07 cs.AI cs.DC cs.LG
Deterministic Distributed Sparse and Ultra-Sparse Spanners and Connectivity Certificates
本文提出了有效的分布式算法的一些基本问题，在该地区的图稀疏：我们提供了第一个确定性的分布式算法，计算超稀疏的$\textrm{polylog}(n)$轮加权图。具体地说，我们的算法输出的生成子图只有$n+o(n)$边，其中的成对距离拉伸的一个因素，最多$O(\log n \;\cdot\; 2^{O(\log^* n)})$。我们提供了一个$\textrm{polylog}(n)$轮确定性分布式算法，计算一个拉伸$(2k-1)$和$O(nk + n^{1 + 1/k} \log k)$边在未加权图和$O(n^{1 + 1/k} k)$边在加权图的顶点。我们提出了第一个$\textrm{polylog}(n)$轮随机分布式算法，计算稀疏连接证书。对于$n$ -节点图$G$，用于连通性的证书$k$是$k$ -边连通的生成子图$H$当且仅当$G$是$k$-边连通的，并且如果该子图具有$O(nk)$边，则该子图$H$被称为稀疏的。我们的算法实现了稀疏的$(1 + o(1))nk$边缘，这是一个$2(1 + o(1))$因素的最佳可能。
2022-09-23 cs.DC cs.DS
