Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce
State Key Laboratory of Reliability and Intelligence of Electrical Equipment(可靠性与智能电气设备国家重点实验室);Hebei University of Technology(河北工业大学)
在配备加速器系统的大规模集群上训练大型深度学习模型是必然的。深度梯度压缩可以大大提高带宽利用率,加快训练过程,但难以在环形结构上实现。在本文中,我们发现冗余梯度和梯度老化对训练有负面影响。我们观察到,在不同的时期和不同的步骤,神经网络的重点是更新不同的层和不同的参数。为了节省更多的通信带宽,同时保持环结构的准确性,突破节点增加时的限制,提出了一种基于参数计算梯度与参数值之比大小的大规模集群环全归约梯度重要性度量算法。我们的重要性加权剪枝方法在AlexNet和ImageNet上分别实现了64倍和58.8倍的梯度压缩比。同时,为了保持梯度传播的稀疏性,我们在每个节点上随机广播重要梯度的索引。而其余节点准备好索引梯度并执行all-reduce更新。这将加快模型的收敛速度并保持训练精度。
2019-01-06 cs.DC cs.LG stat.ML
Scalable Distributed DNN Training using TensorFlow and CUDA-Aware MPI: Characterization, Designs, and Performance Evaluation
TensorFlow是最广泛采用的机器/深度学习框架。然而,文献中几乎没有提供对TensorFlow为需要大规模计算和通信的大型ML/DL模型的分布式训练提供的功能的全面理解。最常用的TF分布式训练方法可以分为以下几类:1)Google Remote Procedure Call(gRPC),2)gRPC+X:X=(InfiniBand Verbs,Message Passing Interface,GPUDirect RDMA),3)No-gRPC:Baidu Allreduce with MPI,Horovod with MPI,Horovod with NVIDIA NCCL。在本文中,我们对这些分布式训练方法在各种GPU集群上的性能进行了深入的表征和分析,包括Piz Daint系统(Top500排名第6)。我们进行实验以获得以下向量的新见解:1)DNN训练的应用级可扩展性,2)批量大小对扩展效率的影响,3)用于no-gRPC方法的MPI库的影响,以及4)DNN架构的类型和大小。基于这些实验,我们提出了两个关键的见解:1)总体而言,与大多数配置的基于gRPC的方法相比,No-gRPC设计实现了更好的性能,以及2)No-gRPC的性能受到使用Allreduce的梯度聚合的严重影响。最后,我们提出了一个真正的CUDA感知MPI Allreduce设计,利用CUDA内核和指针缓存,…
2018-10-25 cs.DC
Optimizing Distributed ML Communication with Fused Computation-Collective Operations
针对分布式机器学习中集合通信位于关键路径且难以隐藏延迟的问题,提出融合计算与依赖集合通信的 GPU 内核方法,实现通信与计算重叠,显著降低 DLRM 等模型执行时间。
2024-04-23 cs.AR cs.DC
Characterizing the Performance of Node-Aware Strategies for Irregular Point-to-Point Communication on Heterogeneous Architectures
超级计算机体系结构由于包含异构计算节点而趋向于更高的计算吞吐量。这些多GPU节点提高了节点上的计算效率,同时也增加了要传输的数据量和潜在数据流路径的数量。在这项工作中,我们通过性能建模的异构计算环境中的MPI不规则的点对点通信的性能特征,展示了设备感知和分级通过主机通信技术的标准通信策略的局限性。提出的模型建议通过主机进程,然后使用节点感知的通信策略,高节点间的消息计数进行通信数据。值得注意的是,这些模型还预测,当与大量节点进行通信时,利用所有可用的CPU内核来通信节点间数据的节点感知通信会导致最高性能的策略。模型验证是通过分布式稀疏矩阵向量产品的不规则点对点通信模式的案例研究。重要的是,我们包括一个讨论的影响模型预测的通信策略设计新兴的超级计算机架构。
2022-09-13 cs.DC
BlueFog: Make Decentralized Algorithms Practical for Optimization and Deep Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Inc.(谷歌公司);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
分散式算法是一种通过依赖于直接连接的代理之间的低成本通信的局部动态来实现全局目标的计算形式。在涉及分布式数据集的大规模优化任务中,分散式算法表现出比具有中心节点的分布式算法更强,有时更优越的性能。最近,开发用于深度学习的分散算法引起了极大的关注。它们被认为是使用参数服务器或Ring-Allreduce协议的低通信开销替代方案。然而,由于缺乏一个易于使用和有效的软件包,大多数分散算法仅仅停留在纸面上。为了填补这一空白,我们引入了BlueFog,这是一个Python库,用于各种分散算法的简单,高性能实现。基于对各种通信操作的统一抽象,BlueFog提供了直观的界面来实现一系列分散式算法,从使用静态无向图进行同步操作的算法到使用动态有向图进行异步操作的算法。BlueFog还采用了几种系统级加速技术,以进一步优化深度学习任务的性能。在主流DNN训练任务中,BlueFog达到了更高的吞吐量,并实现了比Horovod更高的$1.2\times \sim 1.8\times$整体加速,Horovod是一种基于Ring-Allreduce的最先进的分布式深度学习包。BlueFog在https://github.com/Bluefog-Lib/bluefog上是开源的。
2021-11-08 cs.DC cs.LG
Stochastic Gradient Push for Distributed Deep Learning
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
分布式数据并行算法旨在通过跨多个节点并行计算大型小批量梯度更新来加速深度神经网络的训练。使用精确的分布式平均来同步节点的方法(例如,通过AllReduce)对离散者和通信延迟敏感。PushSum gossip算法对这些问题是鲁棒的,但仅执行近似的分布平均。本文研究了随机梯度推送算法(SGP),它将PushSum算法与随机梯度更新算法相结合.我们证明了SGP收敛到平稳点的光滑,非凸目标在相同的次线性率SGD,所有节点实现共识。我们在图像分类(ResNet-50,ImageNet)和机器翻译(Transformer,WMT'16 En-De)工作负载上实证验证了SGP的性能。我们的代码将公开提供。
2019-05-14 cs.AI cs.DC cs.LG
TAPS: Topology-Aware Intra-Operator Parallelism Strategy Searching Algorithm for Deep Neural Networks
TAPS是一种拓扑感知的算子内并行策略搜索算法,它通过考虑节点内和节点间带宽来生成算子内并行策略。大多数现有的自动并行工作直接使用的通信量作为通信成本时,产生的策略,我们证明是次优的多节点的情况下。我们设计了一个拓扑感知的成本模型,多节点的运营商内并行策略搜索。数值实验表明,TAPS可以产生的策略,高达85%的通信成本减少,这优于最新的基线。
2023-01-11 cs.DC
Malicious node aware wireless multi hop networks: a systematic review of the literature and recommendations for future research
本文系统综述了无线多跳网络中恶意节点检测方法,按网络类型分类比较现有方案,并针对集中式管理缺失导致的丢包和性能下降问题提出未来研究方向。
2025-06-06 cs.DC
Topology-Aware Node Selection for Data Regeneration in Heterogeneous Distributed Storage Systems
分布式存储系统引入冗余来保护数据免受节点故障的影响。存储节点发生故障后,应尽快在替换存储节点上重新生成丢失的数据,以保持相同的冗余级别。最小化这种再生时间对于分布式存储系统的可靠性至关重要。现有的工作致力于通过最小化再生流量或调整再生流量模式来减少再生时间,而参与数据再生的节点通常被假定为预先给定的。然而,这样的再生时间也很大程度上取决于参与节点的选择。选择不同的参与节点实际上涉及节点之间不同的数据链路。现实世界的分布式存储系统通常表现出异构链路容量。通过利用这种链路容量差异并避免链路瓶颈,可以进一步减少再生时间。在本文中,我们考虑的再生时间最小化通过选择参与节点在异构网络。我们分析了再生时间,并提出节点选择算法的覆盖网络和现实世界的拓扑结构。考虑到来自每个提供商的灵活的数据块量可能会深刻影响再生时间,设计了几种技术来增强我们的方案在覆盖网络。实验结果表明,我们的节点选择方案可以显着减少再生时间为每个拓扑结构,特别是在实际的网络与异构链路容量。
2015-06-18 cs.DC
Performance Analysis and Optimal Node-Aware Communication for Enlarged Conjugate Gradient Methods
Krylov方法是求解大型稀疏线性方程组的一种重要方法,但在分布式存储机器上的可扩展性较差。这是由于大量集体通信调用的高同步成本以及低计算工作量。扩大的Krylov方法通过减少收敛的总迭代来解决这个问题,这是分裂初始残差并导致对块向量的操作的伪像。在本文中,我们提出了一个扩大的Krylov方法,扩大共轭向量(ECG)的性能研究,注意到块向量的并行性能的影响。最值得注意的是,我们观察到由于稀疏矩阵块向量乘法内核中的消息更密集,点对点通信的开销增加了。此外,我们提出的模型来分析预期的性能的心电图,以及,激励设计决策。最重要的是,我们引入了一种新的点对点通信方法,基于节点感知的通信技术,提高了该方法的效率。
2022-03-11 cs.DC
SpotVista: Availability-Aware Recommendation System for Reliable and Cost-Efficient Multi-Node Spot Instances
Hanyang University(汉阳大学)
SpotVista利用公开数据集推荐可靠且成本高效的多节点Spot实例,通过分析多节点可用性行为建立推荐方法,在多区域设置中实现81.28%的可用性提升和2.84%的成本节约。
2026-04-27 cs.DC
Resource-aware Sub-network Allocation for Heterogeneous Decentralized Learning
KTH Royal Institute of Technology(皇家理工学院)
针对同步去中心化学习受系统异质性限制的问题,提出RASA-DL框架,通过二分搜索分配实现资源感知子网络部署,在不同异质性下提升了精度-延迟权衡表现。
2026-10-16 cs.DC
Optimizing Distributed Tensor Contractions using Node-Aware Processor Grids
本文提出节点感知处理器网格以减少分布式张量缩并的节点间通信,并在 CTF 中实现,显著提升矩阵乘法及耦合簇计算性能。
2023-07-17 cond-mat.mtrl-sci cs.DC
Node Aware Sparse Matrix-Vector Multiplication
稀疏矩阵向量乘(SpMV)运算是许多仿真和线性求解器中的关键计算内核。与并行SpMV的参考实现相关联的大的通信要求导致差的并行可扩展性。通信成本取决于发送和接收进程的物理位置:注入网络的消息比在同一节点上的进程之间发送的消息成本更高。在本文中,一个节点感知并行SpMV(NAPSpMV)被引入到利用系统拓扑结构的知识,特别是节点处理器的布局,以减少与通信相关的成本。输入向量的值被重新分配,以最小化在SpMV期间注入网络的消息的数量和大小,从而降低通信成本。各种计算实验,突出了这种方法的效率。
2017-11-15 cs.DC cs.MS
Communication-Aware Qubit Placement and Automatic Node-Count Allocation for Distributed State-Vector Simulation
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC));Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学-巴塞罗那理工(UPC))
针对分布式量子电路模拟中节点间通信开销大的问题,提出通信感知的量子比特布局优化框架,集成于QuCSLO库,支持动态节点分配,在合成与真实基准上实现超2倍加速。
2026-11-02 cs.DC cs.ET
A Coverage-Aware Distributed k-Connectivity Maintenance Algorithm for Arbitrarily Large k in Mobile Sensor Networks
移动传感器网络是移动机器人技术与无线传感器网络相互作用的产物。MSN可以部署在恶劣的环境中,其中某些节点的故障可以将MSN划分为断开的网段或减少覆盖区域。一个k-连通网络可以容忍至少k-1个任意节点失效而不失去连通性。在这项研究中,我们提出了一个覆盖感知分布式k-连通性维护(恢复)算法,产生最小成本的运动后,节点故障,以保持一个持久的k值受覆盖保护标准的活动节点。该算法接受一个覆盖保存率(作为覆盖和运动之间的权衡参数),并根据该值促进所生成的运动的覆盖。大量的仿真和测试床实验表明,该算法恢复k-连通性比现有的恢复算法更有效。此外,我们的算法可以用来保持k-连接,而不会牺牲覆盖范围,显着。
2021-04-06 cs.DC cs.NI
CRAFT: Latency and Cost-Aware Genetic-Based Framework for Node Placement in Edge-Fog Environments
本文提出CRAFT框架,基于遗传算法优化边缘-雾环境中的节点放置,以最小化延迟和成本,仿真显示延迟降低2.77%、成本降低31.15%。
2025-07-16 cs.AR cs.DC cs.NI
Demand-Aware Network Design with Steiner Nodes and a Connection to Virtual Network Embedding
本文研究需求感知有界度网络设计,引入Steiner节点增强模型,分析其复杂性及与虚拟网络嵌入的联系,提出常数因子近似算法和高性能启发式方法,并经数据中心真实流量验证有效。
2023-08-21 cs.DC cs.DS cs.NI
Reducing Communication in Algebraic Multigrid with Multi-step Node Aware Communication
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种并行多重网格方法,通过优化节点内通信减少通信开销,从而提升算法的弱标度和强标度性能。
2019-04-24 cs.DC cs.MS cs.NA
Optimal Energy-Aware Epidemic Routing in DTNs
University of Pennsylvania(宾夕法尼亚大学)
本文研究了在能量受限的延迟容忍网络中流行路由的应用,通过动态能量依赖最优控制问题,分析能量节约与服务质量的权衡,并证明在均场条件下,最优转发决策具有基于阈值的结构。
2015-06-02 cs.DC cs.NI cs.SY