MeshReduce-U: Compiler-Guided Communication Reduction for Irregular Neural Reductions on Mesh NoCs
University of Tehran(德黑兰大学)
MeshReduce-U是面向Mesh NoC空间加速器的编译器引导式通信缩减与路由框架,通过结构重写减少神经归约通信开销,在各类工作负载上显著降低延迟与链路利用率。
2026-08-28 cs.AR cs.DC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.(超威半导体公司)
针对BSP模型在非规则负载下的通信瓶颈,提出结合LCI和OpenMP的多线程细粒度异步BSP方法,通过细粒度零拷贝主动消息实现计算通信重叠,在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
Improving Federated Learning Communication Efficiency with Global Momentum Fusion for Gradient Compression Schemes
联邦学习中的通信成本阻碍了系统从更多客户端获取更多数据的可扩展性。拟议的FL采用轴辐式网络拓扑结构。所有客户端都通过中央服务器进行通信。因此,已经提出了通过诸如数据压缩的技术来减少通信开销以缓解该问题。联邦学习的另一个挑战是不平衡的数据分布,在典型的联邦学习设置中,每个客户端上的数据不是独立和相同分布的(非IID)。在本文中,我们提出了一种新的压缩补偿方案,称为全球动量融合(GMF),减少FL客户端和服务器之间的通信开销,并保持可比的模型精度在非IID数据的存在。GitHub资源库:https://github.com/tony92151/global-momentum-fusion-fl
2022-11-17 cs.DC
Improving Communication Patterns in Polyhedral Process Networks
嵌入式系统的性能受到功耗的限制。趋势是将贪婪计算卸载到GPU、Xeon Phi或FPGA等硬件加速器上。FPGA芯片结合了可编程芯片的灵活性和专用硬件的能效,是一种自然的解决方案。要求来自高级语言(高级综合,HLS)的硬件编译器在满足严格的上市时间限制的同时利用FPGA的所有功能。针对并行性和数据局部性的并行优化深入重构了进程的执行顺序,从而重构了通信通道中的读/写模式。这破坏了大多数FIFO通道,这些通道必须使用可寻址缓冲器来实现。强制同步需要昂贵的硬件,这通常会导致显著的性能损失。在本文中,我们提出了一种算法来划分的通信,使大多数FIFO通道可以恢复后,循环平铺,一个关键的并行性和数据局部性优化。实验结果表明,在一些额外的存储成本的FIFO检测规则内核的显着改善。作为奖励,在某些情况下甚至可以减少存储。
2018-01-15 cs.DC
Improving Scalability with GPU-Aware Asynchronous Tasks
异步任务在使用过度分解创建时,可以实现自动计算-通信重叠,这可以大大提高性能和可伸缩性。这不仅适用于传统的基于CPU的系统,也适用于现代GPU加速平台。虽然将通信隐藏在计算之后的能力在弱扩展场景中非常有效,但由于细粒度的开销和重叠空间减少,性能开始受到较小问题大小或强扩展的影响。在这项工作中,除了计算通信重叠之外,我们还将GPU感知通信集成到异步任务中,目标是减少通信时间并进一步提高GPU利用率。我们证明了我们的方法使用代理应用程序,执行Jacobi迭代法,Jacobi 3D的性能影响。除了优化以最大限度地减少主机和GPU设备之间的同步并增加GPU操作的并发性外,我们还探索了内核融合和CUDA图形等技术,以减轻大规模细粒度的开销。
2022-03-22 cs.DC
Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Beijing Jiaotong University(北京交通大学)
针对联邦蒸馏的通信开销问题,本文提出 ALU 方法,通过累积多轮本地更新后再向中央服务器传输知识,降低通信频率并显著提升通信效率。
2023-12-07 cs.DC cs.LG
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而,由于GPU之间的通信的复杂性,特别是对于具有不规则消息大小的集体通信,有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中,我们提供了一个性能评估的Allanov例程多GPU系统,专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果,并对稀疏张量因子分解进行了案例研究,这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具,使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后,我们评估我们的工具的通信性能时,使用传统的MPI,CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统:一个16节点的集群,每个节点一个GPU,NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明,张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾,以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
Task-Graph Scheduling Extensions for Efficient Synchronization and Communication
任务图已经被研究了几十年,作为调度不规则并行应用程序的基础,并被纳入编程模型,如OpenMP。虽然许多高性能并行库都是基于任务图的,但它们也有额外的调度要求,例如来自内部数据并行的同步和内部阻塞通信。在本文中,我们扩展了任务图调度,以支持有效的同步和任务内的通信。我们的调度程序避免了死锁和超额认购的工作线程,并细化牺牲选择,以增加兄弟任务的重叠。据我们所知,我们的方法是第一个在单个运行时中结合组调度和工作窃取。我们的方法已被评估的SLATE高性能线性代数库。相对于LLVM OMP运行时,我们的运行时在不同配置下分别对LU、QR和Cholesky进行了性能提升,分别提高了13.82%、15.2%和36.94%。
2020-11-06 cs.DC
ZCCL: Significantly Improving Collective Communication With Error-Bounded Lossy Compression
针对MPI集合通信中消息过大导致性能瓶颈的问题,提出ZCCL,利用误差有界有损压缩减小消息大小,定制fZ-light压缩器并集成到多种集合操作,实验显示性能提升1.9-8.9倍。
2025-02-25 cs.DC
Improving MPI Collective I/O Performance With Intra-node Request Aggregation
两阶段I/O是实现集体MPI-IO功能的众所周知的策略。它将调用进程之间的I/O请求重新分配为一种最小化文件访问成本的形式。随着现代并行计算机继续发展到亿亿次时代,这种请求重新分配的通信成本可能会迅速压倒集体I/O性能。从在多个计算节点上运行的并行作业中可以观察到这种效果,每个节点上有大量MPI进程。为了降低通信成本,我们提出了一种新的设计,集体I/O通过增加一个额外的通信层,在同一计算节点内的进程之间执行请求聚合。这种方法可以显着减少重新分配I/O请求时节点间的通信拥塞。我们评估的性能,并与原来的两阶段I/O上的Cray XC 40并行计算机与英特尔KNL处理器进行比较。使用I/O模式从两个大规模的生产应用程序和I/O基准,我们显示了性能提高了29倍,当运行16384 MPI进程在256个计算节点。
2019-07-29 cs.DC
OpenCL/CUDA algorithms for parallel decoding of any irregular LDPC code using GPU
支持并行数据处理的多核架构的发展导致了一种范式的转变,这对通信系统产生了重大影响。本文提供了一个可扩展的并行迭代LDPC解码器的方法,在一个教程为基础的风格。该算法适用于任意非规则LDPC码的译码,不受最大节点度的限制,并包含伴随式的并行计算。这是迄今为止提出的算法的主要区别。所提出的方法可以在支持大规模并行计算的应用中实现,例如GPU或FPGA设备。最后讨论了基于OpenCL和CUDA框架的LDPC译码器的实现,并给出了性能评估。
2017-09-26 cs.DC cs.IT math.IT
Practical, Linear-time, Fully Distributed Algorithms for Irregular Gather and Scatter
我们提出了新的,简单的,完全分布式的,实用的算法与线性时间通信成本不规则的收集和分散操作中,处理器的贡献或消耗可能不同的数据量。在具有启动延迟$α$和单位成本$β$的线性成本传输模型中,新算法花费时间$3|{\log_2 p}|α+β\sum_{i\neq r}m_i$,其中$p$是处理器的数量,$m_i$是处理器$i, 0\leq i<p$的数据量,处理器$r, 0\leq r<p$是由算法确定的根处理器。对于固定的、外部给定的根处理器$r$,存在至多$β(M_{d'}-m_{r_{d'}}-\sum_{0\leq j<d'}M_j)$时间步的附加惩罚,其中每个$M_j$是由该算法构造的具有根$r_j$的$2^j$不同处理器的树中的数据总量。最差情况的惩罚小于$β\sum_{i\neq r}m_i$时间步长。该算法具有实现MPI(消息传递接口)的操作有吸引力的属性。使用固定树的标准算法在最坏的情况下花费$|{\log_2 p}|(α+β\sum_{i\neq r} m_i)$时间,或者花费$\sum_{i\neq r}(α+βm_i)$时间。我们已经使用了新的算法,给出原型实现的MPI_Gatherv和MPI_Scatterv集体的MPI,并提出了基准测试结果从一个小型和中型的InfiniBand集群。为了构建实验评价,我们制定了新的性能准则,不规则的集体,可以用来评估相应的定期…
2017-04-12 cs.DC
Improving the Performance and Resilience of MPI Parallel Jobs with Topology and Fault-Aware Process Placement
HPC系统的规模不断增长,以满足对性能和计算资源不断增长的需求。除了提高性能外,大型系统还面临两个阻碍进一步增长的挑战:能源效率和弹性。与此同时,寻求提高性能的应用程序依赖于先进的并行性来利用系统资源,这导致了系统互连压力的增加。在大系统规模下,增加通信局部性在应用性能和能耗方面都是有益的。朝着这个方向,一些研究集中在导出一个映射的应用程序的进程到系统节点的方式,通信成本降低。一种常见的方法是将应用程序的通信模式和系统架构都表示为图,然后解决相应的映射问题。除了通信成本,作业的完成时间也会受到节点故障的影响。节点故障可能导致作业中止,需要重新启动作业。在本文中,我们解决的问题,分配进程的系统资源的目标是减少通信成本,同时也考虑到节点故障。所提出的方法已集成到Slurm资源管理器中。评估结果表明,在场景中,很少的节点有一个低的中断概率,所提出的进程放置方法实现了显着减少批量MPI作业的完成时间。与Slurm中的默认进程放置方法相比,对于两个不同的MPI应用程序,分别减少了18.9%和31%。
2021-01-05 cs.DC
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Communication-Aware Diffusion Load Balancing for Persistently Interacting Objects
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于扩散的分布式负载平衡方法,针对通信密集型应用中的负载不均问题,通过通信图优化跨节点通信并有效分配负载,同时提出算法变体以应对通信模式不可用的情况,并在模拟和粒子-细胞基准测试中进行验证。
2026-03-24 cs.DC cs.PF
FedAVO: Improving Communication Efficiency in Federated Learning with African Vultures Optimizer
Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校)
本文提出FedAVO算法,利用非洲秃鹫优化器自动优化联邦学习的客户端选择比例和本地训练轮次,在Non-IID场景下降低通信成本并将全局模型准确率提升6%。
2023-12-09 cs.DC cs.LG
FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation
Robert Gordon University(罗伯特戈登大学);University College London(伦敦大学学院)
本文提出 FedFT,利用 DCT 在频率空间表示联邦学习各轮间的模型参数差异,以兼容现有方法并降低每客户端 5%–30% 通信开销,同时保持甚至提升准确率。
2024-09-08 cs.AI cs.DC
The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning
Huazhong University of Science and Technology(华中科技大学);Shenzhen Technology University(深圳科技大学);FiT, Tencent(FiT,腾讯)
本文针对通信高效联邦学习中的低秩分解,提出MUD、BKD和AAD三种互补技术,分别解决分解对象、分解方式和聚合策略问题,并通过理论分析和实验证明其能实现更快收敛和更高准确率。
2025-08-17 cs.DC cs.LG
Improving the Bit Complexity of Communication for Distributed Convex Optimization
本文通过块杠杆分数和Richardson型算法中间比特保留等技术,改进点对点与黑板模型中线性回归、p-范数回归、线性规划等分布式凸优化问题的通信比特复杂度上下界,并利用球面Radon变换下界首次实现多项式约束下线性规划与线性系统的分离。
2024-03-28 cs.DC cs.DS math.OC
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销,例如仅在执行多个本地SGD步骤之后进行同步,以及分散式方法(例如,使用流言算法)来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快,后者在每次更新之前使用阻塞通信,但在相同数量的更新之后,生成的模型可能不太准确。受Chen & Huo(2016)的BMUF方法的启发,我们提出了一个慢动量(SlowMo)框架,其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明,相对于基本优化器,SlowMo始终在优化和泛化性能方面有所改进,即使在许多更新中分摊了额外的开销,使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明,SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示,我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
Redesigning GROMACS Halo Exchange: Improving Strong Scaling with GPU-initiated NVSHMEM
KTH Royal Institute of Technology(瑞典皇家理工学院);NVIDIA(英伟达)
针对GROMACS强扩展中的延迟瓶颈,提出基于NVSHMEM的GPU内核发起halo交换重设计,融合通信与计算,在NVLink上实现最高2倍性能提升。
2025-09-25 cs.DC cs.PF physics.comp-ph
Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach
University of Minnesota Twin Cities(明尼苏达大学双城分校);IBM Research AI(IBM研究院AI);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
许多现代大规模机器学习问题都受益于分散和随机优化。最近的研究表明,在涉及高度非凸问题的应用中,利用分散计算和局部随机梯度估计可以优于最先进的集中式算法,例如训练深度神经网络。在这项工作中,我们提出了一个分散的随机算法来处理某些光滑的非凸问题,其中系统中有$m$节点,每个节点有大量的样本(表示为$n$)。与大多数现有的分散学习算法的随机或有限和问题不同,我们的重点是减少节点之间的总通信轮次,同时访问最少数量的本地数据样本。特别是,我们提出了一种名为D-GET(分散式梯度估计和跟踪)的算法,该算法联合执行分散式梯度估计(使用局部样本的子集估计局部梯度)和梯度跟踪(使用局部估计跟踪全局全梯度)。我们表明,实现一定的$ε$固定解决方案的确定性有限和问题,该算法实现了$\mathcal{O}(mn^{1/2}ε^{-1})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度。这些界限分别显著改进了$\mathcal{O}(mnε^{-1})$和$\mathcal{O}(ε^{-1})$的最佳现有界限。类似地,对于在线问题,所提出的方法实现了$\mathcal{O}(m ε^{-3/2})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度,而现有的最佳界限分别是$\mathcal{O}(mε^{-2})$和$\mathcal{O}(ε^{-2})$。
2019-10-13 cs.DC cs.LG eess.SP