Translating the Translator: Decomposing the Cost of English-Forced Inter-Agent Communication
Åbo Akademi University(奥博学术大学);Anglia Ruskin University(安格利亚鲁斯金大学)
本研究评估多智能体LLM架构中英语强制通信的代价,发现其显著降低非英语任务性能,提出母语路由可减少翻译损失。
2026-09-15 cs.AI cs.CL cs.MA
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg
Sichuan University(四川大学)
新兴的物联网(IoT)每天都会产生数PB的数据,但由于担心数据和隐私泄露,只有很少的数据可以最终收集并用于机器学习(ML)目的,这严重阻碍了ML的发展。为了缓解这个问题,联邦学习被提出来通过多个客户端的组合数据来执行模型训练,而无需在集群内共享数据集。然而,联邦学习引入了大量的通信开销,因为每个时期的同步数据与模型的大小相同,从而导致通信效率低。因此,提出了各种方法,主要集中在减少通信轮数和数据压缩,以减少联邦学习的通信开销。在本文中,我们提出了重叠FedAvg,一个框架,模型训练阶段与模型上传和下载阶段并行,使后者可以完全覆盖前一阶段。与传统的FedAvg相比,Overlap-FedAvg在层次计算策略、数据补偿机制和nesterov加速梯度算法(NAG)等方面得到了进一步的改进。此外,Overlap-FedAvg与许多其他压缩方法正交,因此它们可以一起应用,以最大限度地提高集群的利用率。此外,理论分析证明了所提出的重叠FedAvg框架的收敛性。在多个模型和数据集的常规和经常性任务上进行的大量实验也表明,所提出的Overlap-FedAvg框架大大提高了联邦学习过程。
2021-06-16 cs.DC cs.LG
Design Space Exploration of DMA based Finer-Grain Compute Communication Overlap
Advanced Micro Devices Inc.(先进微器件公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出细粒度计算通信重叠方法FiCCO,通过深入分片粒度以下、利用DMA引擎卸载通信,实现更广泛网络拓扑下的性能优化,最高获得1.6倍加速。
2026-06-03 cs.AR cs.DC cs.LG
Hybrid-parallel sparse matrix-vector multiplication with explicit communication overlap on current multicore-based systems
我们评估优化的并行稀疏矩阵向量运算的几个代表性的应用领域广泛的基于多核的集群配置。首先,单插槽的基线性能进行了分析和建模的基本架构属性的标准多核芯片。在单个节点之外,并行稀疏矩阵-向量运算的性能通常受到通信开销的限制。从观察到,非阻塞MPI是无法隐藏通信成本使用标准的MPI实现,我们证明了通信和计算的显式重叠可以通过使用专用的通信线程,它可以运行在一个虚拟的核心。此外,我们确定的混合MPI/OpenMP编程的性能优势,由于改进的负载均衡,即使没有明确的通信重叠。我们比较纯MPI的性能结果,广泛使用的“矢量”混合编程策略,并明确重叠的现代多核集群和Cray XE 6系统。
2011-06-29 cs.DC
Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping
The University of Hong Kong(香港大学);Amazon Web Services(亚马逊网络服务);Boson AI(玻色人工智能)
Lancet系统通过训练图级别的划分、流水线化和梯度权重计算调度,实现非MoE计算与全交换通信的重叠,显著加速混合专家模型训练,非重叠通信时间最多减少77%,端到端加速最高达1.3倍。
2024-04-30 cs.DC cs.LG
TileLink: Generating Efficient Compute-Communication Overlapping Kernels using Tile-Centric Primitives
针对分布式模型中计算与通信重叠kernel融合难度大、易出错的问题,提出TileLink框架,通过以tile为中心的原语解耦前后端设计,自动生成重叠kernel,实现最高20.76倍加速且性能媲美现有库。
2025-04-03 cs.DC
LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
KAUST(卡塔尔科技大学)
本文研究了在异构计算环境下结合通信压缩、局部训练和通信-计算重叠的局部SGD方法,提出LOSCAR-SGD通过仅通信稀疏模型坐标并持续优化来提高分布式学习效率,首次给出了这种组合方法的理论保证。
2026-05-20 cs.DC cs.LG math.OC
Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD
Carnegie Mellon University(卡内基梅隆大学)
分布式随机梯度下降(SGD)对于将机器学习算法扩展到大量计算节点是必不可少的。然而,基础设施的变化,如高通信延迟或随机节点减速极大地阻碍了分布式SGD算法的性能,特别是在无线系统或传感器网络。在本文中,我们提出了一种算法方法,名为重叠本地SGD(及其动量变体)重叠的通信和计算,以加快分布式训练过程。这种方法也有助于减轻离散效应。我们通过在每个节点上添加锚模型来实现这一点。在多次本地更新之后,本地训练的模型将被拉回到同步的锚模型,而不是与其他模型通信。在CIFAR-10数据集上训练深度神经网络的实验结果证明了Overlap-Local-SGD的有效性。我们还提供了一个非凸目标函数下的算法的收敛性保证。
2020-02-21 cs.DC cs.LG math.OC
Characterizing Compute-Communication Overlap in GPU-Accelerated Distributed Deep Learning: Performance and Power Implications
本文系统评估了 GPU 分布式训练中计算-通信重叠策略对性能和功耗的影响,发现重叠虽优于顺序执行但会造成平均 18.9% 的计算减速,并揭示了精度、专用核心及功耗限制带来的权衡。
2025-07-03 cs.DC
Lagom: Unleashing the Power of Communication and Computation Overlapping for Distributed LLM Training
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
Lagom通过统一成本模型和优先级搜索算法,优化分布式大模型训练中的通信与计算重叠,实现速度提升。
2026-02-24 cs.DC
Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
ByteDance Seed(字节跳动 Seed);Shanghai Jiao Tong University(上海交通大学)
针对混合专家模型分布式场景下通信开销大的问题,提出优化系统COMET,通过数据依赖分析、任务重调度和自适应工作负载分配实现细粒度通信-计算重叠,在万级GPU集群中显著加速模型执行并节省大量GPU资源。
2025-03-04 cs.AI cs.DC cs.LG
Domino: Eliminating Communication in LLM Training via Generic Tensor Slicing and Overlapping
University of Maryland(马里兰大学);Microsoft DeepSpeed(微软DeepSpeed)
本文提出 Domino 框架,通过通用张量切片将批次训练拆分为独立片段并实现细粒度通信与计算重叠,有效消除分布式 LLM 训练中的通信开销,在 Nvidia DGX-H100 GPU 上较 Megatron-LM 实现最高 1.3 倍加速。
2024-09-23 cs.AI cs.DC cs.LG
T3: Transparent Tracking & Triggering for Fine-grained Overlap of Compute & Collectives
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Advanced Micro Devices, Inc.(超威半导体公司)
针对分布式大模型中张量并行等技术的串行通信开销及软件细粒度交错的资源争用问题,提出软硬件协同的T3机制,通过地址空间配置、硬件跟踪触发与计算增强内存实现通信计算高效重叠,显著提升大模型通信密集子层性能。
2024-01-30 cs.AR cs.DC cs.LG
TokenWeave: Efficient Compute-Communication Overlap for Distributed LLM Inference
Microsoft(微软)
TokenWeave通过优化RMSNorm与通信的融合核,实现高效计算-通信重叠,提升低token长度下的推理性能,实验显示延迟降低1.28倍,吞吐量提升1.19倍。
2026-05-01 cs.DC cs.LG
Enabling Reconfiguration-Communication Overlap for Collective Communication in Optical Networks
School of Computer Science and Technology, University of Science and Technology of China (USTC)(科学技术大学计算机科学与技术学院);Shanghai Innovation Institute(上海创新研究院);Suzhou Institute for Advanced Research, USTC(先进研究院,USTC)
本文提出SWOT框架,通过动态对齐网络资源与集体通信流量模式,减少通信完成时间达89.7%,提升光网络在分布式机器学习中的效率。
2026-04-30 cs.AI cs.DC cs.NI
DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism
University of Washington(华盛顿大学);Cornell University(康奈尔大学)
DisagMoE通过解耦注意力与FFN层,优化模型放置与调度,提升MoE训练效率,实验显示在16节点8xH800集群上实现1.8倍加速。
2026-05-10 cs.AI cs.DC cs.LG
Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学)
针对多GPU训练中通信瓶颈,提出通过共享内存占用整形和通信流优先级提升实现计算与通信重叠,在多种GPU上减少执行时间达25.5%。
2026-06-08 cs.AI cs.DC
Cross-region Model Training with Communication-Computation Overlapping and Delay Compensation
针对跨区域大模型训练中高延迟导致的通信阻塞和更新过时问题,提出CoCoDC框架,通过泰勒展开延迟补偿与自适应传输策略,实现通信计算重叠,显著提升训练效率与收敛速度。
2025-04-24 cs.DC
Syncopate: Efficient Multi-GPU AI Kernels via Automatic Chunk-Centric Compute-Communication Overlap
University of California, San Diego(加州大学圣地亚哥分校);Meta;George Mason University(乔治梅森大学);OpenAI
Syncopate通过在单个融合内核内实现细粒度的计算通信重叠,提高了多GPU工作负载的效率,平均加速1.3倍,最高达4.7倍。
2026-07-02 cs.DC
MoE-Hub: Taming Software Complexity for Seamless MoE Overlap with Hardware-Accelerated Communication on Multi-GPU Systems
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学);Shanghai Qi Zhi Institute(上海人工智能实验室)
本文提出MoE-Hub,通过硬件软件协同设计解决多GPU系统中MoE动态令牌到专家映射与GPU静态地址通信模型的不匹配问题,实现通信与计算的无缝重叠,提升性能和灵活性。
2026-05-07 cs.AR cs.DC
FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion
ByteDance Ltd(字节跳动有限公司);Peking University(北京大学)
本文提出 Flux,通过细粒度分解并融合 GPU 通信与计算内核来隐藏张量并行通信延迟,在训练和推理中均取得显著加速。
2024-10-23 cs.DC cs.LG
HCMS: Head-Chunked Multi-Stream Pipeline for Communication-Computation Overlap in Long-Sequence Parallel Attention
Bilibili Inc.(哔哩哔哩公司)
提出HCMS方法,通过将注意力头分块并利用双CUDA流实现细粒度通信-计算重叠,在长序列并行注意力中加速10%-17.5%。
2026-07-03 cs.DC
Blocking Versus Non-Blocking Halo Exchange
这份报告描述了设计,实施和分析的非阻塞晕交换例程作为一种替代阻塞晕交换例程的晶格玻尔兹曼代码路德维希。另一种非阻塞的例程以允许工作-通信重叠的方式实现。本报告中的详细基准测试表明,即使没有任何工作-通信重叠,非阻塞版本也是一个很好的替代方案。工作-通信重叠可以用来提高非阻塞例程的性能。开发和基准测试是在英国国家超级计算机ARCHER上进行的。
2017-09-18 cs.DC
CommFuse: Hiding Tail Latency via Communication Decomposition and Fusion for Distributed LLM Training
Huawei(华为)
本文提出CommFuse方法,通过分解与融合通信操作,有效缓解分布式LLM训练中的通信瓶颈,降低延迟并提升模型利用率。
2026-04-29 cs.AI cs.CV cs.DC
TicTac: Accelerating Distributed Deep Learning with Communication Scheduling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最先进的深度学习系统依赖于迭代分布式训练来解决模型和输入数据日益复杂的问题。在这些通信繁重的系统中,迭代时间取决于计算时间、通信时间以及计算和通信的重叠程度。在这项工作中,我们发现了使用图形表示进行计算的系统(如TensorFlow和PyTorch)中的一个缺点,这导致迭代时间的高方差-工人之间接收参数的随机顺序。我们开发了一个系统TicTac,通过使用参数服务器解决分布式深度学习中的这个问题来改善迭代时间,同时保证通信和计算的接近最佳重叠。TicTac识别并强制执行网络传输的顺序,从而使用优先级提高迭代时间。我们的系统是通过TensorFlow实现的,不需要对模型或开发人员输入进行更改。TicTac在推理中将吞吐量提高了$37.7\%$,在训练中提高了$19.2\%$,同时还将落伍者效应降低了$2.3\times$。我们的代码是公开的。
2018-10-04 cs.DC cs.LG cs.PF
Near-Linear Scaling Data Parallel Training with Overlapping-Aware Gradient Compression
针对数据并行训练通信瓶颈,本文提出 COVAP 梯度压缩方案,以近零开销粗粒度过滤、自适应压缩率、张量分片和误差反馈实现通信计算近完全重叠,并在阿里云实验中取得近线性扩展。
2023-11-08 cs.DC
Weave: Fine-Grained Dynamic SM Scheduling in an MoE Megakernel for Compute-Communication Overlap
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
针对专家并行下 MoE 推理的通信开销,Weave 提出在持久兆内核中按层按 GPU 动态调度 SM,实现计算-通信重叠,显著提升性能。
2026-09-28 cs.DC
Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对联邦学习中异构带宽和非独立同分布数据导致的落后者与性能下降问题,提出带宽感知压缩框架,通过动态调整压缩率及参数掩码加权平均,显著提升模型准确率与收敛速度。
2024-08-27 cs.DC cs.LG
Oases: Efficient Large-Scale Model Training on Commodity Servers via Overlapped and Automated Tensor Model Parallelism
本文提出Oases,一种面向商用服务器的自动化张量模型并行方法,通过细粒度调度最大化重叠通信与计算,并设计规划器优化参数划分,在多种模型和集群上实现显著加速。
2025-06-30 cs.DC
Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts
Linnaeus University(林纳大学)
研究针对专家混合模型在多GPU系统中通信延迟问题,提出通过瓦片级信号与调度实现细粒度计算-通信重叠的方法,结合生产者-消费者协同设计,在4个A100 GPU平台评估中取得加速效果,提升了不同场景下的性能。
2026-07-23 cs.AI cs.DC
Analytical Resource Management for Fine-grained MoE Computation-Communication Overlap
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Linnaeus University(林奈大学)
针对分布式MoE推理中的细粒度计算-通信重叠,提出波量化解析模型和启动时资源管理器,动态选择通信CTA数量和资源分区,在A100上实现最高4.2倍加速。
2026-09-09 cs.DC
DeFT: Mitigating Data Dependencies for Flexible Communication Scheduling in Distributed Training
针对分布式数据并行训练中通信调度现有方案的三大缺陷,提出DeFT方案,将调度转化为多背包问题,通过延迟更新等技术发掘重叠机会并保障精度,实验验证其在多基准上实现显著加速。
2025-03-21 cs.DC
Improving Scalability with GPU-Aware Asynchronous Tasks
异步任务在使用过度分解创建时,可以实现自动计算-通信重叠,这可以大大提高性能和可伸缩性。这不仅适用于传统的基于CPU的系统,也适用于现代GPU加速平台。虽然将通信隐藏在计算之后的能力在弱扩展场景中非常有效,但由于细粒度的开销和重叠空间减少,性能开始受到较小问题大小或强扩展的影响。在这项工作中,除了计算通信重叠之外,我们还将GPU感知通信集成到异步任务中,目标是减少通信时间并进一步提高GPU利用率。我们证明了我们的方法使用代理应用程序,执行Jacobi迭代法,Jacobi 3D的性能影响。除了优化以最大限度地减少主机和GPU设备之间的同步并增加GPU操作的并发性外,我们还探索了内核融合和CUDA图形等技术,以减轻大规模细粒度的开销。
2022-03-22 cs.DC
Enabling Compute-Communication Overlap in Distributed Deep Learning Training Platforms
深度学习(DL)训练平台通过互连多个DL加速器(例如,GPU/TPU)通过快速、定制的互连与数百GB的带宽。然而,正如我们在这项工作中所发现的,驱动这个带宽是相当具有挑战性的。这是因为在使用加速器的计算和存储器进行DL计算和通信之间存在有害的平衡。这项工作有两个关键贡献。首先,通过实际系统测量和详细建模,我们了解了DL计算和通信的计算和内存带宽需求。其次,我们提出了一种新的DL集体通信加速器,称为加速器集体引擎(ACE),它与加速器端点的计算和网络引擎一起。ACE为DL计算释放了端点的计算和内存资源,从而将驱动相同网络带宽所需的内存带宽平均降低了3.5倍。对于现代DL工作负载和不同的网络规模,ACE平均可将有效网络带宽利用率提高1.44倍(高达2.67X),平均值为1.41X(最高1.51X)、1.12X与最佳基线配置相比,ResNet-50、GNMT和DLRM的迭代时间分别加快了1.17倍(高达1.19倍)和1.13倍(高达1.19倍)。
2022-05-04 cs.AR cs.DC
CrossoverScheduler: Overlapping Multiple Distributed Training Applications in a Crossover Manner
University of Torontoland(多伦多大学(Torontoland));Googol ShallowMind(谷歌浅思(Googol ShallowMind))
分布式深度学习工作负载包括GPU集群上的吞吐量密集型训练任务,其中分布式随机梯度下降(SGD)在反向传播后会导致显著的通信延迟,迫使工作人员通过集中式参数服务器或直接在分散式工作人员中等待梯度同步。我们提出了Crossoverlapping,一种算法,使通信周期的分布式训练应用程序通过流水线通信和计算被其他应用程序填充。通过交叉验证,可以在不牺牲收敛速度和网络精度的情况下显著提高分布式训练的运行性能。我们通过引入交叉同步来实现这一点,交叉同步允许多个分布式深度学习应用程序交替地共享同一GPU。Crossovercraft的原型被构建并与Horovod集成。在多种分布式任务上的实验表明,Crossoverride在ImageNet数据集上对图像分类任务实现了20%的\times加速比。
2021-03-14 cs.AI cs.DC
Entwine: Coordinating Tiled Computation and Fine-Grained Communication across GPUs
State Key Laboratory of Cyberspace Security Defense(网络空间安全防御国家重点实验室);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所)
Entwine通过协调分块计算顺序、细粒度通信和SM资源分配,实现GPU间计算与通信的高效重叠,在张量并行LLM负载上相比cuBLAS+NCCL取得1.232倍几何平均加速。
2026-09-11 cs.AR cs.DC
Redesigning GROMACS Halo Exchange: Improving Strong Scaling with GPU-initiated NVSHMEM
KTH Royal Institute of Technology(瑞典皇家理工学院);NVIDIA(英伟达)
针对GROMACS强扩展中的延迟瓶颈,提出基于NVSHMEM的GPU内核发起halo交换重设计,融合通信与计算,在NVLink上实现最高2倍性能提升。
2025-09-25 cs.DC cs.PF physics.comp-ph
Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略,解耦通信与计算的顺序依赖实现100%重叠,在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
Multi-GPU Performance Optimization of a CFD Code using OpenACC on Different Platforms
本文研究了在不同平台上使用MPI和OpenACC指令的3D浮力驱动空腔求解器的多GPU性能。该文件表明,在不同的维度上分解的总问题会影响GPU的强大的缩放性能显着。如果没有适当的性能优化,它表明,1D域分解的规模不佳,由于多个GPU的非连续内存访问。本文通过一系列的性能优化,提高了算法的性能。由于浮力驱动腔代码在所检查的集群上是延迟受限的,因此设计了一系列不可知的和针对平台定制的优化,以有效地降低延迟成本并提高主机和设备之间的内存吞吐量。首先,为主机和设备之间的非连续数据移动开发的并行消息打包/解包策略将整体性能提高了约2倍。其次,基于不同变量的模板大小传输不同的数据进一步减少了通信开销。这两个优化足够通用,对于在所有测试的集群上具有重影更改的模板计算是有益的。第三,使用GPUDirect来改善集群上的通信,这些集群具有硬件和软件支持,可以在不占用CPU内存的情况下直接进行GPU之间的通信。最后,如果只使用MPI或MPI+OpenACC,则在多GPU上重叠通信和计算是没有效率的。虽然我们相信我们的实现已经揭示了足够的重叠,但由于缺乏异步进程,实际运行并没有很好地利用重叠。
2020-06-04 cs.DC cs.PF
MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms
University of Rochester(罗切斯特大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出MGG系统,通过动态软件流水线实现多GPU平台GNN内核内细粒度计算与通信重叠,结合负载均衡与运行时优化,性能显著优于现有系统。
2023-06-27 cs.DC cs.LG
Communication-hiding pipelined BiCGSafe methods for solving large linear systems
最近,已经提出了BiCGStab方法的新变体,称为管道BiCGStab。该方法可以通过一种机制来实现更高程度的可扩展性和加速率,在该机制中,用于计算内积的通信阶段可以与矩阵-向量积的计算重叠。另一方面,存在几种比BiCGStab具有更好收敛行为的广义迭代方法,例如ssBiCGSafe,BiCGSafe,GPBi-CG。在这些方法中,ssBiCGSafe,它需要一个单一的阶段计算每一个迭代的内积,是最适合于高性能计算系统。在本文中,灵感的成功的流水线BiCGStab方法,我们提出了变化的ssBiCGSafe方法,其中只有一个阶段的内积计算每次迭代是必需的,这个内积计算阶段可以重叠的矩阵向量计算。通过数值实验,我们表明,所提出的方法导致改善的收敛行为和执行时间相比,流水线的BiCGStab和ssBiCGSafe方法。
2021-10-27 cs.DC cs.MS
Iris: First-Class Multi-GPU Programming Experience in Triton
Advanced Micro Devices, Inc.
针对多GPU编程中性能与可编程性难以兼顾的问题,提出基于Python和Triton实现的通信库Iris,通过适配Triton模型的tile对称内存抽象简化开发,性能可媲美甚至超越RCCL等优化库。
2025-11-16 cs.DC cs.LG
Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on Multi-GPU Systems
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学)
本文提出CAIS框架,通过计算感知的ISA扩展、线程块协调和数据流优化,提升多GPU系统中LLM张量并行的通信与计算效率,实验显示其在训练速度上优于现有方案。
2026-05-07 cs.AR cs.DC
CoCoDiff: Optimizing Collective Communications for Distributed Diffusion Transformer Inference Under Ulysses Sequence Parallelism
University of California, Merced(加州大学默塞德分校);Argonne National Laboratory(阿贡国家实验室)
CoCoDiff通过利用V仅需线性投影而Q/K需额外归一化和RoPE的特性,以及相邻去噪步骤的时序冗余,提出三种机制优化集体通信,实现3.6至8.4倍加速。
2026-04-21 cs.DC
Optimizing Distributed ML Communication with Fused Computation-Collective Operations
针对分布式机器学习中集合通信位于关键路径且难以隐藏延迟的问题,提出融合计算与依赖集合通信的 GPU 内核方法,实现通信与计算重叠,显著降低 DLRM 等模型执行时间。
2024-04-23 cs.AR cs.DC
FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost
Anonymous Authors(匿名作者)
FreeScale通过负载平衡输入样本缓解延迟问题,通过重叠优先级嵌入通信与计算减少阻塞通信,并利用SM-Free技术解决GPU资源竞争,实现实验工作负载中计算气泡减少90.3%。
2026-04-27 cs.AI cs.DC cs.IR
NCCLZ: Compression-Enabled GPU Collectives with Decoupled Quantization and Entropy Coding
Stevens Institute of Technology(史蒂文斯理工学院)
NCCLZ通过解耦量化与熵编码,提升多节点GPU工作负载的通信效率,实验显示比NCCL快9.65倍,比现有压缩辅助库提升3.34倍。
2026-09-18 cs.DC
Measuring Thread Timing to Assess the Feasibility of Early-bird Message Delivery
本文通过测量计算线程完成时序与空闲重叠窗口,分析 MiniFE、MiniMD 和 MiniQMC,评估 early-bird 消息传递在不同工作负载中的可行性。
2023-04-21 cs.DC
T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Linnaeus University(林奈大学)
T-CCL利用张量内存加速器卸载数据移动和归约,以流水线异步操作减少SM占用,实现资源高效集合通信,相比NCCL最高提速3.42倍,并提升重叠计算与推理吞吐。
2026-10-07 cs.AI cs.DC
DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization
针对低带宽地理分布 DDP 中通信瓶颈,本文提出 DreamDDP,通过逐层部分同步、无额外显存的通信计算重叠及细粒度调度,实现 1.49×–3.91× 加速。
2025-02-16 cs.DC