Uniting Control and Data Parallelism: Towards Scalable Memory-Driven Dynamic Graph Processing
控制并行性和数据并行主要作为单独的功能进行推理和优化。正因为如此,不规则、细粒度和动态的工作负载(如动态图形处理)变得非常难以扩展。本文提出了一种计算机体系结构的实验研究方法,该方法综合了并行计算的现有技术以及新的创新。我们建立的背景和动机的研究工作,并提供了一个详细的描述所提出的计算系统,是高度并行的非冯诺依曼,内存为中心和内存驱动。我们还提出了一个消息驱动(或甚至驱动)的编程模型,称为“扩散计算”,并提供洞察其属性使用SSSP和三角计数问题为例。
2023-03-07 cs.DC
Synthesis of signal processing algorithms with constraints on minimal parallelism and memory space
Saint Petersburg State University(圣彼得堡国立大学)
在最小并行性和内存空间约束下,本研究提出高效信号处理算法和实现方案,提升低功耗计算硬件的能效。
2025-12-27 cs.AR cs.DC cs.NA
Benchmarking Parallelism in FaaS Platforms
无服务器计算已经看到了无数探索其潜力的工作。一些系统在自动弹性和扩展上处理功能即服务(FaaS)属性,以运行高度并行的计算作业。然而,他们专注于特定的平台,并传达他们的想法可以外推到任何FaaS运行时。一个重要的问题出现了:所有的FaaS平台都适合并行计算吗?在本文中,我们认为,并不是所有的主机高度并行的应用程序提供了必要的手段。为了验证我们的假设,我们创建了一个比较框架,并对四种云FaaS产品的架构进行了分类,强调了并行性能。我们证明并扩展了这种描述与实证实验,包括在绘制在每个服务上的并行计算作业的演变的详细信息。我们的结果的分析表明,FaaS是不是固有的并行计算和跨平台的架构差异是决定性的分类其性能。一个关键的见解是虚拟化技术的重要性和FaaS平台的调度方法。由于更精细的资源分配和更快的弹性,更轻的虚拟化和主动调度可以改善并行性。这导致AWS和IBM等平台在高度并行计算方面表现良好,而Azure等其他平台则难以实现所需的并行度。因此,本文中的信息变得特别感兴趣,以帮助用户选择最合适的基础设施,他们的并行应用程序。
2021-06-01 cs.DC
Pipeline Parallelism with Controllable Memory
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本文提出一种将流水线调度分解为构建块的框架,发现构建块寿命决定峰值激活内存,并设计可控内存的构建块,在纯流水线中吞吐量提升7%-55%,混合并行中提升16%。
2024-11-04 cs.CL cs.DC cs.LG
Sky$^ε$-Tree: Embracing the Batch Updates of B$^ε$-trees through Access Port Parallelism on Skyrmion Racetrack Memory
针对斯格明子赛道存储器(SK-RM)上B$^ε$-树批量更新难以适配的问题,提出Sky$^ε$-Tree,利用SK-RM的访问端口并行性,在保持查询与插入性能的同时显著提升了访问性能并降低了能耗。
2024-07-05 cs.AR cs.DC
Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking
Together AI
UPipe通过头级分块实现内存高效的上下文并行,显著减少激活内存使用,支持更长的上下文长度。
2026-07-13 cs.DC cs.LG
PipeOffload: Improving Scalability of Pipeline Parallelism with Memory Optimization
Sea AI Lab(海AI实验室);National University of Singapore(新加坡国立大学)
本文提出PipeOffload,通过内存卸载策略和检查点技术优化流水线并行中的激活内存消耗,使其不随阶段数增加,在降低内存的同时实现19%加速。
2025-06-30 cs.AI cs.DC cs.LG
Enhancing Memory Efficiency in Large Language Model Training Through Chronos-aware Pipeline Parallelism
针对LLM预训练的存储挑战,提出时间感知的流水线并行方法ChronosPipe,通过优化时间局部性提升HBM利用率,可将可训练模型规模扩大2.4倍且保持吞吐量,性能优于1F1B结合重计算策略1.5倍。
2025-08-23 cs.DC
BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training
University of Science and Technology of China(中国科学技术大学);Huawei Technologies(华为技术有限公司)
随着机器学习算法复杂度的增加,深度神经网络(DNN)的规模迅速增长。为了满足DNN训练对计算量和内存的要求,基于模型并行的分布式深度学习得到了广泛的认可。我们提出了一个新的流水线并行训练框架BaPipe,它可以自动探索DNN分布式训练的流水线并行训练方法和平衡分区策略。在BaPipe中,每个加速器计算网络不同部分的前向传播和后向传播,以实现批内流水线并行策略。BaPipe使用一种新的负载均衡自动探索策略,该策略考虑DNN模型的参数以及加速器集群的计算、内存和通信资源。我们在GPU集群上训练了不同的DNN,如VGG-16,ResNet-50和GNMT,并模拟了不同FPGA集群的性能。与最先进的数据并行和流水线并行框架相比,BaPipe在各种平台上提供高达3.2倍的加速和4倍的内存减少。
2021-01-14 cs.AI cs.DC
Exploiting Parallelism on Shared Memory in the QED Particle-in-Cell Code PICADOR with Greedy Load Balancing
采用粒子网格法对激光等离子体进行数值模拟,计算量非常大。因此,越来越需要开发有效利用现代超级计算机资源的方法。在本文中,我们解决的问题,一个基本上不均匀的和动态变化的宏观粒子分布在一个计算区域中模拟量子电动力学(QED)级联。我们提出并评估了共享内存系统的负载平衡方案,它允许将计算域的各个单元细分为工作部分,随后动态分配这些部分之间的OpenMP线程。一维,二维和三维QED模拟的计算实验表明,该方案优于先前开发的标准和自定义计划的PICADOR代码的2.1至10倍时,采用几个英特尔级联湖CPU。
2019-05-20 cs.DC cs.PF physics.comp-ph
Re-evaluating the Memory-balanced Pipeline Parallelism: BPipe
Meituan(美团)
本文重新评估了内存平衡流水线并行技术 BPipe,发现其在 LLaMA 训练及应用 flash attention 的 GPT-3 训练中收益微弱,分析了性能差异原因并提出了一种新的 BPipe 性能估计方法。
2024-01-04 cs.CL cs.DC cs.LG
MPipeMoE: Memory Efficient MoE for Pre-trained Models with Adaptive Pipeline Parallelism
本文提出MPipeMoE库,通过自适应流水线并行和内存重用策略,解决MoE训练中的通信与内存消耗问题,在8台DGX A100服务器上实现最高2.8倍加速并降低47%内存占用。
2025-06-27 cs.DC
Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models
Salesforce AI Research(Salesforce AI研究院)
提出一种内存高效的MoE模型训练范式,结合多种并行技术,在有限硬件资源下实现万亿参数、百万上下文长度的无损训练,吞吐量比FSDP2基线提升4.7-8.2倍。
2026-07-03 cs.AI cs.DC
RTP: Rethinking Tensor Parallelism with Memory Deduplication
University of Virginia(弗吉尼亚大学)
本文提出 Rotated Tensor Parallelism(RTP),通过内存去重复、定制通信原语、享元初始化及计算通信重叠,实现近最优分布式训练内存占用并支持更大模型。
2023-11-02 cs.AI cs.DC cs.NI
Mist: Efficient Distributed Training of Large Language Models via Memory-Parallelism Co-Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究所);CentML(森特ML公司)
提出Mist自动分布式训练系统,通过内存-并行度协同优化、重叠感知调度和分层调优,显著提升大语言模型训练效率,平均加速1.28倍和1.27倍。
2025-03-24 cs.AI cs.DC
High-Performance Sorting-Based k-mer Counting in Distributed Memory with Flexible Hybrid Parallelism
针对现有分布式内存k-mer计数方法缓存效率低、内存消耗高、并行灵活性不足的问题,提出基于排序的HySortK计数器,通过优化通信与混合并行实现性能提升与内存降低,并验证了实际集成效果。
2024-07-10 cs.DC q-bio.GN
Gaining Cross-Platform Parallelism for HAL's Molecular Dynamics Package using SYCL
本文以HAL's MD package为例,研究将分子动力学代码从CUDA迁移到SYCL的策略,实现了跨GPU供应商的可移植性,并在部分内核上获得性能提升,同时在CPU上也取得了显著加速。
2024-06-06 cs.DC cs.ET physics.comp-ph
Primitives for Dynamic Big Model Parallelism
School of Computer Science Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
当训练具有许多变量或参数的大型机器学习模型时,单个机器通常是不够的,因为模型可能太大而无法容纳在内存中,而即使使用随机更新,训练也可能需要很长时间。一个自然的办法是转向分布式集群计算,以利用额外的内存和处理器。然而,ML算法的幼稚的非结构化并行化可能会使分布式内存的使用效率低下,同时无法获得成比例的收敛加速,甚至可能导致发散。我们开发了一个用于动态模型并行的原语框架,STRADS,以探索分布式ML算法中模型变量的分区和更新调度-从而提高其内存效率,同时提供新的机会来加快收敛而不影响推理正确性。我们证明了有效的模型并行算法实现的STRADS与流行的实现主题建模,矩阵分解和套索。
2014-06-18 cs.DC cs.LG stat.ML
BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对长序列大语言模型训练的吞吐量与内存限制问题,提出BSIPipe双向序列级交错流水线并行,结合张量并行后在GPT、LLaMA3上较SOTA基线实现1.11×-1.13×平均加速比。
2026-10-14 cs.DC cs.LG
InternEvo: Efficient Long-sequence Large Language Model Training via Hybrid Parallelism and Redundant Sharding
针对长序列 LLM 训练效率低且与 FlashAttention 不兼容的问题,本文提出 InternEvo,通过分层分片解耦、混合并行、选择性通信重叠和内存管理提升模型 FLOPs 利用率。
2024-01-22 cs.DC
OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training
Shanghai University of Finance and Economics(上海金融学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出OptPipe,一种将流水线调度建模为受约束优化问题的方法,联合考虑内存容量、激活重用与气泡最小化,在严格内存预算下减少流水线空闲时间,提升吞吐量并支持更大模型训练。
2025-10-06 cs.AI cs.DC math.OC
Themis: Efficient Sparse Model Training Through Fully Sharded Sparse Data Parallelism
The University of Hong Kong(香港大学)
Themis提出FSSDP方法,通过原位负载均衡与异构分片优化MoE训练,消除专家重排的开销,在2个集群的多样工作负载下实现1.26-2.42倍加速。
2026-08-24 cs.DC
PALS: Efficient Or-Parallelism on Beowulf Clusters
本文介绍了PALS系统的发展,Prolog的实现能够有效地利用或分布式存储器平台上的并行性-特别是Beowulf集群。PALS使用了一种新的技术,称为增量堆栈分裂。所提出的技术建立在堆栈分裂方法的基础上,该方法先前由作者描述并在共享内存系统上进行了实验验证,这反过来又是在各种并行逻辑和约束系统中使用的堆栈复制方法的演变-例如,缪斯,雅普,和佩妮。PALS系统是第一个基于栈分裂方法的Prolog分布式或并行实现。给出的结果证实了这种方法的优越性,作为一个简单而有效的技术,从共享内存到分布式内存系统的过渡。PALS扩展堆栈分裂相结合,它与增量复制,该文件提供了一个描述的PALS的实施,包括如何处理分布式调度的细节。我们还研究了有效支持顺序敏感谓词的方法(例如,副作用)在堆栈分裂方案的上下文中。从运行PALS共享内存和Beowulf系统的实验结果进行了介绍和分析。
2006-07-09 cs.DC cs.PL
QuickSched: Task-based parallelism with dependencies and conflicts
本文介绍了QuickSched,一个紧凑,高效的开源C语言库的基于任务的共享内存并行编程。QuickSched用任务冲突的概念扩展了基于任务的编程的标准依赖方案,即~可以以任何顺序执行但不能同时执行的任务集。这些冲突使用专门可锁定的分层资源进行建模。调度器本身优先级的任务沿执行的关键路线,并表现出良好的64核并行共享内存机器上的两个例子的问题:一个平铺QR分解和基于任务的巴恩斯-赫特树代码。
2016-01-20 cs.DC
SiDP: Memory-Efficient Data Parallelism for Offline LLM Inference
scitix
提出SiDP,一种将权重视为带宽支持的共享资源的内存高效数据并行范式,通过Weight-as-a-Service和Compute-as-a-Service两种模式,在相同配置下将可用KV容量提升至1.8倍,端到端吞吐量提升至1.5倍。
2026-05-27 cs.DC
Ada-Grouper: Accelerating Pipeline Parallelism in Preempted Network by Adaptive Group-Scheduling for Micro-Batches
流水线并行已被证明是一种显著的方法,可以提高在异构集群上训练具有数十亿参数的深度神经网络的吞吐量。1F 1B调度计划是一种广泛采用的内存和性能优化策略,它交换了不同微批的前向和后向阶段计算。另一方面,在使用1F 1B调度时的常见问题是,当网络资源被其他任务抢占时,即使级之间的通信最小,由于数据传输,级计算也会延迟。在云产品中无法保证对这些网络资源的独占访问。我们提出了一个通用的调度技术,以适应流水线并行抢占网络环境的代价一定量的内存压力。其核心思想是将1F 1B调度方案扩展到kFkB,将k个微批分组,交替执行k个前向和后向计算。我们提出Ada-Grouper,一个自适应kFkB调度器,定期调整组成员的数量k,以保持通信和计算效率之间的最佳平衡,对应于在不断变化的网络环境下的内存限制的变化。实验结果表明,我们的设计保持稳定的性能流水线并行,产生的性能提高了4%到30%,相比1F 1B抢占网络的情况。
2023-03-03 cs.DC
DSL-based Design Space Exploration for Temporal and Spatial Parallelism of Custom Stream Computing
流计算是一种适合于基于FPGA的定制计算的方法,由于其高吞吐量的能力带来的流水线与定期的存储器访问。为了提高迭代流计算的性能,我们可以分别通过加深和复制管道来利用时间和空间并行性。然而,性能受到几个因素的限制,包括FPGA上的可用硬件资源,外部内存带宽和流水线阶段的利用率,因此我们需要找到不同并行性的最佳组合,以实现最高的性能单位功率。在本文中,我们提出了一个领域特定语言(DSL)的设计空间探索的时间和/或空间并行流计算与FPGA。我们定义了一个DSL,我们可以很容易地设计一个层次结构的并行流计算的抽象描述的计算。针对流体动力学模拟中的迭代流计算,我们设计了具有不同时空并行性混合的硬件结构。通过性能和功耗的测量,我们找到了其中最好的。
2015-08-27 cs.AR cs.CE cs.DC
Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training
Meta, Inc.(Meta公司)
针对大规模DLRM嵌入表完全并行带来的扩展性瓶颈,提出二维稀疏并行(模型并行加数据并行)并配合动量缩放行式AdaGrad,在4K GPU上实现近线性加速且性能持平,树立新基准。
2025-08-05 cs.DC cs.LG
Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training
针对长序列LLM训练中流水线并行的内存与气泡瓶颈,提出序列级1F1B调度方法Seq1F1B,通过细粒度切分和计算感知划分,在64块A100上以更低内存训练30B模型至64k序列,吞吐量优于Megatron 1F1B。
2024-11-11 cs.DC
Pragma driven shared memory parallelism in Zig by supporting OpenMP loop directives
本文通过为 Zig 编译器添加 OpenMP 循环指令支持,弥补其在 HPC 领域缺少共享内存并行的不足,并利用 NAS 并行基准测试验证其扩展性与 Fortran/C 相当且性能最高提升 1.25 倍。
2024-09-30 cs.DC cs.PL
Cyclic Data Parallelism for Efficient Parallelism of Deep Neural Networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Flatiron Institute(弗拉蒂伦研究所)
针对现有数据并行方法中内存峰值和梯度通信瓶颈,提出循环数据并行范式,通过顺序执行微批次并统一延迟,实现恒定内存和平衡通信,减少GPU需求,并在CIFAR-10和ImageNet上验证了有效性。
2024-03-13 cs.AI cs.DC cs.LG
Merak: An Efficient Distributed DNN Training Framework with Automated 3D Parallelism for Giant Foundation Models
National University of Defense Technology(国防科技大学)
基础模型正在成为主导的深度学习技术。由于基础模型的模型参数和训练数据集的规模都很大,因此对基础模型进行预训练通常很耗时。除了计算密集型之外,训练过程也是非常内存密集型和通信密集型的。这些特点使得有必要应用三维并行技术来实现高训练效率,三维并行技术集成了数据并行、管道模型并行和张量模型并行。为了实现这一目标,开发了一些定制软件框架,如Megatron-LM和DeepSpeed。然而,当前的3D并行框架仍然遇到两个问题:i)它们对模型开发人员不透明,需要手动修改模型以并行化训练。ii)它们对计算、GPU内存和网络带宽的利用不足。我们提出了Merak,一个自动化的3D并行深度学习训练框架,具有高资源利用率。Merak使用自动模型分区器自动部署,该分区器在模型的代理表示上使用图形分片算法。Merak还提供了非侵入式API,用于以最少的代码修改扩展基础模型训练。此外,我们在Merak中设计了一个高性能的3D并行运行引擎。它使用了几种技术来利用可用的训练资源,包括带来更高的计算利用率的移位关键路线流水线调度,利用空闲工作内存的阶段感知重计算,以及重叠通信和计算的子流水线张量模型并行。在64个GPU上进行的实验表明,与具有1.5亿、2.5亿、8.3亿和200亿参数的模型的最先进3D并行框架相比,Merak可以将训练性能分别提高高达1.42倍、1.39倍、1.43倍和1.61倍。
2023-03-21 cs.DC cs.LG cs.MA
AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
ByteDance Seed(字节跳动种子)
本文提出AsyncHZP,一种异步分层的ZeRO并行方法,通过自适应重分片和多流异步调度降低通信开销,在保持简单性的同时实现优于ND并行的可扩展LLM训练性能。
2025-10-23 cs.DC cs.LG
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology(国防科技大学);University of Leeds(利兹大学)
本文提出了一种自动化的方法来快速获得一个很好的解决方案,硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型,而不是手工制作分析模型,因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后,学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序,并在两个代表性的异构众核平台上进行评估:一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比,我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Tesseract: Parallelize the Tensor Parallelism Efficiently
HPC-AI Technology Inc.(HPC-AI科技公司);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);National University of Singapore(新加坡国立大学)
随着各种任务的最新精度的提高,深度学习模型变得越来越大。然而,实现这些大型模型是极其困难的,因为有限的GPU内存使得无法将大型模型放入单个GPU甚至GPU服务器中。此外,对于大型模型,减少训练时间是非常必要的。以前的方法,如Megatron-LM,实现了一维分布式方法,使用GPU来加速训练。然而,这些方法在大规模集群上具有高通信开销和低伸缩效率。为了解决这些问题,我们提出Tesseract,一个高度可扩展的张量并行与一个新的设计。它通过减少通信开销来提高效率,并降低每个GPU所需的内存。Tesseract通过在张量并行中引入新的维数,极大地增加了张量并行的存储容量。具体地说,这个新的维度进一步增加了张量并行的程度。与以前的1-D和2-D方法相比,Tesseract设法降低了每层的通信成本,分别带来了1.38倍和1.53倍的加速比,并具有很强的伸缩性。在弱尺度实验中,Tesseract与1-D/2-D方法相比,分别实现了最大4.0/1.7倍的推理加速和3.4/1.7倍的吞吐量提高。通过引入Tesseract,我们提供了一种更有效和可扩展的方法,可以在有限的GPU资源下实现大型深度学习模型。
2022-09-01 cs.AI cs.DC cs.LG
Placement Semantics for Distributed Deep Learning: A Systematic Framework for Analyzing Parallelism Strategies
Adobe Inc(Adobe公司)
本文提出放置语义框架,通过分析不同并行策略在设备上的状态放置方式,统一了多种分布式训练方法,实现了对内存和通信成本的准确预测。
2026-01-05 cs.AI cs.DC
Emulating a large memory with a collection of small ones
顺序计算是很好理解的,但是不能很好地与当前技术一起扩展。在未来十年内,系统将包含大量处理器,每个芯片可能有数千个处理器。尽管如此,许多计算问题表现出很少或根本没有并行性,许多现有的配方是顺序的。因此,重要的是,高度并行架构可以通过用较小存储器的集合来模拟大存储器来支持顺序计算,从而支持顺序程序或并行程序的顺序组件的有效执行。本文表明,一个现实的并行架构与可扩展的低延迟通信可以执行大内存的顺序程序,只有2至3个因素的减速,相比传统的顺序架构。为了能够在执行高度并行程序和具有大内存需求的顺序程序之间切换,这种开销似乎是可以接受的代价。因此,大内存的有效仿真可以通过允许现有程序直接编译为高度并行的体系结构,然后通过利用内存访问和计算中的并行性来提高其性能,从而促进从顺序机器的过渡。
2015-11-14 cs.AR cs.DC
Accelerating Green Computing with Hybrid Asymmetric Multicore Architectures and Safe Parallelism
在本文中,我们提出了一种新的策略,通过利用和采用混合非对称多核架构(HAMA)模型与安全并行加速绿色计算。大多数现代计算都是串行的,并导致全球能源消耗。这些影响在许多服务器群和云计算平台中经常被目睹和体验到,世界上大多数信息都驻留在这些平台上。显然,在本文中,我们提出了一种新的策略,可以帮助减缓计算造成的全球能源消耗足迹。通过我们的策略,我们证明,通过采用HAMA和利用安全并行计算的能量消耗可以最小化。
2019-09-19 cs.DC
QPOPSS: Query and Parallelism Optimized Space-Saving for Finding Frequent Stream Elements
QPOPSS 通过快速查询的 Space-Saving 实现与细粒度线程同步,解决了流数据频繁元素查找中并发更新与查询的算法保证问题,实现线性吞吐量扩展、最高准确率和极低内存占用。
2024-09-03 cs.DC
Shared memory parallelism in Modern C++ and HPX
本文概述了现代C++标准中用于单节点共享内存并行编程的语言与库特性,并介绍了HPX库如何提前实现这些标准及扩展,使开发者无需自定义扩展即可编写高性能并行代码。
2023-08-09 cs.DC
Hanayo: Harnessing Wave-like Pipeline Parallelism for Enhanced Large Model Training Efficiency
本文提出波状流水线并行策略Hanayo及其高性能运行时,在减少气泡和内存消耗的同时,于多集群测试中实现最高30.4%的吞吐量提升。
2023-08-30 cs.DC
BACKUS: Comprehensive High-Performance Research Software Engineering Approach for Simulations in Supercomputing Systems
高性能计算(HPC)平台通过采用研究软件工程(RSE)技术,使科学软件在许多研究领域(如物理学、生物学和化学)中实现突破。这些包括1)新颖的并行范例,如共享内存并行主义(例如,使用OpenMP 4.5);分布式存储器架构(例如MPI 4);将它们组合在一起的混合并行性;以及异构并行性2)引入先进的软件工程概念,如面向对象的并行编程(OOP)、并行单元测试、并行I/O接口;混合并行可视化; 3)在其他必要领域选择最佳实践,如用户界面;自动文档;版本控制和项目管理。在这项工作中,我们提出了一种综合性的高性能研究软件工程方法在超级计算系统中的模拟,我们发现它最适合于长寿命的并行科学代码。
2019-10-14 cs.DC cs.SE
PAPI: Exploiting Dynamic Parallelism in Large Language Model Decoding with a Processing-In-Memory-Enabled Computing System
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);King’s College London(伦敦国王学院);ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达公司)
PAPI提出一种支持存内计算的异构架构,通过在线内核表征和动态调度,加速大语言模型解码,在三个LLM上分别比异构和纯PIM加速器快1.8倍和11.1倍。
2025-02-27 cs.AI cs.AR cs.DC
Zero Bubble Pipeline Parallelism
Sea AI Lab
本文提出零气泡流水线并行调度,通过拆分反向计算、自动搜索最优调度并绕过优化器同步,在同步训练下消除流水线气泡,最高较 1F1B 提升 31% 吞吐量。
2023-11-30 cs.AI cs.DC cs.LG
Pipeline Parallelism for Inference on Heterogeneous Edge Computing
University of Southern California(南加州大学);Google(谷歌)
具有大模型大小的深度神经网络在计算机视觉(CV)和自然语言处理(NLP)任务中实现了最先进的结果。然而,这些大规模模型对于资源受限的边缘设备来说过于计算或内存密集型。以前关于并行和分布式执行的工作主要集中在数据中心使用同构加速器的训练-而不是推理。我们提出了EdgePipe,这是一种用于边缘系统的分布式框架,它使用流水线并行来加快推理速度,并支持运行更大(更准确)的模型,否则无法在单个边缘设备上运行。EdgePipe通过使用考虑计算、内存和网络带宽异构性的最佳分区策略来实现这些结果。我们的实证评估表明,EdgePipe实现了$10.59\times$和$11.88\times$加速使用16个边缘设备的ViT-Large和ViT-Huge模型,分别没有准确性损失。类似地,EdgePipe在使用16个边缘设备的4节点基线上通过$3.93\times$提高了ViT-Huge吞吐量,这些边缘设备无法独立地将模型放入内存中。最后,我们显示了$4.16\times$吞吐量的改善,在国家的最先进的PipeDream时,使用一组异构设备。
2021-10-28 cs.DC cs.LG
Spexis: Speculative Lookahead Scheduling for LLM Inference
Seoul National University(首尔大学);Hanyang University(汉阳大学)
Spexis通过投机并行与前瞻调度,在不增加KV缓存内存的前提下引入新并行维度,提升多GPU LLM推理效率,较最优基线加速达34%。
2026-09-29 cs.DC cs.LG
Breadth-First Pipeline Parallelism
ServiceNow Research(ServiceNow研究院)
本文提出广度优先流水线并行训练调度方法,通过结合高GPU利用率、小批量与全分片数据并行,在520亿参数模型上相比Megatron-LM实现最高43%的训练吞吐量提升。
2023-07-06 cs.AI cs.CL cs.DC
Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models
ServiceNow(ServiceNow公司)
Transformer的出现引发了语言模型规模的快速增长,远远超过了硬件的改进。在不久的将来,(密集)Transformers预计将达到万亿参数规模,为此训练需要数千甚至数万个GPU。我们调查了在这种规模及更大规模的商用硬件上进行培训的挑战。特别是,我们分析了分布式训练的不同配置的最短可能的训练时间,利用语言模型的经验缩放定律来估计最佳(临界)批量大小。与流行的观点相反,我们没有发现记忆墙的证据,而是认为真正的限制-除了成本-在于训练时间。除了这个分析,我们介绍了两种新的方法,\textit{layered gradient accumulation}和\textit{modular pipeline parallelism},这两种方法一起将最短的训练时间缩短了一半。这些方法还减少了数据移动,将网络要求降低到不需要快速InfiniBand连接的程度。这种提高的网络效率也改进了ZeRO优化器引入的方法,将内存使用量减少到可用GPU内存的一小部分。
2021-06-04 cs.AI cs.CL cs.DC
ZenLDA: An Efficient and Scalable Topic Model Training System on Distributed Data-Parallel Platform
本文介绍了我们最近的努力,zenLDA,一个有效的和可扩展的Collapsed Gibbs Sampling系统的潜在狄利克雷分配训练,这被认为是具有挑战性的,需要数据并行和模型并行,因为大样本数据高达数十亿的文档和大模型大小高达数万亿的参数。zenLDA结合了算法级改进和系统级优化。首先提出了一种新的CGS算法,该算法平衡了时间复杂度、模型精度和并行化灵活性。zenLDA中的输入语料库表示为有向图,模型参数标注为相应的顶点属性。分布式训练通过划分图来并行化,在每次迭代中,它首先并行地对所有分区应用CGS步骤,然后使计算的模型彼此同步。通过将数据并行和模型并行转化为图并行,实现了数据并行和模型并行。我们重新审视了系统效率和模型精度之间的权衡,并提出了近似方法,如非同步模型,稀疏模型初始化和“收敛”令牌排除。zenLDA基于Spark中的GraphX构建,提供分布式数据抽象(RDD)和富有表现力的API,以简化编程工作,同时隐藏系统复杂性。这使我们能够实现其他CGS算法与几行代码的变化。为了更好地适应分布式数据并行框架,并实现与当代系统相当的性能,我们还提出了几个系统级优化,以推动性能极限。在Web规模语料库上对zenLDA进行了测试,结果表明zenLDA在获得更好的性能的同时,也获得了更高的模型精度。
2015-11-02 cs.DC
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
mAPN: Modeling, Analysis, and Exploration of Algorithmic and Parallelism Adaptivity
如今,使用并行嵌入式系统的情况越来越多。由于在一个应用程序中集成多个功能或同时运行多个功能,它们变得越来越复杂。这涉及广泛的应用,包括通常在嵌入式系统中使用的流应用。这些应用程序必须实现适应性强且可靠的算法,以在各种情况下提供所需的性能(例如,在平台上运行应用程序、输入数据、平台种类等)。考虑到流应用程序、目标系统和自适应性要求的复杂性,使用传统编程模型设计此类系统是令人生畏的。这就是为什么基于模型的策略与适当的计算模型(MoC)长期以来一直在研究嵌入式系统设计。这项工作提供了算法的自适应性的顶部的并行动态的并行化来表达更大的变量集。我们提出了一个多替代过程网络(mAPN),一个高层次的抽象表示,其中同一应用程序的几个变种共存于同一个图中表达不同的实现。我们介绍mAPN属性和它的形式主义来描述各种本地实现的替代方案。此外,mAPN用元数据丰富,以根据特定度量为替代方案提供定量注释。为了帮助用户分析丰富的变量空间,我们提出了一种方法来提取用户和硬件约束下的可行的变量。该方法的核心是一种算法,用于计算从紧凑的mAPN规范执行不同的替代品的全局度量。我们验证我们的方法,探索几种可能的变种创建的自动字幕应用程序(ASA)在两个硬件平台上。
2022-07-15 cs.DC
Partitioned Neural Network Training via Synthetic Intermediate Labels
Yeditepe University(耶迪特佩大学)
本文提出通过将神经网络分区到多个GPU并利用随机生成的合成中间标签训练各分段,以降低内存和通信开销,实验表明该方法在扩展MNIST上可保持与传统训练相近的准确率。
2025-02-05 cs.AI cs.DC cs.LG
Automap: Towards Ergonomic Automated Parallelism for ML Models
DeepMind;Google Research(谷歌研究院);EPFL(洛桑联邦理工学院)
对训练大型神经网络架构的需求的快速增长使人们关注对分区策略的需求,例如通过使用数据、模型或流水线并行。实现这些方法越来越多地通过程序原语来支持,但是识别有效的分区策略需要昂贵的实验和专业知识。我们提出了一个自动化分区的原型,无缝集成到现有的编译器和现有的用户工作流。我们的分区器支持SPMD风格的并行性,包括数据并行和参数/激活分片。通过在独立于平台的分区IR中结合归纳策略和搜索,automap可以恢复专家分区策略,例如Transformer层的Megatron分片。
2021-12-06 cs.DC cs.LG
Worksharing Tasks: An Efficient Way to Exploit Irregular and Fine-Grained Loop Parallelism
共享内存编程模型通常提供工作共享和任务构造。前者依赖于高效的fork-join执行模型来利用结构化并行;而后者依赖于任务之间的细粒度同步和灵活的数据流执行模型来利用动态、不规则和嵌套并行。在同时显示结构化和非结构化并行性的应用程序中,可以将工作共享和任务结构结合起来。然而,很难在不损害数据流执行模型的情况下混合这两种执行模型。因此,在许多应用程序中,结构化并行也使用任务来利用纯数据流执行模型的全部优点。然而,任务的创建和管理可能会引入一个不可忽略的开销,防止有效利用细粒度的结构化并行,特别是在众核处理器。在这项工作中,我们提出了工作共享任务。这些任务在内部利用工作共享技术来利用细粒度的结构化的基于循环的并行性。评价显示,在若干基准和平台上取得了可喜的成果。
2020-04-07 cs.DC