TASP: Topology-aware Sequence Parallelism
针对长上下文大模型序列并行中环注意力通信效率低的问题,提出拓扑感知的TASP方法,利用拓扑分解和原语分解,在H100和MI300X上最高提速3.58倍。
2025-10-09 cs.DC cs.LG
SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling
University of Tehran(德黑兰大学)
受超标量架构启发,提出硬件-软件协同设计框架SupraSNN,通过物理解耦突触和神经元计算实现突触级并行,结合分区与启发式调度优化映射,在FPGA上实现低延迟和高能效。
2026-06-12 cs.AR cs.DC cs.NE
Efficient Hardware Accelerator Based on Medium Granularity Dataflow for SpTRSV
本文针对SpTRSV中粗、细粒度数据流难以兼顾局部性与并行性的问题,通过软硬件协同设计中等粒度数据流,并结合部分和缓存与边计算重排序,显著提升性能和能效。
2025-03-18 cs.AR cs.DC cs.NA
Alpaka - An Abstraction Library for Parallel Kernel Acceleration
将应用程序移植到新的硬件或编程模型是一个繁琐且容易出错的过程。减轻这些负担的每一个帮助都节省了开发人员的时间,然后可以将这些时间投入到应用程序本身的发展中,而不是在新平台上保持现状。Alpaka库定义并实现了一个抽象的层次冗余并行模型。该模型利用并行性和存储层次结构在当前硬件中可用的所有级别上的节点上。通过这样做,它允许通过忽略特定的不支持级别并仅利用特定加速器上支持的级别来实现跨各种类型加速器的平台和性能可移植性。支持所有硬件类型(多核和众核CPU、GPU和其他加速器),并且可以以相同的方式进行编程。Alpaka C++模板接口允许直接扩展库以支持其他加速器和其内部优化的专门化。在新的(受支持的)平台上运行Alpaka应用程序只需要更改一行源代码,而不是大量的\#ifdef。
2016-02-26 cs.DC cs.MS
Poseidon: DAG-Guided Parallelism Search for LLM Pre-Training on Heterogeneous Clusters
University of Macau(澳门大学);Fudan University(复旦大学)
Poseidon提出基于DAG的显式训练时间模型,结合阶段级剪枝与脊状分布映射,高效搜索异构集群上的LLM预训练并行方案,吞吐量提升达2.76倍。
2026-09-09 cs.DC
Memory-Efficient Pipeline-Parallel DNN Training
Stanford University(斯坦福大学);Microsoft Research(微软研究院);Microsoft(微软)
许多国家的最先进的ML的结果已经通过扩大现有模型中的参数的数量。然而,这种大型模型的参数和激活通常不适合单个加速器设备的存储器;这意味着有必要将大型模型的训练分布在多个加速器上。在这项工作中,我们提出了PipeDream-2BW,一个系统,支持内存高效的流水线并行。PipeDream-2BW使用了一种新颖的流水线和权重梯度合并策略,结合权重的双缓冲,以确保高吞吐量,低内存占用和类似于数据并行的权重更新语义。此外,PipeDream-2BW自动将模型划分到可用的硬件资源上,同时考虑硬件约束,如加速器的内存容量和互连拓扑。PipeDream-2BW可以将大型GPT和BERT语言模型的训练速度加快多达20个$\times$,最终模型精度相似。
2021-07-22 cs.DC cs.LG stat.ML
goSLP: Globally Optimized Superword Level Parallelism Framework
现代微处理器配备了单指令多数据(SIMD)或向量指令集,允许编译器利用超字级并行(SLP),一种细粒度并行。当前SLP自动向量化技术使用语义学来发现高级语言代码中的向量化机会。这些矢量化策略是脆弱的、局部的,并且通常仅呈现一种被成本模型接受或拒绝的矢量化策略。我们提出了goSLP,一种新的SLP自动向量化框架,它解决了语句包装问题,在成对的最佳方式。使用整数线性规划(ILP)求解器,goSLP每次搜索整个函数的整个语句打包机会空间,同时将总编译时间限制在几分钟内。此外,goSLP使用动态规划最优地解决了向量置换选择问题。我们在LLVM编译器基础设施中实现了goSLP,与LLVM现有的SLP自动向量化器相比,在SPEC2017fp上实现了7.58%的几何平均加速比,在SPEC2006fp上实现了2.42%,在NAS基准测试中实现了4.07%。
2018-10-30 cs.DC cs.PL
2BP: 2-Stage Backpropagation
EPCC, The University of Edinburgh(爱丁堡大学EPCC);The University of Edinburgh(爱丁堡大学)
针对流水线并行受自动微分工具瓶颈的问题,提出两阶段反向传播(2BP),通过拆分反向传播减少空闲计算,在多种架构上提升吞吐量,并在4个GPU上训练70亿参数模型时实现1.70倍加速。
2024-05-28 cs.AI cs.DC cs.LG
Advanced Python Performance Monitoring with Score-P
在过去的几年里,Python在科学界变得更加突出,现在用于模拟,机器学习和数据分析。所有这些任务都得益于并行和卸载提供的额外计算能力。在高性能计算(HPC)领域,我们可以回顾几十年来在核心、节点或节点间级别利用不同级别并行性以及利用加速器的经验。通过使用性能分析工具来调查所有这些级别的并行性,我们可以优化应用程序以获得前所未有的性能。不幸的是,标准Python性能分析工具无法处理高度并行的程序。由于这种软件的开发是复杂的,容易出错,我们展示了一个易于使用的解决方案,基于现有的工具基础设施的性能分析。在本文中,我们描述了如何应用所建立的插装框架\scorep来跟踪Python应用程序。最后,我们研究了用户可以预期的仪器他们的应用程序的开销。
2021-10-25 cs.DC cs.PF cs.SE
BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对长序列大语言模型训练的吞吐量与内存限制问题,提出BSIPipe双向序列级交错流水线并行,结合张量并行后在GPT、LLaMA3上较SOTA基线实现1.11×-1.13×平均加速比。
2026-10-14 cs.DC cs.LG
Memory and Parallelism Analysis Using a Platform-Independent Approach
新兴的计算架构(如近内存计算(NMC))通过减少CPU和内存之间的数据移动来提高应用程序的性能。然而,检测此类应用程序并不是一项微不足道的任务。在这项正在进行的工作中,我们扩展了最先进的平台无关的软件分析工具与NMC相关的指标,如内存熵,空间局部性,数据级,基本块级并行。这些指标有助于确定更适合NMC架构的应用程序。
2019-04-18 cs.AR cs.DC cs.PF
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
UC Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技);Google(谷歌);Shanghai Jiao Tong University(上海交通大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
Alpa通过生成统一数据、运算符和流水线并行的执行计划,自动化大型深度学习(DL)模型的模型并行训练。现有的模型并行训练系统要么需要用户手动创建并行化计划,要么从模型并行配置的有限空间自动生成并行化计划。它们不足以在分布式计算设备上扩展复杂的DL模型。Alpa通过将并行性视为两个层次来分配大型DL模型的训练:操作员间和操作员内并行性。在此基础上,Alpa构造了一种新的面向大规模模型并行执行计划的层次空间。Alpa设计了许多编译通道,以在每个并行级别自动导出高效的并行执行计划。Alpa实现了一个高效的运行时来协调分布式计算设备上的两级并行执行。我们的评估表明,Alpa生成的并行化计划可以匹配或优于手动调整的模型并行训练系统,即使是针对它们设计的模型。与专门的系统不同,Alpa还可以推广到具有异构架构的模型和没有手动设计计划的模型。Alpa的源代码可在https://github.com/alpa-projects/alpa上公开获取
2022-06-28 cs.DC cs.LG cs.PL
Cuckoo Trie: Exploiting Memory-Level Parallelism for Efficient DRAM Indexing
我们提出了布谷鸟Trie,一个快速,内存效率的有序索引结构。Cuckoo Trie被设计为具有内存级并行性-现代无序处理器可以利用它来并行执行DRAM访问-而不会牺牲内存效率。因此,Cuckoo Trie打破了当前索引所面临的基本性能障碍,其瓶颈是一系列依赖的指针追逐DRAM访问-例如,遍历搜索树路径--处理器无法并行化。我们的评估表明,Cuckoo Trie在各种数据集和工作负载上的性能优于最先进的索引高达20%-360%,通常具有较小或相当的内存占用。
2022-01-23 cs.DB cs.DC cs.DS
WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training
University of California, San Diego(加利福尼亚大学圣迭戈分校);Meta
针对大语言模型四维并行训练中的工作负载不均衡问题,提出WLB-LLM方法,通过流水线层面的变长文档打包与上下文层面的细粒度逐文档分片实现负载均衡,实验验证其在内部训练框架中可带来1.23倍平均加速。
2025-03-23 cs.AI cs.DC cs.LG
NanoCP: Taming Load Imbalance in Data-Expert Parallel Decoding under Variable-Length Workloads
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Huazhong University of Science and Technology(华中科技大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology(哈尔滨工业大学);Peking University(北京大学);SenseTime(商汤科技)
本文提出NanoCP,通过动态上下文并行技术解耦MoE通信与KV缓存放置,实现上下文并行度的动态平衡,从而在不增加额外负载的情况下提升请求速率和降低尾延迟。
2026-10-22 cs.DC
SWIFT: Using task-based parallelism, fully asynchronous communication, and graph partition-based domain decomposition for strong scaling on more than 100,000 cores
我们提出了一个新的开源宇宙学代码,称为SWIFT,旨在解决流体动力学方程,使用基于粒子的方法(光滑粒子流体动力学)的混合共享/分布式内存架构。SWIFT自自底向上的的设计旨在为商用集群(Tier-2系统)和Top100超级计算机(Tier-0系统)提供出色的强大扩展能力,而无需依赖特定于架构的功能或专用加速器硬件。这种性能是由于三种主要的计算方法:(1)基于任务的共享内存并行,它提供了细粒度的负载均衡,从而在大量的核心强大的伸缩性。(2)基于图的域分解,它使用任务图来分解仿真域,以便工作(而不仅仅是数据)在所有节点上均匀分布,而大多数分区方案都是如此。(3)完全动态和异步通信,其中通信被建模为基于任务的方案中的另一个任务,只要准备好就发送数据,并推迟依赖于来自其他节点的数据的任务,直到它到达。为了使用这些方法,代码必须从头开始重写,其中的算法必须适应基于任务的范式。因此,在基于x86和基于Power8的架构上,当核心数量增加512倍时,我们可以显示出60%以上的并行效率。
2016-06-08 astro-ph.IM cs.DC
Interstellar: Using Halide's Scheduling Language to Analyze DNN Accelerators
我们表明,DNN加速器微架构及其程序映射代表了循环顺序和硬件并行性的特定选择,用于计算DNN的七个嵌套循环,这使我们能够创建所有现有密集DNN加速器的正式分类。令人惊讶的是,创建这些硬件变体所需的循环转换可以用Halide的调度语言精确而简洁地表示。通过修改Halide编译器来生成硬件,我们创建了一个可以公平比较这些先前加速器的系统。只要使用适当的循环阻塞方案,并且硬件可以支持映射复制循环,许多不同的硬件固件就可以产生类似的能量效率和良好的性能。这是因为循环阻塞可以确保大多数数据引用以良好的局部性留在片上,并且处理单元具有高资源利用率。如何分配资源,特别是在内存系统中,对能源和性能有很大的影响。通过优化硬件资源分配,同时保持吞吐量不变,我们实现了高达4.2倍的能量提高卷积神经网络(CNN),1.6倍和1.8倍的提高长短期记忆(LSTM)和多层感知器(MLP),分别。
2020-04-26 cs.DC
Computer Vision Accelerators for Mobile Systems based on OpenCL GPGPU Co-Processing
Rice University(莱斯大学);Qualcomm Technologies Inc.(高通技术公司)
在本文中,我们提出了一个基于OpenCL的异构实现的计算机视觉算法-图像修补为基础的对象删除算法-在移动设备上。为了利用移动处理器的计算能力,基于移动设备上的分析结果在CPU和GPU之间划分算法工作流,使得计算密集型内核由移动GPGPU(使用图形处理单元的通用计算)加速。通过探索实现的权衡和利用不同层次的优化策略,包括算法优化,并行优化和内存访问优化,我们显着加快了算法与CPU-GPU异构实现,同时保持输出图像的质量。实验结果表明,基于GPGPU协同处理的异构计算可以显著提高计算机视觉算法的速度,并使其在实际移动设备上具有实用性。
2014-03-17 cs.CV cs.DC cs.MS
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models
UC Berkeley(加州大学伯克利分校);Duke University(杜克大学)
模型并行已经成为训练现代大规模深度语言模型的必要条件。在这项工作中,我们确定了一个新的和正交的维度,从现有的模型并行方法:它是可能的,以执行流水线并行在一个单一的训练序列基于transformer的语言模型由于其自回归属性。与以前的工作相比,这可以实现更细粒度的管道。基于这一核心思想,我们设计了一种高性能的令牌级流水线并行算法TeraPipe,用于基于transformer的语言模型的同步模型并行训练。我们开发了一种新的基于动态规划的算法来计算给定特定模型和集群配置的最优流水线执行方案。我们表明,与最先进的模型并行方法相比,TeraPipe可以将AWS集群上具有1750亿个参数的最大GPT-3模型的训练速度提高5.0倍,其中包含48个p3.16xlarge实例。复制代码可以在https://github.com/zhuohan123/terapipe上找到
2021-09-28 cs.CL cs.DC cs.LG
targetDP: an Abstraction of Lattice Based Parallelism with Portable Performance
为了在现代计算机上实现高性能,将算法并行性映射到硬件中固有的并行性至关重要。从应用程序开发人员的角度来看,代码可以跨一系列硬件以可移植的方式进行维护也很重要。在这里,我们提出了targetDP(目标数据并行),一个轻量级的编程层,允许抽象的数据并行的应用程序,采用结构化网格。单个源代码可用于在SIMD多核CPU或GPU加速平台上实现线程级并行(TLP)和指令级并行(ILP)。targetDP通过标准C预处理器宏和库函数实现,可以增量地添加到现有应用程序中,并且可以与更高级别的范例(如MPI)组合。我们目前的CPU和GPU的性能测试结果,从格子玻尔兹曼应用程序,激励这项工作。这些不仅展示了性能的可移植性,而且还展示了ILP智能曝光所带来的优化。
2014-07-31 cs.DC hep-lat physics.comp-ph
Exploiting Multiple Levels of Parallelism in Sparse Matrix-Matrix Multiplication
稀疏矩阵-矩阵乘法(Sparse matrix-matrix multiplication,简称SpGEMM)是许多高性能图算法以及一些线性求解器(如代数多重网格)的关键原语。SpGEMM的现有并行实现的缩放严重受限于通信。尽管在基于Erdos-Renyi矩阵的平面MPI模型中已经提出了3D(或2.5D)算法并进行了理论分析,但这些算法还没有在实际中实现,也没有对一般情况下的算法复杂度进行分析。在这项工作中,我们提出了有史以来第一次实现的三维SpGEMM制定,也利用多个(节点内和节点间)的并行级别,实现显着的速度比国家的最先进的公开可用的代码在所有级别的并发。我们广泛评估我们的实施情况,并确定应进一步研究的瓶颈。
2016-11-16 cs.DC cs.NA math.NA
Extracting the Potential of Emerging Hardware Accelerators for Symmetric Eigenvalue Decomposition
针对新兴硬件加速器上对称特征值分解因内存带宽受限而计算利用率极低的问题,本文提出多种算法优化以缓解内存瓶颈并提升并行利用,使三对角化在H100等GPU上相比cuSOLVER最高加速10.1倍,端到端EVD最高加速4.1倍。
2024-10-03 cs.DC
Acceleration for Timing-Aware Gate-Level Logic Simulation with One-Pass GPU Parallelism
针对 GPU 上 VLSI 门级时序仿真的并行同步与数据传输瓶颈,提出基于波形的单遍 GPU 并行方法及动态数据结构,并在工业级开源基准上验证其加速效果。
2023-04-26 cs.AR cs.DC cs.DS
Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training
针对长序列LLM训练中流水线并行的内存与气泡瓶颈,提出序列级1F1B调度方法Seq1F1B,通过细粒度切分和计算感知划分,在64块A100上以更低内存训练30B模型至64k序列,吞吐量优于Megatron 1F1B。
2024-11-11 cs.DC
Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU
随机模拟需要多次重复,以建立其结果的置信区间。即使我们不需要大量的复制,使用多个并行复制(MRIP)方法来加快整个模拟时间也是一个很好的做法。这种方法通常假设可以访问并行计算机,例如对称多处理机(具有许多核心),计算集群或计算网格。在本文中,我们提出了Warp-Level并行化(WLP),这是一种支持GP-GPU的解决方案,用于在GP-GPU(通用图形处理单元)上计算MRIP。这些设备以低成本显示出大量的并行计算能力,但经过调整,可以通过不同的线程有效地处理多个数据上的相同操作。实际上,这种范例被称为单指令多线程(SIMT)。我们的方法建议依赖于小线程组,称为线程束,执行独立的计算,如复制。我们用三种不同的模型对WLP进行了基准测试:它允许MRIP的计算速度比SIMT计算模式快六倍。
2015-01-07 cs.DC