Rethinking State-Machine Replication for Parallelism
状态机复制是设计容错服务的基本方法，它要求所有副本以相同的顺序执行命令。此外，命令执行必须是确定性的：每个副本在执行相同的命令序列时必须产生相同的输出。这些需求通常会导致单线程副本，从而影响服务性能。本文介绍了并行状态机复制（P-SMR），一种新的方法，并行状态机复制。P-SMR比以前的建议更好地扩展，因为没有组件在执行独立命令时起集中作用-那些可以并发执行的命令，如服务所定义的。本文介绍了P-SMR，描述了一个“商品化的架构”来实现它，并将其性能与其他使用键值存储和网络文件系统的建议进行了比较。
2013-11-24 cs.DC
ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models
University of Macau（澳门大学）；Great Bay University（大湾区大学）；Sun Yat-sen University（中山大学）
ETH系统针对现有大模型训练系统的缺陷，提出异构流水线并行方法，通过分层框架、分块梯度聚合等优化，实现最高2倍训练加速与最高56倍配置开销降低。
2026-10-20 cs.DC cs.LG
Optimizing Fine-Grained Parallelism Through Dynamic Load Balancing on Multi-Socket Many-Core Systems
针对GNU OpenMP在细粒度短任务上同步开销高的问题，提出XQueue无锁队列、分布式树屏障及两种NUMA感知无锁负载均衡策略，在BOTS基准测试中实现最高千倍级性能提升。
2025-03-19 cs.DC
SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Argonne National Laboratory（阿贡国家实验室）；University of Florida（佛罗里达大学）
针对大规模LLM预训练中故障频繁导致重启开销主导训练时间的问题，提出SPARe框架，通过跨并行组堆叠冗余数据分片并自适应重排序执行顺序，在梯度同步中掩盖节点故障，实现接近传统复制的可用性且计算开销仅2~3倍，在60万GPU规模下训练时间减少40~50%。
2026-05-27 cs.DC cs.SY eess.SY
Kotlin-MP: DSL and IR Transformer for Parallelism
针对Kotlin缺乏低开销、基于指令的真正硬件并行构造问题，提出Kotlin-MP，它是一种原生Kotlin DSL与自定义IR变压器结合的编译器插件，DSL提供直观语法，IR变压器在编译时重写代码以优化并行任务。
2026-07-07 cs.DC cs.PL
Exploiting Fine-Grain Ordered Parallelism in Dense Matrix Algorithms
密集的线性代数内核对于无线应用至关重要，而即将到来的5G扩散只会放大它们的重要性。许多这样的矩阵算法是归纳的，并且表现出大量的细粒度有序并行性-当多个计算流具有细粒度生产者/消费者依赖性时，并且迭代域不容易平铺。同步开销使得多核并行无效，并且不可分块的迭代使得向量VLIW方法效率较低，特别是对于通常中等大小的矩阵。由于CPU和DSP会损失数量级的性能/硬件利用率，因此信号处理管道中通常采用昂贵且不灵活的ASIC。具有类似性能/功率/面积的可编程加速器将是高度期望的。我们发现，细粒度有序并行可以利用支持：1。基于细粒度流的通信/同步; 2.归纳数据重用和存储器访问模式; 3.部分向量的隐式向量掩码; 4.低关键性的硬件专业化。在这项工作中，我们建议，REVEL，作为下一代DSP架构。它在其ISA和微架构中支持上述功能，并进一步使用新的矢量流控制范式来减少控制开销。在一套线性代数内核中，REVEL在延迟方面比同等配置的DSP高出4.6 - 37倍，每mm 2的性能达到8.3倍。它的功耗仅为理想ASIC的2.2倍，仅占总面积的55%。
2019-05-09 cs.AR cs.DC
SPD: Sync-Point Drop for Efficient Tensor Parallelism of Large Language Models
Apple（苹果公司）
本文提出同步点丢弃（SPD）方法，通过选择性省略注意力输出同步来降低大语言模型张量并行推理的通信开销，在8 GPU上使LLaMA2-70B推理延迟降低约20%且准确率下降不足1%。
2025-06-01 cs.AI cs.DC cs.LG
Taskgraph: A Low Contention OpenMP Tasking Framework
OpenMP是高性能计算（HPC）中共享内存系统的事实标准。它包括一个基于任务的模型，提供了一个高层次的抽象，以简单灵活的方式有效地利用高度动态的结构化和非结构化并行。不幸的是，在大多数常见的OpenMP框架中，管理任务所引入的运行时开销（非常）高（例如，GCC，LLVM），这就破坏了任务模型的潜在优势，使其只适合于粗粒度的任务。本文介绍了taskgraph，一个框架，使用任务依赖图（TDG）来表示使用OpenMP任务实现的代码区域，以减少与任务管理相关的运行时开销，即，竞争和并行编排，包括任务创建和同步。TDG避免了与任务依赖性的解析相关的开销，并且极大地减少了来自对共享资源的访问的开销。此外，taskgraph框架在OpenMP中引入了记录和重放执行模型，该模型从第二次执行开始加速taskgraph区域。总的来说，本文中提出的多种优化允许利用细粒度的OpenMP任务，以应对当前应用程序中的趋势，以利用大规模的节点上的并行性，细粒度和动态调度范例。该框架在LLVM 15.0上实现。结果表明，taskgraph实现优于香草的OpenMP系统的性能和可扩展性方面，所有结构化和非结构化的并行性，并考虑粗粒度和细粒度的任务。此外，所提出的框架大大减少了OpenMP的任务和线程模型之间的性能差距。
2022-12-09 cs.DC
MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
Peking University（北京大学）
本文提出 MegaScale-Infer，通过分离 attention 与 FFN、乒乓流水线并行及 M2N 通信库优化大规模 MoE 推理，单 GPU 吞吐量最高达现有方案的 1.90 倍。
2025-07-26 cs.DC cs.LG
Accelerating Task-based Iterative Applications
作为传统fork-join并行的替代方案，基于任务的编程模型越来越受欢迎。它们更适合于编写具有不规则并行性的应用程序，这些并行性可能会导致负载不平衡。然而，这些编程模型受到与任务创建、调度和依赖性管理相关的开销的影响，当任务变得太小时，限制了性能和可扩展性。同时，许多HPC应用实现迭代法或多步模拟，其在每次迭代上创建相同的任务的有向非循环图。通过为应用程序员提供一种方式来表达特定循环在每次迭代中创建相同的任务模式，我们可以一次性创建单个任务DAG并将其转换为循环图。这个循环图然后被重复用于连续的迭代，最小化任务创建和依赖管理开销。本文介绍了taskiter，一个新的构造，我们提出的Ompss-2和OpenMP编程模型，允许使用有向循环任务图（DCTG），以尽量减少运行时开销。此外，我们提出了一个简单的直接后继本地感知启发式，最大限度地减少任务调度开销绕过运行时任务调度程序。我们评估的任务和直接后继启发式的实施8迭代基准。使用小的任务粒度，我们获得了3.7倍的平均加速比的参考OmpSs-2的实现和平均5倍和7.46倍的加速比的LLVM和GCC的OpenMP运行时，分别。
2022-08-12 cs.DC
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute；Amazon；University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
RTP: Rethinking Tensor Parallelism with Memory Deduplication
University of Virginia（弗吉尼亚大学）
本文提出 Rotated Tensor Parallelism（RTP），通过内存去重复、定制通信原语、享元初始化及计算通信重叠，实现近最优分布式训练内存占用并支持更大模型。
2023-11-02 cs.AI cs.DC cs.NI
OpenCL Actors - Adding Data Parallelism to Actor-based Programming with CAF
Actor计算模型是为无缝支持并发和分布而设计的。然而，它仍然不具体的数据并行程序流，而现代的许多核心硬件，如图形处理单元（GPU）或协处理器的可用处理能力增加了通用计算的数据并行的相关性。在这项工作中，我们介绍了OpenCL启用的演员的C++演员框架（CAF）。这为访问任何OpenCL设备提供了一个高级接口，而无需离开Actor范例。这种新型的Actor被集成到CAF的运行时环境中，并在异构硬件上的分布式系统中产生透明的消息传递。遵循CAF中的actor逻辑，OpenCL内核可以在封装在C++ actor中的同时进行组合，因此可以以多级方式对驻留在GPU上的数据进行操作。因此，开发人员能够从原语构建复杂的数据并行程序，而无需离开Actor范式，也不会牺牲性能。我们对商用GPU、Nvidia TESLA和Intel PHI的评估显示，在卸载较大工作负载时，预期的线性扩展行为。对于亚秒级负载，发现卸载效率在设备之间存在很大差异。此外，我们的研究结果表明，使用本机OpenCL API编程的开销可以忽略不计。
2017-09-22 cs.DC
HSAP: A Hierarchical Sequence-aware Parallelism for Hybrid-Context Generative Models
Southern University of Science and Technology（南方科技大学）；International Digital Economy Academy（国际数字经济学院）
提出一种分层序列感知并行框架，通过JIT编译优化通信策略，解决混合上下文打包序列中的因果注意力计算问题，在多个指标上优于现有方法。
2026-07-01 cs.DC cs.LG
MixServe: An Automatic Distributed Serving System for MoE Models with Hybrid Parallelism Based on Fused Communication Algorithm
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
MixServe通过融合AR-A2A通信算法的混合并行机制，实现MoE模型的高效部署，显著提升了推理性能和吞吐量。
2026-01-13 cs.DC
mAPN: Modeling, Analysis, and Exploration of Algorithmic and Parallelism Adaptivity
如今，使用并行嵌入式系统的情况越来越多。由于在一个应用程序中集成多个功能或同时运行多个功能，它们变得越来越复杂。这涉及广泛的应用，包括通常在嵌入式系统中使用的流应用。这些应用程序必须实现适应性强且可靠的算法，以在各种情况下提供所需的性能（例如，在平台上运行应用程序、输入数据、平台种类等）。考虑到流应用程序、目标系统和自适应性要求的复杂性，使用传统编程模型设计此类系统是令人生畏的。这就是为什么基于模型的策略与适当的计算模型（MoC）长期以来一直在研究嵌入式系统设计。这项工作提供了算法的自适应性的顶部的并行动态的并行化来表达更大的变量集。我们提出了一个多替代过程网络（mAPN），一个高层次的抽象表示，其中同一应用程序的几个变种共存于同一个图中表达不同的实现。我们介绍mAPN属性和它的形式主义来描述各种本地实现的替代方案。此外，mAPN用元数据丰富，以根据特定度量为替代方案提供定量注释。为了帮助用户分析丰富的变量空间，我们提出了一种方法来提取用户和硬件约束下的可行的变量。该方法的核心是一种算法，用于计算从紧凑的mAPN规范执行不同的替代品的全局度量。我们验证我们的方法，探索几种可能的变种创建的自动字幕应用程序（ASA）在两个硬件平台上。
2022-07-15 cs.DC
Faster Parallel Triangular Maximally Filtered Graphs and Hierarchical Clustering
针对现有TMFG-DBHT并行聚类算法并行度有限的问题，本文通过聚合TMFG构建工作、惰性更新信息及近似计算DBHT全源最短路径，实现了3.7-10.7倍的速度提升且保持聚类精度。
2024-08-18 cs.DC
A New and Efficient Algorithm-Based Fault Tolerance Scheme for A Million Way Parallelism
高性能计算（HPC）应用的容错开销对于大规模HPC系统的有效利用变得至关重要。HPC应用程序通常通过检查点来容忍故障-停止故障。另一种有前途的方法是在算法层面，称为算法恢复。这两种方法在系统规模不是很大时可以达到很高的效率，但当系统规模接近Exaflops时，即系统中包含的处理器数量达到100万时，这两种方法都将失去有效性。本文提出了一种新的高效的基于算法的高性能计算容错方案。当执行过程中出现故障时，我们不会停下来等待恢复损坏的数据，而是用相应的冗余数据替换它们并继续执行。同时提出了一种后台加速恢复方法来重建冗余以容忍执行过程中的多次故障。为了证明我们新方案的可行性，我们将其纳入了高性能Linpack。理论分析表明，我们的新的容错方案仍然可以有效，即使系统规模达到Exaflops。在SiCortex SC 5832上进行的实验验证了该方案的可行性，并表明该方案的优点在小规模下也能体现出来。
2011-06-21 cs.DC
HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore（新加坡国立大学）
HelixPipe提出注意力并行划分与双重先进后出微批次调度，结合无注意力重计算和分块MLP，显著提升长序列Transformer分布式训练的吞吐量和可扩展性，在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
Optimizing the Performance of Reactive Molecular Dynamics Simulations for Multi-Core Architectures
反应分子动力学模拟计算量很大。达到可以观察到有趣的科学现象的空间和时间尺度，需要在现代硬件上实现高效和可扩展的实现。在本文中，我们专注于优化性能的广泛使用的LAMMPS/ReaxC包的多核架构。由于混合并行可以更好地利用节点上的并行性，我们采用线程并行性的绑定和非绑定列表的建设，并在复杂的ReaxFF交互的计算。为了减轻由于产生大量轨迹数据而产生的I/O开销，并为用户节省后处理的负担，我们还开发了一种用于分子种类分析的新型原位工具。我们分析了所得到的ReaxC-OMP包的米拉，IBM蓝色基因/Q超级计算机上的性能。对于尺寸从3.2万到1660万颗粒的PETN系统，我们观察到1.5- 4.5倍的加速。我们观察到Mira高达262，144个核心（1，048，576个进程）的持续性能改进，以及在包含1660万个粒子的大型模拟中91.5%的弱缩放效率。原位分子种类分析工具在各种系统尺寸和运行配置中仅引起微不足道的开销。
2017-06-23 cs.DC cs.PF
Scheduling computations with provably low synchronization overheads
工作窃取已经是一个非常成功的算法调度并行计算，并被称为实现高性能，甚至表现出细粒度的并行计算。我们提出了一个\ws \的变体，它可以通过在默认情况下保持处理器的deque完全私有来避免大多数同步开销，并且只在小偷请求时才公开工作。这是第一篇论文，获得的同步开销的界限是（基本上）独立的总工作量，从而对应于一个很大的改进，在算法设计和理论，超过国家的最先进的\ws \算法。考虑使用我们的调度程序由$P$处理器执行的具有工作$T_{1}$和关键路径长度$T_{\infty}$的任何计算。我们的分析表明，预期的执行时间为$O\left(\frac{T_{1}}{P} + T_{\infty}\right)$，预期的同步开销最多为$O\left(\left(C_{CAS} + C_{MFence}\right)PT_{\infty}\right)$，其中$C_{CAS}$和$C_{MFence}$分别表示执行Compare-And-Swap指令和Memory Fence指令的最大开销。
2019-04-26 cs.DC cs.DS
Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide
Huawei Canada（华为加拿大）
本文研究大规模语言模型的分布式混合并行方法，通过比较分析和系统设计指南，探讨优化并行策略以提升训练和推理效率。
2026-02-09 cs.AI cs.CV cs.DC
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.（NEC美国实验室公司）
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合，这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此，使用模型并行（与数据并行相反）训练诸如卷积神经网络之类的大型模型是具有挑战性的，因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain，一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说，SplitBrain提供了特定于层的分区，可以将计算密集型卷积层放在一起，同时对内存需求层进行分片。提出了一种新的可扩展组通信，以进一步提高训练吞吐量，减少通信开销。实验结果表明，SplitBrain在实现数据和模型并行VGG时，与CIFAR-10相比，可以实现接近线性的加速比，同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
DCP: Addressing Input Dynamism In Long-Context Training via Dynamic Context Parallelism
The University of Hong Kong（香港大学）；Amazon Web Services（亚马逊网络服务）
提出动态上下文并行框架DCP，通过细粒度数据和计算分块及灵活映射，解决长上下文训练中序列长度和注意力模式动态变化导致的通信与计算不均衡问题，实现显著加速。
2025-10-12 cs.DC cs.LG
An efficient GPU approach for designing 3D cultural heritage information systems
提出一种利用GPU并行性、以二维纹理存储和索引专题图层的新架构，用于三维文化遗产信息系统，相比八叉树方法在性能和存储上更优。
2025-01-15 cs.DC cs.GR
Towards Quantized Model Parallelism for Graph-Augmented MLPs Based on Gradient-Free ADMM Framework
Emory University（埃默里大学）；Xidian University（西安电子科技大学）；University of Virginia（弗吉尼亚大学）
虽然图神经网络（GNN）在深度学习社区中很受欢迎，但它们面临着一些挑战，包括过度平滑，过度挤压和梯度消失。最近，一系列的模型已经尝试通过首先增加节点特征，然后施加基于多层感知器（MLP）的节点功能来缓解这些问题，这些模型被广泛称为GA-MLP模型。然而，虽然GA-MLP模型享有更深的架构以获得更好的准确性，但它们的效率在很大程度上恶化。此外，由于样本之间的依赖性（即，节点）中。为了解决这些问题，本文提出了一个并行图深度学习交替方向乘法（pdADMM-G）框架来实现模型并行，而不是数据并行：GA-MLP模型的每一层中的参数都可以并行更新。扩展的pdADMM-G-Q算法通过引入量化技术降低了通信开销。以次线性收敛速率$o(1/k)$提供了到pdADMM-G算法和pdADMM-G-Q算法的（量化）稳定点的理论收敛，其中$k$是迭代次数。大量的实验证明了所提出的两种算法的收敛性。此外，它们在九个基准数据集上比所有最先进的比较方法都具有更大的加速比和更好的性能。最后但并非最不重要的是，所提出的pdADMM-G-Q算法减少了高达$45\%$的通信开销而不损失性能。我们的代码可在\url{https://github.com/xianggebenben/pdADMM-G}上找到。
2022-11-17 cs.DC cs.LG math.OC
PASGAL: Parallel And Scalable Graph Algorithm Library
本文提出并行图算法库PASGAL，通过垂直粒度控制技术隐藏同步开销并重新设计算法与数据结构，有效解决了大直径图上的并行处理瓶颈，在BFS等算法上显著优于现有并行实现。
2024-04-26 cs.DC cs.DS
PiPar: Pipeline Parallelism for Collaborative Machine Learning
University of St Andrews（圣安德鲁斯大学）；Rakuten Mobile, Inc.（乐天移动公司）
针对协作机器学习中资源利用率低的问题，提出PiPar框架，通过流水线并行化计算与通信，显著减少服务器空闲时间并加速训练，实验显示最高提速34.6倍。
2024-06-25 cs.DC cs.LG
Real-time and Downtime-tolerant Fault Diagnosis for Railway Turnout Machines (RTMs) Empowered with Cloud-Edge Pipeline Parallelism
School of Software, Nanjing University of Information Science and Technology（南京信息工程大学软件学院）；School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）；NRIET Industrial Co.,Ltd.（国电南瑞科技股份有限公司）
针对铁路转辙机故障诊断的实时性与停机容忍需求，提出云边协同框架CEC-PA，采用模块化分层模型和流水线并行，实现97.4%准确率及1.98-7.93倍推理加速。
2024-11-04 cs.AI cs.DC cs.NI
