Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架，通过无通信分布式采样、3D并行矩阵乘法和数据并行性，实现大规模小批量GNN训练，提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Ensemble Toolkit: Scalable and Flexible Execution of Ensembles of Tasks
有许多科学应用程序需要可扩展的任务级并行性，并支持灵活的执行和耦合的模拟合奏。然而，大多数高性能系统软件和中间件都是设计用于支持单个任务的执行和优化。出于这些计算系统的缺失功能和任务级并行的重要性日益增加，我们介绍了Ensemble工具包，它具有以下应用程序开发功能：（i）抽象，使合奏作为主要实体的表达，以及（ii）支持基于合奏的执行模式，捕获大多数应用程序场景。Ensemble Toolkit使用一个可扩展的基于pilot的运行时系统，该系统将工作负载执行和资源管理细节从应用程序的表达式中分离出来，并使集成在异构计算资源上的高效和动态执行成为可能。我们调查了三种执行模式，并描述了这些模式的可扩展性和开销的Entrance工具包。我们调查的标度性能高达O（1000）并发合奏和O（1000）核心，并找到线性弱和强标度行为。
2016-06-27 cs.DC
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute；Amazon；University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
Anonymous Authors（匿名作者）
BOOST通过引入瓶颈感知张量并行和优化技术，提升低秩瓶颈架构的训练效率，实现1.46-1.91倍的速度提升，同时减少通信开销和GPU利用率。
2026-05-11 cs.DC cs.LG
HyPar-Flow: Exploiting MPI and Keras for Scalable Hybrid-Parallel DNN Training using TensorFlow
The Ohio State University（俄亥俄州立大学）
为了减少大规模DNN的训练时间，科学家们已经开始探索数据并行、模型并行和混合并行等并行化策略。虽然数据并行已经得到了广泛的研究和发展，但在有效实现模型并行和混合并行方面还存在一些问题。我们关注的四个主要问题是：1）定义跨进程的分布式模型的概念，2）实现跨进程边界的前向/反向传播，这需要显式通信，3）在固有的顺序任务上获得并行加速，以及4）实现可扩展性而不损失模型的准确性。为了解决这些问题，我们创建了HyPar-Flow --一个模型大小/类型不可知的，可扩展的，实用的和用户透明的系统，用于通过利用MPI，Keras和TensorFlow进行混合并行训练。HyPar-Flow提供了一个API，可用于对任何Keras模型进行大规模的数据、模型和混合并行训练。我们创建了用户提供的Keras模型的内部分布式表示，利用TF的Eager执行功能进行跨进程的分布式前向/反向传播，利用流水线来提高性能，并利用高效的MPI原语进行可扩展的通信。在模型分区之间，我们使用send和recv来交换层数据/部分错误，而allreduce用于累积/平均模型副本之间的梯度。除了HyPar-Flow的设计和实现，我们还提供了三个最先进的HPC系统的全面正确性和性能结果，包括TACC Frontera（Top500.org上排名第5）。对于超深度模型ResNet-1001，HyPar-Flow提供：1）基于Horo…
2020-02-19 cs.AI cs.DC cs.LG
MorphStream: Scalable Processing of Transactions over Streams on Multicores
本文提出多核事务流处理引擎 MorphStream，通过规划、调度、执行三阶段范式支持动态调度与并行处理，实验表明其在多场景下优于现有 TSPE。
2023-07-24 cs.DB cs.DC
A Scalable Recipe on SuperMUC-NG Phase 2: Efficient Large-Scale Training of Language Models
Leibniz Supercomputing Centre of the Bavarian Academy of Science and Humanities（巴伐利亚科学院莱布尼茨超级计算中心）；Intel Deutschland GmbH（英特尔德国有限公司）
本文研究了在SuperMUC-NG Phase 2系统上高效训练大规模语言模型的方法，通过并行训练技术提升计算效率，实现了1750亿参数模型的高效训练。
2026-05-08 cs.DC
Tesseract: Parallelize the Tensor Parallelism Efficiently
HPC-AI Technology Inc.（HPC-AI科技公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
随着各种任务的最新精度的提高，深度学习模型变得越来越大。然而，实现这些大型模型是极其困难的，因为有限的GPU内存使得无法将大型模型放入单个GPU甚至GPU服务器中。此外，对于大型模型，减少训练时间是非常必要的。以前的方法，如Megatron-LM，实现了一维分布式方法，使用GPU来加速训练。然而，这些方法在大规模集群上具有高通信开销和低伸缩效率。为了解决这些问题，我们提出Tesseract，一个高度可扩展的张量并行与一个新的设计。它通过减少通信开销来提高效率，并降低每个GPU所需的内存。Tesseract通过在张量并行中引入新的维数，极大地增加了张量并行的存储容量。具体地说，这个新的维度进一步增加了张量并行的程度。与以前的1-D和2-D方法相比，Tesseract设法降低了每层的通信成本，分别带来了1.38倍和1.53倍的加速比，并具有很强的伸缩性。在弱尺度实验中，Tesseract与1-D/2-D方法相比，分别实现了最大4.0/1.7倍的推理加速和3.4/1.7倍的吞吐量提高。通过引入Tesseract，我们提供了一种更有效和可扩展的方法，可以在有限的GPU资源下实现大型深度学习模型。
2022-09-01 cs.AI cs.DC cs.LG
The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism
Tokyo Institute of Technology（东京工业大学）；University of Oregon（俄勒冈大学）；RIKEN Center for Computational Science（理化学研究所计算科学研究中心）
我们提出了可扩展的混合并行算法，用于训练大规模的三维卷积神经网络。基于深度学习的新兴科学工作流通常需要使用大型高维样本进行模型训练，这可能会使训练成本更高，甚至由于过度使用内存而不可行。我们通过在整个端到端训练管道（包括计算和I/O）中广泛应用混合并行来解决这些挑战。我们的混合并行算法扩展了标准的数据并行与空间并行，它划分了一个单一的样本在空间域中，实现强大的扩展超出了小批量尺寸与更大的聚合内存容量。我们用两个具有挑战性的3D CNN，CosmoFlow和3D U-Net来评估我们提出的训练算法。我们的综合性能研究表明，使用2K GPU的两个网络都可以实现良好的弱扩展和强扩展。更重要的是，我们能够使用比以前更大的样本来训练CosmoFlow，从而实现预测准确性的数量级提高。
2020-07-25 cs.DC cs.LG
Optimizing Fine-Grained Parallelism Through Dynamic Load Balancing on Multi-Socket Many-Core Systems
针对GNU OpenMP在细粒度短任务上同步开销高的问题，提出XQueue无锁队列、分布式树屏障及两种NUMA感知无锁负载均衡策略，在BOTS基准测试中实现最高千倍级性能提升。
2025-03-19 cs.DC
dMath: A Scalable Linear Algebra and Math Library for Heterogeneous GP-GPU Architectures
本文介绍了一种新的可扩展并行数学库dMath，它展示了在使用节点内或节点间混合并行进行深度学习时的领先扩展能力。dMath提供易于使用的分布式基本原语和各种特定于域的算法。这些包括矩阵乘法，卷积和其他允许快速开发高度可扩展的应用程序，包括深度神经网络（DNN），而以前仅限于为单个GPU提供有效原语的库，如Nvidia cuplex和cudnn或来自Nerve neon框架的DNN原语。HPC软件的开发是一项困难的劳动密集型工作，需要独特的技能。dMath允许广泛的开发人员轻松利用并行和分布式硬件。这种方法的一个贡献是数据永久存储在GPU硬件上，避免了主机和设备之间的昂贵传输。利用了高级存储管理技术，包括对传输数据的高速缓存和通过池化的存储器重用。dMath的一个关键贡献是它为特定的支持领域提供了性能、可移植性和生产力。它使算法和应用程序编程人员能够快速解决问题，而无需管理与多级并行相关的显著复杂性。
2016-04-05 cs.DC cs.MS cs.NE
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
PASGAL: Parallel And Scalable Graph Algorithm Library
本文提出并行图算法库PASGAL，通过垂直粒度控制技术隐藏同步开销并重新设计算法与数据结构，有效解决了大直径图上的并行处理瓶颈，在BFS等算法上显著优于现有并行实现。
2024-04-26 cs.DC cs.DS
FastMPS: Revisit Data Parallel in Large-scale Matrix Product State Sampling
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Hefei National Research Center for Physical Sciences at the Microscale（合肥微尺度物质科学国家研究中心）；National Supercomputing Center in Wuxi（无锡国家超级计算中心）
Fast-MPS通过结合数据并行与张量并行，实现大规模MPS采样效率的显著提升，达到10倍以上的加速效果。
2025-12-23 cs.DC
ShadowSync: Performing Synchronization in the Background for Highly Scalable Distributed Training
University of Pennsylvania（宾夕法尼亚大学）；Facebook（脸书）；Horizon Robotics（Horizon Robotics（地平线机器人））；Cruise
推荐系统通常使用大量数据进行训练，而分布式训练是缩短训练时间的主力。虽然训练吞吐量可以通过简单地添加更多的工人来增加，但保持模型质量也越来越具有挑战性。在本文中，我们提出了\shadowsync，一个分布式框架，专门为现代规模的推荐系统培训。与以前的同步作为训练过程的一部分发生的工作相比，\shadowsync将同步与训练分离，并在后台运行。这种隔离显著降低了同步开销并增加了同步频率，因此我们在大规模训练时能够获得高吞吐量和出色的模型质量。通过训练深度神经网络进行点击率预测任务的实验，证实了我们的过程的优越性。我们的框架是能够表达数据并行性和/或模型并行，通用主机的各种类型的同步算法，并很容易适用于大规模的问题在其他领域。
2021-02-23 cs.DC cs.LG stat.ML
Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms
所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性，数据重用必须利用，以实现良好的性能。一些研究人员考虑了这个问题，无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下，我们提出了一个解决方案，依赖于分层多级基于软件的缓存，以最大限度地提高数据重用在分布式存储层次结构的每一个级别，结合分治的方法来利用数据的本地性，分层工作窃取动态平衡的工作负载，和异步处理，以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序（从数字取证，本地化显微镜和生物信息学）在不同的平台（从台式机到超级计算机）。结果显示，当扩展到96个GPU时，具有出色的效率和可扩展性，甚至由于分布式缓存而获得超线性加速。
2020-09-10 cs.DC
Scaling LLM Inference Beyond Amdahl`s Limits via Eliminating Non-Scalable Overheads
scitix（思梯科技）；Tsinghua University（清华大学）
针对LLM推理中张量并行度增加导致的不可扩展开销问题，提出Albireo系统，通过重叠调度、I/O与计算及序列并行采样来提升最优并行度，从而显著提高吞吐量、降低延迟和能耗。
2026-06-01 cs.DC
Massive Data-Centric Parallelism in the Chiplet Era
本文提出面向任务的 chiplet 架构 Tascade，通过代理区域和选择性级联实现百万级 PU 上的可扩展数据中心并行，并在大规模图搜索等应用中取得领先性能。
2023-08-11 cs.AR cs.DC
Scalable Systems and Software Architectures for High-Performance Computing on cloud platforms
本文针对HPC应用规模增长带来的架构需求，综述本地HPC架构及构建挑战，研究云平台可扩展HPC系统的设计原则、挑战与趋势，为云HPC可扩展方案提供洞见。
2024-08-18 cs.DC cs.PF
A Fast and Scalable Graph Coloring Algorithm for Multi-core and Many-core Architectures
非结构化数据上的非规则计算是并行程序设计中一类重要的问题。图着色通常是一个重要的预处理步骤，例如，作为一种执行安全并行执行的依赖性分析的方式。着色算法的总运行时间会增加应用程序的总体并行开销，而使用的颜色数量决定了公开的并行度。使用尽可能少的颜色的快速和可扩展的着色算法对于许多依赖于运行时依赖性分析的不规则应用程序的整体并行性能和可扩展性至关重要。Catalyurek等人提出了一种图着色算法，该算法依赖于颜色的推测性局部分配。在本文中，我们提出了一个改进的版本，运行更乐观的线程同步和减少冲突的数量相比，催化剂等。的算法。我们证明了新技术在多核和众核系统上的扩展性更好，并且在具有高度数顶点的图上的执行速度比其前身快1.5倍，同时将颜色数量保持在相同的接近最佳水平。
2015-05-18 cs.DC
A Comparative Analysis of Distributed Training Strategies for GPT-2
本研究比较分析数据并行与模型并行策略（如FSDP和DDP），以解决GPT-2等大型语言模型训练中的计算与内存挑战，提升训练效率与可扩展性。
2024-05-24 cs.DC
Scalable data abstractions for distributed parallel computations
将程序表示为部件的分层组合的能力是管理软件复杂性的重要工具，并且这提供的关键抽象是将数据的表示与计算分离。许多当前的并行编程模型使用共享存储器模型来提供数据抽象，但是由于非确定性和访问延迟，这不能很好地与大量核一起扩展。本文提出了一个简单的编程模型，允许可扩展的并行程序表示与分布式表示的数据，它提供了程序员的灵活性，采用共享或分布式风格的数据并行在适用的情况下。它能够有效地实现，并且在硬件中提供一小部分原始功能，它可以被编译为直接在硬件上操作，就像基于堆栈的分配在顺序机中的子程序中操作一样。
2012-10-03 cs.DC cs.PL
HyDra: Demystifying and Taming Dynamic Context Parallelism at Production Scale
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；Nanjing University（南京大学）
HyDra通过负载驱动调度和嵌套CP引擎，平衡动态上下文并行中的计算，减少流水线气泡，提升生产规模下的训练吞吐量。
2026-09-29 cs.DC
An Easy-to-use Scalable Framework for Parallel Recursive Backtracking
超级计算机配备了越来越多的核心，以使用计算能力作为解决问题的一种方式，否则是棘手的。不幸的是，让串行算法并行运行，以利用这些计算资源仍然是一个挑战的几个应用领域。许多并行算法只能扩展到数百个核心。这种算法的限制因素通常是通信开销和差的负载均衡。使用精确算法解决NP-难图问题的最优性是一个例子，在这个领域中，迄今为止在获得大规模并行方面取得的成功有限。这些算法中的许多使用递归回溯作为其核心解决方案范例。在本文中，我们提出了一个轻量级的，易于使用的，可扩展的框架，几乎任何递归回溯算法转化为并行的。我们的框架引起最小的通信开销，并保证负载平衡策略是隐式的，即，不需要任何特定问题的知识。这个框架背后的关键思想是使用索引搜索树方法，这种方法对正在解决的问题一无所知。我们测试我们的框架与著名的顶点覆盖和支配集问题的算法的并行实现。在足够硬的情况下，实验结果显示数千个核心的线性加速，将运行时间从几天减少到几分钟。
2013-12-30 cs.DC
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.（NEC美国实验室公司）
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合，这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此，使用模型并行（与数据并行相反）训练诸如卷积神经网络之类的大型模型是具有挑战性的，因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain，一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说，SplitBrain提供了特定于层的分区，可以将计算密集型卷积层放在一起，同时对内存需求层进行分片。提出了一种新的可扩展组通信，以进一步提高训练吞吐量，减少通信开销。实验结果表明，SplitBrain在实现数据和模型并行VGG时，与CIFAR-10相比，可以实现接近线性的加速比，同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
Achieving Efficient Strong Scaling with PETSc using Hybrid MPI/OpenMP Optimisation
在现代高性能平台中，处理元件数量的增加和存储器与核心比率的降低使得高效的强缩放成为数值算法的关键要求。为了在大规模并行系统上实现有效的可扩展性，科学软件必须在整个堆栈上发展，以利用现代体系结构中暴露的多级并行性。在本文中，我们演示了使用混合MPI/OpenMP并行优化并行稀疏矩阵向量乘法在PETSc，广泛使用的科学图书馆的可扩展的偏微分方程的解决方案。使用Fluidity生成的大矩阵，一个开源的CFD应用程序代码，使用PETSc作为其线性求解器引擎，我们使用基于任务的并行性显式通信重叠的效果进行评估，并展示如何进一步提高性能显式负载均衡线程在MPI进程。我们展示了显着的加速比纯MPI模式和有效的强大的缩放稀疏矩阵向量乘法富士通PRIMEHPC FX 10和Cray XE 6系统。
2013-03-21 cs.DC
Scalable Edge Partitioning
以边为中心的分布式计算是近年来出现的一种新技术，它可以改善大型无标度网络上像顶点一样思考算法的缺点。为了提高这种模型的并行性，边缘分区（将边缘划分为大小大致相等的块）已经成为传统（基于节点的）图分区的替代方案。在这项工作中，我们给出了一个分布式内存并行算法，以计算高质量的边缘分区在一个可扩展的方式。我们的算法可扩展到具有数十亿条边的网络，并在数千个PE上高效运行。我们的技术是基于一个快速并行化的分裂图建设和使用先进的节点划分算法。我们广泛的实验表明，我们的算法具有高质量的大型现实世界的网络和大型双曲随机图，其中有一个幂律度分布，因此专门针对边缘划分
2018-10-11 cs.DC cs.DM cs.DS
Staleness-Centric Optimizations for Parallel Diffusion MoE Inference
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
DICE 提出了一种以 staleness 为中心的优化框架，通过交错并行性、选择性同步和条件通信减少 staleness，实现 1.26 倍速度提升并保持高质量。
2025-11-27 cs.DC
Parallel Flowshop in YewPar
对于许多运筹学（OR）问题，并行组合搜索可以减少找到精确解的时间，但并行组合搜索是极具挑战性的。YewPar是一个新的组合搜索框架，旨在让领域专家受益于并行重用复杂的并行搜索模式。本文表明：（1）对一个典型的OR问题进行编码和并行化的工作量很小（2）YewPar库使得利用三种替代FSP并行化非常容易;（3）YewPar FSP实现是有效的，并且具有与已发布算法相当的顺序性能;以及（4）在Beowulf集群上的10个标准FSP实例上提供了三个并行FSP版本的系统性能评估，该实例具有多达240个工作者。
2022-07-21 cs.DC cs.SC
Scalable Graph Neural Network Training: The Case for Sampling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
图神经网络（GNN）是一种新的且越来越受欢迎的深度神经网络架构家族，用于在图上执行学习。由于图形数据的不规则性，有效地训练它们是具有挑战性的。当扩展到超过单个设备容量的大型图形时，问题变得更具挑战性。分布式DNN训练的标准方法，例如数据和模型并行，并不直接适用于GNN。相反，文献中出现了两种不同的方法：全图和基于样本的训练。在本文中，我们回顾和比较这两种方法。这两种方法的可扩展性都具有挑战性，但我们认为研究应该集中在基于样本的训练上，因为它是一种更有前途的方法。最后，我们回顾了最近的系统支持基于样本的训练。
2021-05-05 cs.DC cs.LG
GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
针对现有流水线并行忽略DNN拓扑错失模型并行机会的问题，本文提出图流水线并行方案并开发GraphPipe系统，通过保留DNN拓扑实现算子并发，较现有系统性能最高提升1.6倍、搜索时间缩短9-21倍。
2024-10-28 cs.AI cs.DC cs.LG
xDiT: an Inference Engine for Diffusion Transformers (DiTs) with Massive Parallelism
Tencent（腾讯）；Huazhong University of Science and Technology（华中科技大学）；The University of Hong Kong（香港大学）
针对扩散Transformer（DiTs）长序列推理延迟高、单并行方法大规模可扩展性差的问题，提出混合序列并行、Patch级流水线并行PipeFusion及CFG并行的xDiT推理引擎，在多类GPU集群上实现了优异的可扩展性，且首次验证了DiTs在以太网GPU集群的可扩展性。
2024-11-04 cs.AI cs.DC
GSPMD: General and Scalable Parallelization for ML Computation Graphs
Google（谷歌）
我们提出了GSPMD，一个自动的，基于编译器的并行化系统，用于常见的机器学习计算。它允许用户以与单个设备相同的方式编写程序，然后通过一些关于如何分配张量的注释给出提示，GSPMD将基于这些注释并行计算。它的分区表示简单而通用，允许它在各种模型上表达不同或混合的并行范例。GSPMD根据有限的用户注释为每个操作员推断分区，从而方便扩展现有的单设备程序。它解决了生产使用中的几个技术挑战，使GSPMD能够在多达2048个Cloud TPUv3内核上实现50%至62%的计算利用率，适用于多达1万亿个参数的模型。
2021-12-23 cs.DC cs.LG
Scalable Maxflow Processing for Dynamic Graphs
Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文提出一种GPU并行Max-Flow算法，能在一批边更新后增量重算动态图最大流，并引入高性能静态GPU算法及CUDA特定优化以提升性能、可扩展性和内存效率。
2025-11-03 cs.DC
A Scalable Multi-Layered Blockchain Architecture for Enhanced EHR Sharing and Drug Supply Chain Management
针对医疗数字化中的数据安全、隐私与可扩展性问题，提出含五层结构的可扩展多层区块链架构，用于EHR共享与药品供应链管理，经Caliper基准测试验证提升了交易吞吐量、降低了通信开销，兼具安全互操作与供应链监控能力。
2024-12-09 cs.CR cs.DC
DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
DawnPiper通过细粒度计算图分析、性能最优划分定理和二分划分算法，解决了流水线并行中的内存不平衡问题，显著提升了可训练批量大小和训练性能。
2025-05-09 cs.DC
Relaxed Scheduling for Scalable Belief Propagation
ITMO University（圣彼得堡国立信息技术机械与光学大学）；IST Austria（奥地利科学技术研究所）
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此，已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而，尽管并行化的知识丰富，一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中，我们专注于高效的并行算法的关键机器学习任务的推理图形模型，特别是在基本的信念传播算法。我们解决的挑战，有效地并行化这一经典的范例，显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究，表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面，在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Scalable Triadic Analysis of Large-Scale Graphs: Multi-Core vs. Multi- Processor vs. Multi-Threaded Shared Memory Architectures
三元分析包含一组有用的图挖掘方法，这些方法以三元组的概念为中心，三元组是三个节点的子图。这些方法经常应用于社会科学以及许多其他不同的领域。三元组方法通常对三元组普查进行操作，该普查对图中每个可能的边配置的三元组的数量进行计数。与其他图算法一样，三元普查算法在图达到数千万到数十亿个节点时不能很好地扩展。为了实现大规模图的三元分析，我们开发并优化了一个三元普查算法，以有效地执行共享内存架构。然后，我们进行了性能评估的三个特定的系统：Cray XMT，HP Superdome，和AMD多核NUMA机的并行三元普查算法。这三个系统具有共享的内存架构，但具有明显不同的硬件能力来管理并行性。
2012-09-27 cs.DC cs.SI
The Potential of Synergistic Static, Dynamic and Speculative Loop Nest Optimizations for Automatic Parallelization
以循环为中心的程序的自动并行化研究始于静态分析，然后将其扩展到包括动态检查执行和推测执行，最好的结果涉及混合静态-动态方案。除了检测顺序程序中的并行性之外，众核处理器上的可扩展并行化还涉及到困难而有趣的并行性适应和映射挑战。这些挑战包括为存储层次结构定制数据局部性、分层构造独立任务以利用多个并行级别、调整同步粒度、平衡执行负载、将执行解耦到线程级流水线中以及利用具有专用加速器的异构硬件。多面体框架允许建模，构造和应用非常复杂的循环嵌套转换，解决大多数并行适应和映射挑战。但是，除了特定于硬件的、面向后端的转换（if转换、跟踪调度、值预测）之外，循环嵌套优化基本上忽略了动态和推测性技术。多面体编译的研究最近达到了一个重要的里程碑，支持动态的，数据相关的控制流。这为将动态分析和推测技术与高级循环嵌套优化相结合开辟了一条广阔的道路。从SPEC基准测试和数值内核中选择真实世界的例子，我们为协同静态，动态和投机循环转换技术的设计做了一个案例。我们还勾画了动态信息的嵌入，包括投机性的假设，在仿射变换搜索空间的心脏。
2011-11-29 cs.DC cs.PF cs.PL
ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
卷积网络（ConvNets）已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的，这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务，其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算，广泛的网络架构。为了在真正的共享内存机器上实现这样的性能，我们的算法计算收敛在网络的同一节点上的卷积，具有时间局部性，以减少缓存未命中，并通过几乎无等待的并发方法对收敛卷积输出进行求和，以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明，ZNN可以达到大约等于物理核数量的加速比。我们还表明，ZNN可以在多核CPU（Xeon Phi Knights Corner）上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU，而以前算法的SIMD并行性与GPU兼容。通过示例，我们表明ZNN可以比某些GPU实现更快或更慢，这取决于网络架构，内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易，ZNN的开发和维护成本可能更低。
2015-10-22 cs.CV cs.DC cs.LG
PipeLive: Efficient Live In-place Pipeline Parallelism Reconfiguration for Dynamic LLM Serving
DisNet Lab（DisNet实验室）；University of Melbourne（墨尔本大学）；IBM Research（IBM研究院）
PipeLive通过实时在地管道并行性重新配置提升动态LLM服务效率，采用改进的KV缓存布局和PageAttention扩展，实现KV缓存动态调整与增量修补机制，显著降低TTFT和重新配置开销。
2026-09-24 cs.DC cs.LG
LLM-HPC++: Evaluating LLM-Generated Modern C++ and MPI+OpenMP Codes for Scalable Mandelbrot Set Computation
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Louisiana State University（路易斯安那州立大学）；Texas A&M University-Central Texas（德克萨斯农工大学中央得克萨斯分校）
本文评估了LLM生成的C++和MPI+OpenMP代码在曼德勃罗集计算中的性能，发现ChatGPT-4和5在语法精度和可扩展性方面表现突出。
2026-03-13 cs.DC cs.SE
Optimizing the Performance of Reactive Molecular Dynamics Simulations for Multi-Core Architectures
反应分子动力学模拟计算量很大。达到可以观察到有趣的科学现象的空间和时间尺度，需要在现代硬件上实现高效和可扩展的实现。在本文中，我们专注于优化性能的广泛使用的LAMMPS/ReaxC包的多核架构。由于混合并行可以更好地利用节点上的并行性，我们采用线程并行性的绑定和非绑定列表的建设，并在复杂的ReaxFF交互的计算。为了减轻由于产生大量轨迹数据而产生的I/O开销，并为用户节省后处理的负担，我们还开发了一种用于分子种类分析的新型原位工具。我们分析了所得到的ReaxC-OMP包的米拉，IBM蓝色基因/Q超级计算机上的性能。对于尺寸从3.2万到1660万颗粒的PETN系统，我们观察到1.5- 4.5倍的加速。我们观察到Mira高达262，144个核心（1，048，576个进程）的持续性能改进，以及在包含1660万个粒子的大型模拟中91.5%的弱缩放效率。原位分子种类分析工具在各种系统尺寸和运行配置中仅引起微不足道的开销。
2017-06-23 cs.DC cs.PF
Performance Foundations of Parallel & Distributed Reasoning Language Models
ETH Zurich（苏黎世联邦理工学院）
该研究针对RL-for-LLM范式，分析主流后训练算法框架，构建RLM并行策略分类体系，提炼实用指南并概述开放方向，以推动开发高性能可扩展的高性价比RLM。
2026-08-28 cs.AI cs.DC cs.LG
Scalable and Fault Tolerant Computation with the Sparse Grid Combination Technique
本文继续发展[B]中最近提出的稀疏网格组合技术的容错扩展。Harding和M. Hegland，ANZIAM J.，54（CTAC2012），pp. C394-C411]。该方法是新颖的，有两个原因，第一，它提供了几个层次，其中一个可以利用并行导致大规模并行实现，第二，它提供了基于算法的容错，使解决方案仍然可以恢复，如果在计算过程中发生故障。我们提出了一个概括的组合技术的容错算法是一个后果。使用一个高性能计算机的每个节点上的故障之间的时间模型，我们提供了该算法的插值的预期误差的界限。在标量平流偏微分方程上的数值实验表明，该算法在实际应用中具有较好的容错能力。据观察，恢复时间的权衡，以降低精度的解决方案是适当的小。与传统的检查点重新启动方法应用于组合技术的比较表明，我们的方法是高度可扩展的故障的数量。
2014-04-10 cs.DC cs.NA math.NA
DataStates-LLM: Scalable Checkpointing for Transformer Models Using Composable State Providers
提出DataStates-LLM架构，通过状态提供器解耦状态抽象与数据移动，利用模型参数不变性实现惰性非阻塞异步快照，在256块A100 GPU上训练70B参数模型时，检查点吞吐量提升4倍，端到端训练时间减少2.2倍。
2026-06-29 cs.AI cs.DC cs.PF
Algorithms and Heuristics for Scalable Betweenness Centrality Computation on Multi-GPU Systems
介数中心性（BC）作为图中顶点影响力的度量标准正在稳步增长。一个顶点的BC得分与通过它的所有最短路径对的数量成正比，然而，对于大规模图来说，完全精确的BC计算是一个巨大的挑战，需要高性能的计算技术才能在合理的时间内给出结果。我们的方法结合了二维（2-D）分解的图形和多层次的并行性与一个合适的数据线程映射，克服了大多数的困难所造成的GPU上的计算不规则。此外，我们提出了新的算法，利用图的拓扑信息，以减少BC计算的时间和空间要求。合成和真实世界的图形上的实验结果表明，所提出的技术允许BC计算的图形是太大，以适应在一个单一的计算节点的内存中，随着显着减少的计算时间。
2016-02-02 cs.DC cs.DS cs.SI
TAPAS: Fast and Automatic Derivation of Tensor Parallel Strategies for Large Neural Networks
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
TAPAS利用分而治之识别重复子结构，以次线性复杂度快速自动推导大型神经网络的张量并行策略，搜索速度比现有框架快160倍，性能媲美专家设计。
2025-08-05 cs.AI cs.DC cs.LG
Emulating a large memory with a collection of small ones
顺序计算是很好理解的，但是不能很好地与当前技术一起扩展。在未来十年内，系统将包含大量处理器，每个芯片可能有数千个处理器。尽管如此，许多计算问题表现出很少或根本没有并行性，许多现有的配方是顺序的。因此，重要的是，高度并行架构可以通过用较小存储器的集合来模拟大存储器来支持顺序计算，从而支持顺序程序或并行程序的顺序组件的有效执行。本文表明，一个现实的并行架构与可扩展的低延迟通信可以执行大内存的顺序程序，只有2至3个因素的减速，相比传统的顺序架构。为了能够在执行高度并行程序和具有大内存需求的顺序程序之间切换，这种开销似乎是可以接受的代价。因此，大内存的有效仿真可以通过允许现有程序直接编译为高度并行的体系结构，然后通过利用内存访问和计算中的并行性来提高其性能，从而促进从顺序机器的过渡。
2015-11-14 cs.AR cs.DC
OpenFPM: A scalable open framework for particle and particle-mesh codes on parallel computers
可扩展和有效的数值模拟继续获得重要性，因为计算已被牢固地确立为发现的第三大支柱，与理论和实验并列。与此同时，计算硬件的性能通过增加异构并行性而增长，从而能够模拟越来越复杂的模型。然而，在异构的分布式硬件系统上有效地实现可扩展代码成为瓶颈。这个瓶颈可以通过中间软件层来缓解，这些软件层提供更接近问题域的更高级别的抽象，从而使计算科学家能够专注于仿真。在这里，我们提出OpenFPM，一个开放的和可扩展的框架，提供了一个抽象层的数值模拟使用粒子和/或网格。OpenFPM为离散和连续模型的纯粒子和混合粒子网格模拟以及非模拟代码的共享内存和分布式内存实现提供透明和可扩展的基础设施。该基础设施通过常用数值例程的可移植实现以及第三方库的接口来补充。我们提出的架构和设计的OpenFPM，详细的底层抽象，并基准框架的应用范围从光滑粒子流体动力学（SPH）的分子动力学（MD），离散元方法（DEM），涡方法，模板代码，高维蒙特卡罗采样（CMA-ES），和反应扩散求解器，比较它的当前状态的艺术和现有的软件框架。
2018-04-20 cs.DC cs.MS cs.SE
Scalable Fine-Grained Parallel Cycle Enumeration Algorithms
枚举简单循环在计算生物学、网络科学和金融犯罪分析中有重要的应用。在这项工作中，我们专注于并行化的国家的最先进的简单的循环枚举算法的约翰逊和读取Tarjan以及他们的应用程序的时间图。据我们所知，我们是第一个以细粒度方式并行这两个算法的人。我们也是第一个实验证明线性性能缩放。这种扩展是通过我们将长顺序搜索分解为细粒度任务而实现的，然后在CPU内核之间动态调度这些任务，从而实现最佳的负载均衡。此外，我们表明，粗粒度的并行版本的约翰逊和读取Tarjan算法，利用边缘或顶点级并行是不可扩展的。在一个集群的四个多核CPU与$256$物理核心，我们的细粒度的并行算法，平均来说，一个数量级的速度比他们的粗粒度的并行同行。细粒度和粗粒度并行算法之间的性能差距随着我们使用更多的CPU内核而扩大。当使用所有256个CPU内核时，我们的并行算法枚举时间周期，平均而言，$260\times$比Kumar和Calders的串行算法快。
2022-05-31 cs.DC cs.DS
Stream Processing With Dependency-Guided Synchronization (Extended Version)
具有低延迟要求的实时数据处理应用已经导致流处理系统的日益普及。虽然此类系统提供了可用于自动实现数据并行的方便API，但它们对需要在并行节点之间同步的计算提供了有限的支持。在本文中，我们提出了 * 依赖引导同步（DGS）*，一种替代的编程模型，用于具有复杂同步要求的有状态流计算。在该模型中，输入被视为部分有序的，程序由一组并行化结构，适用于分解的偏序和过程事件独立。我们的编程模型映射到一个名为 * 同步计划 * 的执行模型，它支持并行节点之间的同步。我们的评估表明，两个广泛使用的系统- Flink和Timely Dataflow -提供的API不能适当地暴露一些代表性应用程序中的并行性。相比之下，DGS使实现具有可扩展的性能，由此产生的同步计划在现有系统中手动实现时提供吞吐量改进，并且与编写顺序代码相比，编程开销很小。
2022-01-03 cs.DC cs.PL
ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
Peking University（北京大学）
针对长短序列混合训练中静态并行网格导致的冗余通信与计算不均衡，本文提出ByteScale框架，利用HDP、动态通信优化和并行感知调度，在超12,000块GPU上实现最高7.89倍加速。
2025-02-28 cs.AI cs.DC cs.LG
An Efficient 2D Method for Training Super-Large Deep Learning Models
University of California, Los Angeles（加州大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
巨大的神经网络模型在现实应用中表现出了前所未有的性能。然而，由于内存限制，必须利用模型并行来托管大型模型，否则这些模型将不适合单个设备的内存。以前的方法如Megatron将整个模型的参数划分到多个设备中，而每个设备必须容纳前向和后向传递中的冗余激活。在这项工作中，我们提出了Optimus，一个高效的和可扩展的2D分区模式的模型并行性，这将有利于无限大的大语言模型的训练。在Optimus中，激活在设备之间进行分区和分布，进一步减少冗余。在等效率方面，擎天柱明显优于威震天。在TACC Frontera的64个GPU上，Optimus实现了1.48倍的训练加速，1.78倍的推理加速，以及8倍于Megatron的最大批量大小。擎天柱在缩放效率上远远超过威震天。该代码可在https://github.com/xuqifan897/Optimus上获得。
2021-04-12 cs.DC cs.LG
