AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China(区块链与数据安全国家重点实验室,浙江大学,杭州,中国);College of Computer Science and Technology, Zhejiang University, Hangzhou, China(计算机科学与技术学院,浙江大学,杭州,中国)
针对异步流水线并行中参数不匹配导致收敛退化的问题,提出AMDP方法,通过限制流水线第一阶段处理小批量数量、启动多条并发流水线并自适应调整数量、以及跨小批量累积梯度后单次更新,在保持高利用率的同时加速训练并保证收敛。
2026-05-28 cs.DC cs.LG
DisagFusion: Asynchronous Pipeline Parallelism and Elastic Scheduling for Disaggregated Diffusion Serving
Renmin University of China(中国人民大学);SenseTime(商汤科技);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学)
针对扩散模型部署中阶段间负载不均和调度脆弱性问题,提出DisagFusion,通过异步流水线并行和混合实例调度策略,实现吞吐量提升3.4-20.5倍、端到端延迟降低18.5倍。
2026-05-25 cs.DC
SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
University of Chicago(芝加哥大学)
针对单查询场景下大语言模型长输出解码慢、投机解码与张量并行难以同时应用的问题,本文提出异步解耦的SwiftSpec系统,通过并行树生成等技术实现平均1.75倍加速,是同规模下最快的低延迟LLM服务系统。
2025-06-12 cs.DC cs.LG
ASAP: A Disaggregated and Asynchronous Inference System for MoE Prefill
Huawei(华为)
针对MoE模型混合并行策略中的同步瓶颈,提出ASAP系统,通过解耦注意力与MoE阶段并实现全异步执行流水线,结合异步通信原语和调度优化,将SLO合规的预填充吞吐量提升90%。
2026-06-23 cs.DC
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院)
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断:模型并行,例如GPU加速训练,它已在计算机视觉界迅速采用,以及数据并行,例如A-SGD,其大规模主要用于工业。我们报告了早期的实验与系统,利用这两个模型并行和数据并行,我们称之为GPU A-SGD。我们表明,使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
POSTECH(POSTECH大学)
针对异步流水线并行中梯度陈旧性随流水线深度线性增长的问题,提出基旋转框架,通过将优化器坐标系与Hessian特征基对齐来保持延迟更新的有效性,理论证明最小化基失配并实证在3B参数LLM训练中减少81.7%迭代次数。
2026-05-27 cs.AI cs.DC cs.LG
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute;Amazon;University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈,提出拓扑感知的StreamFusion引擎,通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
Hybrid Approach to Parallel Stochastic Gradient Descent
School of Computing;Augmented Intelligence Arizona State University Tempe AZ USA;Augmented Intelligence Arizona State University
本文提出一种结合同步与异步的数据并行混合方法,通过阈值函数逐步切换参数聚合方式,在相同时间内取得优于纯同步和纯异步的训练性能。
2024-06-27 cs.AI cs.CC cs.DC
PipeMare: Asynchronous Pipeline Parallel DNN Training
SambaNova Systems(桑巴诺瓦系统公司);Stanford University(斯坦福大学);Cornell University(康奈尔大学)
训练神经网络时的流水线并行(PP)使更大的模型能够在空间上进行分区,从而降低网络通信和整体硬件利用率。不幸的是,为了保持顺序训练的统计效率,现有的PP技术通过降低流水线利用率或招致额外的存储器成本来牺牲硬件效率。在本文中,我们调查在何种程度上这些牺牲是必要的。我们设计的PipeMare,一个简单而强大的训练方法,容忍在PP执行过程中的异步更新,而不牺牲利用率或内存,这允许有效地使用细粒度的流水线并行。具体来说,当在ResNet和Transformer网络上进行测试时,与最先进的同步PP训练技术相比,Apploy使PipeMare能够使用最多$2.7\times$更少的内存或获得$4.3\times$更高的管道利用率,同时具有类似的模型质量。
2020-02-09 cs.DC cs.LG stat.ML
Integration of CUDA Processing within the C++ library for parallelism and concurrency (HPX)
经验表明,在当今的高性能系统上,很难将不同的加速卡的利用与系统的所有其它部分的高利用结合起来。随着内核数量的增加以及存储层次结构的加深,未来的架构(如百亿亿次集群)预计会加剧这一问题。分布式应用程序的一个重要方面是保证所有可用资源的高利用率,包括集群上的本地或远程加速卡,同时充分利用所有可用的CPU资源,并将GPU工作集成到整个编程模型中。对于CUDA代码的集成,我们扩展了HPX,一个通用的C++运行时间系统,用于任何规模的并行和分布式应用程序,并使异步数据传输和GPU设备和异步调用CUDA内核对这些数据。这两个操作都很好地集成到HPX的通用编程模型中,允许将任何GPU操作与主内核上的工作无缝重叠。任何用户定义的CUDA内核都可以在分布式应用程序可用的任何(本地或远程)GPU设备上启动。我们提出了异步实现的数据传输和内核启动CUDA代码的HPX异步执行图的一部分。使用这种方法,我们可以在集群上组合所有远程和本地可用的加速卡,以充分利用其性能。开销测量表明,作为HPX执行图的一部分,异步操作(数据传输+内核启动)的集成不会带来额外的计算开销,并显着简化了主内核和所使用的GPU设备上的协调和并发工作。
2018-10-26 cs.DC cs.PL
Redesigning OP2 Compiler to Use HPX Runtime Asynchronous Techniques
最大限度地提高应用程序的并行性水平,可以通过最小化由于负载不平衡和等待时间,由于内存延迟的开销。因此,优化算法是解决这一问题的最有效的方法之一。编译器能够检测应用程序中的数据依赖关系,并能够分析代码的特定部分以获得并行化潜力。然而,编译器提供的所有这些技术通常在编译时应用,因此它们依赖于静态分析,而静态分析不足以实现最大并行性并产生所需的应用程序可伸缩性。解决这一挑战的一个解决方案是使用运行时方法。这个策略可以通过延迟一定量的代码分析来实现。在这项研究中,我们利用HPX,C++运行时系统,提供运行时优化,以提高并行应用程序的性能产生的OP 2编译器。这些优化包括异步任务、循环交错、动态块大小调整和数据预取。研究结果使用翼型应用程序进行了评估,显示并行性能提高了40-50%。
2017-03-27 cs.DC
ATOM: Asynchronous Training of Massive Models for Deep Learning in a Decentralized Environment
针对去中心化环境下大规模模型训练受限于硬件的问题,提出ATOM异步训练框架,通过模型交换在消费级硬件上训练完整LLM,静态分析优化策略,较流水线并行最高提升20倍效率。
2024-03-15 cs.DC cs.SE
GPU-Resident Gaussian Process Regression Leveraging Asynchronous Tasks with HPX
University of Stuttgart(斯图加特大学)
本研究通过在GPU上实现高斯过程回归,利用异步任务和HPX框架提升大规模数据集的计算效率。
2026-02-23 cs.DC
SWIFT: task-based hydrodynamics and gravity for cosmological simulations
对星系形成的模拟遵循宇宙时间中气体、恒星和暗物质之间的引力和流体动力学相互作用。这种计算的巨大动态范围严重限制了使用中的社区代码的强大扩展行为,负载不平衡,缓存效率低下和矢量化限制性能差。新的Swift代码利用了基于任务的并行性,该并行性专为使用异步通信通过MPI进行交互的众核计算节点设计,以提高速度和可扩展性。基于图的域分解在可用资源上调度相互依赖的任务。对真实粒子分布的强大缩放测试产生了出色的并行效率,与当前代码相比,即使在单核上,高效的缓存使用也提供了很大的速度提升。SWIFT旨在通过屏蔽天文学家的计算细节(如任务的构建或MPI通信)来易于使用。SWIFT中使用的技术和算法也可能有益于其他计算物理领域,例如可压缩流体力学领域。有关此开源项目的详细信息,请参见www.swiftsim.com
2015-08-01 astro-ph.CO astro-ph.IM cs.DC
Asynchronous Pipeline Parallelism for Real-Time Multilingual Lip Synchronization in Video Communication Systems
Department of Data Science;Big Data Yildiz Technical University Istanbul, Turkey;Department of Computer Engineering Yildiz Technical University Istanbul, Turkey;R\&D Center Aktif Investment Bank Inc. Istanbul, Turkey;3.5cm R\&D Center 3.5cm Aktif Investment Bank Inc. 3.5cm Istanbul, Turkey 3.5cm;0.25cm Department of Computer Engineering 0.25cm Yildiz Technical University 0.25cm Istanbul, Turkey 0.25cm
本文提出一种异步流水线并行的Transformer框架,用于实时多语言唇同步,通过模块化设计和优化技术提升处理速度与资源利用率。
2025-12-20 cs.AI cs.CV cs.DC
An Asynchronous Many-Task Algorithm for Unstructured $S_{N}$ Transport on Shared Memory Systems
University of Bristol(布里斯托大学);AWE(英国原子能管理局)
针对非结构化网格离散纵标 $S_N$ 输运求解器在共享内存众核架构上的扩展性瓶颈,提出一种新的异步多任务(AMT)算法,显著提升了计算性能并分析了改善原因。
2025-10-13 cs.DC
Scaling Deep Learning Training with MPMD Pipeline Parallelism
NVIDIA(英伟达)
提出 JaxPP 系统,通过灵活的流水线并行和无缝编程模型扩展大型深度学习训练,并利用 MPMD 运行时异步执行 SPMD 任务,将硬件利用率提升高达 1.11 倍。
2024-12-18 cs.DC cs.LG cs.PL
Driving asynchronous distributed tasks with events
开源不仅对当前的HPC用户很重要,对潜在的新HPC社区也很重要,比如机器学习,它们本身往往植根于开源。这些潜在的新工作负载中的许多工作负载,就其本质而言,比传统的HPC代码更加异步和不可预测,必须找到开源解决方案,使新的开发人员社区能够轻松利用大规模并行机。基于任务的模型有可能在这里提供帮助,但其中许多模型要么完全将用户从其代码的分布式特性中抽象出来,将重点放在运行时上,以做出有关调度和位置的重要决策,要么要求程序员显式地将其基于任务的代码与分布式内存技术(如MPI)结合起来,这增加了相当大的复杂性。在本文中,我们描述了一种新的方法,程序员仍然将他们的代码分割成不同的任务,但明确意识到机器的分布式性质,并通过事件驱动任务之间的交互。这提供了两全其美的效果;程序员能够指导并行性的重要方面,同时仍然从如何实现这种并行性的低级机制中抽象出来。我们通过两个用例展示了我们的方法,Graph 500 BFS基准和MONC(一种大气模型)的现场数据分析。对于这两个应用程序,我们表现出显着提高性能,在大的核心数量和这项工作的结果是一种方法和开源库,这是很容易适用于广泛的代码。
2020-10-26 cs.DC
Learning to Keep a Promise: Scaling Language Model Decoding Parallelism with Learned Asynchronous Decoding
DeepMind, London, UK(深度思维公司,伦敦,英国);Google Research, New York, NY, USA(谷歌研究院,纽约,纽约州,美国);Stanford University, Stanford, CA, USA(斯坦福大学,斯坦福,加利福尼亚州,美国);University of Toronto, Toronto, Ontario, Canada(多伦多大学,多伦多,安大略省,加拿大);University of Washington, Seattle, WA, USA(华盛顿大学,西雅图,华盛顿州,美国)
本文提出PASTA系统,通过学习使语言模型识别语义独立性,提升解码并行性,实验证明在解码速度和响应质量上优于现有方法。
2025-02-21 cs.CL cs.DC cs.LG
Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems
University of Houston(休斯顿大学);Northeastern University(东北大学);University of Nebraska - Lincoln(内布拉斯加大学林肯分校);Fuzhou University(福州大学);Columbia University(哥伦比亚大学)
本文针对大语言模型推荐系统分布式训练中的计算与通信瓶颈,提出结合张量/流水线并行及梯度压缩的混合并行方案,实验显示吞吐量提升超30%、资源利用率提升约20%。
2025-06-24 cs.AI cs.DC
From Fork-Join to Asynchronous Tasks: Parallelizing Tiled Cholesky Decomposition with OpenMP and HPX
Institute of Parallel and Distributed Systems, University of Stuttgart(斯图加特大学并行与分布式系统研究所)
本文通过Cholesky-Bench基准,比较了OpenMP和HPX运行时下四种瓦片Cholesky分解并行变体,发现HPX在最优瓦片大小下性能优于OpenMP 15%-30%,异步任务开销降低约3.8倍。
2026-06-11 cs.DC cs.PF
Nesterov Method for Asynchronous Pipeline Parallel Optimization
Pluralis Research(普卢拉里斯研究院)
针对流水线并行异步优化中梯度陈旧问题,提出NAG变体修改前瞻步骤,理论证明次线性收敛,1B参数实验超越同步基线。
2025-05-02 cs.DC cs.LG
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法,其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪,但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中,我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除,从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入,以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试,最多可使用1,024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟,分别使用。
2021-04-13 cs.DC
Gradient Sparification for Asynchronous Distributed Training
Sun Yat-sen University(中山大学)
现代大规模机器学习应用需要在分布式计算架构上实现随机优化算法。一个关键的瓶颈是在不同节点之间交换信息(如随机梯度)的通信开销。最近,梯度稀疏化技术已经被提出来降低通信成本,从而减轻网络开销。然而,大多数梯度稀疏化技术仅考虑同步并行性,不能应用于异步场景,例如移动设备上的联邦学习的异步分布式训练。在本文中,我们提出了一种双向梯度稀疏化方法(DGS),适用于异步分布式训练。我们让工作者从服务器下载模型差异,而不是全局模型,并且模型差异信息也被稀疏化,从而通过稀疏化服务器和工作者之间的双向通信来减少信息交换开销。为了在双向稀疏化下保持准确性,我们设计了一个稀疏化感知动量(SAMomentum),将稀疏化转换为每个参数之间的自适应批量大小。实验结果表明,在相同的压缩比和更低的通信开销下,该方法具有更好的可扩展性和泛化能力。
2019-10-24 cs.DC cs.LG
QPOPSS: Query and Parallelism Optimized Space-Saving for Finding Frequent Stream Elements
QPOPSS 通过快速查询的 Space-Saving 实现与细粒度线程同步,解决了流数据频繁元素查找中并发更新与查询的算法保证问题,实现线性吞吐量扩展、最高准确率和极低内存占用。
2024-09-03 cs.DC
Evaluating Abstract Asynchronous Schwarz solvers on GPUs
随着百亿亿次计算时代的开始,我们意识到大多数领先的超级计算机是异构的,即使在单个节点上也是大规模并行的,每个节点上有多个协处理器(如GPU)和多个内核。例如,ORNLs Summit在每个节点上积累了6个NVIDIA Tesla V100和42个核心IBM Power9。在单个节点甚至多个节点中的所有这些计算资源之间进行同步是非常昂贵的。因此,有必要开发和研究异步算法,以规避大规模并行的批量同步计算的问题。在这项研究中,我们研究的异步版本的抽象限制添加剂施瓦茨方法作为一个求解器,我们不明确同步,但允许通信的子域之间的数据是完全异步的,从而消除批量同步性质的算法。我们通过使用MPI标准的单边RMA函数来实现这一点。我们研究的好处,使用这样的异步求解器同步对应的多核架构和多个GPU上。我们还研究了通信模式和局部求解器及其对全局求解器的影响。最后,我们表明,这个概念可以呈现有吸引力的运行时的好处,同步同行。
2020-05-05 cs.DC cs.MS
Pathways: Asynchronous Distributed Dataflow for ML
Google(谷歌)
我们提出了一个新的大规模编排层的加速器的设计。我们的系统Pathways旨在探索新系统和ML研究思路,同时保留当前模型的最先进性能。Pathways使用异步运算符的分片图,这些运算符消耗和产生未来,并在数千个加速器上有效地调度异构并行计算,同时协调通过其专用互连的数据传输。Pathways使用了一种新颖的异步分布式并行设计,它允许控制平面并行执行,而不管数据平面中的依赖关系。经过精心设计,这种设计允许Pathways采用单控制器模型,从而更容易表达复杂的新并行模式。我们证明了Pathways在2048个TPU上运行SPMD计算时可以实现与最先进系统的性能平价(加速器利用率约为100%),同时还提供与SPMD情况相当的吞吐量Transformer模型,这些模型在16个阶段之间进行流水线连接,或者在数据中心网络上连接的两个加速器岛之间进行分片。
2022-03-23 cs.DC cs.LG
The Parallelism Motifs of Genomic Data Analysis
随着测序成本的持续下降和小型测序设备的可用,基因组数据集正在急剧增长。庞大的社区数据库存储并与研究社区共享这些数据,但是这些基因组数据分析问题中的一些需要大规模计算平台来满足存储器和计算要求。这些应用程序不同于当今在高端的并行系统上占主导地位的工作负载的科学模拟,并且对编程支持、软件库和并行架构设计提出了不同的要求。例如,它们涉及不规则的通信模式,如对共享数据结构的异步更新。我们考虑了高性能基因组学分析中的几个问题,包括单基因组和宏基因组的比对、分析、聚类和组装。我们确定了一些常见的计算模式或图案,有助于通知并行化策略,并比较我们的图案的一些既定的列表,认为至少有两个关键的模式,排序和哈希,是失踪。
2020-01-20 cs.DC q-bio.GN
DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
NVIDIA
本文提出DWDP,一种无需层间同步的分布式权重数据并行策略,通过跨peer GPU卸载MoE权重和按需获取缺失专家,提升LLM推理性能,实测在8K输入和1K输出序列长度下,端到端TPS/GPU提升8.8%。
2026-05-12 cs.AI cs.DC
Benchmarking the Parallel 1D Heat Equation Solver in Chapel, Charm++, C++, HPX, Go, Julia, Python, Rust, Swift, and Java
本文在 Intel、AMD 和 ARM64FX 架构上基准测试十种语言实现的共享内存并行一维热扩散求解器,发现 C++、Rust、Chapel、Charm++ 和 HPX 性能领先。
2023-07-10 cs.DC
SWIFT: Expedited Failure Recovery for Large-scale DNN Training
本文提出SWIFT,一种用于分布式DNN训练的新型故障恢复设计,通过解决模型状态不一致并利用数据并行副本及基于日志的重计算,在不影响吞吐量和准确性的前提下显著降低恢复开销,总训练时间最高加速1.16倍。
2023-02-13 cs.DC
SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication
University of Maryland(马里兰大学)
分散式联邦学习(FL)设置通过利用客户端组经由本地化训练和模型/梯度共享来协作地训练模型,从而避免了潜在不可靠或不可信的中央主机的角色。大多数现有的分散FL算法需要客户端模型的同步,其中同步的速度取决于最慢的客户端。在这项工作中,我们提出了SWIFT:一种新型的无等待分散FL算法,允许客户以自己的速度进行培训。理论上,我们证明了SWIFT匹配的黄金标准迭代收敛速度$\mathcal{O}(1/\sqrt{T})$的并行随机梯度下降凸和非凸光滑优化(总迭代$T$)。此外,我们提供了理论结果IID和非IID设置没有任何有界延迟假设慢客户端,这是需要其他异步分散FL算法。尽管SWIFT实现了与其他最先进的(SOTA)并行随机算法相同的关于$T$的迭代收敛速率,但由于其无等待结构,它在运行时间方面收敛得更快。我们的实验结果表明,SWIFT的运行时间减少,由于每个历元的通信时间大幅减少,这下降了一个数量级相比,同步同行。此外,SWIFT在IID和非IID数据设置上生成图像分类的丢失级别,比现有SOTA算法快50%以上。
2022-10-25 cs.DC cs.LG math.OC
DynaFlow: Transparent and Flexible Intra-Device Parallelism via Programmable Operator Scheduling
University of Washington(华盛顿大学);Shanghai Jiao Tong University(上海交通大学)
本文提出DynaFlow框架,通过解耦逻辑模型定义与物理执行调度,实现设备内并行性的透明和灵活集成,从而提升ML系统的吞吐量。
2026-10-01 cs.DC cs.LG
Asynchronous Decentralized Algorithm for Space-Time Cooperative Pathfinding
Czech Technical University in Prague(捷克布拉格技术大学);Delft University of Technology(代尔夫特理工大学)
合作寻路是一个多智能体路径规划问题,其中一组车辆搜索相应的一组非冲突的时空轨迹。许多实用的方法集中解决合作寻路问题的优先级规划策略的基础上。然而,在某些领域(例如,无人驾驶飞行器、自主水下航行器或无人驾驶地面航行器的多机器人团队),由于域和/或隐私问题所施加的通信限制,分散式方法可能比集中式方法更可取。在本文中,我们提出了一个异步分散的优先级规划ADPP和它的可中断版本IADPP的变种。该算法利用分布式系统固有的并行性,并允许加快计算过程。与同步规划方法不同,该算法允许代理立即对其他代理的路径更新做出反应,并调用其本地时空路径规划器来找到最佳轨迹,作为对其他代理选择的响应。我们提供了一个证明的算法的正确性和实验评估他们的合成域。
2012-10-25 cs.AI cs.DC cs.RO
An Introduction to hpxMP: A Modern OpenMP Implementation Leveraging HPX, An Asynchronous Many-Task System
异步多任务(AMT)运行时系统由于细粒度任务运行时系统提供的性能改进而在HPC社区中获得越来越多的接受。与此同时,C++标准化工作的重点是创建更高级别的接口,以取代现代C++代码中的OpenMP或OpenACC。这些更高级别的函数已经在符合标准的运行时系统(如HPX)中采用,使用户能够在自己的代码中简单地利用fork-join并行性。尽管在运行时系统和标准化工作方面有创新,但用户在移植遗留应用程序时仍面临巨大挑战。用户不仅必须移植自己的代码,而且通常依赖于高度优化的库,如BLAS和LAPACK,它们使用OpenMP进行并行化。当前创建平滑迁移路径的努力一直在努力应对这些挑战,特别是AMT库的线程系统经常与OpenMP的线程系统竞争。为了克服这些问题,我们的团队开发了hpxMP,这是一种OpenMP标准的实现,它利用底层AMT系统来调度和管理任务。这种方法利用了HPX公开的C++接口,并允许用户在AMT系统上执行他们的应用程序,而无需更改他们的代码。在这项工作中,我们比较hpxMP与Clang的OpenMP库与Blaze C++库的四个线性代数基准。虽然hpxMP往往无法达到相同的性能,我们证明了可行性,为应用程序提供一个顺利的迁移,但必须扩展到受益于更一般的基于任务的编程模型。
2019-07-05 cs.DC
Physics-inspired Ising Computing with Ring Oscillator Activated p-bits
摩尔定律的接近尾声一直在推动特定领域硬件的开发,以解决一系列特殊的问题。沿着这些路线,具有固有随机构建块(p位)的概率计算已经显示出显著的前景,特别是在硬优化和统计采样问题的背景下。已经提出了p位,并在从异步架构中的小规模随机磁性隧道结(sMTJ)到同步架构中的大规模CMOS的不同硬件基板中进行了演示。在这里,我们设计并实现了一个真正的异步和中等规模的p-计算机(与$\approx$ 800 p位),密切模拟现场可编程门阵列(FPGA)中的sMTJ的异步动态。使用硬的种植伊辛玻璃问题的奇美拉格的实例,我们评估的异步架构的性能对一个理想的,同步的设计,执行并行化(色)精确吉布斯采样。我们发现,尽管缺乏任何仔细的同步,异步设计实现了并行性,在理想的,仔细调整和并行化的同步设计的算法缩放。我们的研究结果突出了大规模p计算机的前景,其中数百万个自由运行的p位由纳米级构建块(如随机磁性隧道结)制成。
2022-05-15 cs.AR cs.DC cs.ET
Tascade: Hardware Support for Atomic-free, Asynchronous and Efficient Reduction Trees
针对大规模多核服务器中图搜索等稀疏工作负载的通信与负载失衡问题,提出硬件-软件协同设计Tascade,通过数据私有归约与异步级联归约树减少通信、提升负载均衡,可扩展至百万PU,BFS性能超7600 GTEPS。
2024-04-22 cs.AR cs.DC
Radiation Hydrodynamics at Scale: Comparing MPI and Asynchronous Many-Task Runtimes with FleCSI
University of Stuttgart(斯图加特大学);Louisiana State University(路易斯安那州立大学)
本文通过FleCSI框架比较MPI与异步多任务运行时在大规模辐射流体动力学计算中的性能,发现HPX后端在部分场景下表现更优。
2026-03-05 cs.DC
Boosting Asynchronous Decentralized Learning with Model Fragmentation
EPFL(洛桑联邦理工学院)
提出异步去中心化学习算法DivShare,通过模型碎片化并行传输参数子集应对通信掉队者,理论证明其收敛性,实验显示在CIFAR-10等数据集上显著降低时间至准确率并提升准确率。
2025-02-03 cs.AI cs.DC
Structures and Techniques for Streaming Dynamic Graph Processing on Decentralized Message-Driven Systems
本文提出了一种面向细粒度内存驱动架构的去中心化异步动态图处理协同设计,利用异步主动消息与分层顶点数据结构实现细粒度流式更新,并通过BFS实验验证了其概念设计。
2024-06-03 cs.DC
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland(克雷瑞士公司)
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中,我们提出了DC-S3 GD,一个分散的(没有参数服务器)延迟补偿异步随机梯度下降(DC-ASGD)算法的静态同步版本。在我们的方法中,我们允许计算和通信的重叠,并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络,并取得了最先进的结果,证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
An Improved and Optimized Practical Non-Blocking PageRank Algorithm for Massive Graphs
PageRank是一个众所周知的算法,其鲁棒性有助于在处理图形和分析问题时设置标准基准。PageRank算法是许多图分析的标准,也是在推荐系统中提取图特征和预测用户评级的基础。PageRank算法不断迭代,更新页面的排名,直到达到收敛。然而,PageRank算法在大规模图上的实现是一个困难的任务,在共享内存架构上利用细粒度并行。并行PageRank内核在大型图形和共享内存架构上使用不同的编程模型的实验研究和分析已经得到了广泛的研究。本文提出了异步执行的PageRank算法,以利用计算上的海量图形,特别是在共享内存架构。我们评估了我们提出的非阻塞算法的性能,用于在真实世界和合成数据集上使用Posix多线程库在56核英特尔(R)至强处理器上进行PageRank计算。我们观察到,我们的异步实现相对于顺序运行实现了10倍到30倍的加速,相对于同步变体实现了5倍到10倍的改进。
2021-09-26 cs.DC
SWIFT: A modern highly-parallel gravity and smoothed particle hydrodynamics solver for astrophysical and cosmological applications
本文介绍开源并行代码 SWIFT,通过任务并行、异步通信和工作负载均衡的域分解,结合快速多极引力与多种 SPH 方案,实现约 3000 亿粒子规模的宇宙学模拟并展示优异弱扩展性能。
2024-03-29 astro-ph.CO astro-ph.EP astro-ph.GA
SparsePipe: Parallel Deep Learning for 3D Point Clouds
University of Florida(佛罗里达大学)
我们提出了SparsePipe,这是一种高效的异步并行方法,用于处理具有多GPU训练的3D点云。SparsePipe旨在支持点云等3D稀疏数据。它通过采用具有稀疏张量表示的广义卷积来构建具有表达能力的高维卷积神经网络。与密集解决方案相比,新模型可以有效地处理不规则的点云,而无需在整个空间上密集滑动,显著降低内存需求,并允许底层3D体积的更高分辨率,以获得更好的性能。SparsePipe利用批内并行性,将输入数据划分到多个处理器中,并通过批间流水线进一步提高训练吞吐量,以重叠通信和计算。此外,当GPU是异构的时,它适当地划分模型,使得计算负载平衡,减少通信开销。使用八GPU平台上的实验结果,我们表明,SparsePipe可以有效地并行化,并获得更好的性能在当前的点云基准的训练和推理,相比其密集的解决方案。
2020-12-27 cs.CV cs.DC
CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity Edge Devices
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
机器学习算法的最新进展,特别是深度神经网络(DNN)的发展,已经改变了人工智能(AI)的格局。随着时间的推移,基于深度学习的方法被应用于解决新问题,并取得了出色的结果。通往现实世界的入口就是边缘只有当我们能够让人工智能智能体不断与现实世界互动并解决日常问题时,人工智能的真正影响才能充分实现。不幸的是,DNN的高计算和内存要求是实现这一愿景的巨大障碍。今天,我们通过在边缘部署专用推理硬件,同时从云端获取训练模型来规避这个问题。然而,这种方法依赖于与云的持续交互来传输所有数据,在大规模GPU集群上进行训练,并下载更新的模型。这对于自主智能体可能表现出的带宽、隐私和恒定连接性问题是具有挑战性的。在本文中,我们评估了在边缘设备上实现自适应智能的技术,与任何高端云/服务器零交互。我们建立了一个原型分布式系统的树莓派通过WiFi通信运行神经进化(NE)学习和推理。我们评估这样一个协作系统的性能和详细的计算/通信特性的系统,权衡并行与通信的不同安排。利用我们分析中的见解,我们还提出了算法修改,以在学习阶段将通信减少多达3.6倍,从而进一步增强可扩展性,并在规模上与高端计算设备的性能相匹配。我们相信,这些见解将使算法-硬件协同设计工作能够在边缘实现持续学习。
2020-08-27 cs.DC cs.LG cs.NE
Chimera: Efficiently Training Large-Scale Neural Networks with Bidirectional Pipelines
Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院)
本文提出同步双向流水线并行方案Chimera,最多减少50%流水线气泡并均衡激活内存,在2048个GPU上训练13亿参数GPT-2时吞吐量提升1.16至2.34倍。
2025-08-21 cs.DC cs.LG
Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
本文构建GNN并行性分类体系,结合工作深度、通信与同步分析,系统评估模型、任务、框架和加速器,并推广消息传递流水线以指导高效并行GNN设计。
2023-08-17 cs.AR cs.DC cs.LG
Pentago is a First Player Win: Strongly Solving a Game Using Parallel In-Core Retrograde Analysis
我们提出了一个强大的解决方案的棋盘游戏五角大楼,计算使用详尽的并行逆行分析在4小时内对98304($3 \times 2^{15}$)线程NERSC的克雷爱迪生。在$3.0 \times 10^{15}$状态下,pentago是迄今为止用两个数量级解决的最大发散博弈,也是唯一一个用逆行分析解决的非平凡发散博弈的例子。与以前的逆向分析不同,我们的计算完全在内核中执行,只将一小部分结果写入磁盘;内核外实现会慢得多。对称性用于减少分支因子和开发指令级并行。尽管理论上是并行的结构,但需要异步消息传递来将计算装入可用的RAM,这在旧的Cray机器上造成了延迟问题。该项目的所有代码和数据都是开源的,还有一个网站,它结合了数据库查找和实时计算,以交互方式探索强大的解决方案。
2014-04-04 cs.DC
Code modernization strategies for short-range non-bonded molecular dynamics simulations
针对现代HPC硬件特性,对ESPResSo++分子动力学模拟包进行代码现代化改造,通过数据布局优化、向量化及基于HPX的细粒度并行实现了显著性能提升。
2023-06-15 cs.DC physics.comp-ph
From Prompts to Performance: Evaluating LLMs for Task-based Parallel Code Generation
Institute for Parallel and Distributed Systems(并行与分布式系统研究所)
本文评估了LLM在基于任务的并行代码生成中的表现,通过三种输入提示和三个编程框架,分析了LLM在正确性和可扩展性方面的优缺点。
2026-02-24 cs.AI cs.DC cs.PL