A HPX Communication Benchmark: Distributed FFT using Collectives
本文针对 HPX 运行时的 TCP、MPI 和 LCI 通信后端,利用分布式多维 FFT 应用在 16 节点集群上进行了基准测试,发现 LCI parcelport 在集合通信上表现最佳且比 MPI+X 参考实现快最高达 3 倍,突显了 HPX 消息抽象的潜力。
2025-03-04 cs.DC
Distributed, combined CPU and GPU profiling within HPX using APEX
跨硬件平台对科学仿真的性能进行基准测试和比较是一项复杂的任务。当所讨论的模拟使用异步多任务(AMT)运行时将工作卸载到GPU时,任务变得更加复杂。在本文中,我们讨论了使用一个独特的适合的性能测量库,APEX,捕捉性能行为的模拟建立在HPX,一个高度可扩展的,分布式AMT运行时。我们研究的天体物理学模拟的性能进行了两种不同的超级计算架构的Tiger。我们分析了缩放和测量开销的结果。此外,我们深入研究了两个系统上两个配置相似的执行,以研究架构差异如何影响性能,并确定优化的机会。作为一个这样的机会,我们优化了水力求解器的通信,并研究了其性能影响。
2022-09-21 cs.DC
Exploring Performance-Productivity Trade-offs in AMT Runtimes: A Task Bench Study of Itoyori, ItoyoriFBC, HPX, and MPI
University of Kassel(卡塞尔大学);Fulda University of Applied Sciences(富尔达应用技术大学);Los Alamos National Lab (LANL)(洛斯阿拉莫斯国家实验室)
本研究通过任务基准测试比较了AMT运行时在性能与生产力上的权衡,发现MPI在通信轻量任务中效率最高但代码冗长,HPX在负载不平衡时效率稳定但生产力较低,Itoyori在通信密集型任务中表现最佳,而ItoyoriFBC在同步机制上具有表达不规则工作负载的潜力。
2026-03-13 cs.DC
Quantifying Overheads in Charm++ and HPX using Task Bench
本研究通过扩展Task Bench基准测试,对比异步多任务系统Charm++、HPX与MPI等主流并行库,量化不同任务分配场景下的开销,分析二者特性及系统可扩展性、通信延迟隐藏能力。
2022-07-21 cs.DC cs.PF
From Fork-Join to Asynchronous Tasks: Parallelizing Tiled Cholesky Decomposition with OpenMP and HPX
Institute of Parallel and Distributed Systems, University of Stuttgart(斯图加特大学并行与分布式系统研究所)
本文通过Cholesky-Bench基准,比较了OpenMP和HPX运行时下四种瓦片Cholesky分解并行变体,发现HPX在最优瓦片大小下性能优于OpenMP 15%-30%,异步任务开销降低约3.8倍。
2026-06-11 cs.DC cs.PF
An Application Driven Analysis of the ParalleX Execution Model
预计在下一个十年结束时出现的Exascale系统将需要在多个层次上利用十亿路并行性,以实现所需的持续性能。评估未来的机器性能的任务是通过确定目前挑战并行应用程序的可扩展性的因素。有人认为,这些挑战的根本原因是当前使能技术之间的不一致耦合,例如配备有可选硬件加速器的当前多核节点的非均匀存储器访问和几十年前的执行模型,即,通信顺序进程(CSP)模型最好的例子是消息传递接口(MPI)应用程序编程接口。引入了一种新的执行模型ParalleX作为CSP模型的替代方案。在本文中,概述了ParalleX执行模型以及有关ParalleX兼容的运行时系统实现称为高性能ParalleX(HPX)的细节。使用HPX开发的自适应网格细化数值相关性应用程序的缩放和性能结果进行了讨论。这个基于HPX的应用程序的性能结果进行了比较,与对应的MPI为基础的网格细化代码。与HPX相关的开销进行了探讨,并介绍了硬件解决方案,以加速运行时系统。
2011-09-23 cs.DC
Implementing Software Resiliency in HPX for Extreme Scale Computing
由于硬件故障而在任务关键型应用程序中发生的故障和错误具有很高的成本。随着下一代平台(NGP)的出现,硬件故障率将不可避免地增加。因此,将我们的应用程序设计为具有弹性是一个关键问题,以便在满足功率预算限制的同时保持结果的可靠性。在本文中,我们实现了软件弹性在HPX,异步多任务并行处理系统。我们实现了两个向应用程序开发人员公开的弹性API,即任务复制和任务重播。任务复制将任务重复n次并异步执行它们。任务重播将重新调度任务多达n次,直到返回有效的输出。此外,我们还引入了一个API,允许应用程序使用用户提供的谓词验证返回的结果。我们测试的API与人工工作负载和一个基于模板的应用程序。我们证明,只有轻微的开销时,利用这些弹性功能的工作负载的任务大小大于200 $μ$ s。我们还表明,大部分增加的执行时间来自任务本身的重放或复制,而不是由API的实现。
2020-04-15 cs.DC
Evaluating HPX and Kokkos on RISC-V using an Astrophysics Application Octo-Tiger
本文通过将基于 HPX 的 3D 自适应网格天体物理应用 Octo-Tiger 移植到 RISC-V 系统并评估其性能,展示了该架构上异步多任务运行时系统的可行性与扩展性,并指出专用 ISA 扩展有望进一步提升性能。
2023-08-17 cs.DC
Simulating Stellar Merger using HPX/Kokkos on A64FX on Supercomputer Fugaku
本文基于Octo-Tiger天体物理应用,展示了一种利用HPX和Kokkos实现代码与性能可移植性的方法,成功将其移植到超级计算机Fugaku的ARM A64FX架构,并表现出与主流GPU系统相当的扩展性。
2023-03-15 astro-ph.IM cs.DC
From Merging Frameworks to Merging Stars: Experiences using HPX, Kokkos and SIMD Types
本文针对Octo-Tiger恒星合并代码在A64FX等CPU上的SIMD向量化问题,添加std::experimental::simd选项和SVE后端,修正Kokkos内核,在三种CPU上测试获得良好加速,但EPYC上存在扩展性问题。
2023-05-09 cs.DC
Code modernization strategies for short-range non-bonded molecular dynamics simulations
针对现代HPC硬件特性,对ESPResSo++分子动力学模拟包进行代码现代化改造,通过数据布局优化、向量化及基于HPX的细粒度并行实现了显著性能提升。
2023-06-15 cs.DC physics.comp-ph
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战,特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中,我们使用现有的解决方案来实现这一点:我们使用HPX来获得细粒度的任务,以轻松分配工作并精细地重叠通信和计算。对于计算本身,我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而,有一个缺失的环节:虽然HPX暴露的细粒度并行性对可扩展性很有用,但当任务变得太小而无法使设备饱和时,它可能会阻碍GPU性能,从而导致资源利用率低下。为了弥补这一差距,我们调查了Tiger中多种不同的GPU工作聚合策略,添加了一种新策略,并评估了节点级性能对最新AMD和NVIDIA GPU的影响,实现了明显的加速。
2023-03-04 cs.DC
Adaptive and application dependent runtime guided hardware prefetcher reconfiguration on the IBM POWER7
硬件数据预取器引擎已被广泛用于减少存储器延迟的影响。然而,微处理器的硬件预取器引擎不包括能够动态地调整其操作的任何自动硬件控制。这种缺乏架构功能的情况导致系统在固定配置中使用预取器进行操作,这在许多情况下会损害性能和能耗。在本文中,一块软件,解决了讨论的问题,在IBM POWER7微处理器的上下文中。所提出的解决方案涉及使用运行时软件作为桥梁,能够表征用户应用程序的工作负载,并动态重新配置预取引擎。所提出的机制已部署在Ompss,一个国家的最先进的基于任务的编程模型。该文件显示了显着的性能改进,一组有代表性的微基准和高性能计算(HPC)的应用程序。
2015-01-09 cs.DC
Project Beehive: A Hardware/Software Co-designed Stack for Runtime and Architectural Research
Dennard扩展的结束加上架构和编译器优化的停滞,使得实现显著的性能增量变得具有挑战性。仅仅基于硬件或软件的解决方案已不足以保持过去几十年的进步速度。在硬件方面,单核扩展的结束导致了多核系统架构的激增,但这迫使复杂的并行编程技术成为主流。为了进一步利用物理资源,系统变得越来越异构,具有专用计算元件和加速器。跨一系列完全不同的体系结构进行编程需要一个新的抽象级别,程序设计语言必须适应这个级别。在软件方面,来自大数据和计算机视觉等领域的新兴复杂应用程序在针对具有各种约束和资源的硬件的多层软件堆栈上运行。因此,优化电源性能(和弹性)空间需要实验平台,提供快速简便的硬件/软件协同设计技术原型。为此,我们提出了Project Beehive:用于运行时和架构研究的硬件/软件协同设计堆栈。Project Beehive利用各种最先进的软件和硬件组件以及新颖的可扩展的协同设计技术。Project Beehive的目标是以全系统协同设计的方式为新兴应用程序、程序设计语言、编译器、运行时和低功耗异构众核架构提供一个现代化的实验平台。
2017-06-05 cs.DC
MagiCFirm: A Runtime for Magic-State Cultivation with Algorithm-Hardware Co-Design
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
针对容错量子计算中魔法态培育的运行时缺失与延迟问题,提出算法-硬件协同设计的MagiCFirm运行时,采用两阶段早期逃逸方案,实现端到端执行,减少制备时间达39.3%,应用运行时间减少11%。
2026-09-25 cs.AR cs.DC quant-ph
AEG: A Baremetal Framework for AI Acceleration via Direct Hardware Access in Heterogeneous Accelerators
Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种统一的裸金属运行时架构,用于在异构加速器上实现高性能机器学习推理,无需底层实时或通用操作系统。通过将复杂控制逻辑扁平化为可执行的Runtime Control Blocks,实现高阶模型的高效执行。
2026-02-15 cs.AI cs.DC
Decomposing Runtime, Kernel, and Quantization Speedups via a Matched FP16 Intermediate: A Hardware-Conditioned Case Study on Four NVIDIA RTX A5000 GPUs
University of Washington(华盛顿大学)
研究通过匹配的 FP16 中间层分解运行时、内核和量化加速,以四块 NVIDIA RTX A5000 GPU 为案例,分析加速各部分占比、分片影响因素等,得出运行时占主要加速比例,量化可扩展并发用户,还探讨了实例选择及有效性威胁。
2026-07-14 cs.DC cs.LG cs.PF
Runtime Support for Performance Portability on Heterogeneous Distributed Platforms
硬件异构性是高性能计算的基础。大规模系统目前每个计算节点都配备了多个GPU加速器,预计将整合更多专业硬件。计算生态系统的这种转变为性能改进提供了许多机会;然而,它也增加了此类架构的编程复杂性。这项工作介绍了一个运行时框架,使异构系统轻松编程,同时有效地利用硬件资源。该框架集成在一个分布式的和可扩展的运行时系统,以促进跨异构节点的性能可移植性。随着设计,本文描述了实施和优化执行,实现了高达300%的改进,在一个单一的设备和线性可扩展性的节点上配备了四个GPU。分布式存储器环境中的框架提供了可移植的抽象,使得具有不同能力的设备之间能够进行有效的节点间通信。与MPI+CUDA相比,它在大消息方面提供了高达20%的卓越性能,同时将小消息的开销保持在10%以内。此外,我们的性能评估在分布式Jacobi代理应用程序的结果表明,我们的软件施加最小的开销,并实现了高达40%的性能提高。这是通过库级别的优化以及通过创造机会来利用特定于应用程序的优化(如过度分解)来实现的。
2023-03-08 cs.DC
Compiler Enhanced Scheduling for OpenMP for Heterogeneous Multiprocessors
非对称多核处理器(AMP)调度是异构多核处理器的一种特殊情况,是一个广泛研究的课题。大多数调度技术是运行时的,通常不考虑并行编程框架(如OpenMP)中使用的并行编程模式。另一方面,这些并行编程平台的当前编译器是硬件无关的,这阻止了big.LITTLE等平台的任何编译时优化,并且必须完全依赖于运行时优化。在本文中,我们提出了一个硬件感知的编译器增强调度(CES),其中常见的编译器转换与编译器添加的调度命令,以利用硬件的不对称性,提高运行时的效率。我们实现了一个用于OpenMP的编译器,并在三星Exynos中使用big.LITTLE架构证明了其效率。平均而言,我们看到在标准NPB和FSU基准测试中,CES在big.LITTLE中跨多个频率和核心配置减少了18%的运行时间和14%的能耗。
2018-08-18 cs.DC cs.PF
Taking advantage of hybrid systems for sparse direct solvers via task-based runtimes
正在进行的硬件演进表现出计算资源的数量以及异构性的升级。保持合理水平的性能和可移植性的压力迫使应用程序开发人员离开传统的编程范式,并探索替代解决方案。PaStiX是一个并行稀疏直接求解器,基于现代分层众核架构的动态调度器。在本文中,我们研究的好处和限制,更换高度专业化的内部调度程序的PaStiX求解器与两个通用的运行时系统:PaRSEC和StarPU。因子分解步骤的任务图可用于两个运行时,为它们提供处理和优化其遍历的机会,以便最大化目标硬件平台的算法效率。的PaStiX求解器的性能的比较研究,其本机内部调度,PaRSEC,和StarPU框架,在不同的执行环境上,进行。分析强调,这些通用的基于任务的运行时实现同类平台上的应用程序优化的嵌入式调度程序的结果。此外,它们能够通过利用加速器来显着加快异构环境中的求解器,同时向程序员隐藏其有效操作的复杂性。
2014-05-12 cs.DC
Towards Performance Portable Programming for Distributed Heterogeneous Systems
硬件异构性是高性能计算的基础。大规模系统目前每个计算节点都配备了多个GPU加速器,预计未来将采用更专业的硬件。计算生态系统的这种转变为性能改进提供了许多机会;然而,它也增加了此类架构的编程复杂性。这项工作介绍了一个运行时框架,使异构系统轻松编程,同时有效地利用硬件资源。该框架集成在一个分布式的和可扩展的运行时系统,以促进跨异构节点的性能可移植性。随着设计,本文描述了实施和优化执行,实现了高达300%的改进,在共享内存基准和分布式设备通信高达10倍。初步结果表明,我们的软件产生的开销低,实现了40%的改善,在分布式Jacobi代理应用程序,同时隐藏的特质的硬件。
2022-10-03 cs.DC
LLMServingSim 2.0: A Unified Simulator for Heterogeneous and Disaggregated LLM Serving Infrastructure
本文提出LLMServingSim 2.0,通过统一运行时框架模拟异构和解耦LLM服务基础设施中的硬件软件交互,验证其在真实部署中具有高精度和高效能。
2026-03-23 cs.AI cs.DC
CEDR -- A Compiler-integrated, Extensible DSSoC Runtime
在这项工作中,我们提出了CEDR,一个集成的,可扩展的特定领域的片上系统的生态系统,以促进对解决架构,系统软件和应用程序开发的挑战,在一个统一的编译时间和运行时间工作流程中具有不同的即插即用集成点的研究。我们演示了Xilinx Zynq MPSoC-ZCU 102上的CEDR的实用性,用于评估SoC配置,调度策略和工作负载复杂性的交易空间中的预硅硬件的性能,基于动态到达的工作负载场景,由实际信号处理应用组成,可扩展到数千个应用实例,具有FFT和矩阵乘法加速器。我们通过一些不同的案例研究提供了深入的了解在这个设计空间中存在的权衡。CEDR是便携式的,并已部署和验证Odroid-XU 3,X86和Nvidia Jetson Xavier基于SoC平台。两者合计,CEDR是一个有能力的环境,使研究在探索生产应用程序开发,资源管理启发式开发,异构体系结构的硬件配置分析的边界。
2022-04-15 cs.DC
The Case for Co-Designing Model Architectures with Hardware
EleutherAI;Ohio State University(俄亥俄州立大学);NVIDIA(英伟达);Contextual AI;Oak Ridge National Lab(橡树岭国家实验室)
针对深度学习模型设计常忽略GPU架构影响的问题,本文通过分析模型形状超参数对GPU计算内核效率的影响,提出Transformer模型性能优化指南,验证了形状优化可在保精度下将吞吐量最高提升39%。
2024-01-30 cs.AI cs.DC
Cross-Backend QIEO: Universal Runtime Portability across OpenMP5, CUDA, HIP, and Multi-Language Interfaces
BQP
提出跨后端QIEO框架,通过单一C++实现和薄绑定层实现算法性能与硬件可移植性,在CPU、OpenMP5、CUDA、HIP上运行,并在多个实际任务中验证了显著加速和优化效果。
2026-09-28 cs.CL cs.DC math.OC
HARD: A Performance Portable Radiation Hydrodynamics Code based on FleCSI Framework
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Michigan State University(密歇根州立大学);Princeton Center for Theoretical Science(普林斯顿理论科学中心);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Universität Stuttgart(斯图加特大学);Florida State University(佛罗里达州立大学)
HARD基于FleCSI框架开发了一个开源的高性能压缩流体动力学模拟代码,支持辐射扩散耦合,通过多后端运行时(如Legion、MPI和HPX) orchestration 实现性能可移植性,并提供回归测试套件确保科学可靠性。
2025-09-10 astro-ph.IM cs.DC physics.comp-ph
Compiler-assisted Adaptive Program Scheduling in big.LITTLE Systems
能量感知架构为应用提供低(小)和高(大)频率内核的混合。为运行在这种架构上的程序选择最佳硬件配置是困难的,因为程序部分从相同的硬件配置中获益不同。解决这一问题的最先进的技术使程序的执行适应运行时环境的动态特性,例如能耗和吞吐量。我们声称,这些纯粹的动态技术可以得到改善,如果他们知道程序的语法结构。为了支持这一主张,我们展示了如何使用编译器将源代码划分为程序阶段:其语法特征导致类似运行时行为的区域。我们使用强化学习将程序阶段和硬件状态形成的对映射到最适合此设置的配置。为了证明我们的想法的有效性,我们实施了Astro系统。Astro使用Q学习将程序的语法特征与硬件配置相关联。作为一个概念的证明,我们提供的证据表明,天文优于GTS,基于ARM的Linux调度器为异构体系结构,从Rodinia和Parsec的并行基准。
2019-03-17 cs.DC cs.PL
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx,一种用现代C++编写的基于任务的运行时系统,通过同时利用CPU和GPU(CUDA/HIP)并将通信纳入任务图来支持分布式异构计算,并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Automated Runtime-Aware Scheduling for Multi-Tenant DNN Inference on GPU
随着深度神经网络(DNN)的快速发展,许多现实世界的应用正在采用多个模型来执行复合任务,例如在自动驾驶车辆上共同运行分类,检测和分割模型。这样的多租户DNN推理情况极大地加剧了计算复杂性,并且需要针对图级操作员调度、运行时级资源感知以及硬件调度器支持的全面协作。然而,目前对这种多租户推理的调度支持仍然相对落后。在这项工作中,我们提出了一个资源感知的调度框架,用于在GPU上进行高效的多租户DNN推理,该框架自动协调不同执行级别的DNN计算。利用统一的调度中间表示和自动化的基于ML的搜索算法,可以生成最优调度,以明智地调整模型并发性和交错DNN模型运算符,在整个推理过程中保持持续平衡的资源利用率,并最终提高运行时效率。实验表明,与常规DNN运行时库(例如,CuDNN、TVM)和特定的并发调度方法(例如,NVIDIA Multi-Stream)。
2021-11-28 cs.DC
MobiBench: Benchmarking LLMs for On-Device Performance
RV College of Engineering(RV工程学院)
本工作提出MobiBench,一个统一基准测试套件,用于在多种硬件上评估边缘优化LLMs的性能,涵盖用户和系统指标,并揭示模型与硬件间的权衡,为设备上LLM评估奠定基础。
2026-09-15 cs.DC cs.PF
Rethinking Inter-Process Communication with Memory Operation Offloading
Georgia Institute of Technology(佐治亚理工学院);Meta;University of Illinois–Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出统一的IPC运行时套件,通过整合硬件和软件内存卸载技术,提升共享内存通信的效率与性能。
2026-01-09 cs.DC cs.OS
The ExaNeSt Prototype: Evaluation of Efficient HPC Communication Hardware in an ARM-based Multi-FPGA Rack
本文介绍含256个Xilinx MPSoC的液冷多FPGA机架ExaNeSt Prototype,通过定制低延迟RDMA互连与MPI运行时验证其HPC通信效率和扩展性能。
2023-07-18 cs.DC
Task inefficiency patterns for a wave equation solver
复杂算法的编排需要高水平的自动化来有效地使用现代硬件。使用OpenMP 5.0进行基于任务的编程是实现这一目标的突出候选者。我们研究的背景下,使用三种不同的体系结构和运行时的波动方程求解器(ExaHyPE)的OpenMP 5.0的任务。我们描述了当前可用运行时中存在的几个任务调度缺陷,演示了它们如何影响性能,并展示了如何解决这些缺陷。最后,我们提出了对OpenMP标准的扩展。
2021-07-12 cs.DC cs.MS
Q-IRIS: The Evolution of the IRIS Task-Based Runtime to Enable Classical-Quantum Workflows
Oak Ridge National Laboratory(橡树岭国家实验室)
Q-IRIS通过集成IRIS与XACC框架,实现了经典-量子工作流的协同执行,并展示了量子电路切割对模拟器性能的提升。
2025-12-15 cs.DC quant-ph
The Anatomy of Large-Scale Distributed Graph Algorithms
现代超级计算机的软件/硬件堆栈的复杂性不断增加,导致参数爆炸。性能分析成为一门真正的实验科学,在存在大量不规则性和数据依赖性的情况下更具挑战性。我们分析了现有的研究机构如何处理分布式图算法(DGAs)的背景下的实验方面。我们区分算法级别的贡献,通常由作者优先考虑,从运行时级别的关注,更难放置。我们表明,运行时是这样一个不可分割的一部分,DGA的实验结果是很难解释和外推,而不了解所使用的运行时的属性。我们认为,为了了解运行时的影响,需要收集更多的信息。为了开始这一过程,我们提供了一套初步的建议,描述DGA结果的基础上,我们的分析领域的当前状态。
2015-07-23 cs.DC cs.DS cs.PF