arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新
arXiv 2407.01484cs.DC
收藏

前沿规模扩展:利用 ExaWorks 实现全系统利用的不确定性量化工作流应用

Scaling on Frontier: Uncertainty Quantification Workflow Applications using ExaWorks to Enable Full System Utilization

Mikhail Titov, Robert Carson, Matthew Rolchigo, John Coleman, James Belak, Matthew Bement, Daniel Laney, Matteo Turilli, Shantenu Jha

AI总结:

本文利用 ExaWorks 的 RADICAL-EnTK 组件在 Frontier 超算上实现了 ExaAM 不确定性量化工作流,支持多达 8000 节点、异构资源与容错,并达到最高 90% 的资源利用率。

摘要:

在大规模运行时,现代科学工作流需要中间件来处理已分配的资源、分发计算负载并保证弹性执行。虽然单个步骤可能不需要复杂的控制方法,但将它们整合为一个完整的工作流则需要先进的管理机制。在这项工作中,我们使用了 RADICAL-EnTK(Ensemble Toolkit)——ECP ExaWorks 项目的 SDK 组件之一——在橡树岭领导计算设施的 Frontier 超级计算机上,在多达 8000 个计算节点上实现并执行了新型百亿亿次级增材制造(ExaAM)工作流。EnTK 使我们能够应对诸如资源需求变化(例如异构性、规模和运行时间)、每个工作流不同的执行环境以及容错等挑战。此外,所开发的 EnTK 应用具有原生可移植性特征,使我们能够迅速调整这些应用以适应 Frontier 上的运行,同时确保达到预期的资源利用率水平(最高可达 90%)。

英文摘要:

When running at scale, modern scientific workflows require middleware to handle allocated resources, distribute computing payloads and guarantee a resilient execution. While individual steps might not require sophisticated control methods, bringing them together as a whole workflow requires advanced management mechanisms. In this work, we used RADICAL-EnTK (Ensemble Toolkit) - one of the SDK components of the ECP ExaWorks project - to implement and execute the novel Exascale Additive Manufacturing (ExaAM) workflows on up to 8000 compute nodes of the Frontier supercomputer at the Oak Ridge Leadership Computing Facility. EnTK allowed us to address challenges such as varying resource requirements (e.g., heterogeneity, size, and runtime), different execution environment per workflow, and fault tolerance. And a native portability feature of the developed EnTK applications allowed us to adjust these applications for Frontier runs promptly, while ensuring an expected level of resource utilization (up to 90%).

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑