Checkpoint-Restart Libraries Must Become More Fault Tolerant
生产MPI代码需要检查点重启(CPR)支持。显然,检查点重启库必须是容错的,以免它们为拜占庭式的失败打开一扇脆弱的窗口。但是,某些利用MPI的流行库显然不是容错的。如今,具有自动恢复而无需批量重新排队的故障检测是生产环境的强烈需求。因此,即使与从倒数第二个检查点的保守恢复配对,允许死锁和设置长超时对于故障检测也是次优的。当MPI用作CPR库内的通信机制时,这样的库必须提供具有最小检测、隔离、缓解和潜在恢复语义的容错扩展,以帮助CPR的库故障后向。MPI和检查点库之间关于系统健康的通信可能是有价值的。对于容错MPI程序(例如,使用像FA-MPI、Stages/Reinit或ULFM这样的API),检查点库必须与扩展模型协作,否则使容错操作无效。
2021-12-20 cs.DC
Checkpoint and Restart: An Energy Consumption Characterization in Clusters
本文通过实验分析同构集群中SPMD应用执行检查点与重启时的能耗影响因素,涵盖处理器P/C状态、问题规模、DMTCP和NFS配置,为降低容错操作能耗提供优化依据。
2024-09-03 cs.DC
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机,容错和功耗是高性能计算(HPC)社区预期的两个主要挑战。检查点/重启(Checkpoint/Restart,CR)一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面,但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT(检查点重新启动和自动容错),它有两个目的的实现。首先,它提供了一个可扩展的库,大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分,可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销,该库提供了一个内置的异步检查点机制,并且还支持用于节点级检查点的可扩展检查点/重启(SCR)库。其次,CRAFT为基于用户级故障缓解(ULFM)的动态进程恢复提供了一个更简单的接口,大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能,应用程序可以编写应用程序级检查点,并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
MANA-2.0: A Future-Proof Design for Transparent Checkpointing of MPI at Scale
MANA-2.0是一个可扩展的,面向未来的设计,用于基于MPI的计算的透明检查点。它的网络透明性(“网络不可知”)功能确保MANA-2.0将提供一个可行的,有效的机制,在当前和未来的超级计算机上透明地检查MPI应用程序。MANA-2.0是以前工作的增强,原始MANA插入MPI调用,并且是用于生产部署的正在进行的工作。MANA-2.0实现了一系列新的算法和功能,提高了MANA的可扩展性和可靠性,使数千个MPI进程能够透明地检查点重启。MANA-2.0正在NERSC的Cori超级计算机上使用Cray GNI网络上的Cray MPICH库进行测试,但它被设计为在任意网络上运行的任何标准MPI上工作。选择了两个广泛使用的HPC应用程序来展示MANA-2.0的增强功能:GROMACS,一个具有频繁点对点通信的分子动力学模拟代码,以及VASP,一个具有频繁MPI集体通信的材料科学代码。也许从MANA-2.0中学到的最重要的一课是一系列用于基于库的转换的算法和数据结构,这些算法和数据结构使MANA-2.0上基于MPI的计算能够可靠地经受住检查点重启转换。
2021-12-10 cs.DC
CRUM: Checkpoint-Restart Support for CUDA's Unified Memory
统一虚拟内存(UVM)是最近在最新的NVIDIA GPU上推出的。通过软件和硬件支持,UVM在整个异构节点上提供一致的共享内存,并在适当时迁移数据。旧的CUDA编程风格类似于旧的大内存UNIX应用程序,用于直接加载和卸载内存段。较新的CUDA程序已经开始利用UVM,其原因与UNIX应用程序很久以前切换到假定存在虚拟内存的情况下的优越可编程性相同。因此,UVM的检查点将变得越来越重要,特别是随着NVIDIA CUDA继续获得更广泛的普及:最新列表中的前500台超级计算机中有87台是GPU加速的,目前每年有10台基于GPU的超级计算机。一个新的可扩展的检查点机制,CRUM(统一内存的检查点重启),演示了跨多个计算机节点的混合CUDA/MPI计算。CRUM支持快速、分叉的检查点,它主要与CUDA计算重叠,并将检查点映像存储在稳定存储中。使用CRUM的运行时开销平均为6%,分叉检查点的时间比传统的同步检查点少40倍。
2018-08-01 cs.DC
Designing an Adaptive Application-Level Checkpoint Management System for Malleable MPI Applications
动态资源管理为高性能计算带来了许多机会。它提高了系统级服务和应用程序性能。检查点也可以被视为一种系统级的服务,并且可以获得动态提供的好处。检查点系统可以通过与可延展的资源管理系统集成来获得更好的资源可用性。除了容错之外,检查点系统还可以满足可延展应用在资源变化期间的数据重新分配需求。因此,我们提出了iCheck,一个自适应的应用程序级检查点管理系统,可以有效地利用系统和应用程序级的动态性,提供更好的检查点和数据再分配服务的应用程序。
2022-11-08 cs.DC
Enabling Practical Transparent Checkpointing for MPI: A Topological Sort Approach
本文提出基于拓扑排序确定安全未来同步点的MPI透明检查点方法,解决低运行时开销问题,并在微基准及含VASP在内的五个实际应用中验证其有效性与可扩展性。
2024-08-05 cs.DC
Optimized Memoryless Fair-Share HPC Resources Scheduling using Transparent Checkpoint-Restart Preemption
超级计算系统中常用的资源管理方法通常包括硬划分、封顶和配额分配。这些方法,尽管它们的“缺点”,有一些已知的严重缺点,包括未优化利用昂贵的设施,偶尔仍然需要动态重新调度和重新分配的资源。因此,这些方法涉及糟糕的供需管理,而不是最终提高系统利用率和生产力的自由市场。在这项工作中,我们提出了新的优化无内存公平共享HPC资源调度使用透明的检查点重启抢占,其中社会福利增加使用免费的成本可互换的专有占有计划。因此,我们在资源分配的公平性方面永久保持现状,同时最大限度地提高所有用户在更长时间内实现更多CPU和CPU小时数的能力,而无需任何非直接成本,处罚或额外的人为干预。
2021-02-25 cs.DC
Improving scalability and reliability of MPI-agnostic transparent checkpointing for production workloads at NERSC
检查点/重启(C/R)提供容错计算能力,使长时间运行的应用程序,并为计算中心提供调度灵活性,以支持具有不同优先级的各种工作负载。因此,在NERSC获得透明的C/R能力至关重要。Mana,by Garg et.例如,是一个透明的检查点工具,由于其MPI无关和网络无关的方法而被选中。然而,MANA最初是作为概念验证代码编写的,它还不能用于NERSC的各种生产工作负载,这些工作负载主要由MPI和混合MPI+OpenMP应用程序控制。在这次演讲中,我们介绍了NERSC正在进行的工作,以使MANA能够用于NERSC的生产工作负载,包括修复NERSC顶级应用程序暴露的错误,添加新功能以解决系统更改,大规模评估C/R开销等。
2021-03-16 cs.DC
Transparent Checkpoint-Restart over InfiniBand
InfiniBand广泛用于低延迟、高吞吐量的集群计算。作为分布式检查点的一部分,保存InfiniBand网络的状态一直是研究人员面临的一个长期挑战。由于缺乏解决方案,典型的MPI实现包括自定义检查点重启服务,该服务“拆除”网络,检查每个节点,就好像该节点是一台独立的计算机,然后再次重新连接网络。我们提出了直接支持InfiniBand的透明的、系统启动的检查点重启的第一个示例。新方法独立于任何特定的Linux内核,因此简化了当前使用基于内核的模块(如BLCR)的实践。这种直接方法产生的检查点比使用检查点重启服务更快。这种方法的通用性不仅通过MPI计算的检查点来显示,而且还通过不使用MPI的本机UPC计算(Berkeley Unified Parallel C)来显示。可扩展性通过在128个节点(每个节点16个核心)上检查2,048个MPI进程来显示。此外,还启用了一种经济高效的调试方法,其中将来自基于InfiniBand的生产集群的检查点映像复制到基于以太网的本地集群,在那里可以重新启动检查点映像,并可以将交互式调试器附加到检查点映像。这项工作基于扩展DMTCP(分布式多线程检查点)检查点重启包的插件。
2014-01-30 cs.DC cs.OS
MANA for MPI: MPI-Agnostic Network-Agnostic Transparent Checkpointing
在高性能计算(HPC)中,并行检查点MPI的容错和负载均衡是一个长期存在的问题。由于需要在所有网络互连上为MPI实现的所有组合提供检查点重启服务,因此问题变得复杂。这项工作提出了MANA(MPI无关的网络无关的透明检查点),一个单一的代码库,支持所有的MPI实现和互连组合。不可知属性意味着可以在一个MPI实现下(可能通过TCP)对MPI应用程序进行检查点,然后在每个节点具有不同数量CPU内核的群集上通过InfiniBand在第二个MPI实现下重新启动。这种技术是基于一种新的“分裂进程”的方法,它使两个独立的程序共存于一个单一的进程与一个单一的地址空间。这项工作克服了两个最广泛采用的透明检查点解决方案,BLCR和DMTCP/InfiniBand,需要单独修改每个MPI实现和/或底层网络API的限制。运行时开销被发现是微不足道的检查点重新启动在一个单一的主机,当比较一个本地MPI计算迁移到一个远程集群对一个普通的MPI计算本地运行在同一个远程集群。
2019-04-20 cs.DC cs.OS
The Case for ABI Interoperability in a Fault Tolerant MPI
本文论证 MPI 可互操作 ABI 与透明检查点结合的价值,并通过 MANA 与 Mukautuva 概念验证展示跨 MPI 库检查点重启及运行时资源管理灵活性。
2025-03-14 cs.DC
Performance Evaluation of an Algorithm-based Asynchronous Checkpoint-Restart Fault Tolerant Application Using Mixed MPI/GPI-2
当前大数据领域最大的挑战之一是缺乏在可接受的时间内处理大量信息的能力。这项工作的目标是通过探索和比较在商品集群架构上实现的分布式计算框架,确定使用典型的大数据工具来解决高性能计算问题是否有用:实验将取决于使用Apache Spark等工具所需的计算时间。这将与“等效的更传统”的方法进行比较,例如在分布式文件系统(如HDFS(Hadoop分布式文件系统))上使用带有MPI的分布式内存模型和创建接口以封装此文件系统功能的本机C库,以及使用GASPI协议的GPI-2实现及其内存检查点库为应用程序提供容错功能。更准确地说,我们选择了K-means算法作为实验,它将在可变大小的数据集上运行,然后我们将比较两种方法的计算运行时间和时间弹性。
2018-05-06 cs.DC
Dependency-Aware Rollback and Checkpoint-Restart for Distributed Task-Based Runtimes
随着大型计算平台中计算节点的增加,节点故障也会相应增加。许多基于应用程序的检查点/重启(C/R)技术已被提出用于MPI应用程序,以减少平均故障间隔时间。然而,即使在采用C/R技术的高度优化的MPI应用程序中,作为恢复的一部分的回滚仍然是主要成本。在消息传递运行时中,通过检查点继续执行(即减少回滚)是可能的,但设计和实现起来极其复杂。我们的工作重点是基于任务的运行时,任务的依赖关系是显式的,消息传递是隐式的。我们看到了减少这种运行时回滚的机会:我们在回滚中探索任务依赖性,我们称之为依赖性感知回滚。我们还设计了一种新的C/R技术,它受任务递归分解的影响,并将其与依赖感知回滚相结合。我们期望依赖感知回滚在节点故障的情况下取消和重新计算更少的任务。我们描述,实施和验证所提出的协议在模拟器中,这证实了这些期望。此外,我们始终观察到更快的整体执行时间的依赖性感知回滚故障的存在下,尽管减少任务取消并不能保证减少整体执行时间。
2017-05-29 cs.DC
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc(印度科学学院)
本文提出FTHP-MPI,一种结合检查点/重启与复制机制的新型容错MPI库,在非容错原生MPI库中实现高故障率下的高效容错,并通过实验证明在故障间隔短于1小时的大规模系统中,基于复制的库比纯检查点方法效率更高,且无故障时额外开销可忽略。
2026-06-01 cs.DC
An unsupervised machine-learning checkpoint-restart algorithm using Gaussian mixtures for particle-in-cell simulations
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出了一种基于高斯混合粒子(PIC)算法的无监督机器学习检查点重启(CR)有损算法。该算法的特点是一个粒子压缩阶段和粒子重建阶段,在连续的粒子分布函数的构造和重采样,分别。为了保证CR过程的保真度,我们确保在网格上的任何地方都能精确地保留压缩和重建阶段的电荷、动量和能量。我们还确保了粒子重构后高斯定律的保持。其结果是,GM CR算法被证明提供了一个干净的,保守的重启能力,同时可能提供数量级的节省输入/输出的要求。我们证明了该算法使用最近开发的能量和电荷守恒PIC算法的物理问题的兴趣,与压缩因子$\gtrsim75$没有明显的影响的质量重新启动的动态。
2021-03-17 cs.DC cs.LG
Optimizing Checkpoint-Restart Mechanisms for HPC with DMTCP in Containers at NERSC
本文基于NERSC Perlmutter系统,研究了在容器内外使用DMTCP优化HPC检查点-重启机制,展示了其在复杂计算中的高效性、可靠性及跨环境的一致性能。
2024-07-26 cs.DC cs.SE
Towards Transparent Checkpointing with AI-driven Code Generation
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
研究使用大型语言模型自动为MPI科学应用生成检查点/重启代码,平均50分钟完成,开销可忽略,恢复效率与人工实现相当。
2026-07-01 cs.DC
System-level Scalable Checkpoint-Restart for Petascale Computing
对于即将到来的兆兆级的容错一直是一个活跃的研究领域。容错策略的组成部分之一是检查点。Petascale级别的检查点是通过一种新的机制来演示的,该机制用于虚拟化InfiniBand UD(不可靠数据报)模式,并用于在每个基于UD的发送上更新远程地址,因为缺乏固定的对等体。请注意,需要InfiniBand UD来支持现代MPI实现。从目前的结果到未来的SSD存储系统的外推提供了证据,目前的方法将保持实用的艾级一代。这种透明的检查点方法使用DMTCP检查点包的框架进行评估。结果显示为HPCG(线性代数),NAMD(分子动力学),和NAS NPB基准。在32,752个CPU内核上测试了多达32,752个MPI进程,演示了在11分钟内使用38 TB内存占用进行计算的检查点操作。将系统开销降低到1%以下。该方法还评估了三个广泛使用的MPI实现。
2016-09-24 cs.DC cs.OS
Optimal Multi-Level Interval-based Checkpointing for Exascale Stream Processing Systems
现有技术的流处理平台利用检查点来支持容错,其中“检查点元组”通过拓扑流向所有操作符,指示检查点并触发检查点操作。检查点将使您能够从任何类型的故障中恢复,无论是局部的流程故障,还是广泛的整个机器机架的电源丢失。随着我们向Exascale计算迈进,越来越明显的是,这种“单级”检查点太低效,无法扩展。一些HPC研究人员现在正在研究多级检查点,其中每个级别的检查点操作都是针对特定类型的故障进行定制的,以解决单级检查点的低效率问题。多级检查点在实践中被证明是优越的,它比单级检查点提供更高的操作效率。然而,到目前为止,没有理论基础,提供了最佳的参数设置的间隔为基础的协调多级检查点的方法。本文提出了一种适用于流处理的基于间隔的多级周期检查点系统的最优参数设置理论框架。我们的方法是随机的,在给定的检查点间隔,一个水平被选择与一定的概率检查点。我们推导出最优检查点间隔和相关的最优检查点概率的多级检查点系统,考虑故障率,检查点成本,重新启动成本和可能的失败过程中重新启动,在每一个级别。我们证实了我们的结果与随机模拟和实际实验。
2019-12-16 cs.DC
Collective Vector Clocks: Low-Overhead Transparent Checkpointing for MPI
针对分布式计算中支持跨进程集合操作的快照获取难题,提出基于集合向量时钟的网络无关透明检查点方案,避免了现有方案的移植成本与额外流量问题,且支持非阻塞集合操作,实验验证其运行时开销低。
2023-10-06 cs.DC
Use of checkpoint-restart for complex HEP software on traditional architectures and Intel MIC
Northeastern University(东北大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);Princeton University(普林斯顿大学)
本文探讨了检查点重启技术在HEP工作流中的应用,测试了CMS软件、Geant4-MT和DMTCP包,分析了单线程和多线程应用在传统架构和Intel MIC上的性能与可扩展性。
2014-01-22 cs.DC cs.NA hep-ex
Algorithm-Based Checkpoint-Recovery for the Conjugate Gradient Method
随着计算机达到亿亿次甚至更高的规模,故障的发生率将增加。解决这一问题是一个活跃的研究课题。我们专注于策略,使预处理共轭梯度(PCG)求解器弹性对节点故障,具体来说,精确的状态重建(ESR)方法,利用冗余PCG。降低冗余信息的存储频率可以减少运行时开销。然而,在节点故障之后,求解器必须从存储冗余信息的最后一次迭代重新启动,这增加了恢复开销。这个公式突出了该方法与检查点重启(CR)的相似之处。因此,这种方法,我们称之为ESR与周期性存储(ESRP),可以被认为是一种形式的基于算法的检查点重启。通过利用算法固有的冗余,而不是像CR中那样显式地存储状态。与CR相比,我们还最小化了要存储和检索的数据量,但需要额外的计算来重建求解器的状态。在本文中,我们描述了必要的修改ESR转换成ESRP,并进行了实验评估。我们比较ESRP实验与以前存在的ESR和应用级内存中的CR。我们的研究结果证实,ESR的开销显着减少,无论是在无故障的情况下,如果节点故障的介绍。在前一种情况下,ESRP的开销通常低于CR。但是,如果发生节点故障,CR会更快。我们声称,这些差异可以通过实施更适当的预条件来缓解。
2020-07-08 cs.DC
To Repair or Not to Repair: Assessing Fault Resilience in MPI Stencil Applications
本文提出基于 User Level Fault Mitigation 扩展和 Legio 框架的故障弹性方法,在 MPI 模板应用中通过仅执行未失败进程以牺牲精度换取快速恢复,实验证明其产出的结果可用于科研。
2024-10-11 cs.DC
PartRePer-MPI: Combining Fault Tolerance and Performance for MPI Applications
提出PartRePer-MPI库,通过部分复制MPI进程并融合ULFM容错框架与原生MPI高性能通信,实现低开销的容错支持。
2026-06-02 cs.DC
LLM Agents as Resilience Engineers for Scientific Applications
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
该研究探究前沿LLM编码智能体能否自动化HPC科学应用的检查点/重启实现,构建含16个MPI应用的基准,采用无人工干预流水线生成41个有效实现,验证其可行性并指出模块化碎片化状态的局限。
2026-10-09 cs.DC
Transparent Checkpointing for OpenGL Applications on GPUs
这项工作提出了OpenGL应用程序的透明检查点,改进了基于GPU的3D图形应用程序的分割处理技术[1]。分裂进程技术早期应用于MPI和CUDA程序的检查点,允许重新初始化驱动程序库。所提出的设计目标是OpenGL应用程序的实用的、与检查点包无关的检查点。早期原型在Autodesk Maya上演示。Maya是一个复杂的专有媒体创建软件套件,用于CGI(计算机生成动画)的大规模渲染硬件。Maya的透明检查点提供了急需的容错,因为当艺术家使用其某些前沿组件时,Maya很容易崩溃。然后,艺术家们在重新创造复杂的环境中损失了数小时的工作。
2021-08-01 cs.DC
DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop
DMTCP(Distributed MultiThreaded CheckPointing)是一个用于分布式应用程序的透明用户级检查点包。检查点设置和重新启动演示了20多个知名应用程序,包括MATLAB,Python,TightVNC,MPICH 2,OpenMPI和runCMS。RunCMS在内存中以680 MB的图像运行,其中包括540个动态库,并用于CERN大型强子对撞机的CMS实验。DMTCP透明地检查由许多节点、进程和线程组成的一般集群计算;以及典型的桌面应用程序。在128个分布式核心(32个节点)上,检查点和重启时间通常为2秒,运行时开销可以忽略不计。使用分叉检查点时,典型的检查点时间减少到0.2秒。实验结果表明,在中等规模的集群上,随着节点数量的增加,检查点时间几乎保持不变。DMTCP自动考虑fork、exec、ssh、互斥/信号量、TCP/IP套接字、UNIX域套接字、管道、ptys(伪终端)、终端模式、控制终端的所有权、信号处理程序、打开文件描述符、共享打开文件描述符、I/O(包括读取行库)、共享内存(通过mmap)、父子进程关系、pid虚拟化和其他操作系统工件。通过强调无特权的用户空间方法,从2.6.9到当前的2.6.28的Linux内核之间保持了兼容性。由于DMTCP是无特权的,并且不需要特殊的内核模块或内核补丁,因此DMTCP可以作为检查点重启模块在一些更大…
2009-02-24 cs.DC cs.OS
Characterizing Deep-Learning I/O Workloads in TensorFlow
深度学习(DL)计算框架的性能依赖于数据摄取和检查点的性能。事实上,在训练过程中,大量相对较小的文件首先在CPU上加载和预处理,然后移动到加速器进行计算。此外,执行检查点和重启操作以允许DL计算框架从检查点快速重启。因此,I/O会影响DL应用程序的性能。在这项工作中,我们描述了TensorFlow的I/O性能和扩展,TensorFlow是由Google开发的开源编程框架,专门用于解决DL问题。为了测量TensorFlow I/O性能,我们首先设计了一个微基准来测量TensorFlow读取,然后使用基于AlexNet的TensorFlow迷你应用程序来测量TensorFlow中I/O和检查点的性能成本。为了提高检查点的性能,我们设计并实现了一个突发缓冲区。我们发现,在我们的基准测试环境中,增加线程数量将TensorFlow带宽最多增加2.3倍和7.8倍。tensorFlow预取器的使用导致加速器上的计算和CPU上的输入管道完全重叠,消除了I/O对整体性能的有效成本。在我们的基准测试环境中,使用突发缓冲区将检查点设置到快速的小容量存储,并将检查点异步复制到较慢的大容量存储,与直接将检查点设置到较慢的存储相比,性能提高了2.6倍。
2018-10-06 cs.DC
OAK: Restart- and Age-Aware Scheduling for Distributed Machine Learning on Shared GPU Clusters
Oakland University(奥克兰大学)
OAK通过年龄键和分解重启因子,在共享GPU集群上实现重启与年龄感知调度,显著降低故障下的作业完成时间,且决策延迟极低。
2026-09-23 cs.DC
Extending the OpenCHK Model with Advanced Checkpoint Features
有效使用超大规模系统的主要挑战之一是减轻故障的影响。应用程序级别的检查点/重启(CR)方法在生产力、健壮性和性能之间提供了最佳平衡。有许多解决方案在应用程序级别实现CR。它们都提供高级I/O功能,以最大限度地减少CR引入的开销。尽管如此,在可编程性和灵活性方面仍有改进的空间,因为最终用户必须使用低级API手动序列化和重新序列化应用程序状态,修改应用程序流以考虑重新启动,或者每当后端库更改时重写CR代码。在这项工作中,我们提出了一组编译器指令和条款,允许用户以一种简单的方式指定CR操作。我们的方法支持所有CR库提供的通用CR功能。但是,它也可以扩展以支持仅在某些CR库中可用的高级功能,例如差分检查点,HDF 5格式的使用以及使用容错专用线程的可能性。我们的评估结果显示,可编程性有了很大的提高。平均而言,我们分别将FTI、SCR和VeloC的代码行数减少了71%、94%和64%,并且与直接使用后端库相比,使用我们的解决方案没有额外的开销。最后,可移植性得到了增强,因为我们的编程模型允许使用任何后端库而无需更改任何代码。
2020-07-01 cs.DC
A Utilization Model for Optimization of Checkpoint Intervals in Distributed Stream Processing Systems
最先进的分布式流处理系统,如Apache Flink和Storm,最近包括检查点,为有状态应用程序提供容错。这是一个必要的可能性,因为这些系统的头部到Exascale政权,显然是更有效的比复制状态大小的增长。然而,当前的系统使用检查点间隔的标称值,其指示假设大约每19天1次故障,其没有考虑检查点过程的突出方面,也没有考虑系统规模,这可能容易导致低效的系统操作。为了解决这个缺点,我们提供了一个严格的推导利用率-总时间的一部分,可供系统做有用的工作-,其中包括检查点间隔,故障率,检查点成本,故障检测和重启成本,深度的系统拓扑结构和消息延迟。我们的模型产生了一个优雅的表达式的利用率,并提供了一个最佳的检查点间隔给定这些参数,有趣的是,它只依赖于检查点的成本和故障率。我们通过使用Apache Flink进行实验来确认我们模型的准确性和有效性,在每种情况下,我们都可以提高系统利用率,特别是随着系统大小的增加。我们的模型提供了一个坚实的理论基础,更详细的检查点方法的分析和优化。
2019-11-27 cs.DC
A Scalable and Extensible Checkpointing Scheme for Massively Parallel Simulations
工程或材料科学中的真实仿真可能会消耗大量的计算资源,因此需要使用大规模并行超级计算机。故障的概率随着运行时间和系统组件的数量而增加。因此,对于未来的艾级系统来说,制定策略以使软件对故障具有弹性被认为是至关重要的。在本文中,我们提出了一个可扩展的,分布式的,无盘的,有弹性的检查点方案,可以创建和恢复一个分区的模拟域的快照。我们证明了效率和可扩展性的检查点策略的模拟高达$40$十亿计算单元上执行超过$400$十亿浮点值。一个检查点的创建只需要几秒钟,新的检查点计划的规模几乎完美地超过$260\,000$($2^{18}$)进程。为了在运行期间从无盘检查点恢复,我们使用ULFM MPI实现了恢复算法。检查点机制完全集成在最先进的高性能多物理场仿真框架中。我们证明了该方法的效率和鲁棒性与现实的相场模拟起源于材料科学和晶格玻尔兹曼方法的实施。
2018-01-29 cs.DC
Implicit Actions and Non-blocking Failure Recovery with MPI
科学应用程序长期以来一直将MPI作为在大型分布式系统上执行的首选环境。用户级故障缓解(ULFM)规范扩展了MPI标准,以解决弹性问题,并使MPI应用程序能够在故障后恢复其通信能力。这项工作建立在该领域获得的广泛经验的基础上,以消除当前实践与理想的、更异步的恢复模型之间的差距,在理想的恢复模型中,多个组件的容错活动可以同时进行并重叠。这项工作提出:(1)在向应用程序报告故障时提供所需的一致性(即,使应用程序能够评估计算阶段的成功而不招致不可接受的性能冲击);(2)提出允许应用程序中的故障恢复的有效范围的构建块,使得应用程序中的独立组件可以在不相互干扰的情况下恢复,并且应用程序中的单独的进程组可以独立地或一致地恢复;以及(3)恢复系统一致性所必需的重叠恢复活动(例如,从通信组中驱逐故障进程)与应用恢复活动(例如,从检查点恢复数据集)。
2022-12-16 cs.DC
Energy-efficient localised rollback after failures via data flow analysis
Exascale系统每小时都会出现故障。HPC程序员主要依赖应用程序级检查点和全局回滚来恢复。近年来,减少回滚进程数量的技术已经通过消息日志记录实现。然而,基于日志的方法有弱点,例如依赖于MPI实现中的复杂修改,以及在一般情况下可能需要完全重启的事实。为了解决所有基于日志的机制的局限性,我们返回到仅检查点的机制,但提倡数据流驱动的恢复(DFR),一个根本不同的方法,依赖于分析的数据流的迭代代码,和众所周知的概念的数据流图。我们证明了DFR的MPI模板代码的有效性,以优化回滚,并减少10- 12%的整体能源消耗的空闲节点在本地化回滚。我们还提供了大规模的估计DFR的节能相比,全球回滚,其中模板代码增加为n平方的过程计数n。
2018-06-05 cs.DC
Improving the Performance and Resilience of MPI Parallel Jobs with Topology and Fault-Aware Process Placement
HPC系统的规模不断增长,以满足对性能和计算资源不断增长的需求。除了提高性能外,大型系统还面临两个阻碍进一步增长的挑战:能源效率和弹性。与此同时,寻求提高性能的应用程序依赖于先进的并行性来利用系统资源,这导致了系统互连压力的增加。在大系统规模下,增加通信局部性在应用性能和能耗方面都是有益的。朝着这个方向,一些研究集中在导出一个映射的应用程序的进程到系统节点的方式,通信成本降低。一种常见的方法是将应用程序的通信模式和系统架构都表示为图,然后解决相应的映射问题。除了通信成本,作业的完成时间也会受到节点故障的影响。节点故障可能导致作业中止,需要重新启动作业。在本文中,我们解决的问题,分配进程的系统资源的目标是减少通信成本,同时也考虑到节点故障。所提出的方法已集成到Slurm资源管理器中。评估结果表明,在场景中,很少的节点有一个低的中断概率,所提出的进程放置方法实现了显着减少批量MPI作业的完成时间。与Slurm中的默认进程放置方法相比,对于两个不同的MPI应用程序,分别减少了18.9%和31%。
2021-01-05 cs.DC
Spot-on: A Checkpointing Framework for Fault-Tolerant Long-running Workloads on Cloud Spot Instances
Spot实例为运行在云计算环境中的应用程序提供了经济高效的解决方案。然而,在spot实例上运行长时间运行的作业是具有挑战性的,因为它们会受到不可预测的驱逐。在这里,我们介绍了一个通用的软件框架,它通过检查点和重启支持在现场实例上的容错长时间运行的工作负载。Spot-on利用现有的检查点包,并与主要的云供应商兼容。使用基因组学应用程序作为测试用例,我们证明了Spot-on支持特定于应用程序的检查点方法和透明的检查点方法。与使用按需实例运行应用程序相比,它允许完成这些工作负载,从而显著降低计算成本。与使用特定于应用程序的检查点机制运行应用程序相比,受透明检查点保护的应用程序可将运行时间减少多达40%,从而进一步节省高达86%的成本。
2022-10-05 cs.DC q-bio.GN
No-Restart Elasticity in an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Charm++运行时系统中的无重启重新缩放机制,通过成员协商、通信端点对账和保留状态的初始化路径,将弹性开销从数秒降至毫秒级,并消除GPU检查点依赖,显著提升竞价实例下的HPC弹性效率。
2026-09-29 cs.DC
Towards Adaptive Resilience in High Performance Computing
高性能计算机的故障率由于系统规模和复杂性的增长而迅速增加。因此,失败成为常态而不是例外。已经引入了关于高性能计算(HPC)系统的不同方法,以防止故障(例如,例如,在一个实施例中,或至少减少其影响(例如,例如,在一个实施例中,检查点和重新启动)。在大多数情况下,当采用这些方法来提高系统某些部分的弹性时,能耗会迅速增加,或者性能会显著下降。为了应对这一挑战,我们提出了按需弹性作为一种方法来实现HPC系统的自适应弹性。在这项工作中,HPC系统被视为整体,并按需激活检查点、隔离和迁移等弹性机制。使用所提出的方法,减少了不可避免的增加总能耗和系统性能下降相比,典型的检查点/重启和冗余弹性机制。我们的工作旨在减轻系统中各个层发生的大量故障,防止其传播,并最大限度地减少其影响,所有这些都以节能的方式进行。如果出现估计会发生但无法使用拟议的按需复原力方法缓解的故障,将通知系统管理员,以便对这些故障的原因及其影响进行进一步调查。
2017-06-14 cs.DC cs.PF
Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing
针对大模型混合并行训练中内存检查点与训练资源竞争、难扩展的问题,提出含分层异步快照协调、混合检查点保护的分布式内存检查点系统,在Frontier上训练Llama-2-34B时实现零保存开销与快速故障恢复。
2024-08-19 cs.DC cs.PF
Towards Management of Energy Consumption in HPC Systems with Fault Tolerance
高性能计算不断提高其计算能力和能源效率。然而,能源消耗持续上升,找到限制和/或减少能源消耗的方法是当前研究的关键点。对于高性能MPI应用程序,存在基于回滚恢复的容错方法,例如不协调的检查点。这些方法只允许一些进程在遇到故障时返回,而其余的进程继续运行。在这篇文章中,我们专注于继续执行的进程,并提出了一系列的策略来管理能源消耗时,发生故障和不协调的检查点使用。我们提出了一个能量模型来评估策略,并通过仿真分析了应用程序在不同配置和故障时间下的行为。因此,我们展示了在HPC系统中存在故障时提高能效的可行性。
2021-08-17 cs.DC
ThreadShift: Transparent Thread-Level Offloading on Transient Cloud Resources Using MPKs
EPFL(洛桑联邦理工学院)
ThreadShift利用MPK实现线程级透明卸载,支持细粒度检查点,在瞬时云资源上降低成本达56%,检查点速度比CRIU快三个数量级。
2026-09-29 cs.DC cs.OS
Application Failures and Machine Computational Efficiency
Argonne National Laboratory(阿贡国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
该研究针对应用故障率较高的情况,提出了基于使用情况而非时间评估百亿亿次级科学计算机正常运行时间效率的框架,结合Frontier超算数据验证了方法,可优化检查点间隔并提升计算资源利用率。
2026-08-07 cs.DC
TwinCG: Dual Thread Redundancy with Forward Recovery for Conjugate Gradient Methods
尽管像共轭梯度法(CG)这样的迭代求解器已经研究了五十多年,但近年来对这种求解器的容错已经引起了广泛的关注。对于迭代求解器,存在两种主要的可靠恢复策略:用于反向恢复的检查点重启,或用于正向恢复的某种类型的冗余技术。最近提出了重要的冗余技术,如稀疏矩阵向量乘积(SpMxV)的ABFT技术,这增加了CG方法的弹性。这些技术提供了有限的恢复选项,并引入了可容忍的开销。在这项工作中,我们研究了一个更强大的弹性概念,这是冗余多线程。它提供了更通用和更强大的恢复保证,包括CG迭代中的任何软故障(其中包括ABFT SpMxV),但也需要更多的资源。我们仔细研究了这种冗余/效率冲突。我们提出了一种容错CG方法,称为TwinCG,它引入了最小的挂钟时间开销,并在检测和纠正策略的显着优势。我们的方法使用双模块冗余,而不是更昂贵的三模块冗余,仍然,它保留了TMR的故障校正的优点。我们描述,实现,并基准我们的迭代求解器,并比较它的效率和容错能力,以国家的最先进的技术。我们发现,并行化之前,TwinCG引入了大约5-6%的运行时开销相比,标准CG,并行化后有效地使用BLAS。在出现故障的情况下,它可以可靠地对一系列问题执行正向恢复,性能优于SpMxV ABFT解决方案。
2016-05-15 cs.DC
TrainMover: An Interruption-Resilient Runtime for ML Training
Harvard University(哈佛大学);Alibaba Group(阿里巴巴集团);UT Austin(得克萨斯大学奥斯汀分校)
TrainMover通过弹性与备用机器处理中断,实现最小停机时间和零内存开销,减少GPU浪费时间达55%。
2026-05-15 cs.AI cs.DC cs.LG