Checkpoint-Restart Libraries Must Become More Fault Tolerant
生产MPI代码需要检查点重启（CPR）支持。显然，检查点重启库必须是容错的，以免它们为拜占庭式的失败打开一扇脆弱的窗口。但是，某些利用MPI的流行库显然不是容错的。如今，具有自动恢复而无需批量重新排队的故障检测是生产环境的强烈需求。因此，即使与从倒数第二个检查点的保守恢复配对，允许死锁和设置长超时对于故障检测也是次优的。当MPI用作CPR库内的通信机制时，这样的库必须提供具有最小检测、隔离、缓解和潜在恢复语义的容错扩展，以帮助CPR的库故障后向。MPI和检查点库之间关于系统健康的通信可能是有价值的。对于容错MPI程序（例如，使用像FA-MPI、Stages/Reinit或ULFM这样的API），检查点库必须与扩展模型协作，否则使容错操作无效。
2021-12-20 cs.DC
MANA for MPI: MPI-Agnostic Network-Agnostic Transparent Checkpointing
在高性能计算（HPC）中，并行检查点MPI的容错和负载均衡是一个长期存在的问题。由于需要在所有网络互连上为MPI实现的所有组合提供检查点重启服务，因此问题变得复杂。这项工作提出了MANA（MPI无关的网络无关的透明检查点），一个单一的代码库，支持所有的MPI实现和互连组合。不可知属性意味着可以在一个MPI实现下（可能通过TCP）对MPI应用程序进行检查点，然后在每个节点具有不同数量CPU内核的群集上通过InfiniBand在第二个MPI实现下重新启动。这种技术是基于一种新的“分裂进程”的方法，它使两个独立的程序共存于一个单一的进程与一个单一的地址空间。这项工作克服了两个最广泛采用的透明检查点解决方案，BLCR和DMTCP/InfiniBand，需要单独修改每个MPI实现和/或底层网络API的限制。运行时开销被发现是微不足道的检查点重新启动在一个单一的主机，当比较一个本地MPI计算迁移到一个远程集群对一个普通的MPI计算本地运行在同一个远程集群。
2019-04-20 cs.DC cs.OS
Implementation-Oblivious Transparent Checkpoint-Restart for MPI
本文提出实现无关的透明检查点-重启工具 MANA，以单一代码库支持多种符合标准的 MPI 实现，实现生产工作负载的一次开发、随处运行与按性能等特性测试。
2023-09-26 cs.DC
Checkpoint and Restart: An Energy Consumption Characterization in Clusters
本文通过实验分析同构集群中SPMD应用执行检查点与重启时的能耗影响因素，涵盖处理器P/C状态、问题规模、DMTCP和NFS配置，为降低容错操作能耗提供优化依据。
2024-09-03 cs.DC
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机，容错和功耗是高性能计算（HPC）社区预期的两个主要挑战。检查点/重启（Checkpoint/Restart，CR）一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面，但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT（检查点重新启动和自动容错），它有两个目的的实现。首先，它提供了一个可扩展的库，大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分，可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销，该库提供了一个内置的异步检查点机制，并且还支持用于节点级检查点的可扩展检查点/重启（SCR）库。其次，CRAFT为基于用户级故障缓解（ULFM）的动态进程恢复提供了一个更简单的接口，大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能，应用程序可以编写应用程序级检查点，并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
CRUM: Checkpoint-Restart Support for CUDA's Unified Memory
统一虚拟内存（UVM）是最近在最新的NVIDIA GPU上推出的。通过软件和硬件支持，UVM在整个异构节点上提供一致的共享内存，并在适当时迁移数据。旧的CUDA编程风格类似于旧的大内存UNIX应用程序，用于直接加载和卸载内存段。较新的CUDA程序已经开始利用UVM，其原因与UNIX应用程序很久以前切换到假定存在虚拟内存的情况下的优越可编程性相同。因此，UVM的检查点将变得越来越重要，特别是随着NVIDIA CUDA继续获得更广泛的普及：最新列表中的前500台超级计算机中有87台是GPU加速的，目前每年有10台基于GPU的超级计算机。一个新的可扩展的检查点机制，CRUM（统一内存的检查点重启），演示了跨多个计算机节点的混合CUDA/MPI计算。CRUM支持快速、分叉的检查点，它主要与CUDA计算重叠，并将检查点映像存储在稳定存储中。使用CRUM的运行时开销平均为6%，分叉检查点的时间比传统的同步检查点少40倍。
2018-08-01 cs.DC
DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop
DMTCP（Distributed MultiThreaded CheckPointing）是一个用于分布式应用程序的透明用户级检查点包。检查点设置和重新启动演示了20多个知名应用程序，包括MATLAB，Python，TightVNC，MPICH 2，OpenMPI和runCMS。RunCMS在内存中以680 MB的图像运行，其中包括540个动态库，并用于CERN大型强子对撞机的CMS实验。DMTCP透明地检查由许多节点、进程和线程组成的一般集群计算;以及典型的桌面应用程序。在128个分布式核心（32个节点）上，检查点和重启时间通常为2秒，运行时开销可以忽略不计。使用分叉检查点时，典型的检查点时间减少到0.2秒。实验结果表明，在中等规模的集群上，随着节点数量的增加，检查点时间几乎保持不变。DMTCP自动考虑fork、exec、ssh、互斥/信号量、TCP/IP套接字、UNIX域套接字、管道、ptys（伪终端）、终端模式、控制终端的所有权、信号处理程序、打开文件描述符、共享打开文件描述符、I/O（包括读取行库）、共享内存（通过mmap）、父子进程关系、pid虚拟化和其他操作系统工件。通过强调无特权的用户空间方法，从2.6.9到当前的2.6.28的Linux内核之间保持了兼容性。由于DMTCP是无特权的，并且不需要特殊的内核模块或内核补丁，因此DMTCP可以作为检查点重启模块在一些更大…
2009-02-24 cs.DC cs.OS
Optimized Memoryless Fair-Share HPC Resources Scheduling using Transparent Checkpoint-Restart Preemption
超级计算系统中常用的资源管理方法通常包括硬划分、封顶和配额分配。这些方法，尽管它们的“缺点”，有一些已知的严重缺点，包括未优化利用昂贵的设施，偶尔仍然需要动态重新调度和重新分配的资源。因此，这些方法涉及糟糕的供需管理，而不是最终提高系统利用率和生产力的自由市场。在这项工作中，我们提出了新的优化无内存公平共享HPC资源调度使用透明的检查点重启抢占，其中社会福利增加使用免费的成本可互换的专有占有计划。因此，我们在资源分配的公平性方面永久保持现状，同时最大限度地提高所有用户在更长时间内实现更多CPU和CPU小时数的能力，而无需任何非直接成本，处罚或额外的人为干预。
2021-02-25 cs.DC
Checkpoint/restart approaches for a thread-based MPI runtime
在大规模运行大规模并行程序时，容错一直是一个重要的话题。从统计数据来看，硬件和软件故障预计会更频繁地发生在收集数百万计算单元的系统上。此外，作业越大，崩溃浪费的计算时间就越多。在本文中，我们描述了我们的MPI运行时所做的工作，使透明和应用程序级的检查点机制。与MPI 4.0用户级故障缓解（ULFM）接口不同，我们的工作仅针对检查点/重启，而忽略了其他功能，如弹性。我们展示了如何现有的检查点方法可以实际应用到基于线程的MPI实现足够的运行时协作。两个主要贡献是在透明C/R期间保持高速网络性能，以及由于专用的用户级调度器支持而超额订阅检查点数据复制。这些技术在MPI基准测试（如IMB，Lulesh和Heatdis）上进行了测量，并讨论了相关的开销和权衡。
2019-06-12 cs.DC
An unsupervised machine-learning checkpoint-restart algorithm using Gaussian mixtures for particle-in-cell simulations
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出了一种基于高斯混合粒子（PIC）算法的无监督机器学习检查点重启（CR）有损算法。该算法的特点是一个粒子压缩阶段和粒子重建阶段，在连续的粒子分布函数的构造和重采样，分别。为了保证CR过程的保真度，我们确保在网格上的任何地方都能精确地保留压缩和重建阶段的电荷、动量和能量。我们还确保了粒子重构后高斯定律的保持。其结果是，GM CR算法被证明提供了一个干净的，保守的重启能力，同时可能提供数量级的节省输入/输出的要求。我们证明了该算法使用最近开发的能量和电荷守恒PIC算法的物理问题的兴趣，与压缩因子$\gtrsim75$没有明显的影响的质量重新启动的动态。
2021-03-17 cs.DC cs.LG
Optimizing Checkpoint-Restart Mechanisms for HPC with DMTCP in Containers at NERSC
本文基于NERSC Perlmutter系统，研究了在容器内外使用DMTCP优化HPC检查点-重启机制，展示了其在复杂计算中的高效性、可靠性及跨环境的一致性能。
2024-07-26 cs.DC cs.SE
Dependency-Aware Rollback and Checkpoint-Restart for Distributed Task-Based Runtimes
随着大型计算平台中计算节点的增加，节点故障也会相应增加。许多基于应用程序的检查点/重启（C/R）技术已被提出用于MPI应用程序，以减少平均故障间隔时间。然而，即使在采用C/R技术的高度优化的MPI应用程序中，作为恢复的一部分的回滚仍然是主要成本。在消息传递运行时中，通过检查点继续执行（即减少回滚）是可能的，但设计和实现起来极其复杂。我们的工作重点是基于任务的运行时，任务的依赖关系是显式的，消息传递是隐式的。我们看到了减少这种运行时回滚的机会：我们在回滚中探索任务依赖性，我们称之为依赖性感知回滚。我们还设计了一种新的C/R技术，它受任务递归分解的影响，并将其与依赖感知回滚相结合。我们期望依赖感知回滚在节点故障的情况下取消和重新计算更少的任务。我们描述，实施和验证所提出的协议在模拟器中，这证实了这些期望。此外，我们始终观察到更快的整体执行时间的依赖性感知回滚故障的存在下，尽管减少任务取消并不能保证减少整体执行时间。
2017-05-29 cs.DC
Use of checkpoint-restart for complex HEP software on traditional architectures and Intel MIC
Northeastern University（东北大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Princeton University（普林斯顿大学）
本文探讨了检查点重启技术在HEP工作流中的应用，测试了CMS软件、Geant4-MT和DMTCP包，分析了单线程和多线程应用在传统架构和Intel MIC上的性能与可扩展性。
2014-01-22 cs.DC cs.NA hep-ex
Performance Evaluation of an Algorithm-based Asynchronous Checkpoint-Restart Fault Tolerant Application Using Mixed MPI/GPI-2
当前大数据领域最大的挑战之一是缺乏在可接受的时间内处理大量信息的能力。这项工作的目标是通过探索和比较在商品集群架构上实现的分布式计算框架，确定使用典型的大数据工具来解决高性能计算问题是否有用：实验将取决于使用Apache Spark等工具所需的计算时间。这将与“等效的更传统”的方法进行比较，例如在分布式文件系统（如HDFS（Hadoop分布式文件系统））上使用带有MPI的分布式内存模型和创建接口以封装此文件系统功能的本机C库，以及使用GASPI协议的GPI-2实现及其内存检查点库为应用程序提供容错功能。更准确地说，我们选择了K-means算法作为实验，它将在可变大小的数据集上运行，然后我们将比较两种方法的计算运行时间和时间弹性。
2018-05-06 cs.DC
Reinit++: Evaluating the Performance of Global-Restart Recovery Methods For MPI Fault Tolerance
由于硬件组件数量的增加，扩展超级计算机的故障率也随之增加。在标准实践中，通过设置检查点数据并在发生故障后重新启动执行以从最新检查点恢复，使应用程序具有弹性。但是，重新部署应用程序会导致系统开销，因为它会拆除和重新启动执行，并可能限制从慢速永久存储中进行检查点检索。在本文中，我们提出了Reinit++，一个新的设计和实现的Reinit方法的全局重启恢复，避免应用程序重新部署。我们广泛地评估了Reinit++与ULFM的领先MPI容错方法的对比，实现全局重启恢复，以及重启应用程序的典型实践，以获得对性能的新见解。对三种不同的HPC代理应用程序进行的实验表明，Reinit++的恢复速度比重新启动快得多，最高可达6倍，或者ULFM，最高可达3倍，并且随着MPI进程数量的增加，它可以出色地扩展。
2021-02-13 cs.DC
Towards Transparent Checkpointing with AI-driven Code Generation
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
研究使用大型语言模型自动为MPI科学应用生成检查点/重启代码，平均50分钟完成，开销可忽略，恢复效率与人工实现相当。
2026-07-01 cs.DC
Optimal Multi-Level Interval-based Checkpointing for Exascale Stream Processing Systems
现有技术的流处理平台利用检查点来支持容错，其中“检查点元组”通过拓扑流向所有操作符，指示检查点并触发检查点操作。检查点将使您能够从任何类型的故障中恢复，无论是局部的流程故障，还是广泛的整个机器机架的电源丢失。随着我们向Exascale计算迈进，越来越明显的是，这种“单级”检查点太低效，无法扩展。一些HPC研究人员现在正在研究多级检查点，其中每个级别的检查点操作都是针对特定类型的故障进行定制的，以解决单级检查点的低效率问题。多级检查点在实践中被证明是优越的，它比单级检查点提供更高的操作效率。然而，到目前为止，没有理论基础，提供了最佳的参数设置的间隔为基础的协调多级检查点的方法。本文提出了一种适用于流处理的基于间隔的多级周期检查点系统的最优参数设置理论框架。我们的方法是随机的，在给定的检查点间隔，一个水平被选择与一定的概率检查点。我们推导出最优检查点间隔和相关的最优检查点概率的多级检查点系统，考虑故障率，检查点成本，重新启动成本和可能的失败过程中重新启动，在每一个级别。我们证实了我们的结果与随机模拟和实际实验。
2019-12-16 cs.DC
MANA-2.0: A Future-Proof Design for Transparent Checkpointing of MPI at Scale
MANA-2.0是一个可扩展的，面向未来的设计，用于基于MPI的计算的透明检查点。它的网络透明性（“网络不可知”）功能确保MANA-2.0将提供一个可行的，有效的机制，在当前和未来的超级计算机上透明地检查MPI应用程序。MANA-2.0是以前工作的增强，原始MANA插入MPI调用，并且是用于生产部署的正在进行的工作。MANA-2.0实现了一系列新的算法和功能，提高了MANA的可扩展性和可靠性，使数千个MPI进程能够透明地检查点重启。MANA-2.0正在NERSC的Cori超级计算机上使用Cray GNI网络上的Cray MPICH库进行测试，但它被设计为在任意网络上运行的任何标准MPI上工作。选择了两个广泛使用的HPC应用程序来展示MANA-2.0的增强功能：GROMACS，一个具有频繁点对点通信的分子动力学模拟代码，以及VASP，一个具有频繁MPI集体通信的材料科学代码。也许从MANA-2.0中学到的最重要的一课是一系列用于基于库的转换的算法和数据结构，这些算法和数据结构使MANA-2.0上基于MPI的计算能够可靠地经受住检查点重启转换。
2021-12-10 cs.DC
Advancements in Big Data Processing in the ATLAS and CMS Experiments
不断增长的科学数据量对分布式计算和网格技术提出了新的挑战。新兴的大数据革命推动了科学领域的探索，包括纳米技术，天体物理学，高能物理学，生物学和医学。新的举措正在改变数据驱动的科学领域，以新的方式进行大规模数据分析。在千万亿次数据处理中，科学家处理的是数据集，而不是单个文件。因此，任务（由许多作业组成）成为网格上千万亿次数据处理的一个单元。将大型数据处理任务拆分为作业可以实现细粒度检查点，类似于在数据传输期间将大型文件拆分为较小的TCP/IP数据包。通过自动重新发送丢弃的TCP/IP数据包，在小数据包中传输大数据可以实现可靠性。类似地，网格上的瞬时作业故障可以通过自动重试来恢复，以在网格上的千万亿次数据处理中实现可靠的六西格玛生产质量。ATLAS和CMS实验的计算经验为可靠性工程提供了基础，将网格技术扩展到千万亿次以上的数据处理。
2013-03-08 cs.DB cs.DC hep-ex
LLM Agents as Resilience Engineers for Scientific Applications
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
该研究探究前沿LLM编码智能体能否自动化HPC科学应用的检查点/重启实现，构建含16个MPI应用的基准，采用无人工干预流水线生成41个有效实现，验证其可行性并指出模块化碎片化状态的局限。
2026-10-09 cs.DC
Characterizing Deep-Learning I/O Workloads in TensorFlow
深度学习（DL）计算框架的性能依赖于数据摄取和检查点的性能。事实上，在训练过程中，大量相对较小的文件首先在CPU上加载和预处理，然后移动到加速器进行计算。此外，执行检查点和重启操作以允许DL计算框架从检查点快速重启。因此，I/O会影响DL应用程序的性能。在这项工作中，我们描述了TensorFlow的I/O性能和扩展，TensorFlow是由Google开发的开源编程框架，专门用于解决DL问题。为了测量TensorFlow I/O性能，我们首先设计了一个微基准来测量TensorFlow读取，然后使用基于AlexNet的TensorFlow迷你应用程序来测量TensorFlow中I/O和检查点的性能成本。为了提高检查点的性能，我们设计并实现了一个突发缓冲区。我们发现，在我们的基准测试环境中，增加线程数量将TensorFlow带宽最多增加2.3倍和7.8倍。tensorFlow预取器的使用导致加速器上的计算和CPU上的输入管道完全重叠，消除了I/O对整体性能的有效成本。在我们的基准测试环境中，使用突发缓冲区将检查点设置到快速的小容量存储，并将检查点异步复制到较慢的大容量存储，与直接将检查点设置到较慢的存储相比，性能提高了2.6倍。
2018-10-06 cs.DC
Extending the OpenCHK Model with Advanced Checkpoint Features
有效使用超大规模系统的主要挑战之一是减轻故障的影响。应用程序级别的检查点/重启（CR）方法在生产力、健壮性和性能之间提供了最佳平衡。有许多解决方案在应用程序级别实现CR。它们都提供高级I/O功能，以最大限度地减少CR引入的开销。尽管如此，在可编程性和灵活性方面仍有改进的空间，因为最终用户必须使用低级API手动序列化和重新序列化应用程序状态，修改应用程序流以考虑重新启动，或者每当后端库更改时重写CR代码。在这项工作中，我们提出了一组编译器指令和条款，允许用户以一种简单的方式指定CR操作。我们的方法支持所有CR库提供的通用CR功能。但是，它也可以扩展以支持仅在某些CR库中可用的高级功能，例如差分检查点，HDF 5格式的使用以及使用容错专用线程的可能性。我们的评估结果显示，可编程性有了很大的提高。平均而言，我们分别将FTI、SCR和VeloC的代码行数减少了71%、94%和64%，并且与直接使用后端库相比，使用我们的解决方案没有额外的开销。最后，可移植性得到了增强，因为我们的编程模型允许使用任何后端库而无需更改任何代码。
2020-07-01 cs.DC
A Study of Checkpointing in Large Scale Training of Deep Neural Networks
深度学习（DL）应用越来越多地部署在HPC系统上，以利用这些系统的大规模并行性和计算能力进行DL模型训练。虽然DL框架已经投入了大量的努力来促进分布式训练，但容错在很大程度上被忽视了。在这项工作中，我们评估检查点重新启动，一个常见的容错技术在HPC工作负载。我们使用HPC Chainer、PyTorch和TensorFlow中常见的三种最先进的DL框架进行实验。我们评估检查点的计算成本，文件格式和文件大小，规模的影响，和确定性检查点。我们的评估显示了检查点机制的一些关键差异，并暴露了现有检查点实现中的几个瓶颈。我们提供的讨论点，可以帮助用户选择一个容错的框架中使用的HPC。我们还提供了框架开发人员可以使用的要点，以促进HPC中DL工作负载的更好检查点。
2021-03-29 cs.DC
ThreadShift: Transparent Thread-Level Offloading on Transient Cloud Resources Using MPKs
EPFL（洛桑联邦理工学院）
ThreadShift利用MPK实现线程级透明卸载，支持细粒度检查点，在瞬时云资源上降低成本达56%，检查点速度比CRIU快三个数量级。
2026-09-29 cs.DC cs.OS
Spot-on: A Checkpointing Framework for Fault-Tolerant Long-running Workloads on Cloud Spot Instances
Spot实例为运行在云计算环境中的应用程序提供了经济高效的解决方案。然而，在spot实例上运行长时间运行的作业是具有挑战性的，因为它们会受到不可预测的驱逐。在这里，我们介绍了一个通用的软件框架，它通过检查点和重启支持在现场实例上的容错长时间运行的工作负载。Spot-on利用现有的检查点包，并与主要的云供应商兼容。使用基因组学应用程序作为测试用例，我们证明了Spot-on支持特定于应用程序的检查点方法和透明的检查点方法。与使用按需实例运行应用程序相比，它允许完成这些工作负载，从而显著降低计算成本。与使用特定于应用程序的检查点机制运行应用程序相比，受透明检查点保护的应用程序可将运行时间减少多达40%，从而进一步节省高达86%的成本。
2022-10-05 cs.DC q-bio.GN
To Repair or Not to Repair: Assessing Fault Resilience in MPI Stencil Applications
本文提出基于 User Level Fault Mitigation 扩展和 Legio 框架的故障弹性方法，在 MPI 模板应用中通过仅执行未失败进程以牺牲精度换取快速恢复，实验证明其产出的结果可用于科研。
2024-10-11 cs.DC
Improving Performance of Iterative Methods by Lossy Checkponting
迭代法是求解大型稀疏线性方程组的常用方法，是许多现代科学模拟的基本运算。当大规模迭代法并行运行时，为了防止不可避免的失效-停止错误，需要对动态变量进行周期性检查，这就需要快速的I/O系统和大量的存储空间。为此，显著减少检查点开销对于提高迭代法的整体性能至关重要。我们的贡献是四方面的。(1)我们提出了一种新的有损检查点方案，可以显着提高检查点性能的迭代法利用有损压缩器。(2)我们制定了一个有损检查点的性能模型，并从理论上推导出一个上限的额外的迭代次数所造成的数据失真的有损检查点，以保证性能的改善下的有损检查点计划。(3)我们分析了有损检查点的影响（即，由有损检查点文件引起的额外迭代次数）。(4)We使用著名的科学计算包PETSc和最先进的检查点/重启工具包，在具有2，048个内核的高性能计算环境上评估具有最佳检查点间隔的有损检查点方案。实验结果表明，在系统发生故障时，与传统检查点算法相比，优化后的有损检查点算法可显著降低迭代法的容错开销23%~70%，与无损压缩检查点算法相比，可降低20%~58%.
2018-05-29 cs.DC
Improving scalability and reliability of MPI-agnostic transparent checkpointing for production workloads at NERSC
检查点/重启（C/R）提供容错计算能力，使长时间运行的应用程序，并为计算中心提供调度灵活性，以支持具有不同优先级的各种工作负载。因此，在NERSC获得透明的C/R能力至关重要。Mana，by Garg et.例如，是一个透明的检查点工具，由于其MPI无关和网络无关的方法而被选中。然而，MANA最初是作为概念验证代码编写的，它还不能用于NERSC的各种生产工作负载，这些工作负载主要由MPI和混合MPI+OpenMP应用程序控制。在这次演讲中，我们介绍了NERSC正在进行的工作，以使MANA能够用于NERSC的生产工作负载，包括修复NERSC顶级应用程序暴露的错误，添加新功能以解决系统更改，大规模评估C/R开销等。
2021-03-16 cs.DC
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc（印度科学学院）
本文提出FTHP-MPI，一种结合检查点/重启与复制机制的新型容错MPI库，在非容错原生MPI库中实现高故障率下的高效容错，并通过实验证明在故障间隔短于1小时的大规模系统中，基于复制的库比纯检查点方法效率更高，且无故障时额外开销可忽略。
2026-06-01 cs.DC
Fault-Tolerance through Message-logging and Check-pointing: Disaster Recovery for CORBA-based Distributed Bank Servers
本报告介绍了我们努力开发基于CORBA的银行服务器的故障恢复变体的结果，该服务器通过消息日志记录和检查点日志记录提供容错功能。在这组项目中，开发了三个组件来满足需求：1）用于分布式银行系统的分支服务器记录所需信息的消息日志协议; 2）使用消息日志重新启动银行服务器以帮助重新启动的银行服务器处理各种操作的后续请求的恢复模块; 3）监视模块，其周期性地检查银行服务器是否停机，并且如果银行服务器已经崩溃，则帮助恢复模块重启银行服务器。
2009-11-17 cs.DC cs.SE
Scrutinizing Variables for Checkpoint Using Automatic Differentiation
Nanchang Hangkong University（南昌航空大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；RIKEN（理化学研究所）
本文提出利用自动微分技术识别检查点中关键与非关键变量元素，以提高存储效率。
2026-02-17 cs.DC
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的，云不可知的方法是扩展现有的云平台，包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的：（a）直接支持长时间运行的作业，否则需要为每个应用程序提供自定义容错机制;（b）当更高优先级的作业到达时，通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是，它还支持TCP和InfiniBand上的并行和分布式计算，从而允许传统的HPC应用程序利用现有的云基础设施。此外，集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能（可能是由于资源不足），并主动挂起作业。通过将该实现应用于两个非常不同的云平台：Snooze和OpenStack，展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
Distance Based Asynchronous Recovery Approach in Mobile Computing Environment
移动计算系统是其中至少一个进程是移动的分布式系统。它们受到缺乏稳定存储、低网络带宽、移动性、频繁断开连接和电池寿命有限的限制。检查点是移动计算环境中提供容错的常用技术之一。为了适应移动环境，提出了一种基于检查点和消息日志的距离恢复方案。在系统从故障中恢复之后，只有失败的进程才从它们各自的最近检查点回滚和重新启动，而与其他进程无关。该方案的显著特点是降低了传输和回收成本。当移动主机在特定范围内移动时，恢复信息不被移动，因此只有当移动主机移动到特定范围外时才在附近传输。
2012-06-07 cs.DB cs.DC
LayerCheck: Adaptive Layer-wise Checkpointing for Large Language Model Post-training
University of Delaware（特拉华大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对LLM训练中检查点开销大且各层更新不均的问题，提出LayerCheck逐层自适应检查点框架，选择性持久化更新超阈值的层，实现检查点大小减少22.6倍、训练时间减少1.31倍，且恢复后损失偏差仅0.54%。
2026-09-24 cs.DC
Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing
针对大模型混合并行训练中内存检查点与训练资源竞争、难扩展的问题，提出含分层异步快照协调、混合检查点保护的分布式内存检查点系统，在Frontier上训练Llama-2-34B时实现零保存开销与快速故障恢复。
2024-08-19 cs.DC cs.PF
TRANSOM: An Efficient Fault-Tolerant System for Training LLMs
SenseTime（商汤科技）；Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出新型容错LLM训练系统TRANSOM，通过TOL、TEE和TCE三个子系统实现自动容错恢复、异常检测与异步检查点访问，显著提升大规模集群训练效率。
2023-10-18 cs.AI cs.DC
Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
University of California Santa Cruz（加州大学圣克ruz分校）；University of California, Davis（加州大学戴维斯分校）；University of Washington（华盛顿大学）
针对LLM推理中GPU状态丢失问题，提出Concordia运行时，利用设备驻留持久内核实现JIT编译的增量检查点，支持PTX/SASS级插桩，无需修改应用代码。
2026-06-23 cs.DC cs.LG
The Case for ABI Interoperability in a Fault Tolerant MPI
本文论证 MPI 可互操作 ABI 与透明检查点结合的价值，并通过 MANA 与 Mukautuva 概念验证展示跨 MPI 库检查点重启及运行时资源管理灵活性。
2025-03-14 cs.DC
Collective Vector Clocks: Low-Overhead Transparent Checkpointing for MPI
针对分布式计算中支持跨进程集合操作的快照获取难题，提出基于集合向量时钟的网络无关透明检查点方案，避免了现有方案的移植成本与额外流量问题，且支持非阻塞集合操作，实验验证其运行时开销低。
2023-10-06 cs.DC
Zero-I/O Fault Recovery for Sharded Deep Learning via Dynamic Framework Dependency Rebinding
NingboTech University（宁波诺丁汉大学）；Dalian Ocean University（大连海洋大学）
针对分布式训练中网络故障导致的检查点开销问题，提出AccelPact运行时，通过动态依赖重绑定实现零I/O内存故障恢复，在Mistral-7B训练中提升吞吐量达1.698倍。
2026-09-17 cs.DC
PartRePer-MPI: Combining Fault Tolerance and Performance for MPI Applications
提出PartRePer-MPI库，通过部分复制MPI进程并融合ULFM容错框架与原生MPI高性能通信，实现低开销的容错支持。
2026-06-02 cs.DC
Scalable and Fault Tolerant Computation with the Sparse Grid Combination Technique
本文继续发展[B]中最近提出的稀疏网格组合技术的容错扩展。Harding和M. Hegland，ANZIAM J.，54（CTAC2012），pp. C394-C411]。该方法是新颖的，有两个原因，第一，它提供了几个层次，其中一个可以利用并行导致大规模并行实现，第二，它提供了基于算法的容错，使解决方案仍然可以恢复，如果在计算过程中发生故障。我们提出了一个概括的组合技术的容错算法是一个后果。使用一个高性能计算机的每个节点上的故障之间的时间模型，我们提供了该算法的插值的预期误差的界限。在标量平流偏微分方程上的数值实验表明，该算法在实际应用中具有较好的容错能力。据观察，恢复时间的权衡，以降低精度的解决方案是适当的小。与传统的检查点重新启动方法应用于组合技术的比较表明，我们的方法是高度可扩展的故障的数量。
2014-04-10 cs.DC cs.NA math.NA
