Optimizing Frequent Checkpointing via Low-Cost Differential for Distributed Training Systems
通过低成本微分优化分布式训练系统的频繁检查点，减少训练时间达89.2%。
2026-10-12 cs.DC
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机，容错和功耗是高性能计算（HPC）社区预期的两个主要挑战。检查点/重启（Checkpoint/Restart，CR）一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面，但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT（检查点重新启动和自动容错），它有两个目的的实现。首先，它提供了一个可扩展的库，大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分，可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销，该库提供了一个内置的异步检查点机制，并且还支持用于节点级检查点的可扩展检查点/重启（SCR）库。其次，CRAFT为基于用户级故障缓解（ULFM）的动态进程恢复提供了一个更简单的接口，大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能，应用程序可以编写应用程序级检查点，并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
Zero-I/O Fault Recovery for Sharded Deep Learning via Dynamic Framework Dependency Rebinding
NingboTech University（宁波诺丁汉大学）；Dalian Ocean University（大连海洋大学）
针对分布式训练中网络故障导致的检查点开销问题，提出AccelPact运行时，通过动态依赖重绑定实现零I/O内存故障恢复，在Mistral-7B训练中提升吞吐量达1.698倍。
2026-09-17 cs.DC
Distance Based Asynchronous Recovery Approach in Mobile Computing Environment
移动计算系统是其中至少一个进程是移动的分布式系统。它们受到缺乏稳定存储、低网络带宽、移动性、频繁断开连接和电池寿命有限的限制。检查点是移动计算环境中提供容错的常用技术之一。为了适应移动环境，提出了一种基于检查点和消息日志的距离恢复方案。在系统从故障中恢复之后，只有失败的进程才从它们各自的最近检查点回滚和重新启动，而与其他进程无关。该方案的显著特点是降低了传输和回收成本。当移动主机在特定范围内移动时，恢复信息不被移动，因此只有当移动主机移动到特定范围外时才在附近传输。
2012-06-07 cs.DB cs.DC
HyCoR: Fault-Tolerant Replicated Containers Based on Checkpoint and Replay
HyCoR是一种用于多处理器工作负载的完全可操作的容错机制，基于容器复制，使用检查点和重放的混合。HyCoR源自关于复制机制的两个见解：1）确定性重放可以克服单独检查点的关键缺点-输出到客户端的不可接受的长延迟，以及2）检查点可以克服单独使用确定性重放的主动复制的关键缺点-由于未跟踪的非确定性事件而导致的甚至罕见的重放失败的脆弱性。使用HyCoR，主节点定期向备份节点发送检查点，并记录不确定性来源的结果。到客户端的输出仅延迟将相应日志发送到备份所需的较短时间。在主检查点发生故障时，备份仅重放自最后一个检查点以来的较短时间间隔，从而最大限度地减少漏洞窗口。HyCoR包括一个“尽力而为”的机制，即使在存在数据竞争的情况下，只要它们的速率很低，也会导致高恢复率。评估包括恢复率和恢复延迟的测量故障注入的基础上。平均而言，HyCoR对客户端的响应延迟不到1 ms，恢复时间不到1 s。对于一组八个真实世界的基准测试，如果消除数据竞争，HyCoR的性能开销低于59%。
2021-01-23 cs.DC cs.OS
TwinCG: Dual Thread Redundancy with Forward Recovery for Conjugate Gradient Methods
尽管像共轭梯度法（CG）这样的迭代求解器已经研究了五十多年，但近年来对这种求解器的容错已经引起了广泛的关注。对于迭代求解器，存在两种主要的可靠恢复策略：用于反向恢复的检查点重启，或用于正向恢复的某种类型的冗余技术。最近提出了重要的冗余技术，如稀疏矩阵向量乘积（SpMxV）的ABFT技术，这增加了CG方法的弹性。这些技术提供了有限的恢复选项，并引入了可容忍的开销。在这项工作中，我们研究了一个更强大的弹性概念，这是冗余多线程。它提供了更通用和更强大的恢复保证，包括CG迭代中的任何软故障（其中包括ABFT SpMxV），但也需要更多的资源。我们仔细研究了这种冗余/效率冲突。我们提出了一种容错CG方法，称为TwinCG，它引入了最小的挂钟时间开销，并在检测和纠正策略的显着优势。我们的方法使用双模块冗余，而不是更昂贵的三模块冗余，仍然，它保留了TMR的故障校正的优点。我们描述，实现，并基准我们的迭代求解器，并比较它的效率和容错能力，以国家的最先进的技术。我们发现，并行化之前，TwinCG引入了大约5-6%的运行时开销相比，标准CG，并行化后有效地使用BLAS。在出现故障的情况下，它可以可靠地对一系列问题执行正向恢复，性能优于SpMxV ABFT解决方案。
2016-05-15 cs.DC
Fault Tolerant Frequent Pattern Mining
FP-Growth算法是一种频繁模式挖掘（FrequentPatternMining，FPM）算法，被广泛用于研究大规模数据集的相关性和模式。虽然一些研究人员已经设计了分布式存储器FP-Growth算法，但考虑容错FP-Growth是关键，它可以解决大规模系统中不断增加的故障率。在这项工作中，我们提出了一种新的并行，算法级容错FP-Growth算法。我们利用算法属性和MPI高级功能来保证O（1）空间复杂度，通过使用数据集内存空间本身进行检查点设置来实现。我们还提出了一个恢复算法，可以使用内存和基于磁盘的检查点，虽然在许多情况下，恢复可以完成没有任何磁盘访问，并不会产生内存开销检查点。我们评估我们的FT算法在一个大规模的InfiniBand集群与几个大型数据集使用高达2K的核心。我们的评估表明，与基于磁盘的方法相比，检查点设置和恢复具有出色的效率。我们还观察到与Spark相比，平均速度提高了20倍，这表明设计良好的算法可以轻松超越基于通用容错编程模型的解决方案。
2016-10-17 cs.DC
Reinit++: Evaluating the Performance of Global-Restart Recovery Methods For MPI Fault Tolerance
由于硬件组件数量的增加，扩展超级计算机的故障率也随之增加。在标准实践中，通过设置检查点数据并在发生故障后重新启动执行以从最新检查点恢复，使应用程序具有弹性。但是，重新部署应用程序会导致系统开销，因为它会拆除和重新启动执行，并可能限制从慢速永久存储中进行检查点检索。在本文中，我们提出了Reinit++，一个新的设计和实现的Reinit方法的全局重启恢复，避免应用程序重新部署。我们广泛地评估了Reinit++与ULFM的领先MPI容错方法的对比，实现全局重启恢复，以及重启应用程序的典型实践，以获得对性能的新见解。对三种不同的HPC代理应用程序进行的实验表明，Reinit++的恢复速度比重新启动快得多，最高可达6倍，或者ULFM，最高可达3倍，并且随着MPI进程数量的增加，它可以出色地扩展。
2021-02-13 cs.DC
FFTrainer: Fast Failover in Large-Language Model Training with Almost-Free State Management
FFTrainer通过利用多余网络容量实现快速故障转移，显著减少恢复时间和GPU利用率损失，提升大语言模型训练的效率和稳定性。
2025-12-03 cs.DC
PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint
Rutgers University（罗格斯大学）；George Mason University（乔治·马歇尔大学）
提出DeadPool，利用非关键路径内存检查点和通信器重建协议实现零开销热替换，在无故障时无额外开销，故障时40秒内恢复，支持高达512 GPU和65B参数模型。
2026-07-08 cs.DC cs.LG
Checkpoint and Restart: An Energy Consumption Characterization in Clusters
本文通过实验分析同构集群中SPMD应用执行检查点与重启时的能耗影响因素，涵盖处理器P/C状态、问题规模、DMTCP和NFS配置，为降低容错操作能耗提供优化依据。
2024-09-03 cs.DC
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）；University of Science and Technology of China（中国科学技术大学）
针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题，提出LUMEN系统，通过负载感知的协调恢复策略（检查点放置、中断请求分配、容量恢复）显著提升服务与恢复时间。
2026-06-17 cs.DC
Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
University of California Santa Cruz（加州大学圣克ruz分校）；University of California, Davis（加州大学戴维斯分校）；University of Washington（华盛顿大学）
针对LLM推理中GPU状态丢失问题，提出Concordia运行时，利用设备驻留持久内核实现JIT编译的增量检查点，支持PTX/SASS级插桩，无需修改应用代码。
2026-06-23 cs.DC cs.LG
A Scalable and Extensible Checkpointing Scheme for Massively Parallel Simulations
工程或材料科学中的真实仿真可能会消耗大量的计算资源，因此需要使用大规模并行超级计算机。故障的概率随着运行时间和系统组件的数量而增加。因此，对于未来的艾级系统来说，制定策略以使软件对故障具有弹性被认为是至关重要的。在本文中，我们提出了一个可扩展的，分布式的，无盘的，有弹性的检查点方案，可以创建和恢复一个分区的模拟域的快照。我们证明了效率和可扩展性的检查点策略的模拟高达$40$十亿计算单元上执行超过$400$十亿浮点值。一个检查点的创建只需要几秒钟，新的检查点计划的规模几乎完美地超过$260\,000$（$2^{18}$）进程。为了在运行期间从无盘检查点恢复，我们使用ULFM MPI实现了恢复算法。检查点机制完全集成在最先进的高性能多物理场仿真框架中。我们证明了该方法的效率和鲁棒性与现实的相场模拟起源于材料科学和晶格玻尔兹曼方法的实施。
2018-01-29 cs.DC
CPR: Understanding and Improving Failure Tolerant Training for Deep Learning Recommendation with Partial Recovery
Facebook AI（Facebook人工智能）；Carnegie Mellon University（卡内基梅隆大学）
本文提出并优化了一个推荐模型的部分恢复训练系统CPR。CPR放宽了一致性要求，当节点在训练期间发生故障时，使未发生故障的节点能够在不加载检查点的情况下继续进行，从而改善了与故障相关的开销。本文是第一个在我们的知识范围内对部分恢复应用于推荐模型进行数据驱动的深入分析，并确定了准确性和性能之间的权衡。受分析的启发，我们提出了CPR，一个部分恢复训练系统，可以减少训练时间，并保持所需的模型精度水平，通过（1）估计部分恢复的好处，（2）选择适当的检查点保存间隔，（3）优先保存更频繁访问的参数的更新。CPR的两种变体CPR-MFU和CPR-SSU在模拟生产规模群集的故障模式和开销的配置上，与完全恢复相比，将检查点相关开销从8.2-8.5%降低到0.53-0.68%。在显著降低开销的同时，CPR实现了与更昂贵的完全恢复方案相当的模型质量，使用Criteo的Ads CTR数据集训练最先进的推荐模型。我们的初步研究结果还表明，CPR可以加快在真正的生产规模集群上的训练，而不会显着降低准确性。
2020-11-05 cs.DC cs.LG
All is Not Lost: LLM Recovery without Checkpoints
Gensyn；Université de Neuchâtel（纳沙泰尔大学）
本文提出CheckFree方法，通过邻居阶段加权平均实现故障恢复，无需额外计算或存储，且扩展CheckFree+支持流水线异序执行以容忍首尾阶段崩溃，实验显示在低至中等故障率下，方法在收敛时间上优于检查点和冗余计算。
2026-04-04 cs.DC cs.LG
Recovery of Distributed Iterative Solvers for Linear Systems Using Non-Volatile RAM
HPC系统是科学研究的关键资源。对计算能力和存储器的需求不断增加，迎来了亿亿次时代，在这个时代，超级计算机被设计为提供巨大的计算能力来满足这些需求。这些复杂的超级计算机由许多计算节点组成，因此预计会遇到频繁的故障和崩溃。数学求解器，特别是迭代线性求解器是许多大规模科学应用中的关键构建块。因此，支持分布式求解器的恢复对于将科学应用扩展到exascale平台是必要的。以前的迭代求解器的恢复方法是基于检查点重新启动（CR），这会导致高的容错开销，或内在的容错，这需要额外的计算时间来收敛失败后。精确状态重构（ESR）被提出作为一种替代机制，以减轻频繁故障对长期计算的影响。ESR已被证明可以提供计算状态的精确重建，同时避免了昂贵的检查点的需要。然而，ESR目前依赖于易失性存储器来实现容错，因此必须在多个节点的RAM中保持冗余，从而导致高存储器和网络开销。最近的超级计算机设计以新兴的非易失性RAM（NVRAM）技术为特征。本文研究了如何利用NVRAM来设计一种基于增强型ESR的恢复机制，该机制更高效，并提供完全的恢复能力。我们的机制，称为in-NVRAM ESR，是基于一种新的MPI单边通信（OSC）在RDMA的实现，并提供充分的弹性，同时显着减少内存占用和时间开销相比，原始的ESR设计（in-RAM ESR）。
2022-08-09 cs.DC
Machine-Checked Dual-Write Recovery from a Commit Log
本文在 Isabelle/HOL 中构建经机器验证的理论，针对崩溃后交付恢复的双写边界问题，明确了信息边界、风险与 fencing 措施，为恰好一次恢复声明提供了测试方法。
2026-09-14 cs.DB cs.DC cs.LO
Dependency-Aware Rollback and Checkpoint-Restart for Distributed Task-Based Runtimes
随着大型计算平台中计算节点的增加，节点故障也会相应增加。许多基于应用程序的检查点/重启（C/R）技术已被提出用于MPI应用程序，以减少平均故障间隔时间。然而，即使在采用C/R技术的高度优化的MPI应用程序中，作为恢复的一部分的回滚仍然是主要成本。在消息传递运行时中，通过检查点继续执行（即减少回滚）是可能的，但设计和实现起来极其复杂。我们的工作重点是基于任务的运行时，任务的依赖关系是显式的，消息传递是隐式的。我们看到了减少这种运行时回滚的机会：我们在回滚中探索任务依赖性，我们称之为依赖性感知回滚。我们还设计了一种新的C/R技术，它受任务递归分解的影响，并将其与依赖感知回滚相结合。我们期望依赖感知回滚在节点故障的情况下取消和重新计算更少的任务。我们描述，实施和验证所提出的协议在模拟器中，这证实了这些期望。此外，我们始终观察到更快的整体执行时间的依赖性感知回滚故障的存在下，尽管减少任务取消并不能保证减少整体执行时间。
2017-05-29 cs.DC
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分，因为用户越来越依赖于它们提供快速访问新结果的能力。因此，根据这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性，静态配置通常不能以低开销满足服务质量约束。在本文中，我们提出了Khaos，一种新的方法，它利用虚拟云自动化技术的并行处理功能，用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段，借用混沌工程的原则：建立稳定状态的处理条件，进行实验，以更好地了解系统如何执行故障，并使用这些知识，不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型，并通过实验证明了它的有用性。
2023-01-26 cs.DC
ReStore: In-Memory REplicated STORagE for Rapid Recovery in Fault-Tolerant Algorithms
容错分布式应用程序需要通过进程故障恢复丢失的数据的机制。在现代集群系统上，在这样的故障之后请求替换资源通常是不切实际的。因此，应用程序必须继续使用剩余的资源。这需要重新分配工作负载，并且非故障进程重新加载数据。我们提出了一个算法框架及其C++库实现ReStore的MPI程序，使恢复过程失败后的数据。通过适当的数据分发和复制将所有所需数据存储在内存中，恢复速度明显快于依赖于并行文件系统的标准检查点方案。由于应用程序开发人员可以指定要加载哪些数据，因此我们还支持收缩恢复，而不是使用备用计算节点进行恢复。我们在受控的隔离环境和实际应用中评估ReStore。我们的实验表明，加载时间丢失的输入数据在毫秒的范围内高达24 576处理器和一个广泛使用的生物信息学应用程序的容错版本的恢复时间的大幅加速。
2023-01-25 cs.DC
Chiron: Optimizing Fault Tolerance in QoS-aware Distributed Stream Processing Jobs
容错是在处理要求高级别可用性和低延迟处理的流作业时需要更深入考虑的属性，即使在必须遵守服务质量约束的故障情况下也是如此。通常，系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，这是一种昂贵的操作，其对系统的整体性能产生负面影响，并且手动优化特定作业的容错是一项困难且耗时的任务。在本文中，我们介绍凯龙，自动优化的频率与检查点流作业中执行的方法。对于任何选定的作业，都将执行并行分析运行，每个分析运行都包含配置的一个变体，生成的度量用于对基于检查点的容错对性能和可用性的影响进行建模。理解这些关系是最小化性能目标和满足严格的服务质量约束的关键。我们与Apache Flink一起实现了Chiron原型，并通过实验证明了它的有用性。
2021-02-11 cs.DC
Implicit Actions and Non-blocking Failure Recovery with MPI
科学应用程序长期以来一直将MPI作为在大型分布式系统上执行的首选环境。用户级故障缓解（ULFM）规范扩展了MPI标准，以解决弹性问题，并使MPI应用程序能够在故障后恢复其通信能力。这项工作建立在该领域获得的广泛经验的基础上，以消除当前实践与理想的、更异步的恢复模型之间的差距，在理想的恢复模型中，多个组件的容错活动可以同时进行并重叠。这项工作提出：（1）在向应用程序报告故障时提供所需的一致性（即，使应用程序能够评估计算阶段的成功而不招致不可接受的性能冲击）;（2）提出允许应用程序中的故障恢复的有效范围的构建块，使得应用程序中的独立组件可以在不相互干扰的情况下恢复，并且应用程序中的单独的进程组可以独立地或一致地恢复;以及（3）恢复系统一致性所必需的重叠恢复活动（例如，从通信组中驱逐故障进程）与应用恢复活动（例如，从检查点恢复数据集）。
2022-12-16 cs.DC
Validating Hybrid-State Cache Recovery for GLM-5.3-Flash with vLLM and LMCache
UNSW Sydney（悉尼新南威尔士大学）
本研究验证了GLM-5.3-Flash在vLLM和LMCache下的混合状态缓存恢复修复，通过严格前缀查找对齐，将串行工作负载生成一致性从34/36提升至36/36，并显著降低首令牌延迟。
2026-09-15 cs.AI cs.DC cs.LG
Shrink or Substitute: Handling Process Failures in HPC Systems using In-situ Recovery
当今具有复杂硬件和软件组件的高性能计算（HPC）系统的高效利用要求HPC应用被设计为在运行时容忍进程故障。由于当前和未来HPC系统的平均故障时间（MTTF）较低，在这些系统上长时间运行的模拟需要应用程序本身优雅地处理进程故障的能力。在本文中，我们探讨了使用容错扩展的消息传递接口（MPI）称为用户级故障缓解（ULFM）处理过程中的故障，而不需要放弃的应用程序所取得的进展。我们探讨了两种替代的恢复策略，使用ULFM以及应用程序驱动的内存中检查点。在第一种情况下，仅用存活的进程来恢复应用程序，而在第二种情况下，使用备用进程来替换故障进程，从而恢复应用程序的原始配置。我们的实验结果表明，优雅的退化是一个可行的替代方案，在环境中的备件可能无法使用的恢复。
2018-01-14 cs.DC
Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing
针对大模型混合并行训练中内存检查点与训练资源竞争、难扩展的问题，提出含分层异步快照协调、混合检查点保护的分布式内存检查点系统，在Frontier上训练Llama-2-34B时实现零保存开销与快速故障恢复。
2024-08-19 cs.DC cs.PF
How to Make the Preconditioned Conjugate Gradient Method Resilient Against Multiple Node Failures
我们研究了在大规模并行计算机上并行预处理共轭梯度（PCG）求解器中从多个计算节点的故障中恢复的算法方法。特别地，我们分析和扩展了一种精确状态重构（ESR）方法，该方法基于Chen（2011）提出的方法。在ESR方法中，求解器保留来自先前搜索方向的冗余信息，以便在节点意外失败时可以完全重建求解器状态。ESR不需要检查点或外部存储来保存动态求解器数据，并且与无故障情况相比开销较低。在本文中，我们改进的容错的PCG算法的基础上ESR的方法。特别是，我们支持恢复从几个节点的同时或重叠故障的一般稀疏模式的系统矩阵，这不能处理陈的方法。为此，我们改进了如何跨节点存储冗余信息的策略。我们分析和实现我们的新方法，并进行数值实验与大型稀疏矩阵从现实世界中的应用程序上的128个节点的维也纳科学集群（VSC）。对于从三个同时发生的节点故障中恢复，我们观察到平均运行时开销仅在2.8%和55.0%之间。改进的弹性的开销取决于系统矩阵的稀疏模式。
2019-07-30 cs.DC
FlashRecovery: Fast and Low-Cost Recovery from Failures for Large-Scale Training of LLMs
iFLYTEK AI Engineering Institute（iFLYTEK人工智能工程研究院）；University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
针对大语言模型大规模训练中软硬件故障导致训练时间损失的问题，提出含主动实时故障检测、规模无关任务重启、单步无检查点恢复的FlashRecovery系统，实现快速低成本故障恢复，提升训练可靠性与效率。
2025-09-03 cs.AI cs.DC
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc（印度科学学院）
本文提出FTHP-MPI，一种结合检查点/重启与复制机制的新型容错MPI库，在非容错原生MPI库中实现高故障率下的高效容错，并通过实验证明在故障间隔短于1小时的大规模系统中，基于复制的库比纯检查点方法效率更高，且无故障时额外开销可忽略。
2026-06-01 cs.DC
Energy-efficient localised rollback after failures via data flow analysis
Exascale系统每小时都会出现故障。HPC程序员主要依赖应用程序级检查点和全局回滚来恢复。近年来，减少回滚进程数量的技术已经通过消息日志记录实现。然而，基于日志的方法有弱点，例如依赖于MPI实现中的复杂修改，以及在一般情况下可能需要完全重启的事实。为了解决所有基于日志的机制的局限性，我们返回到仅检查点的机制，但提倡数据流驱动的恢复（DFR），一个根本不同的方法，依赖于分析的数据流的迭代代码，和众所周知的概念的数据流图。我们证明了DFR的MPI模板代码的有效性，以优化回滚，并减少10- 12%的整体能源消耗的空闲节点在本地化回滚。我们还提供了大规模的估计DFR的节能相比，全球回滚，其中模板代码增加为n平方的过程计数n。
2018-06-05 cs.DC
A New and Efficient Algorithm-Based Fault Tolerance Scheme for A Million Way Parallelism
高性能计算（HPC）应用的容错开销对于大规模HPC系统的有效利用变得至关重要。HPC应用程序通常通过检查点来容忍故障-停止故障。另一种有前途的方法是在算法层面，称为算法恢复。这两种方法在系统规模不是很大时可以达到很高的效率，但当系统规模接近Exaflops时，即系统中包含的处理器数量达到100万时，这两种方法都将失去有效性。本文提出了一种新的高效的基于算法的高性能计算容错方案。当执行过程中出现故障时，我们不会停下来等待恢复损坏的数据，而是用相应的冗余数据替换它们并继续执行。同时提出了一种后台加速恢复方法来重建冗余以容忍执行过程中的多次故障。为了证明我们新方案的可行性，我们将其纳入了高性能Linpack。理论分析表明，我们的新的容错方案仍然可以有效，即使系统规模达到Exaflops。在SiCortex SC 5832上进行的实验验证了该方案的可行性，并表明该方案的优点在小规模下也能体现出来。
2011-06-21 cs.DC
ECRM: Efficient Fault Tolerance for Recommendation Model Training via Erasure Coding
Facebook；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的推荐模型（DLRM）被广泛部署，以向用户提供个性化内容。DLRM由于使用大型嵌入表而尺寸很大，并且通过将模型分布在数十或数百台服务器的内存中进行训练。服务器故障在这样的大型分布式系统中是常见的，并且必须减轻以使培训能够进行。检查点设置是这些系统中用于容错的主要方法，但是在正常操作期间和从故障恢复时都引起显著的训练时间开销。随着这些开销随着DLRM大小的增加而增加，检查点将成为未来DLRM的更大开销，预计DLRM的大小将增加。这就需要重新思考DLRM培训中的容错。我们提出了ECRM，DLRM训练系统，实现高效的容错使用纠删编码。ECRM选择要编码的DLRM参数，正确有效地更新奇偶校验，并使训练能够在没有任何暂停的情况下进行，同时保持恢复参数的一致性。我们在XDL上实现ECRM，XDL是一个开源的工业规模DLRM培训系统。与检查点相比，ECRM将大型DLRM的训练时间开销减少了88%，从故障中恢复的速度快了10.3 $\times$，并允许在恢复期间继续进行训练。这些结果表明，擦除编码的承诺，赋予有效的容错训练当前和未来的DLRM。
2021-04-05 cs.DC cs.LG
pdGRASS: A Fast Parallel Density-Aware Algorithm for Graph Spectral Sparsification
pdGRASS提出一种并行密度感知图谱稀疏化算法，通过将边组织为无数据依赖的不相交子任务，在单次遍历中高效恢复树外边，相比feGRASS实现最高8.8倍平均加速并显著改善稀疏化子图质量。
2025-08-28 cs.DC
From Detection to Recovery: Operational Analysis on LLM Pre-training with 504 GPUs
Lablup Inc.（Lablup公司）
本文通过分析一个63节点NVIDIA B200生产集群（504 GPU）55天的Prometheus时间序列数据和73天的运营日志，提出了三项定量分析，揭示了多信号检测策略、存储I/O瓶颈和自动重试恢复机制的有效性。
2026-06-16 cs.AI cs.DC
