Software Tool Combining Fault Masking with User-Defined Recovery Strategies
我们描述了投票农场，一个工具，它实现了一个分布式的软件投票机制的一些并行消息传递系统。该工具是在EFTOS（嵌入式容错超级计算）框架下开发的，可以独立使用，也可以与其他EFTOS容错工具结合使用。在前一种情况下，我们描述如何利用该机制，例如，实施恢复器官（$N\!$ -模块化冗余系统与$N\!$ -复制选民）;在后一种情况下，我们展示了它是如何可能为用户实现一个简单而有效的方式，通过一个自定义的，高级语言的一些不同的恢复策略。将这种策略与投票工具的基本故障屏蔽能力相结合，使得有可能建立复杂的容错系统，例如$N$ -和- $M$ -备用系统或适度降级的投票场。我们还报告了我们的工具可以对可靠性的影响，我们展示了如何，除了结构设计目标，如故障透明度，我们的工具实现复制的透明度，高度的灵活性和易用性，以及良好的性能。
2014-01-13 cs.DC
TwinCG: Dual Thread Redundancy with Forward Recovery for Conjugate Gradient Methods
尽管像共轭梯度法（CG）这样的迭代求解器已经研究了五十多年，但近年来对这种求解器的容错已经引起了广泛的关注。对于迭代求解器，存在两种主要的可靠恢复策略：用于反向恢复的检查点重启，或用于正向恢复的某种类型的冗余技术。最近提出了重要的冗余技术，如稀疏矩阵向量乘积（SpMxV）的ABFT技术，这增加了CG方法的弹性。这些技术提供了有限的恢复选项，并引入了可容忍的开销。在这项工作中，我们研究了一个更强大的弹性概念，这是冗余多线程。它提供了更通用和更强大的恢复保证，包括CG迭代中的任何软故障（其中包括ABFT SpMxV），但也需要更多的资源。我们仔细研究了这种冗余/效率冲突。我们提出了一种容错CG方法，称为TwinCG，它引入了最小的挂钟时间开销，并在检测和纠正策略的显着优势。我们的方法使用双模块冗余，而不是更昂贵的三模块冗余，仍然，它保留了TMR的故障校正的优点。我们描述，实现，并基准我们的迭代求解器，并比较它的效率和容错能力，以国家的最先进的技术。我们发现，并行化之前，TwinCG引入了大约5-6%的运行时开销相比，标准CG，并行化后有效地使用BLAS。在出现故障的情况下，它可以可靠地对一系列问题执行正向恢复，性能优于SpMxV ABFT解决方案。
2016-05-15 cs.DC
Reinit++: Evaluating the Performance of Global-Restart Recovery Methods For MPI Fault Tolerance
由于硬件组件数量的增加，扩展超级计算机的故障率也随之增加。在标准实践中，通过设置检查点数据并在发生故障后重新启动执行以从最新检查点恢复，使应用程序具有弹性。但是，重新部署应用程序会导致系统开销，因为它会拆除和重新启动执行，并可能限制从慢速永久存储中进行检查点检索。在本文中，我们提出了Reinit++，一个新的设计和实现的Reinit方法的全局重启恢复，避免应用程序重新部署。我们广泛地评估了Reinit++与ULFM的领先MPI容错方法的对比，实现全局重启恢复，以及重启应用程序的典型实践，以获得对性能的新见解。对三种不同的HPC代理应用程序进行的实验表明，Reinit++的恢复速度比重新启动快得多，最高可达6倍，或者ULFM，最高可达3倍，并且随着MPI进程数量的增加，它可以出色地扩展。
2021-02-13 cs.DC
No Need for Recovery: A Simple Two-Step Byzantine Consensus
在本文中，我们给出了一个确定性的两步拜占庭共识协议，实现安全性和活性。两步拜占庭共识协议只需要两个通信步骤，在没有故障的情况下提交。大多数两步拜占庭共识协议利用乐观主义，并在出现故障时需要恢复协议。在本文中，我们给出了一个简单的两步拜占庭共识协议，不需要一个恢复协议。
2019-11-23 cs.DC
Implicit Actions and Non-blocking Failure Recovery with MPI
科学应用程序长期以来一直将MPI作为在大型分布式系统上执行的首选环境。用户级故障缓解（ULFM）规范扩展了MPI标准，以解决弹性问题，并使MPI应用程序能够在故障后恢复其通信能力。这项工作建立在该领域获得的广泛经验的基础上，以消除当前实践与理想的、更异步的恢复模型之间的差距，在理想的恢复模型中，多个组件的容错活动可以同时进行并重叠。这项工作提出：（1）在向应用程序报告故障时提供所需的一致性（即，使应用程序能够评估计算阶段的成功而不招致不可接受的性能冲击）;（2）提出允许应用程序中的故障恢复的有效范围的构建块，使得应用程序中的独立组件可以在不相互干扰的情况下恢复，并且应用程序中的单独的进程组可以独立地或一致地恢复;以及（3）恢复系统一致性所必需的重叠恢复活动（例如，从通信组中驱逐故障进程）与应用恢复活动（例如，从检查点恢复数据集）。
2022-12-16 cs.DC
Fault-Tolerance through Message-logging and Check-pointing: Disaster Recovery for CORBA-based Distributed Bank Servers
本报告介绍了我们努力开发基于CORBA的银行服务器的故障恢复变体的结果，该服务器通过消息日志记录和检查点日志记录提供容错功能。在这组项目中，开发了三个组件来满足需求：1）用于分布式银行系统的分支服务器记录所需信息的消息日志协议; 2）使用消息日志重新启动银行服务器以帮助重新启动的银行服务器处理各种操作的后续请求的恢复模块; 3）监视模块，其周期性地检查银行服务器是否停机，并且如果银行服务器已经崩溃，则帮助恢复模块重启银行服务器。
2009-11-17 cs.DC cs.SE
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
如今，一些软件系统依赖于流处理架构来提供可扩展的性能并近实时地处理大量数据。流处理框架通过将应用程序的执行分布在多台机器上来促进可伸缩计算。尽管性能被广泛研究，容错的测量-流处理框架提供的一个关键功能-仍然没有得到适当的测量更新和全面的测试床。此外，故障恢复对性能的影响大多被忽略。本文提供了一个全面的故障恢复性能，稳定性和恢复时间在云原生环境与现代开源框架，即Flink，Kafka流，和火花结构化流的分析。我们的基准分析的灵感来自混沌工程注入故障。一般来说，我们的研究结果表明，有很大的变化相比，以前的研究在分布式流处理的故障恢复。特别是，结果表明，Flink是最稳定的，并具有最好的故障恢复之一。此外，Kafka Streams在失败后表现出性能不稳定性，这是由于其当前的重新平衡策略在负载均衡方面可能是次优的。Spark Structured Streaming显示了适当的故障恢复性能和稳定性，但具有更高的事件延迟。我们的研究旨在（i）帮助行业从业者选择最合适的流处理框架，以有效和可靠地执行数据密集型应用程序;（ii）支持研究人员应用和扩展我们的研究方法以及我们的基准;（iii）识别，预防和协助解决生产部署中的潜在问题。
2024-05-29 cs.DC cs.SE
Soft Errors Detection and Automatic Recovery based on Replication combined with different Levels of Checkpointing
处理故障是高性能计算中日益关注的问题。在未来的艾级系统中，预计一天会发生几次无声的未检测到的错误，从而增加了损坏结果的发生率。在这篇文章中，我们提出了SEDAR，这是一种方法，提高系统的可靠性，对瞬时故障时，运行并行消息传递应用程序。我们的方法，基于过程复制检测，结合不同级别的检查点自动恢复，有帮助用户的科学应用程序，以获得正确的结果执行的目标。SEDAR的结构分为三个级别：（1）仅检测和安全停止并通知;（2）基于多个系统级检查点的恢复;以及（3）基于单个有效的用户级检查点的恢复。由于每一种变体都提供了特定的覆盖范围，但涉及限制和实施成本，因此SEDAR可以适应系统的需要。在这项工作中，描述的方法，并采用每个SEDAR策略的时间行为的数学描述，无论是在存在和不存在故障。一个模型，考虑了所有的故障情况下的测试应用程序中引入的检测和恢复机制的有效性。每个变量的开销评估与涉及不同通信模式的应用程序一起执行;这也用于提取关于何时采用每个SEDAR保护级别是有益的指导方针。其结果是，我们表现出它的有效性和可行性，容忍在目标HPC环境中的瞬时故障。
2020-07-27 cs.DC
Fault Tolerant Frequent Pattern Mining
FP-Growth算法是一种频繁模式挖掘（FrequentPatternMining，FPM）算法，被广泛用于研究大规模数据集的相关性和模式。虽然一些研究人员已经设计了分布式存储器FP-Growth算法，但考虑容错FP-Growth是关键，它可以解决大规模系统中不断增加的故障率。在这项工作中，我们提出了一种新的并行，算法级容错FP-Growth算法。我们利用算法属性和MPI高级功能来保证O（1）空间复杂度，通过使用数据集内存空间本身进行检查点设置来实现。我们还提出了一个恢复算法，可以使用内存和基于磁盘的检查点，虽然在许多情况下，恢复可以完成没有任何磁盘访问，并不会产生内存开销检查点。我们评估我们的FT算法在一个大规模的InfiniBand集群与几个大型数据集使用高达2K的核心。我们的评估表明，与基于磁盘的方法相比，检查点设置和恢复具有出色的效率。我们还观察到与Spark相比，平均速度提高了20倍，这表明设计良好的算法可以轻松超越基于通用容错编程模型的解决方案。
2016-10-17 cs.DC
Chameleon: Adaptive Fault Tolerance for Distributed Training via Real-time Policy Selection
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学软件新技术国家重点实验室）；Huawei, China（华为）
本文提出Chameleon系统，通过统一性能模型和高效执行计划搜索，在故障发生时智能选择最优恢复策略，实验表明其在保持模型收敛和内存效率的同时，比现有方法提升了1.229倍和1.355倍的平均吞吐量。
2026-04-20 cs.DC
Characterization-Guided GPU Fault Resilience in NVIDIA MPS
Rice University（莱斯大学）；University of Minnesota（明尼苏达大学）
针对 NVIDIA MPS 容错性弱的问题，通过系统分析 GPU 故障特征，设计了故障隔离和基于虚拟内存的快速恢复两种机制，有效处理故障且开销小。
2026-10-05 cs.DC
Failure Detection and Recovery in Hierarchical Network Using FTN Approach
在当前情况下，若干商业和社会组织正在使用计算机网络用于其业务和管理目的。为了满足业务需求，网络也在增长。网络的增长也促进了大型网络的处理能力，因为它增加了网络中各种故障的可能性。网络中的故障会影响吞吐量、延迟、延迟、可靠性等参数，从而降低其性能。在分层网络模型中，任何故障的可能性都可能导致整个网络崩溃。如果故障发生使分层网络中的设备禁用，则它可能使下面的所有设备受到困扰。从而影响整个网络的性能。在本文中，我们提出了容错分层网络（FTN）的方法作为解决问题的分层网络。该方法首先检测网络中故障的可能性，并相应地提供特定的恢复机制。我们已经评估了FTN方法的性能方面的延迟和吞吐量的网络。
2014-01-31 cs.DC cs.NI
Joint Failure Recovery, Fault Prevention, and Energy-efficient Resource Management for Real-time SFC in Fog-supported SDN
在本文中，我们专注于流量工程，故障恢复，故障预防和服务功能链（SFC）的可靠性和能耗的限制，在软件定义网络（SDN）的问题。这些类型的部署使用雾计算作为新兴范例来管理通过启用SDN的交换机（可能是雾节点）的分布式小型流量。这种集成的主要目的是支持SFC上下文中的实时的【形】服务交付、故障恢复和故障感知。首先，我们提出了一种称为FRFP的故障恢复和故障预防架构;这是一种多层结构，其中实时的【形】业务流通过支持SDN的交换机，以共同降低流量重路由和雾节点能耗的网络副作用。然后，我们在数学上制定了一个优化问题，称为最优雾支持的能量感知SFC重路由算法（OFES），并提出了一个接近最优的启发式称为启发式OFES（HFES），以解决相应的问题在多项式时间。以这种方式，所选路径的能量消耗和可靠性被优化，同时满足服务质量约束并且网络拥塞被最小化。在可靠性方面，这项工作的重点是故障预防，但是，由于我们使用的重新分配技术，所提出的方案可以用作故障恢复方案。我们比较了HFES和OFES在功耗，平均路径长度，故障概率，网络副作用，链路利用率和雾节点利用率方面的性能。此外，我们分析了HFES的计算复杂性。我们使用一个真实的网络拓扑来评估我们的算法。仿真结果表明，该启发式算法适用于大规模网络。
2018-07-01 cs.DC cs.NI
Recovery of Distributed Iterative Solvers for Linear Systems Using Non-Volatile RAM
HPC系统是科学研究的关键资源。对计算能力和存储器的需求不断增加，迎来了亿亿次时代，在这个时代，超级计算机被设计为提供巨大的计算能力来满足这些需求。这些复杂的超级计算机由许多计算节点组成，因此预计会遇到频繁的故障和崩溃。数学求解器，特别是迭代线性求解器是许多大规模科学应用中的关键构建块。因此，支持分布式求解器的恢复对于将科学应用扩展到exascale平台是必要的。以前的迭代求解器的恢复方法是基于检查点重新启动（CR），这会导致高的容错开销，或内在的容错，这需要额外的计算时间来收敛失败后。精确状态重构（ESR）被提出作为一种替代机制，以减轻频繁故障对长期计算的影响。ESR已被证明可以提供计算状态的精确重建，同时避免了昂贵的检查点的需要。然而，ESR目前依赖于易失性存储器来实现容错，因此必须在多个节点的RAM中保持冗余，从而导致高存储器和网络开销。最近的超级计算机设计以新兴的非易失性RAM（NVRAM）技术为特征。本文研究了如何利用NVRAM来设计一种基于增强型ESR的恢复机制，该机制更高效，并提供完全的恢复能力。我们的机制，称为in-NVRAM ESR，是基于一种新的MPI单边通信（OSC）在RDMA的实现，并提供充分的弹性，同时显着减少内存占用和时间开销相比，原始的ESR设计（in-RAM ESR）。
2022-08-09 cs.DC
An Algorithm for Tolerating Crash Failures in Distributed Systems
在ESPRIT项目28620“TIRAN”（用于嵌入式应用的可定制的容错框架）的框架中，正在设计错误检测、隔离和恢复组件的工具集，以用作编排应用级容错的基本手段。这些工具将被用作独立的组件或作为分布式应用程序的外围组件，我们称之为“骨干”。主干将在用户应用程序的后台运行。它的目标包括：（1）收集和维护由TIRAN组件（如看门狗定时器、陷阱处理程序）或在内核或驱动程序级别工作的外部检测服务产生的错误检测信息;（2）在错误恢复时间使用这些信息。特别地，与错误检测和故障屏蔽相关的那些TIRAN工具将把它们的推断转发到主干，主干又将利用该信息来协调错误恢复，向与错误隔离和恢复相关的那些工具请求恢复和重新配置动作。显然，这种方法的关键点是保证主干本身能够容忍内部和外部故障。在这篇文章中，我们描述的手段之一，用于TIRAN骨干，以实现这一目标：一个分布式算法，用于容忍崩溃故障所引发的故障，影响最多的，但一个组件的骨干或最多的，但一个节点的系统。我们称之为相互猜疑算法。
2016-01-16 cs.DC
A New and Efficient Algorithm-Based Fault Tolerance Scheme for A Million Way Parallelism
高性能计算（HPC）应用的容错开销对于大规模HPC系统的有效利用变得至关重要。HPC应用程序通常通过检查点来容忍故障-停止故障。另一种有前途的方法是在算法层面，称为算法恢复。这两种方法在系统规模不是很大时可以达到很高的效率，但当系统规模接近Exaflops时，即系统中包含的处理器数量达到100万时，这两种方法都将失去有效性。本文提出了一种新的高效的基于算法的高性能计算容错方案。当执行过程中出现故障时，我们不会停下来等待恢复损坏的数据，而是用相应的冗余数据替换它们并继续执行。同时提出了一种后台加速恢复方法来重建冗余以容忍执行过程中的多次故障。为了证明我们新方案的可行性，我们将其纳入了高性能Linpack。理论分析表明，我们的新的容错方案仍然可以有效，即使系统规模达到Exaflops。在SiCortex SC 5832上进行的实验验证了该方案的可行性，并表明该方案的优点在小规模下也能体现出来。
2011-06-21 cs.DC
GeoShield: Byzantine Fault Detection and Recovery for Geo-Distributed Real-Time Cyber-Physical Systems
针对地理分布式实时CPS易遭拜占庭攻击、现有容错方案不适配资源受限实时场景的问题，提出GeoShield方案，通过有界时间故障检测与恢复机制，无需可信硬件即可高效保障系统安全，性能优于现有方法。
2025-11-19 cs.CR cs.DC cs.SY
A cooperative partial snapshot algorithm for checkpoint-rollback recovery of large-scale and dynamic distributed systems and experimental evaluations
由大量计算实体组成的分布式系统容易出现故障，因为少数节点的故障会导致整个系统失败。因此，分布式系统的容错是一个关键问题。检查点回滚恢复是一种通用的、具有代表性的容错技术，它周期性地将整个系统状态（配置）记录到非易失性存储器中，当系统发生故障时，系统使用记录的配置进行自我恢复。为了记录分布式系统的配置，需要称为快照算法的特定算法。然而，许多快照算法需要系统中所有节点之间的协调;因此，频繁执行快照算法需要不可接受的通信成本，特别是如果系统很大。作为一种复杂的快照算法，已经引入了部分快照算法，该算法拍摄部分快照（而不是全局快照）。但是，如果两个或多个部分快照算法同时执行，并且它们的快照域重叠，则它们应该协调，以便（由算法拍摄的）部分快照是一致的。在本文中，我们提出了一种新的有效的部分快照算法的目的是减少通信的协调。在模拟中，我们表明，该算法大大优于现有的部分快照算法，在消息和时间复杂度。
2021-03-29 cs.DC
The Low Latency Fault Tolerance System
低延迟容错（LLFT）系统使用领导者-跟随者复制技术为分布式应用提供容错。LLFT系统为涉及多个交互进程或线程的应用程序提供具有强副本一致性的应用程序透明复制。LLFT系统包括低延迟消息传递协议、领导者确定成员资格协议和虚拟确定器框架。低延迟消息传递协议通过采用直接组到组多播来提供可靠的、完全有序的消息传递，其中消息排序由组中的主副本确定。Leader-Determined Membership Protocol（领导者确定成员协议）在副本出现故障以及副本加入或离开组时提供重新配置和恢复，其中组的成员资格由主副本确定。虚拟确定器框架捕获主副本的排序信息，并针对主要的非确定性来源（包括多线程、时间相关操作和套接字通信）在备份副本上强制执行相同的排序。LLFT系统在正常操作期间实现低延迟消息递送，并且在故障发生时实现低延迟重新配置和恢复。
2010-08-06 cs.DC
Self-Stabilizing and Private Distributed Shared Atomic Memory in Seldomly Fair Message Passing Networks
我们研究的问题，私人模仿共享内存的消息传递网络。该系统包括在N个服务器上存储和检索复制信息的客户端，其中e个是恶意的。当客户端访问恶意服务器时，该服务器响应的数据字段可能与其最初存储的值不同。然而，服务器应答和协议动作中的所有其他控制变量都是根据服务器算法的。对于Cadambe等人的编码原子存储（CAS）算法，我们提出了一种增强，确保没有信息泄漏和恶意容错。我们还考虑恢复后发生的瞬态故障，违反了假设，根据该系统的行为。在它们最后一次发生之后，瞬时故障使系统处于任意状态（而程序代码保持不变）。我们提出了一种自稳定算法，它恢复后发生的瞬态故障。Cadambe等人的这一补充考虑了异步设置，只要不发生瞬时故障。从使系统计数器（接近）到它们的最大值的瞬时故障的恢复可以包括使用全局重置过程，这要求系统运行由公平调度器控制。在恢复期之后，为不一定由公平调度器控制的异步系统运行提供安全属性。由于恢复期是有界的，瞬时故障的发生是极其罕见的，我们称之为自稳定的设计准则存在很少的公平。我们的自稳定算法在异步执行期间使用有界存储（不一定公平）。据我们所知，我们是第一个在网络系统中模拟原子共享内存的背景下解决隐私和自稳定问题的人。
2018-06-09 cs.DC
Soft Error Resilience and Failure Recovery for Continuum Dynamics Applications
当今大规模计算系统的持续增长的弹性问题不仅需要通用的容错方法，而且由于苛刻的效率和各种特定于域的要求，还需要应用级弹性。特定领域内的科学应用程序通常遵守领域守恒定律，这可以作为错误检测标准来研究共享类似程序特性的应用程序的该领域的弹性。然而，实现应用程序弹性是具有挑战性的：（a）如何识别给定应用程序域的不变量，知道守恒律，以及（b）如何利用不变量有效地检测应用程序运行中的故障并从故障中恢复。在这项工作中，我们针对几个连续动态软件包，FleCSALE [1]和CODY [2]（在计算过程中具有内在不变量），研究它们对在线软错误的弹性（使用开源故障注入器注入），并调查非侵入性和轻量级故障恢复（基于校验和的不变式检查）的机会。我们提出了一种校验和重试的方法来实现我们的目标，并在虚拟化平台上进行了广泛的故障注入活动的实验结果证明了所提出的方法的有效性和效率。
2019-11-05 cs.DC
Sketching the Error, Not the Product: Post Hoc Fault Recovery for Half Precision GPU Matrix Multiplication
National Institute of Technology Warangal（印度理工学院瓦朗加尔分校）；AthenaHealth（阿西娜健康）
针对半精度GPU矩阵乘法中的静默数据损坏，提出事后验证器FP-Sketch，通过和草图与哈希一阶矩草图定位故障，按实测噪声调整桶数，在Transformer和Llama-2-7B上实现高恢复率并显著降低困惑度损害。
2026-09-18 cs.DC
Delay-Free Concurrency on Faulty Persistent Memory
非易失性存储器（NVM）承诺持久的主存储器，即使断电也能保持正确。这引发了一系列研究算法，可以从系统崩溃中恢复。由于高速缓存预计将保持易失性，因此必须重新设计并发数据结构和算法，以保证它们在系统崩溃后保持一致的状态，并且在恢复时可以继续执行。然而，在每个并发数据结构或算法可以用于NVM体系结构之前对其进行重新设计的前景是令人生畏的。在本文中，我们提出了一个结构，采取任何并发程序的读，写和CAS到共享内存，并使其持久化，即，可以在一个或多个进程出现故障并必须重新启动后继续。重要的是，转换后的算法具有恒定的计算延迟（将每个进程上的指令计数保留在恒定因子内），以及恒定的恢复延迟（进程可以在恒定数量的指令中从故障中恢复）。我们首先展示了一个简单的变换，然后提出优化，使其更实用，允许权衡更好的常数因子的计算延迟，有时增加恢复延迟。我们还提供了一个优化的转换，适用于任何规范化的无锁数据结构，从而允许更有效的构造一个大类的并发算法。我们实验性地通过将它们应用于队列来评估我们的转换。
2020-06-18 cs.DC
Zero-I/O Fault Recovery for Sharded Deep Learning via Dynamic Framework Dependency Rebinding
NingboTech University（宁波诺丁汉大学）；Dalian Ocean University（大连海洋大学）
针对分布式训练中网络故障导致的检查点开销问题，提出AccelPact运行时，通过动态依赖重绑定实现零I/O内存故障恢复，在Mistral-7B训练中提升吞吐量达1.698倍。
2026-09-17 cs.DC
The DIR Net: A Distributed System for Detection, Isolation, and Recovery
本文档介绍了EFTOS容错框架的一部分，即分布式环境-EFTNET。网络是一个由两个组件组成的系统，称为网络管理器（或简称为管理器）和网络备份代理（简称为备份）。一个管理器和一组备份位于要“保护”的系统中，每个节点一个组件。在这一点上，Anchornet编织了一个基本上做两件事的网络：1）使自己容忍许多可能的错误，以及2）收集有关用户应用程序运行的信息。一旦在因特网中发生错误，系统就执行内置的恢复动作，使其能够继续处理，尽管有一些硬件/软件故障，可能会使其功能适度降级;当在用户应用程序中发生错误时，通过自定义和用户定义的检测工具，将这些事件通知给以太网并运行一个或多个恢复策略，这两者都是内置的，并且由用户使用辅助编译时工具（RL翻译器）来编码。这些工具将用户定义的策略转换为二进制“R代码”，即，一个由RINNET的一个特殊组件--恢复解释器rint解释的伪代码（从某种意义上说，rint是一个r代码虚拟机）。本文档描述了以太网的通用组件，该功能既可以作为管理器，也可以作为备份。
2015-04-29 cs.DC
Building a fault tolerant application using the GASPI communication layer
人们普遍认为，在Exascale计算机上高度并行的软件将遭受更多的运行时故障，由于平均故障时间（MTTF）的下降趋势。因此，在容错和故障缓解领域进行大量研究并不奇怪。应用程序应该能够在故障中幸存下来，并且/或者能够以最小的成本恢复。MPI在处理故障方面还不是很成熟，用户级故障缓解（ULFM）提案是目前最有前途的方法，仍处于原型阶段。在我们的工作中，我们使用GASPI，这是一个相对较新的通信库的基础上PGAS模型。它提供了缺失的功能，以允许容错应用程序的设计。而不是引入基于算法的容错在其真正的意义上，我们演示了我们如何建立（现有的）聪明的检查点和扩展应用程序，允许集成一个低成本的故障检测机制，如果必要的话，恢复应用程序的飞行。从进程管理、组恢复和恢复机制等方面进行了详细的介绍。我们使用一个稀疏矩阵向量乘法为基础的应用程序来执行这样的修改所引入的开销的分析。我们的故障检测机制在无故障的情况下不会引起开销，而在故障的情况下，故障检测和恢复成本是合理的可接受的顺序，并显示出良好的可扩展性。
2015-05-18 cs.DC
BitFlipScope: Scalable Fault Localization and Recovery for Bit-Flip Corruptions in LLMs
Bradly Dept. of ECE（布拉利电子工程系）；Virginia Tech（弗吉尼亚理工学院）
BitFlipScope通过两种部署场景实现LLM中位翻故障的定位与恢复，利用差分分析和残差路径扰动等方法，支持轻量级性能恢复，提升硬件环境下的模型可靠性。
2026-04-14 cs.AI cs.AR cs.CR
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）；University of Science and Technology of China（中国科学技术大学）
针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题，提出LUMEN系统，通过负载感知的协调恢复策略（检查点放置、中断请求分配、容量恢复）显著提升服务与恢复时间。
2026-06-17 cs.DC
High-level Stream Processing: A Complementary Analysis of Fault Recovery
本文针对流处理框架容错度量不足的问题，扩展故障恢复实验并分析配置空间，揭示恢复与性能优化潜力及配置调优复杂性，强调需引入透明调优抽象并加强跨社区协作。
2024-05-13 cs.DC cs.PF cs.SE
HyCoR: Fault-Tolerant Replicated Containers Based on Checkpoint and Replay
HyCoR是一种用于多处理器工作负载的完全可操作的容错机制，基于容器复制，使用检查点和重放的混合。HyCoR源自关于复制机制的两个见解：1）确定性重放可以克服单独检查点的关键缺点-输出到客户端的不可接受的长延迟，以及2）检查点可以克服单独使用确定性重放的主动复制的关键缺点-由于未跟踪的非确定性事件而导致的甚至罕见的重放失败的脆弱性。使用HyCoR，主节点定期向备份节点发送检查点，并记录不确定性来源的结果。到客户端的输出仅延迟将相应日志发送到备份所需的较短时间。在主检查点发生故障时，备份仅重放自最后一个检查点以来的较短时间间隔，从而最大限度地减少漏洞窗口。HyCoR包括一个“尽力而为”的机制，即使在存在数据竞争的情况下，只要它们的速率很低，也会导致高恢复率。评估包括恢复率和恢复延迟的测量故障注入的基础上。平均而言，HyCoR对客户端的响应延迟不到1 ms，恢复时间不到1 s。对于一组八个真实世界的基准测试，如果消除数据竞争，HyCoR的性能开销低于59%。
2021-01-23 cs.DC cs.OS
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机，容错和功耗是高性能计算（HPC）社区预期的两个主要挑战。检查点/重启（Checkpoint/Restart，CR）一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面，但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT（检查点重新启动和自动容错），它有两个目的的实现。首先，它提供了一个可扩展的库，大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分，可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销，该库提供了一个内置的异步检查点机制，并且还支持用于节点级检查点的可扩展检查点/重启（SCR）库。其次，CRAFT为基于用户级故障缓解（ULFM）的动态进程恢复提供了一个更简单的接口，大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能，应用程序可以编写应用程序级检查点，并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training
Northwestern Polytechnical University（西北工业大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Defense Technology（国防科技大学）
本文提出TierCheck，一种基于集群意识的分层检查点系统，通过将存储位置与故障异质性对齐，实现轻量级差异检查点在本地和对等内存中的快速本地恢复，同时异步迁移重型基础检查点到远程持久化存储，从而在低开销持久性和快速恢复之间取得最佳平衡。
2026-05-18 cs.AI cs.DC
Understanding Fault Scenarios and Impacts through Fault Injection Experiments in Cielo
我们提出了一套故障注入实验上ACES（LANL/SNL）Cray XE超级计算机Cielo。我们使用这个实验活动，以提高故障原因和传播，我们观察到在现场故障数据分析NCSA的蓝水的理解。我们使用从日志和网络性能计数器数据中收集的数据1）描述Gemini网络和Cray计算节点中的故障-错误-故障序列和恢复机制，2）了解故障对不同规模的系统和用户应用程序的影响，以及3）识别和重新创建导致不可恢复故障的故障场景，以便为系统和应用程序设计创建新的测试。故障通过特殊的输入命令注入，以中断网络链路、定向连接、节点和刀片。我们提出的扩展，将需要应用我们的方法注入和分析的克雷XC（白羊座）系统。
2019-07-01 cs.DC
Reliability and Fault-Tolerance by Choreographic Design
分布式程序很难做到正确，因为它们需要是开放的、可伸缩的、长期运行的和容错的。特别是，最近的方法，分布式软件的基础上（微）服务，不同的服务是由不同的团队独立开发加剧了这个问题。事实上，服务应该组合在一起，并在可能出现不可预测行为的开放环境中运行。这就需要采用合适的策略来监控程序的执行，并结合恢复和自适应机制，使分布式程序更加灵活和健壮。目前采用的典型方法是将这些机制嵌入到程序逻辑中，这使得提取、比较和调试变得困难。我们提出了一种采用正式抽象来指定故障恢复和适应策略的方法。虽然实现不可知，但这些抽象将服从于代码、监视和测试的算法合成。我们考虑在学术界和工业界都获得发展势头的消息传递程序（a la Erlang，Go或MPI）。我们的研究议程包括：（1）正式的行为模型，包括故障的定义，（2）规格的相关属性的适应和恢复策略，（3）自动生成的监测，恢复和适应逻辑在目标语言的利益。
2017-08-24 cs.DC cs.FL cs.PL
Chiron: Optimizing Fault Tolerance in QoS-aware Distributed Stream Processing Jobs
容错是在处理要求高级别可用性和低延迟处理的流作业时需要更深入考虑的属性，即使在必须遵守服务质量约束的故障情况下也是如此。通常，系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，这是一种昂贵的操作，其对系统的整体性能产生负面影响，并且手动优化特定作业的容错是一项困难且耗时的任务。在本文中，我们介绍凯龙，自动优化的频率与检查点流作业中执行的方法。对于任何选定的作业，都将执行并行分析运行，每个分析运行都包含配置的一个变体，生成的度量用于对基于检查点的容错对性能和可用性的影响进行建模。理解这些关系是最小化性能目标和满足严格的服务质量约束的关键。我们与Apache Flink一起实现了Chiron原型，并通过实验证明了它的有用性。
2021-02-11 cs.DC
CORE: Augmenting Regenerating-Coding-Based Recovery for Single and Concurrent Failures in Distributed Storage Systems
数据可用性在分布式存储系统中至关重要，特别是当节点故障在现实生活中普遍存在时。一个关键的要求是在恢复故障节点的丢失或不可用数据时，最大限度地减少节点之间传输的数据量。本文探讨了基于再生码的恢复解决方案，该方案可提供容错存储和最小恢复带宽。现有的最优再生码是针对单节点故障设计的。我们建立了一个系统称为CORE，它增强了现有的最佳再生代码，以支持一般数量的故障，包括单一和并发故障。我们从理论上表明，CORE实现了最小可能的恢复带宽在大多数情况下。我们实现了CORE，并在Hadoop HDFS集群测试床上评估了我们的原型，该集群测试床最多有20个存储节点。我们证明，我们的CORE原型符合我们的理论研究结果，并实现恢复带宽节省相比，传统的恢复方法的基础上纠删码。
2013-06-06 cs.DC
Near-Optimal Fault Tolerance for Efficient Batch Matrix Multiplication via an Additive Combinatorics Lens
本文研究主从分布式批量矩阵乘法中 Rook Codes 的恢复阈值，利用加性组合学证明 ω(n) 下界，并构造达到 n^{1+o(1)} 的近最优编码。
2024-10-29 cs.DC cs.DS
Near-zero Downtime Recovery from Transient-error-induced Crashes
由于系统缩放，由外部噪声引起的瞬态误差，例如，热通量和粒子撞击已经成为当前和即将到来的极端规模高性能计算（HPC）系统的日益关注的问题。然而，由于与无故障情况相比，这样的错误仍然非常罕见，因此期望的解决方案要求低/无开销系统，其在无故障条件下不损害性能并且还允许非常快速的故障恢复以最小化停机时间。在本文中，我们提出了IterPro，一个轻量级的编译器辅助的弹性技术，快速，准确地从瞬态错误引起的崩溃恢复进程。IterPro在发生错误时即时修复损坏的进程状态，使应用程序能够继续执行而不是终止。IterPro还利用基于归纳变量的代码优化技术引入的副作用来提高其恢复能力。为此，引入了两个新的代码转换通道，以暴露用于恢复目的的副作用。我们使用4个科学工作负载以及NPB基准测试套件评估了IterPro。在正常执行期间，IterPro几乎没有运行时开销，只有一个小的固定的27 MB内存开销。与此同时，IterPro可以在几十毫秒内恢复平均83.55%的导致崩溃的错误，停机时间可以忽略不计。有了这样一个有效的恢复机制，IterPro可以极大地减轻未来极端规模系统中弹性子系统的开销和资源需求。
2021-03-09 cs.DC cs.SY eess.SY
ZOCheck: CPU-Shadow Checkpointing for Zeroth-Order LLM Fine-Tuning
University of Delaware（特拉华大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
ZOCheck通过CPU影子进程重放日志并异步持久化恢复映像，实现零阶微调的非阻塞检查点与快速恢复，大幅降低开销和延迟。
2026-09-24 cs.DC
Training LLMs with Fault Tolerant HSDP on 100,000 GPUs
在100,000块GPU上提出容错混合共享数据并行训练方法，通过减少故障恢复停滞时间提升训练效率
2026-01-30 cs.AI cs.DC
Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
University of California Santa Cruz（加州大学圣克ruz分校）；University of California, Davis（加州大学戴维斯分校）；University of Washington（华盛顿大学）
针对LLM推理中GPU状态丢失问题，提出Concordia运行时，利用设备驻留持久内核实现JIT编译的增量检查点，支持PTX/SASS级插桩，无需修改应用代码。
2026-06-23 cs.DC cs.LG
Resilience for Exascale Enabled Multigrid Methods
随着部件数量的增加和进一步小型化，超级计算机的平均故障间隔时间将缩短。系统级的容错技术是昂贵的并且耗费能量，因为它们通常基于冗余。此外，当将系统状态存储到备份存储器的时间变得过多时，经典的检查点重启技术达到其极限。因此，基于算法的容错机制可以成为一个有吸引力的替代方案。本文研究椭圆型偏微分方程的有限元离散解法。故障发生在并行几何多重网格求解器进行了研究，在各种模型的情况下。在标准的域划分方法中，核心或节点的故障的影响将影响一个或多个子域。不同的策略开发，以补偿这种故障的算法的影响。恢复是通过解决一个局部子问题的Dirichlet边界条件，使用局部多重网格循环算法。此外，我们提出了一个超人的战略，额外的计算能力，以尽量减少恢复过程的时间。
2015-01-29 cs.CE cs.DC
A Fast Fault Tolerant Partitioning Algorithm for Wireless Sensor Networks
本文针对二维平面上传感器节点随机均匀分布的问题，提出了一种快速自组织分布式算法，该算法能快速找到节点的最大分区数，使每个分区连通并覆盖待监测区域。每个连接的分区以循环方式保持活动，以单独覆盖查询区域。在节点故障的情况下，建议的分布式故障恢复算法重建受影响的分区本地利用可用的自由节点。仿真研究表明，在计算时间，每个分区的直径，消息开销和网络生命周期方面的性能相比，早期的作品显着改善。
2013-06-11 cs.DC cs.NI
Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning
Beihang University（北京航空航天大学）；Chongqing University（重庆大学）；Microsoft Research Asia（微软亚洲研究院）；Concordia University（康考迪亚大学）
研究大语言模型在云原生微服务系统中恢复故障的能力，提出R2Act框架，定义相关内容并实例化为基准数据集，评估多种方法，发现恢复失败多因难以将诊断证据转化为有效恢复行动。
2026-07-07 cs.DC cs.SE
Reliable Actors with Retry Orchestration
云开发人员必须构建对故障和中断具有弹性的应用程序。我们提倡基于参与者、重试编排和尾调用的云容错编程模型。这个模型建立在云上随时可用的持久数据存储和消息队列之上。协同编排不仅保证（1）失败的参与者调用将被重试，而且还保证（2）完成的调用永远不会重复，并且（3）它在调用堆栈内的失败之间保留严格的happen-before关系。尾调用可以将复杂的任务分解为简单的步骤，以最大限度地减少恢复期间的重复执行。我们回顾了关键的应用程序模式和故障场景。我们形式化的进程演算，以准确地捕捉该模型中的容错机制。我们简单介绍一下我们的实现。使用一个典型的企业场景启发的应用程序，我们验证我们的实现功能的正确性，并评估故障准备和恢复对性能的影响。
2022-11-11 cs.DC cs.PL
Practically-Self-Stabilizing Vector Clocks in the Absence of Execution Fairness
矢量时钟算法是基本的无等待构建块，有助于事件的因果排序。作为无等待算法，它们保证在有限数量的步骤内完成操作。稳定算法允许系统在发生瞬时故障后恢复，例如软错误和任意违反系统设计行为所依据的假设。我们提出了第一个，据我们所知，稳定的矢量时钟算法的异步容易崩溃的消息传递系统，可以恢复在一个无等待的方式发生瞬时故障后。在这些设置中，证明从（通信和崩溃故障以及）瞬时故障中的有限且无等待的恢复，限制消息和存储大小，处理所有陈旧信息的移除而不阻塞，以及处理计数器溢出事件（在不同网络节点同时发生）是具有挑战性的。我们提出了一个算法，从来没有违反安全的情况下，瞬态故障，并提供有限的时间恢复公平执行，遵循最后的瞬态故障。新颖之处在于，在没有执行公平性的情况下，该算法保证了系统可能违反安全性的次数的界限（而现有算法可能由于瞬时故障和崩溃故障的存在而永远阻塞）。由于矢量时钟促进了一些基本的同步构建块（不需要远程副本同步）在异步系统中，我们相信，我们的分析见解是有用的其他系统的设计，不能保证执行的公平性。
2017-12-21 cs.DC cs.DS
Distance Based Asynchronous Recovery Approach in Mobile Computing Environment
移动计算系统是其中至少一个进程是移动的分布式系统。它们受到缺乏稳定存储、低网络带宽、移动性、频繁断开连接和电池寿命有限的限制。检查点是移动计算环境中提供容错的常用技术之一。为了适应移动环境，提出了一种基于检查点和消息日志的距离恢复方案。在系统从故障中恢复之后，只有失败的进程才从它们各自的最近检查点回滚和重新启动，而与其他进程无关。该方案的显著特点是降低了传输和回收成本。当移动主机在特定范围内移动时，恢复信息不被移动，因此只有当移动主机移动到特定范围外时才在附近传输。
2012-06-07 cs.DB cs.DC
Belayer: Efficient Fault Tolerance for LLM Agentic RL Training
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Laboratory（上海人工智能实验室）；MIT（麻省理工学院）
本文提出Belayer系统，针对LLM智能体强化学习训练的生成引擎和环境故障设计容错机制，可降低无故障训练开销，大幅缩短工作节点与环境故障的恢复时间。
2026-08-19 cs.DC cs.LG
TRANSOM: An Efficient Fault-Tolerant System for Training LLMs
SenseTime（商汤科技）；Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出新型容错LLM训练系统TRANSOM，通过TOL、TEE和TCE三个子系统实现自动容错恢复、异常检测与异步检查点访问，显著提升大规模集群训练效率。
2023-10-18 cs.AI cs.DC
CliqueStream: an efficient and fault-resilient live streaming network on a clustered peer-to-peer overlay
在最近的对等流媒体文献中，已经提出了几种基于叠加的实时多媒体流媒体平台。在大多数情况下，为了覆盖的鲁棒性，随机选择覆盖邻居。然而，这会导致底层物理网络中距离较远的节点成为邻居，因此数据在到达目的地之前会传输不必要的距离。为了提高多媒体流等大量数据传输的效率，覆盖邻域应该类似于底层网络中的邻近度。在本文中，我们利用最近提出的一个基于集群的覆盖网络，名为eQuus的邻近和冗余属性，建立高效和强大的覆盖多媒体流传播。为了结合树结构覆盖上的内容推送的效率和数据驱动的网格覆盖的鲁棒性，在树结构中组织更高容量的稳定节点以承载长距离业务，并且在局部网格中组织具有间歇性存在的不太稳定的节点。文中详细介绍了覆盖图的构造和故障恢复过程。仿真研究表明该平台具有良好的局部性。分析表明，故障恢复机制引起的中断时间和控制开销是最小的。
2009-03-26 cs.DC cs.MM cs.NI
Scalable and Fault Tolerant Computation with the Sparse Grid Combination Technique
本文继续发展[B]中最近提出的稀疏网格组合技术的容错扩展。Harding和M. Hegland，ANZIAM J.，54（CTAC2012），pp. C394-C411]。该方法是新颖的，有两个原因，第一，它提供了几个层次，其中一个可以利用并行导致大规模并行实现，第二，它提供了基于算法的容错，使解决方案仍然可以恢复，如果在计算过程中发生故障。我们提出了一个概括的组合技术的容错算法是一个后果。使用一个高性能计算机的每个节点上的故障之间的时间模型，我们提供了该算法的插值的预期误差的界限。在标量平流偏微分方程上的数值实验表明，该算法在实际应用中具有较好的容错能力。据观察，恢复时间的权衡，以降低精度的解决方案是适当的小。与传统的检查点重新启动方法应用于组合技术的比较表明，我们的方法是高度可扩展的故障的数量。
2014-04-10 cs.DC cs.NA math.NA
