Architecting Peer-to-Peer Serverless Distributed Machine Learning Training for Improved Fault Tolerance
Université du Québec à Chicoutimi（魁北克大学希库蒂米分校）；École de Technologie Supérieure（高等工程技术学院）
分布式机器学习是指在多台计算机或设备上训练模型的实践，这些计算机或设备可以称为节点。此外，无服务器计算是使用函数作为计算单元的云计算的新范例。无服务器计算可以通过实现自动资源扩展、减少手动干预和降低成本来有效地用于分布式学习系统。通过分配工作负载，分布式机器学习可以加快训练过程，并允许训练更复杂的模型。分布式机器学习的几种拓扑结构已经建立（集中式，参数服务器，对等）。然而，参数服务器架构在容错方面可能具有限制，包括单点故障和复杂的恢复过程。此外，在对等（P2P）架构中训练机器学习可以通过消除单点故障而在容错方面提供益处。在P2P架构中，每个节点或工作者都可以充当服务器和客户端，这允许更分散的决策，并消除了对中央协调器的需求。在这份立场文件中，我们建议探索使用无服务器计算在分布式机器学习训练和比较性能的P2P架构与参数服务器架构，重点是降低成本和容错。
2023-02-27 cs.DC cs.LG
FT K-means: A High-Performance K-means on GPU with Fault Tolerance
University of California, Riverside（加利福尼亚大学河滨分校）；University of Houston（休斯顿大学）；Argonne National Laboratory（阿贡国家实验室）
FT K-means通过逐步优化、模板化代码生成和warp级张量核纠错方案，在GPU上实现了比cuML快10%-300%的高性能K-means，并以仅11%的开销提供在线容错能力。
2024-08-07 cs.DC cs.LG
Fault Tolerance for Stream Processing Engines
KTH Royal Institute of Technology（瑞典皇家理工学院）
本综述研究分布式流处理引擎（DSPEs）的容错问题，分析2016年先进流处理引擎的容错技术，归类为主动复制等三类方法，探讨其对不同流应用需求的影响，还修正原稿并总结后续发展。
2026-10-21 cs.DC
Exploiting Redundant Computation in Communication-Avoiding Algorithms for Algorithm-Based Fault Tolerance
通信避免算法允许冗余计算以最小化进程间通信的数量。在本文中，我们建议利用这种冗余容错的目的。我们说明了这个想法与QR分解的高和瘦的矩阵，我们评估的失败，我们的算法可以容忍不同的语义下的数量。
2015-11-01 cs.DC
A Byzantine Fault Tolerance Approach towards AI Safety
Global Blockchain Business Council（全球区块链商业理事会）；Deutsche Bank（德意志银行）
本文借鉴分布式计算中的拜占庭容错机制，提出通过共识机制提升AI系统可靠性与安全性的架构，以应对意外故障和对抗性条件。
2025-04-20 cs.DC
A Survey of Fault-Tolerance and Fault-Recovery Techniques in Parallel Systems
今天的超级计算系统通常以大量商品系统的形式连接在一起成为计算集群。这些系统，像任何分布式系统一样，可以有大量的独立硬件组件在计算上进行协作或合作。不幸的是，这些数量庞大的组件中的任何一个都可能在任何时候发生故障，从而导致潜在的错误输出。为了提高超级计算应用程序在故障情况下的鲁棒性，已经开发了许多技术来提供对这些类型的系统故障的弹性。本调查提供了这些不同的容错技术的概述。
2005-01-01 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的，然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流，分布式流处理系统，解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有一定的界限。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明，AF流保留高算法特定的流算法的准确性，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下都能保持较高的性能（与无容错相比）和多次故障后的高准确率（与无故障相比）。
2019-08-12 cs.DC
Byzantine Fault Tolerance for Nondeterministic Applications
所有的实际应用都包含某种程度的非确定性。当复制这样的应用程序以实现拜占庭容错（Byzantine fault tolerance，BFT）时，必须控制它们的不确定性操作以确保副本一致性。据我们所知，只有最简单的类型的副本非决定论已处理。此外，缺乏一个系统的方法来处理常见类型的非决定论。在本文中，我们提出了一个分类的常见类型的副本不确定性方面的要求，实现拜占庭容错，并描述了设计和实现的核心机制，处理这种不确定性的拜占庭容错框架内。
2007-08-01 cs.DC
Synchronized Multi-Load Balancer with Fault Tolerance in Cloud
在该方法中，当在负载估计中需要任何校正时，一个负载均衡器的服务可以在其他负载均衡器之间被借用或共享。
2018-11-04 cs.DC
Fault Tolerance of Neural Networks in Adversarial Settings
Indraprastha Institute of Information Technology（英迪拉普拉斯信息技术研究所）；Scientific Analysis Group（科学分析小组）；Institute for Systems Studies and Analyses（系统研究与分析研究所）；Aurel Vlaicu University of Arad（阿拉德奥雷尔弗拉伊库大学）
人工智能系统需要对不同的信任支柱进行全面评估，即公平性、可解释性、数据和模型隐私性、可靠性（安全性）以及对抗对抗攻击的鲁棒性。虽然这些研究问题已被广泛研究孤立，理解之间的权衡不同支柱的信任是缺乏的。在这种程度上，容错，隐私和对抗性鲁棒性之间的权衡评估的深度神经网络的特定情况下，通过考虑两个对抗性设置下的安全和隐私威胁模型。具体来说，这项工作研究的影响，容错的神经网络的训练模型，通过增加噪声的输入（对抗鲁棒性）和噪声的梯度（差分隐私）。虽然训练模型的噪声输入，梯度或权重增强容错，它是观察到的对抗鲁棒性和容错是不一致的。另一方面，（$ε,δ$）-差分私有模型增强了使用泛化误差测量的容错，理论上具有$e^ε - 1 + δ$的上限。这种对不同信任要素之间的权衡的新研究对于训练同时满足不同信任支柱要求的模型至关重要。
2020-03-07 cs.CR cs.DC cs.LG
Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent
我们考虑的问题，拜占庭容错的对等（P2P）分布式梯度下降法-一个突出的算法，在P2P系统中的分布式优化。在这个问题中，系统由多个代理人组成，每个代理人都有一个本地成本函数。在无故障的情况下，当所有的代理都是诚实的，P2P分布式梯度下降方法允许所有的代理达成共识的解决方案，最大限度地减少他们的总成本。然而，我们考虑的情况下，一定数量的代理可能是拜占庭故障。这样的错误代理可能不正确地遵循算法，并且可能共享任意的不正确信息以防止其他非错误代理解决优化问题。在拜占庭故障代理的存在下，一个更合理的目标是允许所有的非故障代理达成共识的解决方案，最大限度地减少所有的非故障代理的总成本。我们将此容错目标称为$f$ -弹性，其中$f$是$n$代理系统中拜占庭故障代理的最大数量，其中$f < n$。P2P分布式优化中的大多数现有容错工作仅考虑近似容错，其中，与$f$弹性不同，所有非故障代理计算其成本函数的非均匀加权聚合的最小点。我们提出了一个容错机制，赋予可证明的$f$ -弹性的P2P分布式梯度下降方法，提供了非故障代理满足必要条件的$2f$ -冗余，稍后在本文中定义。此外，与以前的工作相比，我们的算法是适用于更大的一类高维凸分布优化问题。
2021-01-28 cs.DC
MATCH: An MPI Fault Tolerance Benchmark Suite
MPI已被广泛部署在旗舰HPC系统中，旨在加速在成千上万个进程和计算节点上运行的分布式科学应用程序。保持MPI应用程序执行的正确性和完整性至关重要，特别是对于安全关键的科学应用程序。因此，已经提出了一系列有效的MPI容错技术，以使MPI应用程序的执行能够有效地从系统故障中恢复。然而，还没有结构化的方法来研究和比较不同的MPI容错设计，从而指导针对不同场景选择和开发高效的MPI容错技术。为了解决这个问题，我们设计，开发，并评估一个基准套件称为匹配的特征，研究，并全面比较不同的组合和配置的MPI容错设计。我们的研究得出了有用的发现：（1）Reinit恢复一般比ULFM恢复更好;（2）Reinit恢复是独立的缩放大小和输入问题的大小，而ULFM恢复不是;（3）使用FTI检查点的Reinit恢复是一个高效的容错设计。MATCH代码可在https://github.com/kakulo/MPI- FT- Bench上获得。
2021-02-13 cs.DC
Chiron: Optimizing Fault Tolerance in QoS-aware Distributed Stream Processing Jobs
容错是在处理要求高级别可用性和低延迟处理的流作业时需要更深入考虑的属性，即使在必须遵守服务质量约束的故障情况下也是如此。通常，系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，这是一种昂贵的操作，其对系统的整体性能产生负面影响，并且手动优化特定作业的容错是一项困难且耗时的任务。在本文中，我们介绍凯龙，自动优化的频率与检查点流作业中执行的方法。对于任何选定的作业，都将执行并行分析运行，每个分析运行都包含配置的一个变体，生成的度量用于对基于检查点的容错对性能和可用性的影响进行建模。理解这些关系是最小化性能目标和满足严格的服务质量约束的关键。我们与Apache Flink一起实现了Chiron原型，并通过实验证明了它的有用性。
2021-02-11 cs.DC
Application-Level Resilience Modeling for HPC Fault Tolerance
了解存在故障时的应用程序弹性对于解决HPC弹性挑战至关重要。目前，我们主要依靠随机故障注入（RFI）来量化应用程序的弹性。然而，RFI提供的关于容错如何发生的信息很少，并且由于其随机性，RFI结果通常不是确定性的。在本文中，我们介绍了一种新的方法来量化应用程序的弹性。我们的方法是基于观察，在应用程序级，应用程序的故障恢复能力是由于应用程序级的故障屏蔽。由于应用程序固有的语义和程序构造，应用程序级故障屏蔽发生。基于此观察，我们分析应用程序执行信息，并使用面向数据的方法来建模的应用程序弹性。我们使用我们的模型来研究如何以及为什么HPC应用程序可以（或不能）容忍故障。我们证明了使用该模型直接容错机制的实际好处。
2017-04-30 cs.DC
A Survey on Fault-tolerance in Distributed Optimization and Machine Learning
分布式优化的鲁棒性是一个新兴的研究领域，其动机是分布式优化的各种应用，包括分布式机器学习、分布式传感和群机器人。随着分布式系统规模的迅速扩大，需要有弹性的分布式优化算法，以缓解系统故障、通信问题甚至恶意攻击。本文综述了分布式优化中的容错研究现状，旨在对容错分布式优化理论和算法的研究现状进行综述。
2021-06-27 cs.DC
Fault Tolerance for Remote Memory Access Programming Models
远程内存访问（RMA）是一种新兴的高性能计算机和嵌入式系统编程机制。然而，关于基于风险管理的应用程序和系统的复原力计划的工作很少。在本文中，我们分析了容错的RMA，并表明它是从根本上不同的弹性机制，针对消息传递（MP）模型。我们设计了一个模型的推理容错的RMA，解决平面和层次化的硬件。我们使用这个模型来构建几个高度可扩展的机制，提供高效的低开销的内存中的检查点，透明的远程内存访问日志记录，并透明恢复失败的进程的计划。我们的协议考虑到每个核心的内存减少量，这是未来艾级机器的主要特征之一。我们的容错方案的实施需要微不足道的额外开销。我们的可靠性模型表明，内存中的检查点和日志记录提供了高弹性。该研究为RMA提供了高度可扩展的弹性机制，填补了容错和新兴RMA编程模型之间的研究空白。
2020-10-18 cs.DC
Keep It Simple: Fault Tolerance Evaluation of Federated Learning with Unreliable Clients
National Institute of Water and Atmospheric Research（国家水与大气研究所）；University of Newcastle（纽卡斯尔大学）；University of Waikato（怀卡托大学）；Roblox（罗布乐思）
本文评估了不可靠客户端对联邦学习容错性的真实影响，发现简单的FL算法在现实分类问题中表现优异。
2023-05-16 cs.AI cs.DC cs.LG
Revisiting Fast Practical Byzantine Fault Tolerance
在这篇文章中，我们观察到Zyzzyva中的安全违规和Fab中的活性违规。为了演示这些问题，我们需要相对简单的场景，只涉及四个副本和一个或两个视图更改。在所有这些情况下，问题已经在第一个日志槽中表现出来。
2017-12-04 cs.DC
Algorithmic Based Fault Tolerance Applied to High Performance Computing
提出了一种新的高性能计算系统的容错方法。我们的方法是基于一个仔细适应的基于并行分布计算的容错技术（黄和亚伯拉罕，1984年）的需要。我们得到了一个强可扩展的容错机制。我们还可以在计算过程中检测和纠正错误（位翻转）。为了评估我们的方法的可行性，我们已经开发了一个容错矩阵矩阵乘法子程序，我们提出了一些模型来预测其运行时间。我们的并行容错矩阵矩阵乘法得分1.4 TFLOPS 484处理器（集群jacquard.nersc.gov），并返回一个正确的结果，而一个进程失败发生。这代表了机器峰值效率的65%，并且相对于最快的无故障实现而言，开销小于12%。我们预测（并且已经观察到），随着处理器数量的增加，容错的开销会显著下降。
2008-06-19 cs.DC cs.MS
The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure
研究智能基础设施中因推理错误导致的诚实仲裁问题，定义认知拜占庭容错（EBFT）模型，用两个量增强传统拜占庭故障界限，推导相关仲裁阈值条件及校准方法，指出添加代理提高容错的条件。
2026-07-20 cs.DC cs.LG cs.MA
Measures of Fault Tolerance in Distributed Simulated Annealing
在本文中，我们研究了不同的措施，容错在分布式模拟退火过程。在分布式系统上用模拟退火算法进行优化容易出现各种各样的失败。分析了模拟退火算法及其在分布式平台上的体系结构和潜在的失效原因。我们研究的宽容的分布式系统的优化任务的行为。我们提出了可能的方法来克服故障，实现容错的分布式模拟退火过程。我们还研究了模拟退火在MapReduce系统中的实现，以及防止在达到全局最优时失败的可能方法。本文将有益于那些谁有兴趣在实现一个大规模的分布式模拟退火优化问题的工业或学术兴趣。我们建议使用混合容差技术来优化效率和可用性之间的权衡。
2012-12-30 cs.DC
Can Agent Intelligence be used to Achieve Fault Tolerant Parallel Computing Systems?
在本文中报告的工作的动机是验证一种替代方法的容错比传统的方法，如检查点，约束有效的容错。代理智能可以用来实现容错并行计算系统吗？如果是，“容错需要哪些代理功能？什么样的并行计算任务可以从这样的代理能力中受益？以及“如何实现代理功能以实现容错？“需要解决。被认为是通过代理实现容错必不可少的认知能力。并行约简算法被认为是一类可以从认知代理能力中受益的算法。消息传递接口用于实现基于智能代理的方法。实验的初步结果验证了基于代理的并行计算系统实现容错的可行性。
2013-08-13 cs.DC cs.MA
Zeno: Distributed Stochastic Gradient Descent with Suspicion-based Fault-tolerance
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了芝诺，一种技术，使分布式机器学习，特别是随机梯度下降（SGD），容忍任意数量的故障工人。芝诺概括了以前的结果，假设大多数非故障节点，我们只需要假设一个非故障工人。我们的关键思想是怀疑工人有潜在的缺陷。由于这可能导致误报，我们使用基于排名的偏好机制。我们证明了在这些情况下的非凸问题的SGD的收敛性。实验结果表明，Zeno优于现有的方法。
2019-05-18 cs.CR cs.DC cs.LG
A Fault-tolerance Linguistic Structure for Distributed Applications
将容错规定表达到应用软件中的结构是本论文的中心议题。结构化技术提供了控制复杂性的手段，后者是引入设计缺陷的相关因素。这一事实和当今分布式软件日益增长的复杂性证明了在应用软件中表达容错性需要简单、一致和有效的结构。本文的第一个贡献是定义了一个基础的结构属性，应用程序级的容错结构可以进行定性评估和相互比较，并与上述需要。然后，这个结果是用来提供一个详细的调查国家的最先进的软件容错结构。这项工作的主要贡献是一种新的结构化技术的容错设计关注的表达在应用层的分布式软件系统，其特征在于软实时的要求，并在编译时已知的处理节点的数量。本文的主要论点是，这种新的结构化技术是能够表现出令人满意的值的结构属性在软实时，分布式和并行应用领域。遵循这种新颖的方法，除了解决功能设计问题的传统程序设计语言之外，还可以使用专用语言结构（所谓的“恢复语言”）来解决错误恢复和重新配置问题。一旦底层错误检测层检测到错误，或者应用程序进程发出错误条件信号，这种恢复语言就开始发挥作用。
2016-11-05 cs.DC
FTI-TMR: A Fault Tolerance and Isolation Algorithm for Interconnected Multicore Systems
针对现有三模冗余（TMR）算法存在的易受永久故障影响、硬件开销高或有单点故障的问题，提出面向互联多核系统的FTI-TMR算法，通过稳定性指标选可靠节点做周期诊断隔离故障，在降约30%任务负载的同时提升了永久故障覆盖率。
2025-10-29 cs.DC
$\mathcal R\!\raise2pt\hbox{$\varepsilon$}\!\hbox{$\mathcal L$}$: A Fault Tolerance Linguistic Structure for Distributed Applications
将容错规定嵌入到程序设计语言的应用层中是一项重要的任务，目前还没有找到令人满意的解决方案。这样的解决方案是非常重要的，并且缺乏用于容错的简单、一致和有效的结构化技术已经被该领域的研究人员称为“系统开发的软件瓶颈”。本文的目的是报告一种新的容错语言结构的分布式应用程序的软实时要求的现状。还描述了一个兼容的原型架构。该结构的关键方面在于，它允许将目标容错应用分解成三个不同的组件，分别负责（1）功能服务，（2）容错规定的管理，以及（3）对当前环境条件的适应。本文还简要地提到了几个案例研究和初步成果，获得行使的原型。
2014-01-15 cs.DC cs.SE
Real-Time Fault-Tolerance Node-to-Node Disjoint Paths Algorithm for Symmetric Networks
不相交路径定义为源节点和目的节点之间的路径，其中任意两条路径中的中间结点是不相交的。它们有助于容错路由和保护网络中的消息分发。一些研究论文被提出来解决各种互连网络（如超立方体、广义超立方体、Mesh、Torus、Gaussian、Eisenstein-Jacobi和许多其他拓扑结构）的不相交路径查找问题。在这项研究中，我们已经开发了一个通用的实时的【形】容错算法，构造所有节点到节点的不相交路径的对称网络中的所有路径是最短的或接近最短的。此外，我们在不同的网络上模拟所提出的算法。仿真结果给出了立方连通圈中未解决问题的解决方法。
2021-10-06 cs.DC
The Low Latency Fault Tolerance System
低延迟容错（LLFT）系统使用领导者-跟随者复制技术为分布式应用提供容错。LLFT系统为涉及多个交互进程或线程的应用程序提供具有强副本一致性的应用程序透明复制。LLFT系统包括低延迟消息传递协议、领导者确定成员资格协议和虚拟确定器框架。低延迟消息传递协议通过采用直接组到组多播来提供可靠的、完全有序的消息传递，其中消息排序由组中的主副本确定。Leader-Determined Membership Protocol（领导者确定成员协议）在副本出现故障以及副本加入或离开组时提供重新配置和恢复，其中组的成员资格由主副本确定。虚拟确定器框架捕获主副本的排序信息，并针对主要的非确定性来源（包括多线程、时间相关操作和套接字通信）在备份副本上强制执行相同的排序。LLFT系统在正常操作期间实现低延迟消息递送，并且在故障发生时实现低延迟重新配置和恢复。
2010-08-06 cs.DC
Revisiting Fast Practical Byzantine Fault Tolerance: Thelma, Velma, and Zelma
在之前的注释（arXiv：1712.01367 [cs.DC]）中，我们观察到Zyzzyva中的安全违规和Fab中的活性违规。在这份手稿中，我们对两者都进行了粗略的修复。在这两个方案中应用了相同的视图改变核心，并且还应用于将它们组合起来并创建具有两种方法的优点的单个增强方案。
2018-01-26 cs.DC
Fault Tolerance of Small-World Regular and Stochastic Interconnection Networks
研究了随机和规则（确定性）小世界互连网络最重要性质的弹性。结果表明，在故障节点的分数的值的宽范围内，所考虑的网络具有高的容错，确定性网络略优于随机网络。
2014-01-13 cs.DC cs.SI physics.soc-ph
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc（印度科学学院）
本文提出FTHP-MPI，一种结合检查点/重启与复制机制的新型容错MPI库，在非容错原生MPI库中实现高故障率下的高效容错，并通过实验证明在故障间隔短于1小时的大规模系统中，基于复制的库比纯检查点方法效率更高，且无故障时额外开销可忽略。
2026-06-01 cs.DC
A Problem-Specific Fault-Tolerance Mechanism for Asynchronous, Distributed Systems
局域网、校园网甚至广域网上的空闲计算机代表了重要的计算资源，然而，这种资源也是不可靠的、异构的和机会主义的。这种类型的资源已被有效地用于并行问题，但不是更紧密耦合的问题。我们描述了一个算法，允许分支定界问题，在这样的环境中得到解决。在设计该算法时，我们面临两个挑战：（1）可扩展性，以有效地利用可扩展的可用资源池，以及（2）容错，以确保服务的可靠性。我们通过一个完全分散的算法实现可扩展性，通过使用成员协议管理动态可用的资源。然而，这种完全分散的设计使得实现可靠性更具挑战性。我们保证容错，因为除了一个资源之外，其他所有资源的丢失都不会影响解决方案的质量。为了有效地传播信息，我们使用流行病通信的成员资格协议和容错机制。我们已经开发了一个模拟框架，使我们能够评估设计方案。在这个框架中获得的结果表明，我们的技术可以执行可扩展性和可靠性。
2000-03-12 cs.DC
Provisioning Spot Instances Without Employing Fault-Tolerance Mechanisms
云计算提供了一种可变成本的支付方案，允许云客户指定他们愿意为租用现货实例支付的价格，以比固定支付方案低得多的成本运行他们的应用程序，并且根据云客户的不同需求，云平台可以随时撤销现货实例。为了减轻spot实例撤销的影响，应用程序通常采用不同的容错机制来最小化甚至消除每个spot实例撤销所损失的工作。然而，这些容错机制会产生与应用程序完成时间和部署成本相关的额外开销。我们提出了一种新的基于云市场的方法，利用云现货市场的功能提供现货实例，而不采用容错机制，以减少部署成本和完成时间的应用程序。我们在模拟中评估了我们的方法，并使用了Amazon spot实例，这些实例包含Docker容器中的作业和来自EC2市场的真实价格跟踪。我们的仿真结果表明，我们的方法相比，基于容错机制的方法，降低了部署成本和完成时间。
2020-03-30 cs.DC cs.SE
SplitBFT: Improving Byzantine Fault Tolerance Safety Using Trusted Compartments
部分同步系统中的拜占庭容错协议（Byzantine Fault Tolerant Agreement，BFT）通常要求3f + 1个节点容忍f个错误副本。由于其高吞吐量和终结性属性，BFT算法构建了最近许可区块链的核心。作为一个复杂且需要资源的基础设施，多家云提供商已经开始提供区块链即服务。这简化了许可区块链的部署，但将云提供商置于中央控制位置，从而质疑区块链的容错和去中心化特性及其底层BFT算法。本文介绍了SplitBFT，这是一种利用可信执行技术（TEE）（如英特尔SGX）来加强BFT系统的安全性和机密性保证的新方法，从而加强了对许可区块链基于云的部署的信任。与标准假设不同，SplitBFT承认受可信执行保护的代码可能会失败。我们通过将BFT协议的核心逻辑拆分和隔离到多个隔间中来解决这个问题，从而形成更具弹性的架构。我们将SplitBFT应用到传统的实用拜占庭容错算法（PBFT）中，并使用SGX对其进行评估。我们的研究结果表明，SplitBFT只增加了一个合理的开销相比，非划分的变体。
2022-05-24 cs.DC
On Fault Tolerance of Data Storage Systems: A Holistic Perspective
本文从整体视角探讨了数据存储系统容错性的关键问题，分析了系统架构、组件及容错技术，指出潜在bug对数据完整性和系统恢复的影响，并提出了未来研究方向。
2025-07-05 cs.DC
FT-Transformer: Resilient and Reliable Transformer with End-to-End Fault Tolerant Attention
University of California, Riverside（加州大学河滨分校）
本文提出FT-Transformer，通过端到端容错注意力实现模块级保护，解决传统操作级容错的开销问题，在非线性计算中提供全面覆盖，对线性模块设计避免线程通信的ABFT算法，实现7.56倍加速和13.9%平均开销。
2025-08-13 cs.AI cs.DC cs.LG
Fault Tolerance in Distributed Neural Computing
随着计算系统复杂性的增加，完全的硬件可靠性不再能得到保证。但是，我们需要确保整个系统的可靠性。人工神经网络最重要的特征之一是其内在的容错性。这项工作的目的是调查这种网络是否具有可以应用于更广泛的计算系统的功能。本文提出了一种分析，在学习和操作阶段，分布式前馈神经网络与分散的事件驱动的时间管理，这是不敏感的间歇性故障所造成的不可靠的通信或故障的硬件组件。模型中使用的学习规则在空间和时间上都是局部的，这允许有效的可扩展的分布式实现。我们调查注入故障引起的开销，并分析在网络的不同区域的计算硬件有限的故障的敏感性。
2015-09-30 cs.DC cs.NE
Strengthened Fault Tolerance in Byzantine Fault Tolerant Replication
拜占庭容错（BFT）状态机复制（SMR）是构建许可区块链系统的重要构建块。与Nakamoto Consensus相比，任何区块都可以在区块链中获得更高的保证，在BFT SMR中，任何提交的区块都是安全的，具有固定的弹性阈值。在本文中，我们研究加强容错（SFT）在BFT SMR部分同步下，它提供了逐渐增加的弹性保证（如中本共识）在一个乐观的时期，当网络同步和拜占庭故障的数量是小的。此外，即使在乐观期之后，已提交的块也可以容忍超过三分之一（高达三分之二）的腐败。与需要二次消息复杂度的现有最佳解决方案灵活BFT相比，我们的解决方案保持了最先进的BFT SMR协议的线性消息复杂度，并且只需要边际簿记开销。我们实现了我们的解决方案在开源的Diem项目，并给出实验结果，证明其效率在现实世界的情况下。
2021-01-11 cs.CR cs.DC
Revisiting hBFT: Speculative Byzantine Fault Tolerance with Minimum Cost
FaB Paxos[5]为任何容忍f拜占庭故障的两步共识协议设置了5f + 1个副本的下限。然而，hBFT[3]承诺只有3f + 1个副本的两步共识协议。因此，它违反了共识协议的安全性。在本文中，我们回顾了Fab Paxos设置的下限，并提出了一个简单的执行场景，该场景在hBFT中产生了安全违规。为了演示这个场景，我们需要一个相对简单的设置，只有4个副本和一个视图更改。
2019-04-27 cs.DC
Self-healing Dilemmas in Distributed Systems: Fault Correction vs. Fault Tolerance
大规模分散的自主智能体通过异步通信交互的系统通常会遇到以下自愈困境：故障检测继承网络的不确定性，使远程故障过程无法区分从一个缓慢的过程。在没有故障的缓慢过程的情况下，错误校正是不期望的，因为它可能触发新的故障，而这些新的故障可以通过作为更主动的系统维护的容错来防止。但在实际故障过程的情况下，仅容错而不最终纠正持续性故障会使系统表现不佳。衡量、理解和解决这种自我修复的困境是一个及时的挑战和关键要求，因为分布式账本、边缘计算、物联网在能源、交通和健康等领域的应用正在兴起。本文贡献了一种新的和通用的建模故障场景在系统运行时。它们被用来准确地测量和预测由错误校正和容错的不良结果所产生的不一致性，作为在设计阶段改善大规模分散系统的自愈的手段。一个严格的实验方法的设计，评估696个实验设置不同的故障规模，故障配置文件和故障检测阈值在一个原型的分散网络的3000个节点。在一个网络中收集了近900万个不一致的测量值，其中每个节点都监控另一个节点的健康状态，而两者都可以缺陷。模型化的故障场景的预测性能进行了验证，在一个具有挑战性的应用场景中的分散和动态的网络内数据聚合，使用真实世界的数据从智能电网试点项目。调查结果证实了在设计阶段的不一致的起源。
2021-06-24 cs.DC cs.MA cs.NI
Byzantine Fault-Tolerance in Decentralized Optimization under Minimal Redundancy
研究了多智能体分散优化中的拜占庭容错问题。在这个问题中，每个代理都有一个局部成本函数。分散优化算法的目标是允许代理合作计算其总成本函数的公共最小点。我们考虑的情况下，一定数量的代理可能是拜占庭式的故障。这种错误的代理可能不遵循规定的算法，并且他们可能与其他非错误代理共享任意或不正确的信息。这种拜占庭代理的存在使得典型的分散式优化算法无效。我们提出了一个分散的优化算法与可证明的精确容错对有限数量的拜占庭代理，提供了非故障代理有一个最小的冗余。
2020-09-30 cs.DC cs.MA cs.SY
Araucaria: Simplifying INC Fault Tolerance with High-Level Intents
Araucaria系统通过意图语言简化网内计算（INC）容错要求的定义与实现，利用细化过程自动转换意图并集成配置，实验证明其可扩展且故障场景下开销可忽略。
2024-04-17 cs.DC cs.NI
The Probabilistic Fault Tolerance of Neural Networks in the Continuous Limit
Swiss Federal Institute of Technology in Lausanne (EPFL)（洛桑联邦理工学院）
大脑中少数神经元的丧失很少会导致任何可见的功能丧失。然而，在这种情况下，对“很少”的含义的理解并不清楚。需要多少随机神经元故障才能导致明显的功能丧失？在本文中，我们解决了一个基本问题的影响，一个随机子集的神经元崩溃的整体计算的神经网络和错误的输出产生。研究了概率环境下小随机神经元/权值崩溃故障下神经网络的容错性。我们对网络对这些崩溃的鲁棒性给出了可证明的保证。我们的主要贡献是一个小的随机伯努利崩溃证明使用泰勒展开在连续极限，其中附近的神经元在一层是相似的网络输出的错误上的约束。我们在模型中采用的故障模式是神经形态硬件的特征，这是一种有前途的加速人工神经网络的技术，也是生物网络的特征。我们表明，我们的理论界可以用来比较不同的架构的容错性，并设计一个正则化提高给定架构的容错性。我们设计了一个算法，实现容错使用合理数量的神经元。除了理论证明，我们还提供了实验验证我们的结果，并建议连接到泛化能力的问题。
2019-09-25 cs.DC cs.LG cs.NE
Scheduling and Checkpointing optimization algorithm for Byzantine fault tolerance in Cloud Clusters
在这些故障中，拜占庭故障对容错机制提出了严重的挑战，因为它通常在初始阶段未被检测到，并且它可以在进行检测之前容易地传播到其他VM。因此，一些关键任务应用程序，如空中交通管制，在线烘焙等，仍然远离云计算。但是，如果在初始阶段没有检测到拜占庭故障并容忍，那么尽管整个云计算执行了数小时的计算，但大数据分析等应用程序可能会完全出错。因此，在以前的工作已经提出了一个万无一失的拜占庭故障检测，作为延续，这项工作设计了一个调度算法（WSSS）和检查点优化算法（TCC）容忍和消除拜占庭故障之前，它造成的任何影响。WSSS算法跟踪服务器性能，这是虚拟群集的一部分，有助于将性能最佳的服务器分配给任务关键型应用程序。因此，WSSS根据一个计数器对服务器进行排名，该计数器监视每个虚拟节点（VN）的时间和性能故障。TCC算法通过监测延迟变化来概括可能的拜占庭错误倾向区域，以使用先前的检查点来启动新的VN。此外，它可以拉伸状态间隔执行和无错误的VN的效果，以最大限度地减少空间，时间和成本开销所造成的检查点。通过绘制状态转换和基于CloudSim的仿真进行分析。实验结果表明，TCC能成倍地减少容错开销，WSSS能有效地分配虚拟资源
2018-02-03 cs.DC
A New and Efficient Algorithm-Based Fault Tolerance Scheme for A Million Way Parallelism
高性能计算（HPC）应用的容错开销对于大规模HPC系统的有效利用变得至关重要。HPC应用程序通常通过检查点来容忍故障-停止故障。另一种有前途的方法是在算法层面，称为算法恢复。这两种方法在系统规模不是很大时可以达到很高的效率，但当系统规模接近Exaflops时，即系统中包含的处理器数量达到100万时，这两种方法都将失去有效性。本文提出了一种新的高效的基于算法的高性能计算容错方案。当执行过程中出现故障时，我们不会停下来等待恢复损坏的数据，而是用相应的冗余数据替换它们并继续执行。同时提出了一种后台加速恢复方法来重建冗余以容忍执行过程中的多次故障。为了证明我们新方案的可行性，我们将其纳入了高性能Linpack。理论分析表明，我们的新的容错方案仍然可以有效，即使系统规模达到Exaflops。在SiCortex SC 5832上进行的实验验证了该方案的可行性，并表明该方案的优点在小规模下也能体现出来。
2011-06-21 cs.DC
Approximate Byzantine Fault-Tolerance in Distributed Optimization
针对分布式优化中的拜占庭故障，本文提出 (f,ε)-弹性近似容错概念，给出其充要条件，并分析可微代价下鲁棒梯度聚合分布式梯度下降的条件。
2024-05-21 cs.DC
Decentralized Validation for Non-malicious Arbitrary Fault Tolerance in Paxos
容错分布式系统提供高可靠性，因为即使其组件中发生故障，它们也不会表现出错误的行为。根据所采用的故障模型，通常不能容忍不会导致进程崩溃的硬件和软件错误。为了容忍这些相当常见的故障，通常的解决方案是采用更强的故障模型，如任意或拜占庭故障模型。然而，为这种故障模型创建的算法比为不太严格的故障模型开发的算法要复杂得多，并且需要更多的系统资源。达到中间立场的一种方法是非恶意任意故障模型。该模型假设可以以给定的概率检测和过滤故障，如果这些故障不是以恶意意图创建的，则允许将这些故障隔离并映射到良性故障。在本文中，我们描述了我们如何增加了一个实现的主动复制的非恶意故障模型的基本类型的分布式验证，从预期的算法行为的偏差将使一个进程崩溃。我们实验评估这种实现使用故障注入框架，这表明它是可行的扩展的概念，非恶意故障超出硬件故障。
2020-02-18 cs.DC
XFT: Practical Fault Tolerance Beyond Crashes
尽管经过多年的深入研究，拜占庭容错（BFT）系统尚未在实践中采用。这是由于与崩溃容错（CFT）相比，BFT在资源、协议复杂性和性能方面的额外成本。BFT的这种开销来自于这样的假设：强大的对手不仅可以完全控制拜占庭式的故障机器，而且同时还可以完全控制整个网络的消息传递时间表，从而有效地诱导通信异步并随意划分其他正确的机器。然而，对许多从业者来说，这种强烈的攻击似乎无关紧要。在本文中，我们介绍了交叉容错或XFT，一种新的方法来建立可靠和安全的分布式系统，并将其应用到经典的状态机复制（SMR）问题。简而言之，XFT SMR协议提供了广泛使用的异步CFT SMR协议（如Paxos和Raft）的可靠性保证，但也容忍拜占庭故障与网络冗余的组合，只要大多数副本是正确的并同步通信。这允许以CFT的价格（在实践中已经支付）开发XFT系统，但具有比CFT更强的弹性-有时甚至比BFT本身更强。作为XFT的展示，我们展示了第一个XFT SMR协议XPaxos，并将其部署在地理复制设置中。虽然它在没有额外资源成本的情况下提供了比CFT SMR更强的弹性，但XPaxos的性能与最先进的CFT协议相匹配。
2016-11-08 cs.DC
Chameleon: Adaptive Fault Tolerance for Distributed Training via Real-time Policy Selection
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学软件新技术国家重点实验室）；Huawei, China（华为）
本文提出Chameleon系统，通过统一性能模型和高效执行计划搜索，在故障发生时智能选择最优恢复策略，实验表明其在保持模型收敛和内存效率的同时，比现有方法提升了1.229倍和1.355倍的平均吞吐量。
2026-04-20 cs.DC
A Fault-Tolerance Shim for Serverless Computing
近年来，无服务器计算越来越受欢迎，越来越多的应用程序构建在功能即服务（FaaS）平台上。默认情况下，FaaS平台支持基于重试的容错，但这对于修改共享状态的程序来说是不够的，因为它们可能在失败的情况下无意中持久化部分更新集。为了应对这一挑战，我们希望FaaS应用程序所做的更新具有原子可见性。在本文中，我们提出了AFT，原子容错垫片无服务器应用程序。AFT介于商品FaaS平台和存储引擎之间，并通过强制执行读取原子隔离保证来确保更新的原子可见性。AFT支持新的协议，以保证无服务器设置中的读取原子隔离。我们证明，AFT相对于现有的存储引擎引入了最小的开销，并且可以平滑地扩展到每秒数千个请求，同时防止了大量的一致性异常。
2020-03-12 cs.DB cs.DC
FailBench: Evaluating Fault Tolerance Across Distributed Training Architectures
Oakland University（奥克兰大学）
FailBench提出统一评估框架，覆盖七种分布式训练架构和八种容错机制，在8xV100集群上评估142种组合，发现无普遍最优机制，机制成本依赖架构，并发布决策框架与开源工件。
2026-10-07 cs.DC
Fault Tolerance in Distributed Systems using Fused State Machines
复制是在被建模为确定性有限状态机（DFSM或机器）的分布式系统中用于容错的标准技术。为了纠正n台不同机器之间的f崩溃或f/2拜占庭故障，复制需要nf台额外的备份机器。我们提出了一种称为融合的解决方案，只需要额外的备份机器。首先，我们建立了一个框架，容错的基础上的概念，汉明距离的DFSM。我们引入了（f，m）融合的概念，这是一组m个备份机器，可以纠正f崩溃故障或f/2拜占庭故障之间的一组给定的机器。其次，我们提出了一个算法来生成一个（f，f）融合一组给定的机器。我们确保我们的备份在其状态和事件集的大小方面是有效的。我们对广泛使用的MCNC'91 DFSM基准的融合评估表明，融合（过度复制）的平均状态空间节省为38%（范围0-99%）。为了展示融合的实际用途，我们描述了它在MapReduce框架中的潜在应用。使用一个简单的案例研究，我们比较复制和融合应用到这个框架。一个纯粹的基于复制的解决方案需要180万个地图任务，而我们基于融合的解决方案只需要140万个地图任务，在正常操作或恢复期间的开销最小。因此，融合导致状态空间和其他资源（诸如运行备份任务所需的功率）的相当大的节省。
2013-03-23 cs.DC
BigBFT: A Multileader Byzantine Fault Tolerance Protocol for High Throughput
本文描述了BigBFT，一种多领导者拜占庭容错协议，可在区块链系统中实现高吞吐量和可扩展的共识。BigBFT通过以下方式实现这一点：（1）使每个节点成为可以并行提议和排序块的领导者，（2）在轮内捎带投票，（3）跨轮流水线块，以及（4）在常见情况下仅使用两个通信步骤来排序块。BigBFT在$n$请求上的分摊通信成本为$O(n)$。我们评估BigBFT的性能分析，使用背面的信封负载公式来构建成本分析，并通过在我们的PaxiBFT框架中实现它的经验。我们的评估比较了BigBFT与PBFT，Tendermint，Streamlet和Hotstuff在各种工作负载下使用4到20个节点的部署。我们的研究结果表明，BigBFT优于PBFT，Tendermint，Streamlet和Hotstuff协议，无论是在延迟方面（高达$70\%$）还是在吞吐量方面（高达$190\%$）。
2021-10-12 cs.DC
Fault-Tolerance through Message-logging and Check-pointing: Disaster Recovery for CORBA-based Distributed Bank Servers
本报告介绍了我们努力开发基于CORBA的银行服务器的故障恢复变体的结果，该服务器通过消息日志记录和检查点日志记录提供容错功能。在这组项目中，开发了三个组件来满足需求：1）用于分布式银行系统的分支服务器记录所需信息的消息日志协议; 2）使用消息日志重新启动银行服务器以帮助重新启动的银行服务器处理各种操作的后续请求的恢复模块; 3）监视模块，其周期性地检查银行服务器是否停机，并且如果银行服务器已经崩溃，则帮助恢复模块重启银行服务器。
2009-11-17 cs.DC cs.SE
