Revisiting Fast Practical Byzantine Fault Tolerance: Thelma, Velma, and Zelma
在之前的注释（arXiv：1712.01367 [cs.DC]）中，我们观察到Zyzzyva中的安全违规和Fab中的活性违规。在这份手稿中，我们对两者都进行了粗略的修复。在这两个方案中应用了相同的视图改变核心，并且还应用于将它们组合起来并创建具有两种方法的优点的单个增强方案。
2018-01-26 cs.DC
On Probabilistic Byzantine Fault Tolerance
拜占庭容错（Byzantine fault tolerance，BFT）是分布式无信任系统中的一个重要研究课题，它可以保证系统在1/3拜占庭进程存在时仍能正常运行。尽管过多的BFT系统以前的工作，他们主要关注的是从所有参与过程的状态推断出的共同知识。在BFT系统中，关键是要知道一个进程知道其他进程的状态和系统的全局状态的知识。然而，目前还缺乏对拜占庭故障常识的研究，例如，是否所有诚实节点都知道拜占庭节点的存在。在动态环境中，流程可能会意外和不可预测地失败或受损。关键是要推理出哪些进程知道网络中的故障进程。在本文中，我们感兴趣的是研究BFT系统中，拜占庭进程可能会随机行为不端，可能在一些随机的时间段。本文所研究的\emph{probabilistic Byzantine}（PB）过程问题比已有工作中所研究的问题更一般。我们提出了一种方法，使我们能够制定和理由的PB过程的并发知识的所有进程。我们提出了我们的研究所提出的方法在同步和异步系统。
2020-02-08 cs.DC
TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training
Northwestern Polytechnical University（西北工业大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Defense Technology（国防科技大学）
本文提出TierCheck，一种基于集群意识的分层检查点系统，通过将存储位置与故障异质性对齐，实现轻量级差异检查点在本地和对等内存中的快速本地恢复，同时异步迁移重型基础检查点到远程持久化存储，从而在低开销持久性和快速恢复之间取得最佳平衡。
2026-05-18 cs.AI cs.DC
Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent
我们考虑的问题，拜占庭容错的对等（P2P）分布式梯度下降法-一个突出的算法，在P2P系统中的分布式优化。在这个问题中，系统由多个代理人组成，每个代理人都有一个本地成本函数。在无故障的情况下，当所有的代理都是诚实的，P2P分布式梯度下降方法允许所有的代理达成共识的解决方案，最大限度地减少他们的总成本。然而，我们考虑的情况下，一定数量的代理可能是拜占庭故障。这样的错误代理可能不正确地遵循算法，并且可能共享任意的不正确信息以防止其他非错误代理解决优化问题。在拜占庭故障代理的存在下，一个更合理的目标是允许所有的非故障代理达成共识的解决方案，最大限度地减少所有的非故障代理的总成本。我们将此容错目标称为$f$ -弹性，其中$f$是$n$代理系统中拜占庭故障代理的最大数量，其中$f < n$。P2P分布式优化中的大多数现有容错工作仅考虑近似容错，其中，与$f$弹性不同，所有非故障代理计算其成本函数的非均匀加权聚合的最小点。我们提出了一个容错机制，赋予可证明的$f$ -弹性的P2P分布式梯度下降方法，提供了非故障代理满足必要条件的$2f$ -冗余，稍后在本文中定义。此外，与以前的工作相比，我们的算法是适用于更大的一类高维凸分布优化问题。
2021-01-28 cs.DC
Transparent Checkpointing for OpenGL Applications on GPUs
这项工作提出了OpenGL应用程序的透明检查点，改进了基于GPU的3D图形应用程序的分割处理技术[1]。分裂进程技术早期应用于MPI和CUDA程序的检查点，允许重新初始化驱动程序库。所提出的设计目标是OpenGL应用程序的实用的、与检查点包无关的检查点。早期原型在Autodesk Maya上演示。Maya是一个复杂的专有媒体创建软件套件，用于CGI（计算机生成动画）的大规模渲染硬件。Maya的透明检查点提供了急需的容错，因为当艺术家使用其某些前沿组件时，Maya很容易崩溃。然后，艺术家们在重新创造复杂的环境中损失了数小时的工作。
2021-08-01 cs.DC
SplitBFT: Improving Byzantine Fault Tolerance Safety Using Trusted Compartments
部分同步系统中的拜占庭容错协议（Byzantine Fault Tolerant Agreement，BFT）通常要求3f + 1个节点容忍f个错误副本。由于其高吞吐量和终结性属性，BFT算法构建了最近许可区块链的核心。作为一个复杂且需要资源的基础设施，多家云提供商已经开始提供区块链即服务。这简化了许可区块链的部署，但将云提供商置于中央控制位置，从而质疑区块链的容错和去中心化特性及其底层BFT算法。本文介绍了SplitBFT，这是一种利用可信执行技术（TEE）（如英特尔SGX）来加强BFT系统的安全性和机密性保证的新方法，从而加强了对许可区块链基于云的部署的信任。与标准假设不同，SplitBFT承认受可信执行保护的代码可能会失败。我们通过将BFT协议的核心逻辑拆分和隔离到多个隔间中来解决这个问题，从而形成更具弹性的架构。我们将SplitBFT应用到传统的实用拜占庭容错算法（PBFT）中，并使用SGX对其进行评估。我们的研究结果表明，SplitBFT只增加了一个合理的开销相比，非划分的变体。
2022-05-24 cs.DC
Randomized Reactive Redundancy for Byzantine Fault-Tolerance in Parallelized Learning
本文研究了基于并行随机梯度下降（parallelized-SGD）算法的同步并行学习中的拜占庭容错问题。该系统包括主设备和$n$工作设备，其中多达$f$的工作设备是拜占庭故障的。拜占庭工人不需要正确地遵循主人的指令，并且可能发送恶意的不正确（或错误）信息。拜占庭工人的身份在整个学习过程中保持不变，并且先验地不为大师所知。我们提出了两种编码方案，一个确定性的计划和一个随机化的计划，保证确切的容错，如果$2f < n$。编码方案使用反应性冗余的概念来隔离最终发送错误信息的拜占庭工人。我们注意到，该计划的计算效率与其他（确定性或随机）编码方案相比，准确的容错。
2019-12-19 cs.DC cs.LG
BigBFT: A Multileader Byzantine Fault Tolerance Protocol for High Throughput
本文描述了BigBFT，一种多领导者拜占庭容错协议，可在区块链系统中实现高吞吐量和可扩展的共识。BigBFT通过以下方式实现这一点：（1）使每个节点成为可以并行提议和排序块的领导者，（2）在轮内捎带投票，（3）跨轮流水线块，以及（4）在常见情况下仅使用两个通信步骤来排序块。BigBFT在$n$请求上的分摊通信成本为$O(n)$。我们评估BigBFT的性能分析，使用背面的信封负载公式来构建成本分析，并通过在我们的PaxiBFT框架中实现它的经验。我们的评估比较了BigBFT与PBFT，Tendermint，Streamlet和Hotstuff在各种工作负载下使用4到20个节点的部署。我们的研究结果表明，BigBFT优于PBFT，Tendermint，Streamlet和Hotstuff协议，无论是在延迟方面（高达$70\%$）还是在吞吐量方面（高达$190\%$）。
2021-10-12 cs.DC
Efficient Byzantine Fault Tolerance using Trusted Execution Environment: Preventing Equivocation is only the Beginning
随着区块链的快速发展，拜占庭容错协议最近引起了人们的兴趣。为了克服拜占庭容错的理论界限，许多协议试图使用可信执行环境（TEE）来防止歧义，提高性能和可扩展性。然而，由于副本数量的减少导致的仲裁相交假设被打破，这种改进主要是以增加通信复杂性为代价的，这阻止了现有的基于TEE的协议被应用于大规模区块链系统。在本文中，我们提出了TBFT，一个有效的拜占庭容错协议在部分同步设置，它具有O（n）的消息复杂度在正常情况下和视图改变。与以往的协议相比，TBFT使用TEE辅助原语来限制副本的更多类型的恶意行为，而不仅仅是防止歧义，从而降低了客户端和副本的延迟和通信复杂性。此外，我们还引入了轻量级的密码原语，包括一个新的领导选举机制和一个有效的投票消息聚合机制，以提高安全性和性能。通过系统的分析和实验对TBFT进行了评估，结果表明TBFT具有较好的性能和可扩展性。
2021-07-06 cs.DC
Byzantine Fault Tolerance in Distributed Machine Learning : a Survey
拜占庭容错（Byzantine Fault Tolerance，BFT）是分布式机器学习（Distributed Machine Learning，DML）中最具挑战性的问题之一，其定义为容错系统在恶意组件存在的情况下的恢复能力。拜占庭故障仍然很难处理，因为它们的不受限制的性质，这导致生成任意数据的可能性。在DML中实现BFT的研究工作一直在进行。最近的一些研究考虑了DML中的各种BFT方法。然而，有些方面是有限的，如少数的方法分析，并没有分类的技术中使用的研究方法。在本文中，我们提出了一个调查的最新工作围绕BFT在DML，主要是在一阶优化方法，特别是随机梯度下降（SGD）。我们强调关键技术以及基本方法。我们提供了一个说明性的描述中使用的技术在DML的BFT，BFT方法的基本技术的背景下，提出了一个分类。这种分类是建立在特定的标准，如通信过程，优化方法和拓扑结构设置，这些标准表征了未来应对开放挑战的工作方法
2022-12-04 cs.DC
Self-Stabilization and Byzantine Tolerance for Maximal Independent Set
我们分析了一般网络中瞬时故障和拜占庭故障对最大独立集构造的影响。我们采用Turau \cite{turau2007linear}提出的自稳定算法来计算这样的顶点集。我们的算法是自稳定的，也适用于更困难的情况下，任意拜占庭故障。拜占庭节点可以阻止靠近它们的节点在任意长的时间内参与独立集。我们通过关注所有节点的集合来确定它们的影响范围，这些节点不包括距离为1或更小的拜占庭节点，也不包括距离为2的一些节点。据我们所知，我们提出了第一个算法容忍下公平分布式守护进程的瞬态和拜占庭故障。我们证明了该算法在$ \mathcal O(Δn)$轮内收敛，其中$n$和$Δ$分别是网络的大小和最大度。此外，我们提出了一个修改后的版本，该算法的匿名系统下的对抗分布式守护进程收敛在$ \mathcal O(n^{2})$预期的步骤数。
2021-11-16 cs.DC
Availability Evaluation of IoT Systems with Byzantine Fault-Tolerance for Mission-critical Applications
本研究针对关键任务物联网系统，提出基于连续时间马尔可夫链的拜占庭容错可用性分析模型，发现可用性与节点数成反比，且故障率与修复率之比增强此关系。
2023-06-27 cs.DC
Hamster: A Fast Synchronous Byzantine Fault Tolerance Protocol
Hamster协议利用编码技术降低通信复杂度并提升同步拜占庭容错性能，在吞吐量和延迟上优于Sync HotStuff，且对同步性依赖更弱。
2024-09-29 cs.DC
Enhancing Byzantine fault tolerance using MD5 checksum and delay variation in Cloud services
云计算管理超出了典型的人类叙述。然而，如果虚拟系统没有有效地设计为容忍拜占庭故障，它可能会导致错误执行任务，而不是云崩溃。云计算可以从崩溃中恢复过来，但无法从信誉的损失中恢复过来。此外，除非虚拟系统被设计为检测、容忍和消除这样的故障，否则在面对拜占庭故障时，没有任何数量的复制或故障处理措施是有帮助的。然而，研究工作，以解决拜占庭故障并没有提供令人信服的解决方案，极大地由于他们的能力有限，在检测拜占庭故障。因此，本文将云系统建模为离散系统，以确定虚拟系统在不同时间间隔的行为。作为与虚拟节点相关联的预期处理延迟的偏差的度量的延迟变化变量从P {低、正常、高、极端}的集合中取值。类似地，甚至针对没有附接到TCP/IP栈的内部节点计算的校验和误差变量从P {no error，error}的集合中取值。然后，这些条件由故障事件的发生来表示，这些故障事件导致特定组件模式从故障安全转换到故障停止或拜占庭倾向。
2018-01-26 cs.DC
Alea-BFT: Practical Asynchronous Byzantine Fault Tolerance
传统的拜占庭容错（Byzantine Fault Tolerance，BFT）状态机复制协议假定部分同步模型，从而导致领导者副本驱动协议并且在超时之后被替换的设计。最近，我们目睹了异步BFT协议的激增，这些协议使用随机化来消除对消息传递时间界限的假设，使它们对不利的网络条件更具弹性。然而，这些协议由于其立方通信成本、使用昂贵的原语和整体协议复杂性，在广泛的场景中仍然不实用。在本文中，我们提出了Alea-BFT，第一个异步BFT协议，以实现二次通信复杂性，使其能够扩展到大型网络。Alea-BFT带来了经典协议的关键设计见解，将部分工作集中在单个指定副本上，并将此原则纳入两阶段流水线设计中，由指定副本领导的高效广播，然后是廉价的二进制协议。我们在4大洲的10个站点上评估了我们的原型实现，我们的结果表明，所提出的设计具有显著的可扩展性。
2022-02-04 cs.DC
Self-Stabilization, Byzantine Containment, and Maximizable Metrics: Necessary Conditions
自稳定是一种通用的容错方法，因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性，它允许处理任意恶意行为。我们认为，在这种情况下，构建一个最大度量树的著名问题。将这两个属性结合起来会导致一些不可能的结果。在本文中，我们提供了两个必要条件，构建最大度量树存在瞬态和（永久）拜占庭故障。
2011-03-17 cs.DC
Formal Verification of Blockchain Byzantine Fault Tolerance
为了实现区块链，现在的趋势是集成一个非平凡的拜占庭容错共识算法，而不是等待接收块来决定最长分支的开创性想法。经过十年的存在，区块链现在交易大量有价值的资产，一个简单的分歧可能导致灾难性的损失。不幸的是，区块链中使用的拜占庭共识解决方案最多只能“手工”证明是正确的，因为我们不知道它们中的任何一个已经过正式验证。在本文中，我们提出了两个贡献：（i）我们通过列出区块链共识的六个漏洞来说明问题的严重性，包括两个新的反例;（ii）然后我们使用ByMC模型检查器正式验证了Red Belly Blockchain的两个拜占庭容错组件。首先，我们在116行代码中指定一个简单的广播原语，该原语在双核Intel机器上在40秒内得到验证。然后，我们在276行代码中指定了一个区块链共识算法，并使用MPI在64核AMD机器上在17分钟内进行了验证。最后，我们认为，现在正式验证区块链共识协议的正确性变得相对简单和重要。
2019-10-14 cs.DC
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机，容错和功耗是高性能计算（HPC）社区预期的两个主要挑战。检查点/重启（Checkpoint/Restart，CR）一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面，但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT（检查点重新启动和自动容错），它有两个目的的实现。首先，它提供了一个可扩展的库，大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分，可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销，该库提供了一个内置的异步检查点机制，并且还支持用于节点级检查点的可扩展检查点/重启（SCR）库。其次，CRAFT为基于用户级故障缓解（ULFM）的动态进程恢复提供了一个更简单的接口，大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能，应用程序可以编写应用程序级检查点，并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
Fault Tolerance for Remote Memory Access Programming Models
远程内存访问（RMA）是一种新兴的高性能计算机和嵌入式系统编程机制。然而，关于基于风险管理的应用程序和系统的复原力计划的工作很少。在本文中，我们分析了容错的RMA，并表明它是从根本上不同的弹性机制，针对消息传递（MP）模型。我们设计了一个模型的推理容错的RMA，解决平面和层次化的硬件。我们使用这个模型来构建几个高度可扩展的机制，提供高效的低开销的内存中的检查点，透明的远程内存访问日志记录，并透明恢复失败的进程的计划。我们的协议考虑到每个核心的内存减少量，这是未来艾级机器的主要特征之一。我们的容错方案的实施需要微不足道的额外开销。我们的可靠性模型表明，内存中的检查点和日志记录提供了高弹性。该研究为RMA提供了高度可扩展的弹性机制，填补了容错和新兴RMA编程模型之间的研究空白。
2020-10-18 cs.DC
Maximum Metric Spanning Tree made Byzantine Tolerant
自稳定是一种通用的容错方法，因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性，它允许处理任意恶意行为。本文重点研究的系统是自稳定和拜占庭宽容。我们认为，在这种情况下，构建一个最大度量树的著名问题。已知将这两个性质结合会导致许多不可能的结果。在本文中，我们提供了关于在存在瞬时和（永久）拜占庭故障的情况下构建最大度量树的前两个不可能性结果。然后，我们提供了一个新的自稳定协议，提供了任意数量的拜占庭故障的最佳遏制。
2011-04-28 cs.DC
DuoBFT: Resilience vs. Performance Trade-off in Byzantine Fault Tolerance
本文提出了DuoBFT，拜占庭容错协议，使用可信组件提供提交决策的混合故障模型，除了提交决策的BFT模型。通过这样做，它使客户端能够为其命令选择响应故障模型。在内部，DuoBFT在混合模型和拜占庭模型下提交每个客户端命令，但由于混合提交比BFT提交需要更少的通信步骤，并且使用更小的法定人数，因此客户端可以从混合模型中的低延迟提交中受益。DuoBFT使用通用的视图更改协议来处理两种故障模型。为了实现这一目标，我们启用了一个概念，称为灵活的法定人数在混合故障模型中，通过重新审视混合协议中的法定人数交集要求。灵活的法定人数技术使得能够具有与BFT视图改变法定人数相同大小的混合视图改变法定人数。这为在单个统一协议中有效地组合两种故障模型铺平了道路。我们对广域部署的评估表明，DuoBFT可以在不牺牲吞吐量的情况下提供比现有协议低30%延迟的混合提交。就绝对值而言，DuoBFT在地理上复制的部署中提供低于200毫秒的延迟。
2022-02-08 cs.DC
Self-stabilization and Byzantine Tolerance for Maximal Independent Set
LISN-CNRS, Université Paris-Saclay（巴黎萨克雷大学 LISN-CNRS）；LI-PaRAD, UVSQ, Université Paris-Saclay（巴黎萨克雷大学 LI-PaRAD UVSQ）
本文提出首个在公平分布式守护进程下同时容忍瞬态故障和拜占庭故障的最大独立集自稳定算法，并给出其收敛上界及匿名系统下的改进版本。
2026-11-11 cs.DC
On Byzantine Containment Properties of the $min+1$ Protocol
自稳定是一种通用的容错方法，因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性，它允许处理任意恶意行为。我们认为，在这种情况下，众所周知的问题，构建一个广度优先的生成树。结合这两个属性证明是困难的：我们证明，这是不可能包含拜占庭节点的影响，在严格或强烈稳定的方式。然后，我们采用较弱的方案的拓扑意识严格稳定，我们提出了一个类似的削弱强稳定。我们证明了经典的$min+1$协议具有最佳的拜占庭包容性的这些标准。
2010-05-28 cs.DC
Probabilistic Byzantine Fault Tolerance (Extended Version)
本文提出概率拜占庭容错协议 ProBFT，在部分同步许可系统中以 O(n√n) 消息复杂度和最优通信步数实现高概率安全性与活性，显著降低通信开销。
2024-06-11 cs.DC
Egalitarian Byzantine Fault Tolerance
最大限度地减少地理复制系统中的端到端延迟通常需要在弹性，资源效率或吞吐量性能方面做出妥协，因为现有方法要么只能容忍崩溃，要么需要额外的副本，要么依赖于全球领导者达成共识。在本文中，我们消除了这种权衡的需要，提出ISO，一个无领导的复制协议，容忍$f$拜占庭故障与最低限度的$3f+1$副本。为了减少广域环境中的延迟，Isos依赖于一种高效的共识算法，该算法允许所有参与的副本提出新的请求，从而使客户端能够通过向最近的副本提交请求来避免延迟。此外，Isos通过将消息排序限制到彼此冲突的请求（例如，由于访问相同的状态部分），并且如果至少$f+1$副本报告每个冲突，则在三个通信步骤之后已经提交它们。我们对地理复制键值存储的实验评估表明，这些属性允许ISO提供比现有协议更低的端到端延迟，特别是对于系统客户端分布在多个位置的用例场景。
2021-09-14 cs.DC
The Impact of Topology on Byzantine Containment in Stabilization
自稳定是一种通用的容错方法，因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个重要特性，它允许系统处理任意恶意行为。我们认为，在这种情况下，构建一个最大度量树的著名问题。结合这两个属性证明是困难的：我们证明，这是不可能包含拜占庭节点的影响，在一个自稳定的上下文中的最大度量树的建设（严格稳定）。我们提出了一个较弱的遏制计划称为拓扑感知的严格稳定，并提出了一个协议，用于计算最大度量树，这是最佳的这个计划方面的不可能性的结果。
2010-05-07 cs.DC
Reinit++: Evaluating the Performance of Global-Restart Recovery Methods For MPI Fault Tolerance
由于硬件组件数量的增加，扩展超级计算机的故障率也随之增加。在标准实践中，通过设置检查点数据并在发生故障后重新启动执行以从最新检查点恢复，使应用程序具有弹性。但是，重新部署应用程序会导致系统开销，因为它会拆除和重新启动执行，并可能限制从慢速永久存储中进行检查点检索。在本文中，我们提出了Reinit++，一个新的设计和实现的Reinit方法的全局重启恢复，避免应用程序重新部署。我们广泛地评估了Reinit++与ULFM的领先MPI容错方法的对比，实现全局重启恢复，以及重启应用程序的典型实践，以获得对性能的新见解。对三种不同的HPC代理应用程序进行的实验表明，Reinit++的恢复速度比重新启动快得多，最高可达6倍，或者ULFM，最高可达3倍，并且随着MPI进程数量的增加，它可以出色地扩展。
2021-02-13 cs.DC
On Byzantine Fault Tolerance in Multi-Master Kubernertes Clusters
Docker容器虚拟化技术以其轻量级、高效的特点在云计算环境中得到了广泛的应用。但是，它需要通过协调器进行充分的控制和管理。因此，云提供商正在采用开放访问的Kubernetes平台作为容器化应用程序的标准编排器。为了确保应用程序在Kubernetes中的可用性，后者使用了Raft协议的复制机制。尽管它很简单，但Raft假设机器只有在关机时才会失败。这种故障事件很少是机器故障的唯一原因。事实上，软件错误或恶意攻击可能会导致机器表现出拜占庭（即随机）行为，从而破坏复制协议的准确性和可用性。在本文中，我们提出了一个Kubernetes多主健壮（KmMR）平台来克服这一限制。KmMR基于BFT-SMaRt容错复制协议到Kubernetes环境中的适应和集成。与Raft协议不同，BFT-SMaRt对拜占庭和非拜占庭故障都有抵抗力。实验结果表明，KmMR是能够保证服务的连续性，即使在容忍的故障总数超过。此外，在这种情况下，KmMR平均提供的共识时间比传统平台（具有Raft）短1000倍。最后，我们表明，KmMR产生一个小的额外成本，在资源消耗方面相比，传统的平台。
2020-04-11 cs.DC
Approximate Byzantine Fault-Tolerance in Distributed Optimization
针对分布式优化中的拜占庭故障，本文提出 (f,ε)-弹性近似容错概念，给出其充要条件，并分析可微代价下鲁棒梯度聚合分布式梯度下降的条件。
2024-05-21 cs.DC
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分，因为用户越来越依赖于它们提供快速访问新结果的能力。因此，根据这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性，静态配置通常不能以低开销满足服务质量约束。在本文中，我们提出了Khaos，一种新的方法，它利用虚拟云自动化技术的并行处理功能，用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段，借用混沌工程的原则：建立稳定状态的处理条件，进行实验，以更好地了解系统如何执行故障，并使用这些知识，不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型，并通过实验证明了它的有用性。
2023-01-26 cs.DC
The Bedrock of Byzantine Fault Tolerance: A Unified Platform for BFT Protocol Design and Implementation
拜占庭容错（Byzantine Fault-Tolerant，BFT）协议最近被具有不可信基础设施的分散式数据管理系统广泛使用，许可的区块链。BFT协议涵盖了广泛的设计维度，从基础设施设置（如通信拓扑）到更多的技术特征（如承诺策略），甚至是基本的社会选择属性（如订单公平性）。不同BFT协议的激增使得难以浏览BFT景观，更不用说确定最能满足应用需求的协议了。本文介绍了一个用于BFT协议设计、分析、实现和实验的统一平台Bedrock。Bedrock提出了一个设计空间，由一组设计选择组成，这些设计选择捕获了不同设计空间维度之间的权衡，并为BFT协议的优势和劣势提供了全新的见解。Bedrock使用户能够在合理选择的空间内分析和实验BFT协议，改进当前协议以设计新协议，甚至发现以前未知的协议。我们的实验结果表明，基岩统一评估BFT协议的能力，在新的方式是不可能的，因为这些协议所作的各种假设。结果验证了基岩的能力，分析和推导BFT协议。
2022-08-03 cs.DC
Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy
EPFL（洛桑联邦理工学院）；Virginia Tech（弗吉尼亚理工大学）；Georgetown University（乔治城大学）
我们考虑联邦机器学习中的拜占庭容错问题。在这个问题中，该系统包括多个代理，每个代理具有本地数据，以及可信的集中式协调器。在无故障设置中，代理与协调员合作，以找到一个最小的聚合的本地成本函数定义在他们的本地数据。我们考虑的情况下，一些代理（$f$出$N$）是拜占庭故障。这样的代理不需要正确地遵循规定的算法，并且可以将任意的不正确的信息传递给协调器。在拜占庭代理人的存在下，一个更合理的目标，为非故障代理人是找到一个最小的总成本函数只有非故障代理人。这个特定的目标通常被称为精确容错。最近的工作表明，精确的容错是可以实现的，如果只有当非故障代理满足属性的$2f$ -冗余。现在，在此属性下，已知的技术赋予精确的容错的经典随机梯度下降（SGD）算法的分布式实现。然而，我们不知道联邦本地SGD算法的任何此类技术-联邦机器学习更常用的方法。为了解决这个问题，我们提出了一种新的技术命名为比较消除（CE）。我们表明，在$2f$冗余下，联邦本地SGD算法与CE确实可以获得精确的容错在确定性设置时，非故障代理可以准确地计算其本地成本函数的梯度。在一般的随机情况下，当代理只能计算无偏噪声估计的局部梯度，我们的算法实现了近似容错近似误差成正比的方差的随机梯度和拜占庭代理的分数。
2021-08-26 cs.DC cs.LG
Imitater: An Efficient Shared Mempool Protocol with Application to Byzantine Fault Tolerance
本文提出共享内存池协议Imitater，通过微块链接与编码技术实现完整性和可用性，并集成到HotStuff中形成Imitater-HS，在故障节点存在时相比Stratus-HS实现更高吞吐量和更低延迟。
2025-04-14 cs.DC
Byzantine Fault-Tolerance in Decentralized Optimization under Minimal Redundancy
研究了多智能体分散优化中的拜占庭容错问题。在这个问题中，每个代理都有一个局部成本函数。分散优化算法的目标是允许代理合作计算其总成本函数的公共最小点。我们考虑的情况下，一定数量的代理可能是拜占庭式的故障。这种错误的代理可能不遵循规定的算法，并且他们可能与其他非错误代理共享任意或不正确的信息。这种拜占庭代理的存在使得典型的分散式优化算法无效。我们提出了一个分散的优化算法与可证明的精确容错对有限数量的拜占庭代理，提供了非故障代理有一个最小的冗余。
2020-09-30 cs.DC cs.MA cs.SY
Strengthened Fault Tolerance in Byzantine Fault Tolerant Replication
拜占庭容错（BFT）状态机复制（SMR）是构建许可区块链系统的重要构建块。与Nakamoto Consensus相比，任何区块都可以在区块链中获得更高的保证，在BFT SMR中，任何提交的区块都是安全的，具有固定的弹性阈值。在本文中，我们研究加强容错（SFT）在BFT SMR部分同步下，它提供了逐渐增加的弹性保证（如中本共识）在一个乐观的时期，当网络同步和拜占庭故障的数量是小的。此外，即使在乐观期之后，已提交的块也可以容忍超过三分之一（高达三分之二）的腐败。与需要二次消息复杂度的现有最佳解决方案灵活BFT相比，我们的解决方案保持了最先进的BFT SMR协议的线性消息复杂度，并且只需要边际簿记开销。我们实现了我们的解决方案在开源的Diem项目，并给出实验结果，证明其效率在现实世界的情况下。
2021-01-11 cs.CR cs.DC
Bounding the Impact of Unbounded Attacks in Stabilization
自稳定是一种通用的容错方法，因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性，它允许处理任意恶意行为。结合这两个属性被证明是困难的：它是不可能包含拜占庭节点的空间影响，在一个自我稳定的上下文中的全局任务，如树的方向和树的建设。我们提出并说明了一个新的概念拜占庭遏制稳定。我们的属性，称为强稳定，能够包含拜占庭节点的影响，如果他们实际上执行太多的拜占庭动作。我们推导出不可能的结果，强稳定，并提出了强稳定的协议，树的方向和树的建设是最佳的拜占庭节点的数量，可以容忍在一个自稳定的上下文中。
2011-02-10 cs.DC
ECRM: Efficient Fault Tolerance for Recommendation Model Training via Erasure Coding
Facebook；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的推荐模型（DLRM）被广泛部署，以向用户提供个性化内容。DLRM由于使用大型嵌入表而尺寸很大，并且通过将模型分布在数十或数百台服务器的内存中进行训练。服务器故障在这样的大型分布式系统中是常见的，并且必须减轻以使培训能够进行。检查点设置是这些系统中用于容错的主要方法，但是在正常操作期间和从故障恢复时都引起显著的训练时间开销。随着这些开销随着DLRM大小的增加而增加，检查点将成为未来DLRM的更大开销，预计DLRM的大小将增加。这就需要重新思考DLRM培训中的容错。我们提出了ECRM，DLRM训练系统，实现高效的容错使用纠删编码。ECRM选择要编码的DLRM参数，正确有效地更新奇偶校验，并使训练能够在没有任何暂停的情况下进行，同时保持恢复参数的一致性。我们在XDL上实现ECRM，XDL是一个开源的工业规模DLRM培训系统。与检查点相比，ECRM将大型DLRM的训练时间开销减少了88%，从故障中恢复的速度快了10.3 $\times$，并允许在恢复期间继续进行训练。这些结果表明，擦除编码的承诺，赋予有效的容错训练当前和未来的DLRM。
2021-04-05 cs.DC cs.LG
On the Byzantine-Fault-Tolerant Consensus for Blockchain among Connected Vehicles
在共识过程中能否保证拜占庭容错（Byzantine fault tolerance，BFT）是区块链系统的关键问题。当车辆保持移动时，互联车辆（CV）能否实现BFT共识？本文试图回答这一基本问题。它侧重于描述流动性对简历中BFT共识性能的影响。
2021-12-25 cs.DC
Alea-BFT: Practical Asynchronous Byzantine Fault Tolerance
Alea-BFT提出一种简单高效的异步BFT协议，通过指定副本集中工作与两阶段流水线设计，在以太坊分布式验证者中实际应用，性能优于Dumbo-NG。
2024-07-14 cs.DC
Optimizing View Change for Byzantine Fault Tolerance in Parallel Consensus
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出基于混合整数规划的视图变更优化模型，通过优化领导者选择和跟随者重新分配，提升并行BFT在高并发和故障情况下的性能。
2026-01-14 cs.DC
On the Practicality of `Practical' Byzantine Fault Tolerance
拜占庭容错（Byzantine Fault Tolerant，BFT）系统被系统研究界认为是在分布式系统中提供可靠性方面的最新技术。BFT系统在一组节点中提供安全性和活性保证，其中最多f个节点显示任意不正确的行为，称为拜占庭故障。尽管如此，BFT系统在实践中仍然很少使用。在本文中，我们描述了我们的经验，从应用程序开发人员的角度来看，试图利用公开的和高度调整的PBFT中间件（卡斯特罗和Liskov），提供可证明的可靠性保证的电子投票应用程序的高安全性和鲁棒性的需求。我们描述了我们遇到的几个障碍和我们在PBFT方法中发现的缺点。其中包括我们解决的一些问题，例如缺乏对动态客户端管理的支持，以及将状态管理完全留给应用程序。其他仍然存在的问题包括缺乏对非确定性的鲁棒处理，缺乏对基于Web的应用程序的支持，缺乏对更强大的加密原语的支持等等。我们发现，虽然许多障碍可以克服与修订的BFT中间件的实施，是专门针对特定应用程序的需求进行调整，他们需要大量的工程工作和时间，其性能的影响，最终应用程序是不清楚的。因此，应用程序开发人员不太可能愿意投入时间和精力来利用BFT方法。我们的结论是，研究界需要专注于BFT算法的可用性为现实世界的应用程序，从最终开发人员的角度来看，除了继续提高BFT中间件的性能，鲁棒性和部署布局。
2011-10-21 cs.DC
Improved Connectivity Condition for Byzantine Fault Tolerance
给定一个网络，其中一些节点对可以自由通信，而一些节点的子集可能会出现故障并合谋破坏通信，什么时候消息可以可靠地从一个给定的节点发送到另一个节点？我们给出了一个新的表征时，协议问题可以解决，并提供了一个协议算法，可以达到协议时，沿每个最小顶点割的拜占庭节点的数量是有界的。我们的新界限比以前已知的界限严格的情况下的超集。我们证明了新的界是紧的。此外，我们表明，该算法不需要知道的图形结构的过程，因为以前已知的算法。最后，我们探讨了一些情况下，我们可以达成协议，如果我们假设个别节点或整个子图是值得信赖的。
2015-03-10 cs.DC cs.DS
Construction auto-stabilisante d'arbre couvrant en dépit d'actions malicieuses
根据定义，自稳定协议提供对瞬时故障的容忍。最近，出现了一类新的自稳定协议。这些协议还提供了对给定数量的永久故障的容忍度。在这篇文章中，我们感兴趣的是处理拜占庭式故障的自稳定协议。我们证明了，对于一些不允许严格稳定化的问题（见[Nesterenko，Arora，2002]），如果我们定义一个新的容忍标准，存在容忍拜占庭故障的解决方案。
2010-04-29 cs.DC
Vault: Decentralized Storage Made Durable
National University of Singapore（新加坡国立大学）
Vault通过基于采样的数据放置策略和可验证随机性，实现去中心化存储网络在存储规模、链上开销和拜占庭容忍度的同步扩展。
2026-04-06 cs.DC
Flexible Byzantine Fault Tolerance
本文介绍了灵活的BFT，围绕两个支柱，更强的弹性和多样性的BFT共识解决方案设计的新方法。第一个支柱，更强的弹性，涉及一个新的断层模型，称为活的，但腐败的断层。存活但损坏的副本可以任意地偏离协议以试图破坏协议的安全性。但是，如果它们不能破坏安全性，它们就不会试图阻止协议的活动性。将活跃但损坏的故障组合到模型中，Flexible BFT比纯拜占庭故障模型更能适应更高的损坏级别。第二个支柱，多样性，设计共识解决方案，其协议记录用于在不同的信念下绘制不同的提交决策。通过这种分离，相同的灵活BFT解决方案支持同步和异步信念，以及拜占庭和存活但损坏的故障的不同弹性阈值组合。在技术层面上，Flexible BFT使用两个新想法实现了上述结果。首先，它介绍了一个同步BFT协议，其中只有提交步骤需要知道网络延迟的界限，因此副本执行协议没有任何同步的假设。其次，它引入了一个概念，称为灵活的拜占庭法定人数解剖不同的法定人数在现有的共识协议中的作用。
2019-05-30 cs.CR cs.DC
System-level Scalable Checkpoint-Restart for Petascale Computing
对于即将到来的兆兆级的容错一直是一个活跃的研究领域。容错策略的组成部分之一是检查点。Petascale级别的检查点是通过一种新的机制来演示的，该机制用于虚拟化InfiniBand UD（不可靠数据报）模式，并用于在每个基于UD的发送上更新远程地址，因为缺乏固定的对等体。请注意，需要InfiniBand UD来支持现代MPI实现。从目前的结果到未来的SSD存储系统的外推提供了证据，目前的方法将保持实用的艾级一代。这种透明的检查点方法使用DMTCP检查点包的框架进行评估。结果显示为HPCG（线性代数），NAMD（分子动力学），和NAS NPB基准。在32，752个CPU内核上测试了多达32，752个MPI进程，演示了在11分钟内使用38 TB内存占用进行计算的检查点操作。将系统开销降低到1%以下。该方法还评估了三个广泛使用的MPI实现。
2016-09-24 cs.DC cs.OS
Two-Fold Byzantine Fault Tolerance Algorithm: Byzantine Consensus in Blockchain
针对区块链中拜占庭故障检测受故障节点数量限制的问题，提出一种受社会范式启发的双重拜占庭容错算法，通过受信任且完全受监控的通信子过程检测拜占庭节点，检测概率超过95%。
2025-04-22 cs.DC cs.NI
FailBench: Evaluating Fault Tolerance Across Distributed Training Architectures
Oakland University（奥克兰大学）
FailBench提出统一评估框架，覆盖七种分布式训练架构和八种容错机制，在8xV100集群上评估142种组合，发现无普遍最优机制，机制成本依赖架构，并发布决策框架与开源工件。
2026-10-07 cs.DC
Scalable Byzantine Fault Tolerance via Partial Decentralization
拜占庭共识是许多许可区块链和分布式账本的关键组成部分。我们提出了一个新的范例，设计BFT协议称为DQBFT，解决了三个主要的性能和可扩展性的挑战，困扰过去的协议：（i）高通信成本，以达到地理分布的协议，（ii）不均匀的资源利用率阻碍性能，（iii）性能下降，在不同的节点和网络条件和高竞争的工作负载。具体来说，DQBFT将共识分为两个部分：1）没有全局顺序的持久命令复制，以及2）跨所有副本的命令的一致全局顺序。DQBFT通过分散复制命令的繁重任务，同时集中订购过程来实现这一点。在新的范式下，我们开发了一个新的协议，命运，使用三种技术的组合，以实现高性能和可扩展性：使用一个可信的子系统，以减少共识的仲裁大小，使用阈值签名，以达到线性通信成本，减少客户端通信。我们对300个副本的地理分布部署的评估表明，DQBFT协议实现了优于现有技术的显著性能增益：$\approx$ 3倍更好的吞吐量和$\approx$ 50%更好的延迟。
2022-02-27 cs.DB cs.DC
The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure
研究智能基础设施中因推理错误导致的诚实仲裁问题，定义认知拜占庭容错（EBFT）模型，用两个量增强传统拜占庭故障界限，推导相关仲裁阈值条件及校准方法，指出添加代理提高容错的条件。
2026-07-20 cs.DC cs.LG cs.MA
A Formally Verified Protocol for Log Replication with Byzantine Fault Tolerance
拜占庭容错协议允许在存在崩溃、故障或活跃恶意进程的情况下进行状态复制。然而，在没有验证工具的帮助下设计这样的协议非常容易出错。在对抗性环境中，性能和灵活性是以复杂性为代价的，这使得现有协议的验证非常困难。我们采取了不同的方法，并提出了一个正式验证的共识协议，专为一个特定的用例：安全日志。我们的协议允许每个节点提出条目在一个并行的子程序，并保证正确的节点同意所有建议的条目，没有领导人选举。它既简单又实用，因为它可以适应证书透明性等日志系统的工作负载。我们表明，它是最优的要求轮和容许故障。使用Isabelle/HOL，我们提供了一个基于Heard-Of模型的完全机器检查的安全证明，我们扩展了该模型以支持签名。我们还提出并评估了一个原型实现。
2020-09-22 cs.CR cs.DC
Byzantine Fault Tolerance of Regenerating Codes
近年来，出现了大量为网络存储系统定制的编码技术。在这些新时代的以存储为中心的编码中，网络编码启发的再生码是最多产的研究。已经投入了大量的努力来理解存储和带宽使用的基本可实现的权衡，以在存在不同故障模型的情况下保持冗余，展示了相对于传统纠删编码技术的重新生成代码的功效。然而，为了在开放和对抗性环境中的实际可用性，正如在对等系统中的典型情况一样，我们不仅需要对擦除的弹性，而且还需要对（对抗性）错误的弹性。在本文中，我们研究了广义再生码（支持多修复，使用新人之间的合作）在两类拜占庭节点，相对良性的自私（非合作）的节点，以及更积极的，恶意的污染节点的存在下的弹性。我们给出了再生代码的弹性能力的上限，并表明协作修复的优势，可以变成有害的拜占庭节点的存在。我们进一步展示了系统机制可以与再生代码相结合，以减轻流氓节点的影响。
2011-06-12 cs.CR cs.DC
XFT: Practical Fault Tolerance Beyond Crashes
尽管经过多年的深入研究，拜占庭容错（BFT）系统尚未在实践中采用。这是由于与崩溃容错（CFT）相比，BFT在资源、协议复杂性和性能方面的额外成本。BFT的这种开销来自于这样的假设：强大的对手不仅可以完全控制拜占庭式的故障机器，而且同时还可以完全控制整个网络的消息传递时间表，从而有效地诱导通信异步并随意划分其他正确的机器。然而，对许多从业者来说，这种强烈的攻击似乎无关紧要。在本文中，我们介绍了交叉容错或XFT，一种新的方法来建立可靠和安全的分布式系统，并将其应用到经典的状态机复制（SMR）问题。简而言之，XFT SMR协议提供了广泛使用的异步CFT SMR协议（如Paxos和Raft）的可靠性保证，但也容忍拜占庭故障与网络冗余的组合，只要大多数副本是正确的并同步通信。这允许以CFT的价格（在实践中已经支付）开发XFT系统，但具有比CFT更强的弹性-有时甚至比BFT本身更强。作为XFT的展示，我们展示了第一个XFT SMR协议XPaxos，并将其部署在地理复制设置中。虽然它在没有额外资源成本的情况下提供了比CFT SMR更强的弹性，但XPaxos的性能与最先进的CFT协议相匹配。
2016-11-08 cs.DC
Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
针对联邦强化学习缺乏容错保证或依赖中心节点的问题，提出首个去中心化拜占庭容错策略梯度算法，结合鲁棒聚合与弹性协议消除中心依赖，并验证其加速效果与抗攻击能力。
2024-01-07 cs.AI cs.DC cs.LG
