Scheduling and Checkpointing optimization algorithm for Byzantine fault tolerance in Cloud Clusters
在这些故障中,拜占庭故障对容错机制提出了严重的挑战,因为它通常在初始阶段未被检测到,并且它可以在进行检测之前容易地传播到其他VM。因此,一些关键任务应用程序,如空中交通管制,在线烘焙等,仍然远离云计算。但是,如果在初始阶段没有检测到拜占庭故障并容忍,那么尽管整个云计算执行了数小时的计算,但大数据分析等应用程序可能会完全出错。因此,在以前的工作已经提出了一个万无一失的拜占庭故障检测,作为延续,这项工作设计了一个调度算法(WSSS)和检查点优化算法(TCC)容忍和消除拜占庭故障之前,它造成的任何影响。WSSS算法跟踪服务器性能,这是虚拟群集的一部分,有助于将性能最佳的服务器分配给任务关键型应用程序。因此,WSSS根据一个计数器对服务器进行排名,该计数器监视每个虚拟节点(VN)的时间和性能故障。TCC算法通过监测延迟变化来概括可能的拜占庭错误倾向区域,以使用先前的检查点来启动新的VN。此外,它可以拉伸状态间隔执行和无错误的VN的效果,以最大限度地减少空间,时间和成本开销所造成的检查点。通过绘制状态转换和基于CloudSim的仿真进行分析。实验结果表明,TCC能成倍地减少容错开销,WSSS能有效地分配虚拟资源
2018-02-03 cs.DC
SplitBFT: Improving Byzantine Fault Tolerance Safety Using Trusted Compartments
部分同步系统中的拜占庭容错协议(Byzantine Fault Tolerant Agreement,BFT)通常要求3f + 1个节点容忍f个错误副本。由于其高吞吐量和终结性属性,BFT算法构建了最近许可区块链的核心。作为一个复杂且需要资源的基础设施,多家云提供商已经开始提供区块链即服务。这简化了许可区块链的部署,但将云提供商置于中央控制位置,从而质疑区块链的容错和去中心化特性及其底层BFT算法。本文介绍了SplitBFT,这是一种利用可信执行技术(TEE)(如英特尔SGX)来加强BFT系统的安全性和机密性保证的新方法,从而加强了对许可区块链基于云的部署的信任。与标准假设不同,SplitBFT承认受可信执行保护的代码可能会失败。我们通过将BFT协议的核心逻辑拆分和隔离到多个隔间中来解决这个问题,从而形成更具弹性的架构。我们将SplitBFT应用到传统的实用拜占庭容错算法(PBFT)中,并使用SGX对其进行评估。我们的研究结果表明,SplitBFT只增加了一个合理的开销相比,非划分的变体。
2022-05-24 cs.DC
Randomized Reactive Redundancy for Byzantine Fault-Tolerance in Parallelized Learning
本文研究了基于并行随机梯度下降(parallelized-SGD)算法的同步并行学习中的拜占庭容错问题。该系统包括主设备和$n$工作设备,其中多达$f$的工作设备是拜占庭故障的。拜占庭工人不需要正确地遵循主人的指令,并且可能发送恶意的不正确(或错误)信息。拜占庭工人的身份在整个学习过程中保持不变,并且先验地不为大师所知。我们提出了两种编码方案,一个确定性的计划和一个随机化的计划,保证确切的容错,如果$2f < n$。编码方案使用反应性冗余的概念来隔离最终发送错误信息的拜占庭工人。我们注意到,该计划的计算效率与其他(确定性或随机)编码方案相比,准确的容错。
2019-12-19 cs.DC cs.LG
BigBFT: A Multileader Byzantine Fault Tolerance Protocol for High Throughput
本文描述了BigBFT,一种多领导者拜占庭容错协议,可在区块链系统中实现高吞吐量和可扩展的共识。BigBFT通过以下方式实现这一点:(1)使每个节点成为可以并行提议和排序块的领导者,(2)在轮内捎带投票,(3)跨轮流水线块,以及(4)在常见情况下仅使用两个通信步骤来排序块。BigBFT在$n$请求上的分摊通信成本为$O(n)$。我们评估BigBFT的性能分析,使用背面的信封负载公式来构建成本分析,并通过在我们的PaxiBFT框架中实现它的经验。我们的评估比较了BigBFT与PBFT,Tendermint,Streamlet和Hotstuff在各种工作负载下使用4到20个节点的部署。我们的研究结果表明,BigBFT优于PBFT,Tendermint,Streamlet和Hotstuff协议,无论是在延迟方面(高达$70\%$)还是在吞吐量方面(高达$190\%$)。
2021-10-12 cs.DC
Efficient Byzantine Fault Tolerance using Trusted Execution Environment: Preventing Equivocation is only the Beginning
随着区块链的快速发展,拜占庭容错协议最近引起了人们的兴趣。为了克服拜占庭容错的理论界限,许多协议试图使用可信执行环境(TEE)来防止歧义,提高性能和可扩展性。然而,由于副本数量的减少导致的仲裁相交假设被打破,这种改进主要是以增加通信复杂性为代价的,这阻止了现有的基于TEE的协议被应用于大规模区块链系统。在本文中,我们提出了TBFT,一个有效的拜占庭容错协议在部分同步设置,它具有O(n)的消息复杂度在正常情况下和视图改变。与以往的协议相比,TBFT使用TEE辅助原语来限制副本的更多类型的恶意行为,而不仅仅是防止歧义,从而降低了客户端和副本的延迟和通信复杂性。此外,我们还引入了轻量级的密码原语,包括一个新的领导选举机制和一个有效的投票消息聚合机制,以提高安全性和性能。通过系统的分析和实验对TBFT进行了评估,结果表明TBFT具有较好的性能和可扩展性。
2021-07-06 cs.DC
Byzantine Fault Tolerance in Distributed Machine Learning : a Survey
拜占庭容错(Byzantine Fault Tolerance,BFT)是分布式机器学习(Distributed Machine Learning,DML)中最具挑战性的问题之一,其定义为容错系统在恶意组件存在的情况下的恢复能力。拜占庭故障仍然很难处理,因为它们的不受限制的性质,这导致生成任意数据的可能性。在DML中实现BFT的研究工作一直在进行。最近的一些研究考虑了DML中的各种BFT方法。然而,有些方面是有限的,如少数的方法分析,并没有分类的技术中使用的研究方法。在本文中,我们提出了一个调查的最新工作围绕BFT在DML,主要是在一阶优化方法,特别是随机梯度下降(SGD)。我们强调关键技术以及基本方法。我们提供了一个说明性的描述中使用的技术在DML的BFT,BFT方法的基本技术的背景下,提出了一个分类。这种分类是建立在特定的标准,如通信过程,优化方法和拓扑结构设置,这些标准表征了未来应对开放挑战的工作方法
2022-12-04 cs.DC
Self-Stabilization and Byzantine Tolerance for Maximal Independent Set
我们分析了一般网络中瞬时故障和拜占庭故障对最大独立集构造的影响。我们采用Turau \cite{turau2007linear}提出的自稳定算法来计算这样的顶点集。我们的算法是自稳定的,也适用于更困难的情况下,任意拜占庭故障。拜占庭节点可以阻止靠近它们的节点在任意长的时间内参与独立集。我们通过关注所有节点的集合来确定它们的影响范围,这些节点不包括距离为1或更小的拜占庭节点,也不包括距离为2的一些节点。据我们所知,我们提出了第一个算法容忍下公平分布式守护进程的瞬态和拜占庭故障。我们证明了该算法在$ \mathcal O(Δn)$轮内收敛,其中$n$和$Δ$分别是网络的大小和最大度。此外,我们提出了一个修改后的版本,该算法的匿名系统下的对抗分布式守护进程收敛在$ \mathcal O(n^{2})$预期的步骤数。
2021-11-16 cs.DC
Availability Evaluation of IoT Systems with Byzantine Fault-Tolerance for Mission-critical Applications
本研究针对关键任务物联网系统,提出基于连续时间马尔可夫链的拜占庭容错可用性分析模型,发现可用性与节点数成反比,且故障率与修复率之比增强此关系。
2023-06-27 cs.DC
Hamster: A Fast Synchronous Byzantine Fault Tolerance Protocol
Hamster协议利用编码技术降低通信复杂度并提升同步拜占庭容错性能,在吞吐量和延迟上优于Sync HotStuff,且对同步性依赖更弱。
2024-09-29 cs.DC
Enhancing Byzantine fault tolerance using MD5 checksum and delay variation in Cloud services
云计算管理超出了典型的人类叙述。然而,如果虚拟系统没有有效地设计为容忍拜占庭故障,它可能会导致错误执行任务,而不是云崩溃。云计算可以从崩溃中恢复过来,但无法从信誉的损失中恢复过来。此外,除非虚拟系统被设计为检测、容忍和消除这样的故障,否则在面对拜占庭故障时,没有任何数量的复制或故障处理措施是有帮助的。然而,研究工作,以解决拜占庭故障并没有提供令人信服的解决方案,极大地由于他们的能力有限,在检测拜占庭故障。因此,本文将云系统建模为离散系统,以确定虚拟系统在不同时间间隔的行为。作为与虚拟节点相关联的预期处理延迟的偏差的度量的延迟变化变量从P {低、正常、高、极端}的集合中取值。类似地,甚至针对没有附接到TCP/IP栈的内部节点计算的校验和误差变量从P {no error,error}的集合中取值。然后,这些条件由故障事件的发生来表示,这些故障事件导致特定组件模式从故障安全转换到故障停止或拜占庭倾向。
2018-01-26 cs.DC
Alea-BFT: Practical Asynchronous Byzantine Fault Tolerance
传统的拜占庭容错(Byzantine Fault Tolerance,BFT)状态机复制协议假定部分同步模型,从而导致领导者副本驱动协议并且在超时之后被替换的设计。最近,我们目睹了异步BFT协议的激增,这些协议使用随机化来消除对消息传递时间界限的假设,使它们对不利的网络条件更具弹性。然而,这些协议由于其立方通信成本、使用昂贵的原语和整体协议复杂性,在广泛的场景中仍然不实用。在本文中,我们提出了Alea-BFT,第一个异步BFT协议,以实现二次通信复杂性,使其能够扩展到大型网络。Alea-BFT带来了经典协议的关键设计见解,将部分工作集中在单个指定副本上,并将此原则纳入两阶段流水线设计中,由指定副本领导的高效广播,然后是廉价的二进制协议。我们在4大洲的10个站点上评估了我们的原型实现,我们的结果表明,所提出的设计具有显著的可扩展性。
2022-02-04 cs.DC
Self-Stabilization, Byzantine Containment, and Maximizable Metrics: Necessary Conditions
自稳定是一种通用的容错方法,因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性,它允许处理任意恶意行为。我们认为,在这种情况下,构建一个最大度量树的著名问题。将这两个属性结合起来会导致一些不可能的结果。在本文中,我们提供了两个必要条件,构建最大度量树存在瞬态和(永久)拜占庭故障。
2011-03-17 cs.DC
Formal Verification of Blockchain Byzantine Fault Tolerance
为了实现区块链,现在的趋势是集成一个非平凡的拜占庭容错共识算法,而不是等待接收块来决定最长分支的开创性想法。经过十年的存在,区块链现在交易大量有价值的资产,一个简单的分歧可能导致灾难性的损失。不幸的是,区块链中使用的拜占庭共识解决方案最多只能“手工”证明是正确的,因为我们不知道它们中的任何一个已经过正式验证。在本文中,我们提出了两个贡献:(i)我们通过列出区块链共识的六个漏洞来说明问题的严重性,包括两个新的反例;(ii)然后我们使用ByMC模型检查器正式验证了Red Belly Blockchain的两个拜占庭容错组件。首先,我们在116行代码中指定一个简单的广播原语,该原语在双核Intel机器上在40秒内得到验证。然后,我们在276行代码中指定了一个区块链共识算法,并使用MPI在64核AMD机器上在17分钟内进行了验证。最后,我们认为,现在正式验证区块链共识协议的正确性变得相对简单和重要。
2019-10-14 cs.DC
Maximum Metric Spanning Tree made Byzantine Tolerant
自稳定是一种通用的容错方法,因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性,它允许处理任意恶意行为。本文重点研究的系统是自稳定和拜占庭宽容。我们认为,在这种情况下,构建一个最大度量树的著名问题。已知将这两个性质结合会导致许多不可能的结果。在本文中,我们提供了关于在存在瞬时和(永久)拜占庭故障的情况下构建最大度量树的前两个不可能性结果。然后,我们提供了一个新的自稳定协议,提供了任意数量的拜占庭故障的最佳遏制。
2011-04-28 cs.DC
DuoBFT: Resilience vs. Performance Trade-off in Byzantine Fault Tolerance
本文提出了DuoBFT,拜占庭容错协议,使用可信组件提供提交决策的混合故障模型,除了提交决策的BFT模型。通过这样做,它使客户端能够为其命令选择响应故障模型。在内部,DuoBFT在混合模型和拜占庭模型下提交每个客户端命令,但由于混合提交比BFT提交需要更少的通信步骤,并且使用更小的法定人数,因此客户端可以从混合模型中的低延迟提交中受益。DuoBFT使用通用的视图更改协议来处理两种故障模型。为了实现这一目标,我们启用了一个概念,称为灵活的法定人数在混合故障模型中,通过重新审视混合协议中的法定人数交集要求。灵活的法定人数技术使得能够具有与BFT视图改变法定人数相同大小的混合视图改变法定人数。这为在单个统一协议中有效地组合两种故障模型铺平了道路。我们对广域部署的评估表明,DuoBFT可以在不牺牲吞吐量的情况下提供比现有协议低30%延迟的混合提交。就绝对值而言,DuoBFT在地理上复制的部署中提供低于200毫秒的延迟。
2022-02-08 cs.DC
Self-stabilization and byzantine tolerance for maximal independent
本文提出首个在公平分布式守护进程下同时容忍瞬态故障和拜占庭故障的最大独立集自稳定算法,并给出其收敛上界及匿名系统下的改进版本。
2024-06-10 cs.DC
On Byzantine Containment Properties of the $min+1$ Protocol
自稳定是一种通用的容错方法,因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性,它允许处理任意恶意行为。我们认为,在这种情况下,众所周知的问题,构建一个广度优先的生成树。结合这两个属性证明是困难的:我们证明,这是不可能包含拜占庭节点的影响,在严格或强烈稳定的方式。然后,我们采用较弱的方案的拓扑意识严格稳定,我们提出了一个类似的削弱强稳定。我们证明了经典的$min+1$协议具有最佳的拜占庭包容性的这些标准。
2010-05-28 cs.DC
Probabilistic Byzantine Fault Tolerance (Extended Version)
本文提出概率拜占庭容错协议 ProBFT,在部分同步许可系统中以 O(n√n) 消息复杂度和最优通信步数实现高概率安全性与活性,显著降低通信开销。
2024-06-11 cs.DC
Egalitarian Byzantine Fault Tolerance
最大限度地减少地理复制系统中的端到端延迟通常需要在弹性,资源效率或吞吐量性能方面做出妥协,因为现有方法要么只能容忍崩溃,要么需要额外的副本,要么依赖于全球领导者达成共识。在本文中,我们消除了这种权衡的需要,提出ISO,一个无领导的复制协议,容忍$f$拜占庭故障与最低限度的$3f+1$副本。为了减少广域环境中的延迟,Isos依赖于一种高效的共识算法,该算法允许所有参与的副本提出新的请求,从而使客户端能够通过向最近的副本提交请求来避免延迟。此外,Isos通过将消息排序限制到彼此冲突的请求(例如,由于访问相同的状态部分),并且如果至少$f+1$副本报告每个冲突,则在三个通信步骤之后已经提交它们。我们对地理复制键值存储的实验评估表明,这些属性允许ISO提供比现有协议更低的端到端延迟,特别是对于系统客户端分布在多个位置的用例场景。
2021-09-14 cs.DC
The Impact of Topology on Byzantine Containment in Stabilization
自稳定是一种通用的容错方法,因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个重要特性,它允许系统处理任意恶意行为。我们认为,在这种情况下,构建一个最大度量树的著名问题。结合这两个属性证明是困难的:我们证明,这是不可能包含拜占庭节点的影响,在一个自稳定的上下文中的最大度量树的建设(严格稳定)。我们提出了一个较弱的遏制计划称为拓扑感知的严格稳定,并提出了一个协议,用于计算最大度量树,这是最佳的这个计划方面的不可能性的结果。
2010-05-07 cs.DC
On Byzantine Fault Tolerance in Multi-Master Kubernertes Clusters
Docker容器虚拟化技术以其轻量级、高效的特点在云计算环境中得到了广泛的应用。但是,它需要通过协调器进行充分的控制和管理。因此,云提供商正在采用开放访问的Kubernetes平台作为容器化应用程序的标准编排器。为了确保应用程序在Kubernetes中的可用性,后者使用了Raft协议的复制机制。尽管它很简单,但Raft假设机器只有在关机时才会失败。这种故障事件很少是机器故障的唯一原因。事实上,软件错误或恶意攻击可能会导致机器表现出拜占庭(即随机)行为,从而破坏复制协议的准确性和可用性。在本文中,我们提出了一个Kubernetes多主健壮(KmMR)平台来克服这一限制。KmMR基于BFT-SMaRt容错复制协议到Kubernetes环境中的适应和集成。与Raft协议不同,BFT-SMaRt对拜占庭和非拜占庭故障都有抵抗力。实验结果表明,KmMR是能够保证服务的连续性,即使在容忍的故障总数超过。此外,在这种情况下,KmMR平均提供的共识时间比传统平台(具有Raft)短1000倍。最后,我们表明,KmMR产生一个小的额外成本,在资源消耗方面相比,传统的平台。
2020-04-11 cs.DC
Approximate Byzantine Fault-Tolerance in Distributed Optimization
针对分布式优化中的拜占庭故障,本文提出 (f,ε)-弹性近似容错概念,给出其充要条件,并分析可微代价下鲁棒梯度聚合分布式梯度下降的条件。
2024-05-21 cs.DC
Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy
EPFL(洛桑联邦理工学院);Virginia Tech(弗吉尼亚理工大学);Georgetown University(乔治城大学)
我们考虑联邦机器学习中的拜占庭容错问题。在这个问题中,该系统包括多个代理,每个代理具有本地数据,以及可信的集中式协调器。在无故障设置中,代理与协调员合作,以找到一个最小的聚合的本地成本函数定义在他们的本地数据。我们考虑的情况下,一些代理($f$出$N$)是拜占庭故障。这样的代理不需要正确地遵循规定的算法,并且可以将任意的不正确的信息传递给协调器。在拜占庭代理人的存在下,一个更合理的目标,为非故障代理人是找到一个最小的总成本函数只有非故障代理人。这个特定的目标通常被称为精确容错。最近的工作表明,精确的容错是可以实现的,如果只有当非故障代理满足属性的$2f$ -冗余。现在,在此属性下,已知的技术赋予精确的容错的经典随机梯度下降(SGD)算法的分布式实现。然而,我们不知道联邦本地SGD算法的任何此类技术-联邦机器学习更常用的方法。为了解决这个问题,我们提出了一种新的技术命名为比较消除(CE)。我们表明,在$2f$冗余下,联邦本地SGD算法与CE确实可以获得精确的容错在确定性设置时,非故障代理可以准确地计算其本地成本函数的梯度。在一般的随机情况下,当代理只能计算无偏噪声估计的局部梯度,我们的算法实现了近似容错近似误差成正比的方差的随机梯度和拜占庭代理的分数。
2021-08-26 cs.DC cs.LG
The Bedrock of Byzantine Fault Tolerance: A Unified Platform for BFT Protocol Design and Implementation
拜占庭容错(Byzantine Fault-Tolerant,BFT)协议最近被具有不可信基础设施的分散式数据管理系统广泛使用,许可的区块链。BFT协议涵盖了广泛的设计维度,从基础设施设置(如通信拓扑)到更多的技术特征(如承诺策略),甚至是基本的社会选择属性(如订单公平性)。不同BFT协议的激增使得难以浏览BFT景观,更不用说确定最能满足应用需求的协议了。本文介绍了一个用于BFT协议设计、分析、实现和实验的统一平台Bedrock。Bedrock提出了一个设计空间,由一组设计选择组成,这些设计选择捕获了不同设计空间维度之间的权衡,并为BFT协议的优势和劣势提供了全新的见解。Bedrock使用户能够在合理选择的空间内分析和实验BFT协议,改进当前协议以设计新协议,甚至发现以前未知的协议。我们的实验结果表明,基岩统一评估BFT协议的能力,在新的方式是不可能的,因为这些协议所作的各种假设。结果验证了基岩的能力,分析和推导BFT协议。
2022-08-03 cs.DC
Imitater: An Efficient Shared Mempool Protocol with Application to Byzantine Fault Tolerance
本文提出共享内存池协议Imitater,通过微块链接与编码技术实现完整性和可用性,并集成到HotStuff中形成Imitater-HS,在故障节点存在时相比Stratus-HS实现更高吞吐量和更低延迟。
2025-04-14 cs.DC
Byzantine Fault-Tolerance in Decentralized Optimization under Minimal Redundancy
研究了多智能体分散优化中的拜占庭容错问题。在这个问题中,每个代理都有一个局部成本函数。分散优化算法的目标是允许代理合作计算其总成本函数的公共最小点。我们考虑的情况下,一定数量的代理可能是拜占庭式的故障。这种错误的代理可能不遵循规定的算法,并且他们可能与其他非错误代理共享任意或不正确的信息。这种拜占庭代理的存在使得典型的分散式优化算法无效。我们提出了一个分散的优化算法与可证明的精确容错对有限数量的拜占庭代理,提供了非故障代理有一个最小的冗余。
2020-09-30 cs.DC cs.MA cs.SY
Strengthened Fault Tolerance in Byzantine Fault Tolerant Replication
拜占庭容错(BFT)状态机复制(SMR)是构建许可区块链系统的重要构建块。与Nakamoto Consensus相比,任何区块都可以在区块链中获得更高的保证,在BFT SMR中,任何提交的区块都是安全的,具有固定的弹性阈值。在本文中,我们研究加强容错(SFT)在BFT SMR部分同步下,它提供了逐渐增加的弹性保证(如中本共识)在一个乐观的时期,当网络同步和拜占庭故障的数量是小的。此外,即使在乐观期之后,已提交的块也可以容忍超过三分之一(高达三分之二)的腐败。与需要二次消息复杂度的现有最佳解决方案灵活BFT相比,我们的解决方案保持了最先进的BFT SMR协议的线性消息复杂度,并且只需要边际簿记开销。我们实现了我们的解决方案在开源的Diem项目,并给出实验结果,证明其效率在现实世界的情况下。
2021-01-11 cs.CR cs.DC
Bounding the Impact of Unbounded Attacks in Stabilization
自稳定是一种通用的容错方法,因为它允许分布式系统从任意破坏系统中所有存储器内容的任何瞬时故障中恢复。拜占庭容忍是分布式系统的一个有吸引力的特性,它允许处理任意恶意行为。结合这两个属性被证明是困难的:它是不可能包含拜占庭节点的空间影响,在一个自我稳定的上下文中的全局任务,如树的方向和树的建设。我们提出并说明了一个新的概念拜占庭遏制稳定。我们的属性,称为强稳定,能够包含拜占庭节点的影响,如果他们实际上执行太多的拜占庭动作。我们推导出不可能的结果,强稳定,并提出了强稳定的协议,树的方向和树的建设是最佳的拜占庭节点的数量,可以容忍在一个自稳定的上下文中。
2011-02-10 cs.DC
On the Byzantine-Fault-Tolerant Consensus for Blockchain among Connected Vehicles
在共识过程中能否保证拜占庭容错(Byzantine fault tolerance,BFT)是区块链系统的关键问题。当车辆保持移动时,互联车辆(CV)能否实现BFT共识?本文试图回答这一基本问题。它侧重于描述流动性对简历中BFT共识性能的影响。
2021-12-25 cs.DC
Alea-BFT: Practical Asynchronous Byzantine Fault Tolerance
Alea-BFT提出一种简单高效的异步BFT协议,通过指定副本集中工作与两阶段流水线设计,在以太坊分布式验证者中实际应用,性能优于Dumbo-NG。
2024-07-14 cs.DC
Optimizing View Change for Byzantine Fault Tolerance in Parallel Consensus
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出基于混合整数规划的视图变更优化模型,通过优化领导者选择和跟随者重新分配,提升并行BFT在高并发和故障情况下的性能。
2026-01-14 cs.DC
On the Practicality of `Practical' Byzantine Fault Tolerance
拜占庭容错(Byzantine Fault Tolerant,BFT)系统被系统研究界认为是在分布式系统中提供可靠性方面的最新技术。BFT系统在一组节点中提供安全性和活性保证,其中最多f个节点显示任意不正确的行为,称为拜占庭故障。尽管如此,BFT系统在实践中仍然很少使用。在本文中,我们描述了我们的经验,从应用程序开发人员的角度来看,试图利用公开的和高度调整的PBFT中间件(卡斯特罗和Liskov),提供可证明的可靠性保证的电子投票应用程序的高安全性和鲁棒性的需求。我们描述了我们遇到的几个障碍和我们在PBFT方法中发现的缺点。其中包括我们解决的一些问题,例如缺乏对动态客户端管理的支持,以及将状态管理完全留给应用程序。其他仍然存在的问题包括缺乏对非确定性的鲁棒处理,缺乏对基于Web的应用程序的支持,缺乏对更强大的加密原语的支持等等。我们发现,虽然许多障碍可以克服与修订的BFT中间件的实施,是专门针对特定应用程序的需求进行调整,他们需要大量的工程工作和时间,其性能的影响,最终应用程序是不清楚的。因此,应用程序开发人员不太可能愿意投入时间和精力来利用BFT方法。我们的结论是,研究界需要专注于BFT算法的可用性为现实世界的应用程序,从最终开发人员的角度来看,除了继续提高BFT中间件的性能,鲁棒性和部署布局。
2011-10-21 cs.DC
Improved Connectivity Condition for Byzantine Fault Tolerance
给定一个网络,其中一些节点对可以自由通信,而一些节点的子集可能会出现故障并合谋破坏通信,什么时候消息可以可靠地从一个给定的节点发送到另一个节点?我们给出了一个新的表征时,协议问题可以解决,并提供了一个协议算法,可以达到协议时,沿每个最小顶点割的拜占庭节点的数量是有界的。我们的新界限比以前已知的界限严格的情况下的超集。我们证明了新的界是紧的。此外,我们表明,该算法不需要知道的图形结构的过程,因为以前已知的算法。最后,我们探讨了一些情况下,我们可以达成协议,如果我们假设个别节点或整个子图是值得信赖的。
2015-03-10 cs.DC cs.DS
Construction auto-stabilisante d'arbre couvrant en dépit d'actions malicieuses
根据定义,自稳定协议提供对瞬时故障的容忍。最近,出现了一类新的自稳定协议。这些协议还提供了对给定数量的永久故障的容忍度。在这篇文章中,我们感兴趣的是处理拜占庭式故障的自稳定协议。我们证明了,对于一些不允许严格稳定化的问题(见[Nesterenko,Arora,2002]),如果我们定义一个新的容忍标准,存在容忍拜占庭故障的解决方案。
2010-04-29 cs.DC
Vault: Decentralized Storage Made Durable
National University of Singapore(新加坡国立大学)
Vault通过基于采样的数据放置策略和可验证随机性,实现去中心化存储网络在存储规模、链上开销和拜占庭容忍度的同步扩展。
2026-04-06 cs.DC
Flexible Byzantine Fault Tolerance
本文介绍了灵活的BFT,围绕两个支柱,更强的弹性和多样性的BFT共识解决方案设计的新方法。第一个支柱,更强的弹性,涉及一个新的断层模型,称为活的,但腐败的断层。存活但损坏的副本可以任意地偏离协议以试图破坏协议的安全性。但是,如果它们不能破坏安全性,它们就不会试图阻止协议的活动性。将活跃但损坏的故障组合到模型中,Flexible BFT比纯拜占庭故障模型更能适应更高的损坏级别。第二个支柱,多样性,设计共识解决方案,其协议记录用于在不同的信念下绘制不同的提交决策。通过这种分离,相同的灵活BFT解决方案支持同步和异步信念,以及拜占庭和存活但损坏的故障的不同弹性阈值组合。在技术层面上,Flexible BFT使用两个新想法实现了上述结果。首先,它介绍了一个同步BFT协议,其中只有提交步骤需要知道网络延迟的界限,因此副本执行协议没有任何同步的假设。其次,它引入了一个概念,称为灵活的拜占庭法定人数解剖不同的法定人数在现有的共识协议中的作用。
2019-05-30 cs.CR cs.DC
Two-Fold Byzantine Fault Tolerance Algorithm: Byzantine Consensus in Blockchain
针对区块链中拜占庭故障检测受故障节点数量限制的问题,提出一种受社会范式启发的双重拜占庭容错算法,通过受信任且完全受监控的通信子过程检测拜占庭节点,检测概率超过95%。
2025-04-22 cs.DC cs.NI
Scalable Byzantine Fault Tolerance via Partial Decentralization
拜占庭共识是许多许可区块链和分布式账本的关键组成部分。我们提出了一个新的范例,设计BFT协议称为DQBFT,解决了三个主要的性能和可扩展性的挑战,困扰过去的协议:(i)高通信成本,以达到地理分布的协议,(ii)不均匀的资源利用率阻碍性能,(iii)性能下降,在不同的节点和网络条件和高竞争的工作负载。具体来说,DQBFT将共识分为两个部分:1)没有全局顺序的持久命令复制,以及2)跨所有副本的命令的一致全局顺序。DQBFT通过分散复制命令的繁重任务,同时集中订购过程来实现这一点。在新的范式下,我们开发了一个新的协议,命运,使用三种技术的组合,以实现高性能和可扩展性:使用一个可信的子系统,以减少共识的仲裁大小,使用阈值签名,以达到线性通信成本,减少客户端通信。我们对300个副本的地理分布部署的评估表明,DQBFT协议实现了优于现有技术的显著性能增益:$\approx$ 3倍更好的吞吐量和$\approx$ 50%更好的延迟。
2022-02-27 cs.DB cs.DC
The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure
研究智能基础设施中因推理错误导致的诚实仲裁问题,定义认知拜占庭容错(EBFT)模型,用两个量增强传统拜占庭故障界限,推导相关仲裁阈值条件及校准方法,指出添加代理提高容错的条件。
2026-07-20 cs.DC cs.LG cs.MA
A Formally Verified Protocol for Log Replication with Byzantine Fault Tolerance
拜占庭容错协议允许在存在崩溃、故障或活跃恶意进程的情况下进行状态复制。然而,在没有验证工具的帮助下设计这样的协议非常容易出错。在对抗性环境中,性能和灵活性是以复杂性为代价的,这使得现有协议的验证非常困难。我们采取了不同的方法,并提出了一个正式验证的共识协议,专为一个特定的用例:安全日志。我们的协议允许每个节点提出条目在一个并行的子程序,并保证正确的节点同意所有建议的条目,没有领导人选举。它既简单又实用,因为它可以适应证书透明性等日志系统的工作负载。我们表明,它是最优的要求轮和容许故障。使用Isabelle/HOL,我们提供了一个基于Heard-Of模型的完全机器检查的安全证明,我们扩展了该模型以支持签名。我们还提出并评估了一个原型实现。
2020-09-22 cs.CR cs.DC
Byzantine Fault Tolerance of Regenerating Codes
近年来,出现了大量为网络存储系统定制的编码技术。在这些新时代的以存储为中心的编码中,网络编码启发的再生码是最多产的研究。已经投入了大量的努力来理解存储和带宽使用的基本可实现的权衡,以在存在不同故障模型的情况下保持冗余,展示了相对于传统纠删编码技术的重新生成代码的功效。然而,为了在开放和对抗性环境中的实际可用性,正如在对等系统中的典型情况一样,我们不仅需要对擦除的弹性,而且还需要对(对抗性)错误的弹性。在本文中,我们研究了广义再生码(支持多修复,使用新人之间的合作)在两类拜占庭节点,相对良性的自私(非合作)的节点,以及更积极的,恶意的污染节点的存在下的弹性。我们给出了再生代码的弹性能力的上限,并表明协作修复的优势,可以变成有害的拜占庭节点的存在。我们进一步展示了系统机制可以与再生代码相结合,以减轻流氓节点的影响。
2011-06-12 cs.CR cs.DC
XFT: Practical Fault Tolerance Beyond Crashes
尽管经过多年的深入研究,拜占庭容错(BFT)系统尚未在实践中采用。这是由于与崩溃容错(CFT)相比,BFT在资源、协议复杂性和性能方面的额外成本。BFT的这种开销来自于这样的假设:强大的对手不仅可以完全控制拜占庭式的故障机器,而且同时还可以完全控制整个网络的消息传递时间表,从而有效地诱导通信异步并随意划分其他正确的机器。然而,对许多从业者来说,这种强烈的攻击似乎无关紧要。在本文中,我们介绍了交叉容错或XFT,一种新的方法来建立可靠和安全的分布式系统,并将其应用到经典的状态机复制(SMR)问题。简而言之,XFT SMR协议提供了广泛使用的异步CFT SMR协议(如Paxos和Raft)的可靠性保证,但也容忍拜占庭故障与网络冗余的组合,只要大多数副本是正确的并同步通信。这允许以CFT的价格(在实践中已经支付)开发XFT系统,但具有比CFT更强的弹性-有时甚至比BFT本身更强。作为XFT的展示,我们展示了第一个XFT SMR协议XPaxos,并将其部署在地理复制设置中。虽然它在没有额外资源成本的情况下提供了比CFT SMR更强的弹性,但XPaxos的性能与最先进的CFT协议相匹配。
2016-11-08 cs.DC
Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence
ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学)
针对联邦强化学习缺乏容错保证或依赖中心节点的问题,提出首个去中心化拜占庭容错策略梯度算法,结合鲁棒聚合与弹性协议消除中心依赖,并验证其加速效果与抗攻击能力。
2024-01-07 cs.AI cs.DC cs.LG
Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)
EPFL(洛桑联邦理工学院);Georgetown University(乔治城大学)
本文研究了分布式随机梯度下降(D-SGD)方法中的拜占庭容错问题,D-SGD是分布式多智能体机器学习的一种流行算法。在这个问题中,每个代理独立于某个数据生成分布对数据点进行采样。在无故障的情况下,D-SGD方法允许所有代理学习最适合所有代理集体采样的数据的数学模型。我们考虑的情况下,当一小部分的代理可能是拜占庭式的故障。这种错误的代理可能不会正确地遵循规定的算法,并且可能通过共享任意不正确的随机梯度而使传统的D-SGD方法无效。我们提出了一个基于范数的梯度过滤器,命名为比较梯度消除(CGE),robustifies D-SGD方法对拜占庭代理。我们表明,CGE梯度过滤器保证容错对拜占庭代理的有界分数在标准的随机假设下,是计算上更简单的许多现有的梯度过滤器,如多KRUM,几何平均值,和频谱过滤器。我们的经验表明,通过模拟分布式学习神经网络,CGE的容错性与现有的梯度过滤器。我们还经验表明,随机梯度的指数平均提高了通用梯度滤波器的容错性。
2021-04-18 cs.DC cs.LG stat.ML
On Conflict-Free Replicated Data Types and Equivocation in Byzantine Setups
本文研究了无冗余复制数据类型(CRDTs)的模糊容限特性。我们表明,CRDTs的子类是模棱两可的宽容,从而可以应付任何数量的拜占庭故障:没有模棱两可的检测,预防或补救,他们仍然履行强最终一致性(SEC)。我们还推测,只有一个基于操作的CRDT设计支持非交换操作,满足SEC在拜占庭环境中的任何数量的故障。
2021-10-08 cs.DC cs.DS
Phalanx: A Practical Byzantine Ordered Consensus Protocol
拜占庭容错(Byzantine fault tolerance,BFT)共识是分布式计算的基本原语。然而,BFT协议存在排序操纵问题,攻击者可以抢先攻击。有几种协议被提出来解决操纵问题,但它们都有一些局限性。基于批处理的协议,如Themis,由于使用复杂的算法来寻找强连接组件(SCC),因此具有显著的性能损失。基于时间戳的协议如Pompe简化了排序阶段,但它们在公平性上受到限制,对手可以通过交易的时间戳来操纵排序。在本文中,我们提出了一个拜占庭有序的共识协议称为方阵,在该协议中,事务提交基于锚定的排序策略。基于锚点的策略使得每个参与者上的事务的Lamport逻辑时钟聚合,并且生成最终排序,而不需要复杂的SCC检测。因此,密集阵取得了令人满意的性能,并表现出更好的抵抗顺序操纵比基于时间戳的策略。
2022-09-18 cs.DC
Self-Stabilizing Replicated State Machine Coping with Byzantine and Recurring Transient Faults
本文提出首个同时具备拜占庭容错、反复瞬时容错、准确性和自稳定能力的重复拜占庭协议,可从任意配置恢复一致性,并明确给出多类故障下的容忍界。
2025-06-15 cs.CR cs.DC
TrustMesh: A Blockchain-Enabled Trusted Distributed Computing Framework for Open Heterogeneous IoT Environments
本文提出TrustMesh,一种面向开放异构IoT环境的区块链可信分布式计算框架,通过三层架构结合许可链与多阶段PBFT协议,支持非确定性调度且保持拜占庭容错,在冷链监控实验中故障检测延迟低于150毫秒,有效平衡了安全性、性能与灵活性。
2025-01-17 cs.DC
Fault Tolerance in Distributed Systems using Fused State Machines
复制是在被建模为确定性有限状态机(DFSM或机器)的分布式系统中用于容错的标准技术。为了纠正n台不同机器之间的f崩溃或f/2拜占庭故障,复制需要nf台额外的备份机器。我们提出了一种称为融合的解决方案,只需要额外的备份机器。首先,我们建立了一个框架,容错的基础上的概念,汉明距离的DFSM。我们引入了(f,m)融合的概念,这是一组m个备份机器,可以纠正f崩溃故障或f/2拜占庭故障之间的一组给定的机器。其次,我们提出了一个算法来生成一个(f,f)融合一组给定的机器。我们确保我们的备份在其状态和事件集的大小方面是有效的。我们对广泛使用的MCNC'91 DFSM基准的融合评估表明,融合(过度复制)的平均状态空间节省为38%(范围0-99%)。为了展示融合的实际用途,我们描述了它在MapReduce框架中的潜在应用。使用一个简单的案例研究,我们比较复制和融合应用到这个框架。一个纯粹的基于复制的解决方案需要180万个地图任务,而我们基于融合的解决方案只需要140万个地图任务,在正常操作或恢复期间的开销最小。因此,融合导致状态空间和其他资源(诸如运行备份任务所需的功率)的相当大的节省。
2013-03-23 cs.DC
Byzantine Convex Consensus: Preliminary Version
过去关于异步近似拜占庭共识的大部分工作都假设节点处的标量输入[3,7]。最近的工作已经产生了近似拜占庭共识算法的情况下,在每个节点的输入是一个d维向量,节点必须达到共识的凸包中的无故障节点的输入向量[8,12]。d维向量可以等价地看作d维欧氏空间中的点。因此,[8,12]中的算法要求无故障节点决定d维空间中的一个点。在本文中,我们推广的问题,使决策是一个凸多面体在d维空间,使决策多面体是在凸包的输入向量的无故障节点。我们将这个问题称为拜占庭凸一致性问题,并提出了一个具有最优容错的异步近似BCC算法。理想情况下,这里的目标是就尽可能大的凸多面体达成一致。虽然我们不声称我们的算法满足这一目标,我们显示了我们的算法选择的输出凸多面体上的一个界限。
2013-07-03 cs.DC
Erasure-Coded Byzantine Storage with Separate Metadata
虽然已经引入了许多分布式存储协议,但在可用性、一致性、容错性、存储复杂性和所支持的并发级别方面结合最强属性的解决方案一直难以实现。结合这些特性是困难的,特别是如果所得到的解决方案需要是有效的,并招致低成本。我们提出了AWE,这是多写器多读器读/写存储对象的第一个擦除编码分布式实现,同时:(1)异步,(2)无等待,(3)原子,(4)健忘,(即,其中数据节点存储有界数目的值)和(5)使用最优数目的节点的拜占庭容错(BFT)。此外,AWE是高效的,因为它不使用公钥密码学,并且需要仅支持读和写的数据节点,从而进一步降低了分布式存储解决方案的部署和所有权成本。值得注意的是,AWE将元数据与$k$-外-$n$擦除编码片段分开存储。这使得AWE成为第一个BFT协议,它使用尽可能少的$2t+k$数据节点来容忍任何$k \ge 1$的$t$拜占庭节点。
2014-02-20 cs.DC
Self-stabilizing Byzantine- and Intrusion-tolerant Consensus
容错分布式计算中最著名的问题之一是一致性问题。它被证明抽象了无数的问题,在这些问题中,过程必须就单一值达成一致。共识应用程序包括云或区块链环境的基本服务。在这种具有挑战性的环境中,恶意行为通常被建模为对抗性拜占庭故障。在OPODIS 2010上,Mostefaoui和Raynal(简称MR)提出了一种拜占庭和入侵容忍的共识解决方案,其中决定的值不能是仅由拜占庭进程提出的值。除了这个有效性属性之外,MR还具有最佳的弹性,因为它可以处理多达t < n/3的拜占庭进程,其中n是进程的数量。我们注意到,MR提供了这个多值共识对象(它接受从具有有限数量值的集合中获取的建议),假设单个二元共识对象(它接受从集合{0,1}中获取的建议)可用。这项工作,重点是多值共识,旨在设计一个更强大的解决方案比MR。我们的建议扩展MR的故障模型与自稳定,一个有力的概念容错。除了容忍拜占庭和通信故障外,自稳定系统还可以在任意瞬时故障发生后自动恢复。这些故障表示违反了系统设计运行所依据的假设(假设算法代码保持完整)。据我们所知,我们提出了第一个自我稳定的解决方案,入侵容忍多值共识的异步消息传递系统容易拜占庭故障。
2022-09-10 cs.DC
Efficient Synchronous Byzantine Consensus
我们提出了新的协议,拜占庭状态机复制和拜占庭协议的同步和认证设置。著名的PBFT状态机复制协议容忍$f$拜占庭故障在异步设置使用$3f+1$副本,并已被研究或部署了许多作品。在这项工作中,我们提高了拜占庭容错阈值$n=2f+1$通过利用一个宽松的同步假设。我们提出了一个同步状态机复制协议,在常见的情况下,每3轮提交一个决定。关键的挑战是要确保仲裁交集在一个诚实的副本。我们的解决方案是依赖于同步假设来形成大小为$2f+1$的提交后仲裁,该仲裁在$f+1$副本处与任何大小为$f+1$的提交前仲裁相交。我们的协议也解决了同步认证拜占庭协议在预期的8轮。之前的最佳解决方案(Katz和Koo,2006)需要预期的24轮。我们的协议可以应用于构建拜占庭容错系统或改进加密协议,如加密货币时,可以假设同步。
2017-09-12 cs.CR cs.DC
Self-stabilizing Byzantine Multivalued Consensus
针对异步消息传递系统中的拜占庭故障,提出首个自稳定多值共识方案,扩展MR模型,可在O(t)时间内从任意瞬态故障自动恢复。
2023-11-15 cs.DC