Tame the Wild with Byzantine Linearizability: Reliable Broadcast, Snapshots, and Asset Transfer
本文形式化了拜占庭线性化这一正确性条件,用于判定并发对象能否抵御拜占庭故障,并基于寄存器系统研究了可靠广播、原子快照和资产转移等对象的拜占庭容错模拟,证明了在 $f<\ rac{n}{2}$ 条件下存在 $f$-容错实现。
2024-06-04 cs.DC
Not eXactly Byzantine: Efficient and Resilient TEE-Based State Machine Replication
本文提出基于TEE的状态机复制协议NxBFT,采用异步无领导者图共识和“并非完全拜占庭”模型,在保持高吞吐量的同时实现负载均衡,并通过实验证明其在多副本和高延迟场景下优于MinBFT和Damysus。
2025-07-02 cs.DC
Fully-Distributed Construction of Byzantine-Resilient Dynamic Peer-to-Peer Networks
提出一种完全分布式的动态P2P协议,在高流失和大量拜占庭节点环境下以高概率维护常数度数扩展图拓扑,开销仅为polylogarithmic,可用于解决拜占庭共识等基础分布式计算问题。
2025-08-15 cs.DC
RT-ByzCast: Byzantine-Resilient Real-Time Reliable Broadcast
今天的网络物理系统面临着各种障碍,以实现其预期的目标,即,通信的不确定性和故障,相对于网络和无线设备的集成度的增加,阻碍了同步需要满足实时的【形】最后期限。此外,由于这些系统至关重要,因此也面临着重大的安全威胁。这种威胁组合会增加物理伤害的风险。本文通过研究如何建立第一个实时的【形】拜占庭可靠广播协议(RTBRB)来解决这些问题,该协议能够容忍网络的不确定性、故障和攻击。以前的文献描述了实时的【形】可靠广播协议,或异步(非实时的【形】)拜占庭协议。我们首先证明了使用传统的分布式计算范例来实现RTBRB是不可能的,其中,即使在最强大的故障检测器的帮助下,过程的错误/故障检测机制也与广播算法本身解耦。我们规避这种不可能性,提出RT-ByzCast,一种算法的基础上聚合数字签名在一个滑动的时间窗口,并赋予流程自崩溃的能力,以掩盖和绑定的损失。我们表明,RT-ByzCast(i)操作实时的【形】通过证明正确的进程广播的消息在一个已知的有界延迟内交付,(ii)是可靠的,通过证明正确的进程使用我们的算法崩溃自己的概率可以忽略不计,即使消息丢失率高达60%。
2018-07-03 cs.DC
Byzantine-Resilient Federated Learning at Edge
Shandong University(山东大学);University of Chinese Academy of Sciences(中国科学院大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);City University of Hong Kong(香港城市大学)
拜占庭弹性和通信效率在边缘联邦学习中的重要性引起了人们的极大关注。然而,大多数现有的算法可能会失败时,处理现实世界中的不规则数据的行为在重尾的方式。为了解决这个问题,我们研究了边缘联邦学习的随机凸和非凸优化问题,并展示了如何处理重尾数据,同时保持拜占庭弹性,通信效率和最佳统计出错率。具体来说,我们首先提出了一个拜占庭弹性分布式梯度下降算法,可以处理重尾数据,同时在标准假设下收敛。为了减少通信开销,我们进一步提出了另一种算法,采用梯度压缩技术,以节省在学习过程中的通信成本。理论分析表明,我们的算法实现了订单最优的统计出错率拜占庭设备的存在。最后,我们在合成和真实世界的数据集上进行了广泛的实验,以验证我们的算法的有效性。
2023-03-18 cs.AI cs.DC
Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin(威斯康星大学)
在分布式模型训练中提供拜占庭弹性的需求越来越大。现有的鲁棒分布式学习算法主要关注于在参数服务器上开发复杂的鲁棒聚集器,而对通信开销和鲁棒性的平衡关注较少。在本文中,我们提出了梭伦,一个算法框架,利用梯度冗余,同时提供通信效率和拜占庭鲁棒性。我们的理论分析表明,计算负载,通信成本和拜占庭鲁棒性之间的基本权衡。我们还开发了一个具体的算法,以实现最佳的权衡,借用编码理论和稀疏恢复的想法。在各种数据集上的实验表明,Solon在现有方法上提供了显着的加速,以达到相同的精度,比Bulyan快10倍以上,比Draco快80%。我们还表明,精心设计的拜占庭攻击打破Signum和Bulyan,但不影响梭伦的成功收敛。
2021-10-09 cs.DC cs.LG
Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
拜占庭式的弹性成为分布式机器学习社区中的一个突出话题。从本质上讲,目标是增强分布式优化算法,如分布式SGD,以保证收敛,尽管存在一些行为不端(也称为,{ \em Byzantine})工人。虽然已经提出了无数的技术来解决这个问题,但该领域可以说是建立在脆弱的基础上。这些技术很难证明是正确的,并且依赖于(a)非常不现实的假设,即,在实践中经常被违反,以及(b)异质性,即,使得难以比较方法。我们提出了\emph{RESAM (RESilient Averaging of Momentums)},一个统一的框架,使它简单地建立最佳的拜占庭弹性,只依赖于标准的机器学习假设。我们的框架主要由两个操作符组成:服务器端的\emph{resilient averaging}和工作端的\emph{distributed momentum}。我们证明了一个一般定理,说明分布式SGD下RESAM的收敛性。有趣的是,证明和比较许多现有技术的收敛性成为我们定理的直接推论,而无需采取严格的假设。我们还提出了RESAM的实际意义的实证评估。
2022-05-24 cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
LIFT: Byzantine Resilient Hub-Sampling
Sorbonne University(索邦大学)
LIFT通过引入加密安全的伪随机数生成器,提高了Elevator在拜占庭攻击下的鲁棒性,使其能够承受高达10%的拜占庭节点攻击。
2026-01-28 cs.CR cs.DC
A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
本文提出了一个鲁棒梯度分类框架(RGCF)拜占庭容错分布式随机梯度下降。该框架由一个模式识别过滤器,我们训练能够单独使用它们的方向分类个别梯度拜占庭。该过滤器对于凸优化设置和非凸优化设置的任意数量的拜占庭工人是鲁棒的,这是对先前工作的显著改进,该先前工作仅当高达50%的工人是拜占庭时才对拜占庭故障是鲁棒的。该解决方案不需要估计拜占庭工人的数量;其运行时间不依赖于工人的数量,并且可以扩展到具有大量工人的训练实例,而不会损失性能。我们通过在拜占庭工人存在的情况下在MNIST数据集上训练卷积神经网络来验证我们的解决方案。
2023-01-16 cs.AI cs.DC cs.LG
FinWhale: An Optimally Resilient Two-Round Terminating DAG Protocol
Technion, Israel(以色列理工学院)
提出首个基于DAG的两消息延迟快速路径拜占庭容错协议FinWhale,通过快速路径证据块实现安全共存,在部分同步模型下达到最优弹性。
2026-08-19 cs.DC
Basilic: Resilient Optimal Consensus Protocols With Benign and Deceitful Faults
拜占庭共识问题一直是设计安全分布式系统的关键。然而,这是特别困难的,主要是由于任意行为的拜占庭进程的存在和一般网络中的未知消息延迟。虽然众所周知,一旦$n/3$拜占庭进程失败,安全性和活性都有风险,但很少有工程试图精确地描述产生终止违规的故障中产生安全违规的故障。在本文中,我们提出了一个新的下限的共识问题的可解性区分欺骗性故障违反安全和良性故障违反终止更一般的拜占庭故障,我们称之为拜占庭欺骗良性故障模型。我们发现,如果$n\leq 3t+d+2q$与$t$拜占庭进程,$d$欺骗进程,和$q$良性进程不能解决共识。此外,我们表明,这个界限是紧的,通过提出的Basilic类的共识协议,解决共识时,$n > 3t+d+2q$。这些协议的不同之处在于它们在继续之前等待接收消息的进程的数量。因此,这些协议中的每一个都更适合于某些应用,这取决于良性或欺骗性故障的优势。最后,我们在需要解决最终共识的较弱问题的区块链背景下研究了Basilic类共识协议的容错。我们证明了Basilic仅用$n > 2t+d+q$解决了这个问题,从而展示了它如何加强区块链安全性。
2022-04-19 cs.DC
Interactive Byzantine-Resilient Gradient Coding for General Data Assignments
本研究针对分布式梯度下降中的拜占庭错误问题,提出交互式抗拜占庭梯度编码方案,仅需s+1复制因子即可在s个恶意节点下恢复全梯度,最多s轮交互且通信成本与样本数对数相关。
2024-01-30 cs.DC cs.IT math.IT
Byzantine-Resilient Counting in Networks
我们提出了两个分布式算法的{ \em拜占庭计数问题},这是有关估计的网络中存在大量的拜占庭节点的大小。在$n$节点网络($n$是未知的),我们的第一个算法,这是{ \em确定性},完成在$O(\log{n})$轮,是时间最优的。该算法可以容忍高达$O(n^{1 - γ})$任意(adversarially)放置拜占庭节点的任何任意小(但固定)的正常数$γ$。它输出$\log{n}$的(固定)常数因子估计值,该估计值对于除$o(1)$部分良好节点之外的所有节点都是已知的。该算法适用于\emph{any}有界度扩展网络。然而,该算法假设好的节点可以在一轮中发送任意大的消息。我们的第二个算法是{ \em randomized},大多数好的节点只发送小型消息(在本文中,小型消息被定义为除了最多恒定数量的节点ID之外还包含$O(\log{n})$比特的消息。)。该算法适用于\emph{almost all} $d$ -正则图.它容忍多达$B(n) = n^{\frac{1}{2} - ξ}$(注意,$n$和$B(n)$是未知的算法)任意(相反)放置的拜占庭节点,其中$ξ$是任何任意小的(但固定的)正常数。该算法进行$O(B(n)\log^2{n})$轮并输出概率至少为$1 - o(1)$的$\log{n}$的(固定)常数因子估计。所述估计对于大多数节点是已知的,即,$\geq (1 - β)…
2022-04-25 cs.DC
Byzantine-Resilient Population Protocols
本文研究拜占庭容错的群体协议,针对多数共识问题,提出两种算法并组合,显著提升容错性至$f \leq n/c$,且能对抗动态对手。
2024-02-04 cs.DC
AWARE: Adaptive Wide-Area Replication for Fast and Resilient Byzantine Consensus
随着即将到来的区块链基础设施,世界范围内的拜占庭共识变得越来越实用和必要。在地理分布的系统中,实现一致性的速度受到副本之间连接的异构延迟的限制。如果部署在广域网上,基于共识的系统将受益于加权复制,这种方法利用额外的副本并为连接良好的副本分配更高的投票权。这使得在仲裁形成中有更多的选择,并且副本可以利用成比例的较小仲裁来推进,从而减少共识延迟。然而,系统需要一种解决方案,以便在网络条件发生变化或发生故障时自主调整其环境。我们提出了自适应广域复制(AWARE),一种机制,提高了地理可扩展性的共识与节点广泛分布在世界各地。本质上,AWARE是一个自动和动态的投票权重调整和领导者定位方案,它支持系统中快速法定人数的出现。它采用了一个可靠的自我监控过程,并提供了一个预测模型,试图最大限度地减少系统的共识延迟。在使用多个AWS EC2区域的实验中,AWARE通过自主找到快速权重配置来动态优化共识延迟,从而使全球各地的客户端观察到延迟增益。
2020-11-03 cs.DC
dSTAR: Straggler Tolerant and Byzantine Resilient Distributed SGD
University of California, Los Angeles(加州大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
dSTAR通过选择前k个响应工作节点的梯度并基于集成中位数过滤,同时应对掉队和拜占庭攻击,实现线性收敛和高精度,优于现有方法。
2026-09-21 cs.AI cs.CR cs.DC
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
分布式机器学习算法使得能够从分布在网络上的数据集学习模型,而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法,但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史,但现有的工作并没有转化为在完全分布式(也称为分散式)设置中进行高维学习的有效和实用的算法。在本文中,一个算法称为拜占庭弹性分布式坐标下降(ByRDiE)的开发和分析,使分布式学习中存在拜占庭故障。理论分析(凸设置)和数值实验(凸和非凸设置)突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
Perfect Privacy for Discriminator-Based Byzantine-Resilient Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全挑战,提出ByITFL和LoByITFL两种方案,结合判别器、拉格朗日编码计算等技术,在保障拜占庭弹性的同时实现信息论级隐私,各有通信成本与部署条件的权衡,并提供理论与实验验证。
2025-06-16 cs.DC cs.IT cs.LG
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University(罗格斯大学);Blue Danube Systems(蓝多瑙系统公司)
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束(例如,多代理系统)或计算/隐私原因(例如,在智能手机数据上学习)。这些应用程序通常需要以分散的方式执行学习任务,其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中,由于设备故障、网络攻击等,节点容易出现未检测到的故障,这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性,在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为,从而确保设计最鲁棒的算法。但是,与分布式学习相比,分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是,现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型,要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中,一个可扩展的,拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降(BRIDGE)。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外,大规模的分散学习实验被用来建立BRIDGE框架是可扩展的,它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
Distributed Momentum for Byzantine-resilient Learning
Distributed Computing Laboratory (DCL), École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL)分布式计算实验室(DCL))
动量法是梯度下降的一种变体,因其在收敛方面的优势而被提出。在分布式环境中,动量可以在服务器端或工作端实现。当服务器使用的聚合规则是线性的时,加法的可交换性使两个部署等效。然而,鲁棒性和隐私是放弃线性聚合规则的动机之一。在这项工作中,我们证明了在工人侧使用动量的鲁棒性的好处。我们首先证明,在工人的计算动量降低了服务器的梯度估计的方差-范数比,加强拜占庭弹性聚合规则。然后,我们提供了一个广泛的实验演示的鲁棒性效果的工人侧动量分布式SGD。
2020-03-09 cs.CR cs.DC cs.LG
Auto-Stabilisation et Confinement de Fautes Malicieuses : Optimalité du Protocole min+1
一个自稳定是自然恢复瞬变故障(即,故障的有限持续时间)。最近,出现了一类新的协议。这些协议是自稳定的,而且对有限数量的永久性故障有弹性。在这篇文章中,我们感兴趣的自稳定协议,容忍非常硬的永久故障:拜占庭故障。介绍了两种新的自稳定系统拜占庭包容方案。我们发现,对于BFS生成树的建设问题,众所周知的自稳定协议min+1提供了没有显着修改的最佳拜占庭遏制这些新的计划。
2011-04-20 cs.DC
Byzantine-Resilient Non-Convex Stochastic Gradient Descent
Microsoft Research Redmond(微软雷德蒙德研究院);University of Waterloo(滑铁卢大学);IST Austria(奥地利科学技术研究所)
我们研究了对抗弹性随机分布式优化,其中$m$机器可以独立地计算随机梯度,并合作共同优化其局部目标函数。然而,$α$ -一小部分机器是$\textit{Byzantine}$,因为它们可以以任意的、对抗的方式行为。我们考虑在具有挑战性的$\textit{non-convex}$情况下,这种程序的变体。我们的主要结果是一个新的算法SafeguardSGD,它可以证明逃逸鞍点,并找到近似的局部极小的非凸目标。该算法是基于一个新的浓度过滤技术,其样本和时间复杂度界匹配的随机,分布式设置时,没有拜占庭机器的最佳已知的理论界。我们的算法非常实用:它在训练深度神经网络时提高了所有现有方法的性能,它相对轻量级,并且它是第一个能够抵御两种最近提出的拜占庭攻击的方法。
2021-04-02 cs.DC cs.DS cs.LG
Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全风险,提出结合拉格朗日编码计算等技术的ByITFL方案,基于多项式近似ReLU的信任分数实现拜占庭容错,是首个具备完整信息论隐私性的同类方案。
2025-06-12 cs.CR cs.DC cs.IT
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Byzantine Resilient Computing with the Cloud
本文提出可信云辅助的拥塞团分布式计算框架,研究在高比例拜占庭机器下 Download、Disjunction 与 Parity 等基本问题的弹性界限。
2023-09-28 cs.DC
A Composable CRDT Layer for Byzantine-Resilient Deterministic Reconstruction
University of Applied Sciences and Arts of Southern Switzerland(南方瑞士应用科学与艺术大学)
提出Melda,一种非侵入式增量状态CRDT,通过确定性状态重建实现拜占庭容错,确保即使存在任意更新注入也能收敛。
2026-07-01 cs.CR cs.DC
GRANITE : a Byzantine-Resilient Dynamic Gossip Learning Framework
CEA, List, Université Paris-Saclay Palaiseau(CEA、List、巴黎-萨克雷大学帕莱索分校);INRIA, INSA Lyon, CITI, UR3720(INRIA、里昂INSA、CITI、UR3720);LIRIS, INSA Lyon, CNRS Lyon(LIRIS、里昂INSA、里昂CNRS)
针对动态八卦学习中拜占庭节点通过毒化模型和操纵节点采样发起的双重攻击,提出GRANITE框架,通过累积节点标识知识并动态调整聚合阈值,实现鲁棒学习,理论证明拜占庭节点在局部邻域呈指数衰减,实验表明在30%拜占庭节点下精度接近非拜占庭场景,且通信成本降低9倍。
2026-06-01 cs.AI cs.DC cs.LG
Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning
Northeastern University(东北大学);University of California, Berkeley(加州大学伯克利分校)
针对网络规模扩大带来的信息传播慢、通信故障和对抗攻击挑战,提出分层鲁棒push-sum算法与基于KL散度对偶平均的非贝叶斯学习算法,实现丢包容错与拜占庭弹性,并具备可证明收敛性。
2023-07-27 cs.DC cs.LG cs.NI
Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search
EPFL(洛桑联邦理工学院);HES-SO Valais-Wallis(瑞士西部高等专业学院瓦莱州立分校);armasuisse(瑞士国防采购与技术局)
针对无梯度分布式机器学习缺乏拜占庭容错方法的问题,提出 model-consensus 定义,并将 (1,λ)-Evolutionary Search 与经典共识机制结合,给出全序广播和 PoW 领导者选举的证明与伪代码。
2023-04-20 cs.DC cs.LG cs.NE
Byzantine Resilient Non-Convex SVRG with Distributed Batch Gradient Computations
在这项工作中,我们考虑了分布式随机最优化问题的最小化非凸函数$f(x) = \mathbb{E}_{ξ\sim \mathcal{D}} f(x; ξ)$在对抗设置,其中个别功能$f(x; ξ)$也可以是潜在的非凸的。我们假设最多$α$ -全部$K$节点的一部分可以是拜占庭。我们提出了一个强大的随机方差降低梯度(SVRG)的问题,其中批量梯度计算在工人节点(WN)和随机梯度计算在服务器节点(SN)的算法。对于非凸优化问题,我们证明了我们需要在每个节点(SN和WN)上平均计算$\tilde{O}\left( \frac{1}{ε^{5/3} K^{2/3}} + \frac{α^{4/3}}{ε^{5/3}} \right)$梯度,以达到$ε$ -稳定点。该算法通过设计一个新的拜占庭过滤规则,这是独立的问题的维数,保证收敛。重要的是,我们捕获的拜占庭节点的分数$α$存在于网络上的算法的收敛性能的影响。
2019-12-10 cs.DC cs.MA math.OC
Optimal byzantine resilient convergence in oblivious robot networks
Université Pierre et Marie Curie - Paris 6(巴黎第六大学(皮埃尔和玛丽·居里大学));CNRS(法国国家科学研究中心)
给定一组具有任意初始位置且在全局坐标系上没有一致性的机器人,收敛要求所有机器人渐近地接近完全相同但事先未知的位置。机器人是健忘的--它们不记得过去的计算--并且被允许在一维空间中移动。此外,机器人不能直接通信,而是只能通过视觉传感器获取系统相关信息。我们绘制了机器人网络中的收敛问题和分布式\emph{approximate agreement}问题(需要正确的过程来决定,对于一些常数$ε$,值距离$ε$和初始建议值的范围内)之间的连接。令人惊讶的是,即使规范相似,机器人网络中的收敛实现也需要对同步和拜占庭弹性进行特定的假设。更详细地说,我们证明了移动机器人收敛的充分必要条件,尽管它们的子集是拜占庭式的(即它们可以表现出任意行为)。此外,我们提出了一个确定性的机器人网络的收敛算法,并分析其正确性和复杂性,在各种同步设置。所提出的算法容忍f拜占庭机器人(2f+1)大小的机器人网络在完全同步网络,(3f+1)大小的半同步网络。这些界限是最佳的一类谨慎的算法,保证正确的机器人总是正确的机器人的位置范围内移动。
2009-05-25 cs.DC cs.RO
Byzantine-Resilient Distributed Computation via Task Replication and Local Computations
本文针对拜占庭工作节点下的分布式计算问题,提出基于任务复制与最小化本地计算的协议,并给出循环分配的闭式性能结果及通信效率改进方案。
2025-07-21 cs.DC cs.IT math.IT
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑分布式学习中基于随机梯度下降(SGD)的分布式算法的弹性与潜在的拜占庭攻击者,谁可以发送任意信息到参数服务器,以破坏训练过程。为此,我们提出了一个新的Lipschitz启发的坐标明智的中位数方法(LICM-SGD),以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者,同时在非凸设置中几乎肯定会收敛到一个固定区域。此外,我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息,这使得它对实际实现具有吸引力。此外,我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上,时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验,以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中,LICM-SGD还实现了更快的运行时间,这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
Generalization Error Analysis for Attack-Free and Byzantine-Resilient Decentralized Learning with Data Heterogeneity
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);College of Computer, National University of Defense Technology(国防科技大学计算机学院)
本文针对异构数据下的无攻击与拜占庭容错去中心化学习建立细粒度泛化误差分析,揭示数据异构性、初始化、梯度噪声及拜占庭攻击的影响,并通过凸与非凸实验验证理论。
2025-06-11 cs.DC cs.LG
Brave: Byzantine-Resilient and Privacy-Preserving Peer-to-Peer Federated Learning
University of Washington(华盛顿大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出Brave协议,在P2P联邦学习中同时实现拜占庭弹性和隐私保护,证明其能抵御诚实但好奇和拜占庭两类对手,并在CIFAR10和MNIST上验证了模型准确率与无对手训练相当。
2024-01-10 cs.CR cs.DC cs.LG
RCanopus: Making Canopus Resilient to Failures and Byzantine Faults
分布式共识是许多分布式系统(包括分布式数据库和区块链)的关键推动因素。Canopus是一个可扩展的分布式共识协议,它确保系统中的活动节点就有序的操作序列(称为事务)达成一致。与大多数先前的共识协议不同,老人星不依赖于单一的领导者。相反,它使用虚拟树覆盖进行消息分发,以限制过度订阅链接的网络流量。它利用机架内和网络结构内的硬件冗余来降低协议复杂性和通信开销。这些设计决策使Canopus能够支持大型部署,而不会显着降低性能。现有的Canopus协议在面对节点和通信故障时具有弹性,但其重点主要是性能,因此不能很好地响应其他类型的故障。例如,单个服务器机架的故障会导致所有活动节点停止。该协议也是开放的拜占庭节点的攻击,这可能会导致不同的活节点,以不同的交易顺序结束协议。在本文中,我们描述RCanopus('resilent Canopus'),它扩展了Canopus以增加活性,即允许活节点在可能的情况下取得进展,尽管有许多类型的失败。这要求RCanopus能够准确地检测故障并从故障中恢复,尽管使用了不可靠的故障检测器,并且能够容忍拜占庭攻击。第二,RCanopus保证安全,也就是说,在拜占庭攻击和网络分区的存在下,交易顺序的活节点之间的协议。
2019-06-16 cs.DC cs.NI cs.PF
RAPTEE: Leveraging trusted execution environments for Byzantine-tolerant peer sampling services
对等采样是分布式系统中用于覆盖管理和信息传播的第一级抽象。对等点采样的目标是不断地构建和刷新动态的、大规模的分布式系统的完整成员的局部视图。在对手控制下的恶意节点可能旨在在正确节点的视图中被过度表示,从而增加它们对基于对等采样构建的协议的正确操作的影响。最先进的拜占庭弹性对等采样协议减少了这种偏见,只要拜占庭不是过度存在。本文研究了在考虑到一小部分可信节点可以运行代码时,对等采样服务的弹性所带来的好处,这些代码的真实性和完整性可以在可信执行环境中进行评估,特别是英特尔的软件防护扩展技术(SGX)。我们提出了RAPTEE,协议,建立和利用可信的八卦为基础的通信,阻碍对手的能力,以增加其系统范围内的代表性的所有节点的意见。我们将RAPTEE应用于BRAHMS,这是迄今为止最具弹性的对等采样协议。10,000个节点的实验表明,只有1%的支持SGX的设备,RAPTEE可以在系统包含10%的拜占庭节点时,将诚实节点中拜占庭ID的比例降低17%。此外,RAPTEE的安全保证即使在存在强大的攻击者试图识别可信节点和注入视图中毒的可信节点的情况下也能保持。
2022-03-08 cs.DC
Byzantine Cluster-Sending in Expected Constant Communication
传统的弹性系统在完全复制的容错集群上运行,这限制了它们的可扩展性和性能。迈向能够处理巨大工作负载的弹性高性能系统的一种方法是使独立的容错集群能够有效地相互通信和协作,因为这也可以使用高性能技术,如分片和并行处理。最近,这种集群间的通信被形式化为拜占庭集群发送问题,并提出了解决这个问题的最坏情况下的最优协议。不幸的是,这些协议在所涉及的簇的大小方面具有全情况线性复杂度。在本文中,我们提出了概率集群发送技术,可以可靠地发送消息从一个拜占庭容错集群到另一个只有一个预期的恒定的消息复杂性,这独立的集群的大小。根据所涉及的集群的鲁棒性,我们的技术只需要两到四个消息往返。此外,我们的协议可以支持最坏情况下的集群之间的线性通信,这是最佳的,并处理异步和不可靠的通信。因此,我们的工作为进一步开发弹性高性能系统奠定了坚实的基础。
2021-08-19 cs.DB cs.DC
Automated Byzantine-Resilient Clustered Decentralized Federated Learning for Battery Intelligence in Connected EVs
SAMOVAR, Télécom SudParis(SAMOVAR,法国电信南巴黎学院);Department of Computer Science, German University of Technology in Oman (GUtech)(阿曼技术大学计算机科学系);L3i, La Rochelle University(拉罗什大学L3i)
本文提出了一种自动化抗拜占庭攻击的集群化去中心化联邦学习框架ABC-DFL,用于连接电动车的电池智能,通过引入动态Quorum拜占庭容错协议和基于或acles的聚合层,提高信任、安全和自动化水平,FLECA协议通过适应性阈值过滤恶意更新,有效缓解拜占庭攻击。
2026-07-01 cs.DC cs.LG
Model-Consistent Byzantine-Resilient Decentralized Federated Learning for Collaborative Missions
University of Kentucky(肯塔基大学);University of South Florida(南佛罗里达大学)
本文提出DFL-C架构,将ACS共识协议与双域信任评分机制结合,实现拜占庭容错的全局模型一致去中心化联邦学习,在非IID场景下优于BALANCE方案。
2026-08-25 cs.CR cs.DC cs.LG
Byzantine-Resilient High-Dimensional Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究随机梯度下降(SGD)与本地迭代在恶意/拜占庭客户端的存在下,联邦学习的动机。客户端不是在每次迭代中与中央服务器通信,而是维护它们的本地模型,它们通过基于自己的数据集进行几次SGD迭代来更新本地模型,然后将网络更新与服务器进行通信,从而实现通信效率。此外,只有客户端的子集与服务器通信,并且该子集在不同的同步时间可能不同。拜占庭客户端可以协作并向服务器发送任意向量以中断学习过程。为了对抗对手,我们采用了Steinhardt等人提出的一种高效的高维鲁棒均值估计算法。\cite [ITCS 2018]{Resilience_SCV18}在服务器上过滤掉损坏的向量;为了分析离群值过滤程序,我们开发了一种可能具有独立兴趣的新型基质浓度结果。我们为异构数据环境中的强凸和非凸光滑目标提供收敛分析,其中不同的客户端可能具有不同的本地数据集,并且我们不对数据生成进行任何概率假设。我们相信,我们是第一个拜占庭弹性算法和分析与本地迭代。我们得出我们的收敛结果的最小假设下的有界方差SGD和有界梯度相异性(捕获本地数据集之间的异质性)。我们还将我们的结果扩展到客户端计算全批梯度的情况。
2020-08-16 cs.CR cs.DC cs.LG
DSFL: A Dual-Server Byzantine-Resilient Federated Learning Framework via Group-Based Secure Aggregation
DSFL提出双服务器分组安全聚合框架,无需加密或可信假设,通过信用过滤和奖惩机制防御拜占庭客户端,在非IID数据下显著提升模型准确率并保持轻量级。
2025-09-10 cs.AI cs.CR cs.DC
Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了拜占庭攻击下主从架构中的分布式随机梯度下降(SGD)。我们考虑异构数据模型,其中不同的工作人员可能有不同的本地数据集,我们不对数据生成进行任何概率假设。在我们算法的核心,我们使用Steinhardt等人(ITCS 2018)提出的用于鲁棒均值估计的多项式时间离群值过滤程序来过滤掉损坏的梯度。为了能够在我们的{ \em异构}数据设置中应用他们的过滤过程,其中工人计算{ \em随机}梯度,我们推导出一个新的矩阵浓度结果,这可能是独立的兴趣。我们提供了光滑强凸和非凸目标的收敛性分析。我们得到我们的结果下的有界方差假设局部随机梯度和{ \em确定性}条件下的数据集,即梯度相异性,并为这些数量,我们提供具体的界限在统计异质数据模型。我们给出了随机梯度的小批量大小和近似误差之间的权衡。我们的算法可以容忍高达$\frac{1}{4}$分数拜占庭工人。该算法在强凸环境下能以指数速度找到近似最优参数,在非凸环境下能以线性速度到达近似稳定点,从而在Byzantine-free环境下与vanilla SGD算法的收敛速度相当.我们还提出并分析了拜占庭弹性SGD算法与梯度压缩,工人发送$k$随机坐标的梯度。在温和的条件下,我们展示了一个$\frac{d}{k}$因子节省通信比特以及解码复杂度超过我们的压缩免费算法,而不影响其收敛速度(顺序)和近似误差。
2020-05-16 cs.CR cs.DC cs.LG
ResilientDB: Global Scale Resilient Blockchain Fabric
区块链技术的最新发展激发了弹性分布式和数据库系统的创新设计。在其核心,这些区块链应用程序通常使用拜占庭容错共识协议来维护所有副本的共同状态,即使某些副本有故障或恶意。不幸的是,现有的共识协议不是设计来处理地理规模的部署,其中许多副本分布在一个地理上大的区域参与共识。为了解决这个问题,我们提出了地理尺度拜占庭容错共识协议(GeoBFT)。GeoBFT通过在本地集群中使用拓扑感知的副本分组,通过在本地级别引入共识的并行化以及通过最小化集群之间的通信来实现出色的可扩展性。为了验证我们对高性能地理尺度弹性分布式系统的愿景,我们在高效的ResilientDB许可区块链结构中实现了GeoBFT。我们表明,GeoBFT不仅是健全的,并提供了很大的可扩展性,但也优于国家的最先进的共识协议的一个因素,在地理规模的部署。
2020-03-18 cs.DB cs.DC
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data
Zhejiang University(浙江大学);North Carolina State University(北卡罗来纳州立大学);Wuhan University(武汉大学)
提出TernaryVote算法,结合三值压缩器和多数投票机制,在异构数据上同时实现差分隐私、梯度压缩和拜占庭容错,理论证明其隐私保证和鲁棒性,实验验证了有效性。
2024-02-16 cs.CR cs.DC cs.LG
Resilient Byzantine Agreement with Predictions
TU Berlin(柏林技术大学);Weizenbaum Institute(魏泽恩堡研究所);HU Berlin(柏林洪堡大学)
本文研究了在有预测器辅助下解决拜占庭共识问题,通过算法容错性和预测器准确度的权衡分析,提出在非认证和认证设置下容忍不同数量故障节点的算法及不可能性结果。
2026-05-19 cs.AI cs.DC
Robust and Scalable Renaming with Subquadratic Bits
针对分布式计算中容错重命名问题通信开销大的局限,本文提出两种仅使用 $O(\log{N})$ 比特消息的强重命名算法,分别容忍崩溃和拜占庭故障,实现了次二次乃至近线性的通信开销,并证明了其近最优性。
2025-04-30 cs.DC
DRACO: Byzantine-resilient Distributed Training via Redundant Gradients
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布式模型训练易受拜占庭系统故障和敌对计算节点的影响,即,使用恶意更新来破坏存储在参数服务器(PS)处的全局模型的节点。为了保证某种形式的鲁棒性,最近的工作建议使用几何中值的变体作为聚合规则,代替梯度平均。不幸的是,基于中值的规则在大规模设置中可能会产生令人望而却步的计算开销,并且它们的收敛保证通常需要强有力的假设。在这项工作中,我们提出了DRACO,一个可扩展的框架,强大的分布式训练,使用编码理论的想法。在DRACO中,每个计算节点评估参数服务器使用的冗余梯度,以消除对抗性更新的影响。DRACO具有与问题无关的鲁棒性保证,它训练的模型与在无对抗设置中训练的模型相同。我们提供了大量的实验,在真实的数据集和分布式设置在各种大规模的模型,我们表明,DRACO是几倍,数量级快于基于中位数的方法。
2018-06-22 cs.DC cs.IT cs.LG
Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning
School of Information, Computation and Technology(信息、计算与技术学院)
针对异构联邦学习中现有拜占庭容错方案无法结合隐私保护的问题,提出融合可验证秘密共享、安全聚合与定制对称私有信息检索的多阶段方法,实现信息论隐私与拜占庭容错,并结合零阶估计降低通信开销提升可扩展性。
2025-06-11 cs.DC cs.IT cs.LG
P4BFT: Hardware-Accelerated Byzantine-Resilient Network Control Plane
拜占庭容错(Byzantine Fault Tolerance,BFT)允许分布式的正确操作,即,复制的应用程序在面对恶意接管和故障/错误的个别实例。最近,BFT设计在软件定义网络(SDN)的背景下获得了关注。在SDN中,控制器副本是分布式的,并且其状态被复制以用于高可用性目的。然而,恶意控制器副本可能使控制平面不稳定并操纵数据平面,从而激发BFT需求。尽管如此,在实践中部署BFT的缺点是来自复制的控制器的增加的业务负载,以及对专有交换机功能的要求,从而对交换机的控制平面施加压力,其中特定的BFT动作必须在软件中执行。P4 BFT利用最佳策略来减少传输到作为SDN控制器的配置目标的交换机的消息总量。它通过在数据平面中确定的最佳位置中的消息比较和正确消息的推导来实现。在所产生的控制平面负载方面,我们的基于P4的数据平面扩展在随机128交换机和胖树/Internet 2拓扑中分别比现有解决方案平均高出约33.2%和约40.2%。为了验证P4 BFT的正确性和性能提升,我们部署了基于bmv 2和Netronome Agilio SmartNIC的拓扑。因此,P4 BFT的优点可以通过软件交换机和支持P4的“商品”硬件来再现。一个硬件加速的控制器数据包比较程序的结果,在平均96.4%的减少处理延迟,每个请求相比,现有的软件方法。
2019-08-14 cs.DC cs.NI
Byzantine Consensus is Θ(n^2): The Dolev-Reischuk Bound is Tight even in Partial Synchrony! [Extended Version]
Dolev-Reischuk界限说,任何确定性拜占庭共识协议在最坏情况下(至少)具有二次通信复杂性。虽然它已被证明,在同步环境中的界限是紧的,它仍然是未知的,是否可以在部分同步获得二次通信复杂性的共识协议。到目前为止,用于部分同步设置中的拜占庭共识的最有效的已知解决方案具有立方通信复杂性(例如,HotStuff,二进制DBFT)。本文通过引入具有二次最坏通信复杂性的部分同步拜占庭共识协议SQad来弥补现有的差距。此外,SQuad具有最佳弹性,可实现线性最坏情况延迟复杂度。SQad背后的关键技术贡献在于我们解决视图同步的方式,即在足够长的时间内将所有正确的进程带到具有正确领导者的同一视图的问题。具体来说,我们提出了RareSync,一个视图同步协议,具有二次通信复杂性和线性延迟复杂性,我们利用它来获得SQad。
2022-09-06 cs.DC
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
An Almost-Surely Terminating Polynomial Protocol for Asynchronous Byzantine Agreement with Optimal Resilience
考虑一个具有专用信道和$n$进程的异步系统,其中多达$t$可能有故障。我们解决了一个长期悬而未决的问题,通过提供一个拜占庭协议,同时实现三个属性:1。(最佳)弹性:只要$n>3t$ 2.(几乎确定)终止:概率为1,所有无故障进程终止3。(多项式)效率:预期的计算时间、存储器消耗、消息大小和发送的消息数量在$n$中都是多项式。早期的协议只实现了这三个属性中的两个。特别地,Bracha的协议不是多项式有效的,Feldman和Micali的协议不是最优弹性的,Canetti和Rabin的协议没有几乎确定终止。我们的协议利用了一个新的原语称为回避(异步)可验证的秘密共享(SVSS),它确保,粗略地说,无论是一个秘密被成功地共享或一个新的故障过程被忽略,从这一点起,一些nonfaulty进程。
2008-08-11 cs.DC