Tame the Wild with Byzantine Linearizability: Reliable Broadcast, Snapshots, and Asset Transfer
本文形式化了拜占庭线性化这一正确性条件,用于判定并发对象能否抵御拜占庭故障,并基于寄存器系统研究了可靠广播、原子快照和资产转移等对象的拜占庭容错模拟,证明了在 $f<\ rac{n}{2}$ 条件下存在 $f$-容错实现。
2024-06-04 cs.DC
Not eXactly Byzantine: Efficient and Resilient TEE-Based State Machine Replication
本文提出基于TEE的状态机复制协议NxBFT,采用异步无领导者图共识和“并非完全拜占庭”模型,在保持高吞吐量的同时实现负载均衡,并通过实验证明其在多副本和高延迟场景下优于MinBFT和Damysus。
2025-07-02 cs.DC
Fully-Distributed Construction of Byzantine-Resilient Dynamic Peer-to-Peer Networks
提出一种完全分布式的动态P2P协议,在高流失和大量拜占庭节点环境下以高概率维护常数度数扩展图拓扑,开销仅为polylogarithmic,可用于解决拜占庭共识等基础分布式计算问题。
2025-08-15 cs.DC
RT-ByzCast: Byzantine-Resilient Real-Time Reliable Broadcast
今天的网络物理系统面临着各种障碍,以实现其预期的目标,即,通信的不确定性和故障,相对于网络和无线设备的集成度的增加,阻碍了同步需要满足实时的【形】最后期限。此外,由于这些系统至关重要,因此也面临着重大的安全威胁。这种威胁组合会增加物理伤害的风险。本文通过研究如何建立第一个实时的【形】拜占庭可靠广播协议(RTBRB)来解决这些问题,该协议能够容忍网络的不确定性、故障和攻击。以前的文献描述了实时的【形】可靠广播协议,或异步(非实时的【形】)拜占庭协议。我们首先证明了使用传统的分布式计算范例来实现RTBRB是不可能的,其中,即使在最强大的故障检测器的帮助下,过程的错误/故障检测机制也与广播算法本身解耦。我们规避这种不可能性,提出RT-ByzCast,一种算法的基础上聚合数字签名在一个滑动的时间窗口,并赋予流程自崩溃的能力,以掩盖和绑定的损失。我们表明,RT-ByzCast(i)操作实时的【形】通过证明正确的进程广播的消息在一个已知的有界延迟内交付,(ii)是可靠的,通过证明正确的进程使用我们的算法崩溃自己的概率可以忽略不计,即使消息丢失率高达60%。
2018-07-03 cs.DC
Byzantine-Resilient Federated Learning at Edge
Shandong University(山东大学);University of Chinese Academy of Sciences(中国科学院大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);City University of Hong Kong(香港城市大学)
拜占庭弹性和通信效率在边缘联邦学习中的重要性引起了人们的极大关注。然而,大多数现有的算法可能会失败时,处理现实世界中的不规则数据的行为在重尾的方式。为了解决这个问题,我们研究了边缘联邦学习的随机凸和非凸优化问题,并展示了如何处理重尾数据,同时保持拜占庭弹性,通信效率和最佳统计出错率。具体来说,我们首先提出了一个拜占庭弹性分布式梯度下降算法,可以处理重尾数据,同时在标准假设下收敛。为了减少通信开销,我们进一步提出了另一种算法,采用梯度压缩技术,以节省在学习过程中的通信成本。理论分析表明,我们的算法实现了订单最优的统计出错率拜占庭设备的存在。最后,我们在合成和真实世界的数据集上进行了广泛的实验,以验证我们的算法的有效性。
2023-03-18 cs.AI cs.DC
PISTIS: An Event-Triggered Real-Time Byzantine-Resilient Protocol Suite
社会数字化的加速以及技术的发展扩大了网络物理系统的地理范围。两个主要威胁使得这些系统的可靠和实时的【形】控制具有挑战性:(i)由环境和设备的规模和异质性引起的通信基础设施中的不确定性;以及(ii)恶意地恶化上述通信不确定性的影响的有针对性的攻击,破坏实时的【形】应用的正确性。本文通过展示如何构建分布式协议来解决这些挑战,该协议在概率同步环境中提供实时的【形】实用性能和网络故障和攻击的可扩展性。我们提供了一套实时的【形】拜占庭协议,我们证明是正确的,从一个可靠的广播协议,称为PISTIS,原子广播和共识。该套件简化了强大的分布式和分散式监控和控制应用程序的构建,包括状态机复制。大量的实证模拟展示了PISTIS的鲁棒性、延迟和可扩展性。例如,PISTIS可以承受49个节点的系统中高达50%的消息丢失(和延迟)率,并提供几毫秒量级的有界传递延迟。
2021-03-18 cs.DC
Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin(威斯康星大学)
在分布式模型训练中提供拜占庭弹性的需求越来越大。现有的鲁棒分布式学习算法主要关注于在参数服务器上开发复杂的鲁棒聚集器,而对通信开销和鲁棒性的平衡关注较少。在本文中,我们提出了梭伦,一个算法框架,利用梯度冗余,同时提供通信效率和拜占庭鲁棒性。我们的理论分析表明,计算负载,通信成本和拜占庭鲁棒性之间的基本权衡。我们还开发了一个具体的算法,以实现最佳的权衡,借用编码理论和稀疏恢复的想法。在各种数据集上的实验表明,Solon在现有方法上提供了显着的加速,以达到相同的精度,比Bulyan快10倍以上,比Draco快80%。我们还表明,精心设计的拜占庭攻击打破Signum和Bulyan,但不影响梭伦的成功收敛。
2021-10-09 cs.DC cs.LG
Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
拜占庭式的弹性成为分布式机器学习社区中的一个突出话题。从本质上讲,目标是增强分布式优化算法,如分布式SGD,以保证收敛,尽管存在一些行为不端(也称为,{ \em Byzantine})工人。虽然已经提出了无数的技术来解决这个问题,但该领域可以说是建立在脆弱的基础上。这些技术很难证明是正确的,并且依赖于(a)非常不现实的假设,即,在实践中经常被违反,以及(b)异质性,即,使得难以比较方法。我们提出了\emph{RESAM (RESilient Averaging of Momentums)},一个统一的框架,使它简单地建立最佳的拜占庭弹性,只依赖于标准的机器学习假设。我们的框架主要由两个操作符组成:服务器端的\emph{resilient averaging}和工作端的\emph{distributed momentum}。我们证明了一个一般定理,说明分布式SGD下RESAM的收敛性。有趣的是,证明和比较许多现有技术的收敛性成为我们定理的直接推论,而无需采取严格的假设。我们还提出了RESAM的实际意义的实证评估。
2022-05-24 cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
LIFT: Byzantine Resilient Hub-Sampling
Sorbonne University(索邦大学)
LIFT通过引入加密安全的伪随机数生成器,提高了Elevator在拜占庭攻击下的鲁棒性,使其能够承受高达10%的拜占庭节点攻击。
2026-01-28 cs.CR cs.DC
A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
本文提出了一个鲁棒梯度分类框架(RGCF)拜占庭容错分布式随机梯度下降。该框架由一个模式识别过滤器,我们训练能够单独使用它们的方向分类个别梯度拜占庭。该过滤器对于凸优化设置和非凸优化设置的任意数量的拜占庭工人是鲁棒的,这是对先前工作的显著改进,该先前工作仅当高达50%的工人是拜占庭时才对拜占庭故障是鲁棒的。该解决方案不需要估计拜占庭工人的数量;其运行时间不依赖于工人的数量,并且可以扩展到具有大量工人的训练实例,而不会损失性能。我们通过在拜占庭工人存在的情况下在MNIST数据集上训练卷积神经网络来验证我们的解决方案。
2023-01-16 cs.AI cs.DC cs.LG
FinWhale: An Optimally Resilient Two-Round Terminating DAG Protocol
Technion, Israel(以色列理工学院)
提出首个基于DAG的两消息延迟快速路径拜占庭容错协议FinWhale,通过快速路径证据块实现安全共存,在部分同步模型下达到最优弹性。
2026-08-19 cs.DC
Basilic: Resilient Optimal Consensus Protocols With Benign and Deceitful Faults
拜占庭共识问题一直是设计安全分布式系统的关键。然而,这是特别困难的,主要是由于任意行为的拜占庭进程的存在和一般网络中的未知消息延迟。虽然众所周知,一旦$n/3$拜占庭进程失败,安全性和活性都有风险,但很少有工程试图精确地描述产生终止违规的故障中产生安全违规的故障。在本文中,我们提出了一个新的下限的共识问题的可解性区分欺骗性故障违反安全和良性故障违反终止更一般的拜占庭故障,我们称之为拜占庭欺骗良性故障模型。我们发现,如果$n\leq 3t+d+2q$与$t$拜占庭进程,$d$欺骗进程,和$q$良性进程不能解决共识。此外,我们表明,这个界限是紧的,通过提出的Basilic类的共识协议,解决共识时,$n > 3t+d+2q$。这些协议的不同之处在于它们在继续之前等待接收消息的进程的数量。因此,这些协议中的每一个都更适合于某些应用,这取决于良性或欺骗性故障的优势。最后,我们在需要解决最终共识的较弱问题的区块链背景下研究了Basilic类共识协议的容错。我们证明了Basilic仅用$n > 2t+d+q$解决了这个问题,从而展示了它如何加强区块链安全性。
2022-04-19 cs.DC
Interactive Byzantine-Resilient Gradient Coding for General Data Assignments
本研究针对分布式梯度下降中的拜占庭错误问题,提出交互式抗拜占庭梯度编码方案,仅需s+1复制因子即可在s个恶意节点下恢复全梯度,最多s轮交互且通信成本与样本数对数相关。
2024-01-30 cs.DC cs.IT math.IT
Byzantine-Resilient Counting in Networks
我们提出了两个分布式算法的{ \em拜占庭计数问题},这是有关估计的网络中存在大量的拜占庭节点的大小。在$n$节点网络($n$是未知的),我们的第一个算法,这是{ \em确定性},完成在$O(\log{n})$轮,是时间最优的。该算法可以容忍高达$O(n^{1 - γ})$任意(adversarially)放置拜占庭节点的任何任意小(但固定)的正常数$γ$。它输出$\log{n}$的(固定)常数因子估计值,该估计值对于除$o(1)$部分良好节点之外的所有节点都是已知的。该算法适用于\emph{any}有界度扩展网络。然而,该算法假设好的节点可以在一轮中发送任意大的消息。我们的第二个算法是{ \em randomized},大多数好的节点只发送小型消息(在本文中,小型消息被定义为除了最多恒定数量的节点ID之外还包含$O(\log{n})$比特的消息。)。该算法适用于\emph{almost all} $d$ -正则图.它容忍多达$B(n) = n^{\frac{1}{2} - ξ}$(注意,$n$和$B(n)$是未知的算法)任意(相反)放置的拜占庭节点,其中$ξ$是任何任意小的(但固定的)正常数。该算法进行$O(B(n)\log^2{n})$轮并输出概率至少为$1 - o(1)$的$\log{n}$的(固定)常数因子估计。所述估计对于大多数节点是已知的,即,$\geq (1 - β)…
2022-04-25 cs.DC
Byzantine-Resilient Population Protocols
本文研究拜占庭容错的群体协议,针对多数共识问题,提出两种算法并组合,显著提升容错性至$f \leq n/c$,且能对抗动态对手。
2024-02-04 cs.DC
Vault: Decentralized Storage Made Durable
National University of Singapore(新加坡国立大学)
Vault通过基于采样的数据放置策略和可验证随机性,实现去中心化存储网络在存储规模、链上开销和拜占庭容忍度的同步扩展。
2026-04-06 cs.DC
AWARE: Adaptive Wide-Area Replication for Fast and Resilient Byzantine Consensus
随着即将到来的区块链基础设施,世界范围内的拜占庭共识变得越来越实用和必要。在地理分布的系统中,实现一致性的速度受到副本之间连接的异构延迟的限制。如果部署在广域网上,基于共识的系统将受益于加权复制,这种方法利用额外的副本并为连接良好的副本分配更高的投票权。这使得在仲裁形成中有更多的选择,并且副本可以利用成比例的较小仲裁来推进,从而减少共识延迟。然而,系统需要一种解决方案,以便在网络条件发生变化或发生故障时自主调整其环境。我们提出了自适应广域复制(AWARE),一种机制,提高了地理可扩展性的共识与节点广泛分布在世界各地。本质上,AWARE是一个自动和动态的投票权重调整和领导者定位方案,它支持系统中快速法定人数的出现。它采用了一个可靠的自我监控过程,并提供了一个预测模型,试图最大限度地减少系统的共识延迟。在使用多个AWS EC2区域的实验中,AWARE通过自主找到快速权重配置来动态优化共识延迟,从而使全球各地的客户端观察到延迟增益。
2020-11-03 cs.DC
dSTAR: Straggler Tolerant and Byzantine Resilient Distributed SGD
University of California, Los Angeles(加州大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
dSTAR通过选择前k个响应工作节点的梯度并基于集成中位数过滤,同时应对掉队和拜占庭攻击,实现线性收敛和高精度,优于现有方法。
2026-09-21 cs.AI cs.CR cs.DC
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
Byzantine Fault-Tolerance in Decentralized Optimization under Minimal Redundancy
研究了多智能体分散优化中的拜占庭容错问题。在这个问题中,每个代理都有一个局部成本函数。分散优化算法的目标是允许代理合作计算其总成本函数的公共最小点。我们考虑的情况下,一定数量的代理可能是拜占庭式的故障。这种错误的代理可能不遵循规定的算法,并且他们可能与其他非错误代理共享任意或不正确的信息。这种拜占庭代理的存在使得典型的分散式优化算法无效。我们提出了一个分散的优化算法与可证明的精确容错对有限数量的拜占庭代理,提供了非故障代理有一个最小的冗余。
2020-09-30 cs.DC cs.MA cs.SY
YAC: BFT Consensus Algorithm for Blockchain
在异步接收事件并受到拜占庭故障影响的去中心化系统中,共识是许多现实应用程序的常见问题。去中心化系统的进步,如分布式账本(即,区块链)技术,只会增加在去中心化系统中找到状态机复制共识的性能和安全解决方案的重要性。YAC是一种实用的分散式共识算法,它解决了经典拜占庭容错共识算法中存在的消息传递效率低和强领导者等问题。该算法是开源的,目前用于为Hyperledger Iroha区块链项目提供拜占庭容错共识。我们提供了安全性和活性的证明,以及实证结果表明,我们的算法可以扩展到几十个验证同行。
2018-09-03 cs.DC
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
分布式机器学习算法使得能够从分布在网络上的数据集学习模型,而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法,但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史,但现有的工作并没有转化为在完全分布式(也称为分散式)设置中进行高维学习的有效和实用的算法。在本文中,一个算法称为拜占庭弹性分布式坐标下降(ByRDiE)的开发和分析,使分布式学习中存在拜占庭故障。理论分析(凸设置)和数值实验(凸和非凸设置)突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
Perfect Privacy for Discriminator-Based Byzantine-Resilient Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全挑战,提出ByITFL和LoByITFL两种方案,结合判别器、拉格朗日编码计算等技术,在保障拜占庭弹性的同时实现信息论级隐私,各有通信成本与部署条件的权衡,并提供理论与实验验证。
2025-06-16 cs.DC cs.IT cs.LG
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University(罗格斯大学);Blue Danube Systems(蓝多瑙系统公司)
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束(例如,多代理系统)或计算/隐私原因(例如,在智能手机数据上学习)。这些应用程序通常需要以分散的方式执行学习任务,其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中,由于设备故障、网络攻击等,节点容易出现未检测到的故障,这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性,在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为,从而确保设计最鲁棒的算法。但是,与分布式学习相比,分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是,现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型,要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中,一个可扩展的,拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降(BRIDGE)。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外,大规模的分散学习实验被用来建立BRIDGE框架是可扩展的,它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
Distributed Momentum for Byzantine-resilient Learning
Distributed Computing Laboratory (DCL), École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL)分布式计算实验室(DCL))
动量法是梯度下降的一种变体,因其在收敛方面的优势而被提出。在分布式环境中,动量可以在服务器端或工作端实现。当服务器使用的聚合规则是线性的时,加法的可交换性使两个部署等效。然而,鲁棒性和隐私是放弃线性聚合规则的动机之一。在这项工作中,我们证明了在工人侧使用动量的鲁棒性的好处。我们首先证明,在工人的计算动量降低了服务器的梯度估计的方差-范数比,加强拜占庭弹性聚合规则。然后,我们提供了一个广泛的实验演示的鲁棒性效果的工人侧动量分布式SGD。
2020-03-09 cs.CR cs.DC cs.LG
Centrality of nodes in Federated Byzantine Agreement Systems
联邦拜占庭协议系统(FBAS)是Mazières在2016年提出的一种共识模型,其中参与节点在概念上形成了一个网络,它们之间的链接由每个节点单独建立,因此是分散的。一个重要的问题是,这些分散的决策是否会导致一个整体分散的网络。网络中的(去)中心化水平可以使用中心性度量来评估。在本文中,我们考虑三种不同的方法来获得中心性措施的FBAS中的节点。其中两个是基于适应众所周知的措施的基础上,图和超图的FBAS上下文。由于FBAS的网络结构可能比(通常)图或超图更复杂,我们还开发了一个新的,适应问题的中心性措施。这种新的衡量标准是基于节点的完整性,这是FBAS模型的一个重要组成部分。我们说明了几个计算实例的三种方法的优点和缺点。我们已经在Python包Stellar Observatory中实现了所有中心性度量并执行了所有计算。
2020-12-07 cs.DC
On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);Department of Electrical and Computer Engineering, University of California, San Diego(加利福尼亚大学圣地亚哥分校电气与计算机工程系)
本文研究去中心化学习中隐私保护与拜占庭鲁棒性的权衡,提出结合高斯噪声与鲁棒聚合的SGD框架,发现防御攻击的学习误差会因隐私噪声而加剧,并揭示了鲁棒聚合规则“混合能力”对权衡的影响。
2024-10-14 cs.CR cs.DC cs.LG
Auto-Stabilisation et Confinement de Fautes Malicieuses : Optimalité du Protocole min+1
一个自稳定是自然恢复瞬变故障(即,故障的有限持续时间)。最近,出现了一类新的协议。这些协议是自稳定的,而且对有限数量的永久性故障有弹性。在这篇文章中,我们感兴趣的自稳定协议,容忍非常硬的永久故障:拜占庭故障。介绍了两种新的自稳定系统拜占庭包容方案。我们发现,对于BFS生成树的建设问题,众所周知的自稳定协议min+1提供了没有显着修改的最佳拜占庭遏制这些新的计划。
2011-04-20 cs.DC
Byzantine-Resilient Non-Convex Stochastic Gradient Descent
Microsoft Research Redmond(微软雷德蒙德研究院);University of Waterloo(滑铁卢大学);IST Austria(奥地利科学技术研究所)
我们研究了对抗弹性随机分布式优化,其中$m$机器可以独立地计算随机梯度,并合作共同优化其局部目标函数。然而,$α$ -一小部分机器是$\textit{Byzantine}$,因为它们可以以任意的、对抗的方式行为。我们考虑在具有挑战性的$\textit{non-convex}$情况下,这种程序的变体。我们的主要结果是一个新的算法SafeguardSGD,它可以证明逃逸鞍点,并找到近似的局部极小的非凸目标。该算法是基于一个新的浓度过滤技术,其样本和时间复杂度界匹配的随机,分布式设置时,没有拜占庭机器的最佳已知的理论界。我们的算法非常实用:它在训练深度神经网络时提高了所有现有方法的性能,它相对轻量级,并且它是第一个能够抵御两种最近提出的拜占庭攻击的方法。
2021-04-02 cs.DC cs.DS cs.LG
Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments
Delft University of Technology(代尔夫特理工大学)
联邦学习(FL)是一种隐私友好型机器学习,其中设备在其私有数据上本地训练模型,并且通常与服务器通信模型更新。在去中心化FL(DFL)中,对等点相互通信模型更新。然而,DFL是具有挑战性的,因为(1)由不同对等体拥有的训练数据通常是非独立同分布的。(i.e.,在对等体之间不同地分布)和(2)恶意或拜占庭攻击者可以与其他对等体共享任意模型更新以破坏训练过程。我们解决这两个挑战,并提出刷毛,学习应用程序和分散的网络层之间的中间件。Bristle利用迁移学习来预先确定和冻结神经网络的非输出层,从而显著加快模型训练并降低通信成本。为了安全地更新输出层与其他同行的模型更新,我们设计了一个快速的基于距离的优先级和一个新的基于性能的集成。它们的综合效果导致对拜占庭攻击者的高弹性和处理非i.i.d.的能力。班我们的经验表明,在拜占庭环境中,Bristle收敛到一致的95%的准确率,优于所有评估的基线。在非拜占庭环境中,与最先进的方法相比,Bristle需要减少83%的迭代才能达到90%的准确率。我们表明,当训练类是非独立同分布的,Bristle的准确性比拜占庭最具弹性的基线高出2.3倍,同时将通信成本降低了90%。
2021-10-21 cs.DC cs.LG
Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全风险,提出结合拉格朗日编码计算等技术的ByITFL方案,基于多项式近似ReLU的信任分数实现拜占庭容错,是首个具备完整信息论隐私性的同类方案。
2025-06-12 cs.CR cs.DC cs.IT
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Byzantine Resilient Computing with the Cloud
本文提出可信云辅助的拥塞团分布式计算框架,研究在高比例拜占庭机器下 Download、Disjunction 与 Parity 等基本问题的弹性界限。
2023-09-28 cs.DC
A Composable CRDT Layer for Byzantine-Resilient Deterministic Reconstruction
University of Applied Sciences and Arts of Southern Switzerland(南方瑞士应用科学与艺术大学)
提出Melda,一种非侵入式增量状态CRDT,通过确定性状态重建实现拜占庭容错,确保即使存在任意更新注入也能收敛。
2026-07-01 cs.CR cs.DC
Byzantine-Robust Decentralized Coordination of LLM Agents
Department of Computer Science and Engineering(计算机科学与工程系);Pohang University of Science and Technology(波恩大学科学技术大学)
本文提出DecentLLMs,一种去中心化多智能体LLM共识方法,通过工作者并发生成答案、评估者独立评分排序,在存在拜占庭智能体时实现更快共识并选出更高质量答案。
2025-07-20 cs.AI cs.DC
GRANITE : a Byzantine-Resilient Dynamic Gossip Learning Framework
CEA, List, Université Paris-Saclay Palaiseau(CEA、List、巴黎-萨克雷大学帕莱索分校);INRIA, INSA Lyon, CITI, UR3720(INRIA、里昂INSA、CITI、UR3720);LIRIS, INSA Lyon, CNRS Lyon(LIRIS、里昂INSA、里昂CNRS)
针对动态八卦学习中拜占庭节点通过毒化模型和操纵节点采样发起的双重攻击,提出GRANITE框架,通过累积节点标识知识并动态调整聚合阈值,实现鲁棒学习,理论证明拜占庭节点在局部邻域呈指数衰减,实验表明在30%拜占庭节点下精度接近非拜占庭场景,且通信成本降低9倍。
2026-06-01 cs.AI cs.DC cs.LG
Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning
Northeastern University(东北大学);University of California, Berkeley(加州大学伯克利分校)
针对网络规模扩大带来的信息传播慢、通信故障和对抗攻击挑战,提出分层鲁棒push-sum算法与基于KL散度对偶平均的非贝叶斯学习算法,实现丢包容错与拜占庭弹性,并具备可证明收敛性。
2023-07-27 cs.DC cs.LG cs.NI
Byzantine-Robust Decentralized Learning via ClippedGossip
EPFL(洛桑联邦理工学院);UCB(加州大学伯克利分校)
针对任意通信图上的拜占庭鲁棒去中心化训练,提出 ClippedGossip 算法,实现鲁棒共识与优化,并证明其在非凸目标下收敛至驻点邻域,且在多种攻击下表现良好。
2023-04-20 cs.DC cs.LG math.OC
Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search
EPFL(洛桑联邦理工学院);HES-SO Valais-Wallis(瑞士西部高等专业学院瓦莱州立分校);armasuisse(瑞士国防采购与技术局)
针对无梯度分布式机器学习缺乏拜占庭容错方法的问题,提出 model-consensus 定义,并将 (1,λ)-Evolutionary Search 与经典共识机制结合,给出全序广播和 PoW 领导者选举的证明与伪代码。
2023-04-20 cs.DC cs.LG cs.NE
Byzantine Resilient Non-Convex SVRG with Distributed Batch Gradient Computations
在这项工作中,我们考虑了分布式随机最优化问题的最小化非凸函数$f(x) = \mathbb{E}_{ξ\sim \mathcal{D}} f(x; ξ)$在对抗设置,其中个别功能$f(x; ξ)$也可以是潜在的非凸的。我们假设最多$α$ -全部$K$节点的一部分可以是拜占庭。我们提出了一个强大的随机方差降低梯度(SVRG)的问题,其中批量梯度计算在工人节点(WN)和随机梯度计算在服务器节点(SN)的算法。对于非凸优化问题,我们证明了我们需要在每个节点(SN和WN)上平均计算$\tilde{O}\left( \frac{1}{ε^{5/3} K^{2/3}} + \frac{α^{4/3}}{ε^{5/3}} \right)$梯度,以达到$ε$ -稳定点。该算法通过设计一个新的拜占庭过滤规则,这是独立的问题的维数,保证收敛。重要的是,我们捕获的拜占庭节点的分数$α$存在于网络上的算法的收敛性能的影响。
2019-12-10 cs.DC cs.MA math.OC
Optimal byzantine resilient convergence in oblivious robot networks
Université Pierre et Marie Curie - Paris 6(巴黎第六大学(皮埃尔和玛丽·居里大学));CNRS(法国国家科学研究中心)
给定一组具有任意初始位置且在全局坐标系上没有一致性的机器人,收敛要求所有机器人渐近地接近完全相同但事先未知的位置。机器人是健忘的--它们不记得过去的计算--并且被允许在一维空间中移动。此外,机器人不能直接通信,而是只能通过视觉传感器获取系统相关信息。我们绘制了机器人网络中的收敛问题和分布式\emph{approximate agreement}问题(需要正确的过程来决定,对于一些常数$ε$,值距离$ε$和初始建议值的范围内)之间的连接。令人惊讶的是,即使规范相似,机器人网络中的收敛实现也需要对同步和拜占庭弹性进行特定的假设。更详细地说,我们证明了移动机器人收敛的充分必要条件,尽管它们的子集是拜占庭式的(即它们可以表现出任意行为)。此外,我们提出了一个确定性的机器人网络的收敛算法,并分析其正确性和复杂性,在各种同步设置。所提出的算法容忍f拜占庭机器人(2f+1)大小的机器人网络在完全同步网络,(3f+1)大小的半同步网络。这些界限是最佳的一类谨慎的算法,保证正确的机器人总是正确的机器人的位置范围内移动。
2009-05-25 cs.DC cs.RO
Generalization Error Analysis for Attack-Free and Byzantine-Resilient Decentralized Learning with Data Heterogeneity
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);College of Computer, National University of Defense Technology(国防科技大学计算机学院)
本文针对异构数据下的无攻击与拜占庭容错去中心化学习建立细粒度泛化误差分析,揭示数据异构性、初始化、梯度噪声及拜占庭攻击的影响,并通过凸与非凸实验验证理论。
2025-06-11 cs.DC cs.LG
Byzantine-Resilient Distributed Computation via Task Replication and Local Computations
本文针对拜占庭工作节点下的分布式计算问题,提出基于任务复制与最小化本地计算的协议,并给出循环分配的闭式性能结果及通信效率改进方案。
2025-07-21 cs.DC cs.IT math.IT
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑分布式学习中基于随机梯度下降(SGD)的分布式算法的弹性与潜在的拜占庭攻击者,谁可以发送任意信息到参数服务器,以破坏训练过程。为此,我们提出了一个新的Lipschitz启发的坐标明智的中位数方法(LICM-SGD),以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者,同时在非凸设置中几乎肯定会收敛到一个固定区域。此外,我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息,这使得它对实际实现具有吸引力。此外,我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上,时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验,以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中,LICM-SGD还实现了更快的运行时间,这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
Brave: Byzantine-Resilient and Privacy-Preserving Peer-to-Peer Federated Learning
University of Washington(华盛顿大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出Brave协议,在P2P联邦学习中同时实现拜占庭弹性和隐私保护,证明其能抵御诚实但好奇和拜占庭两类对手,并在CIFAR10和MNIST上验证了模型准确率与无对手训练相当。
2024-01-10 cs.CR cs.DC cs.LG
Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence
ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学)
针对联邦强化学习缺乏容错保证或依赖中心节点的问题,提出首个去中心化拜占庭容错策略梯度算法,结合鲁棒聚合与弹性协议消除中心依赖,并验证其加速效果与抗攻击能力。
2024-01-07 cs.AI cs.DC cs.LG
SPDL: Blockchain-secured and Privacy-preserving Decentralized Learning
分散式学习涉及在远程移动设备、边缘服务器或云服务器上训练机器学习模型,同时保持数据本地化。尽管许多研究已经表明了保护隐私、提高训练性能或引入拜占庭弹性的可行性,但没有一个研究同时考虑了所有这些因素。因此,我们面临以下问题:\textit{how can we efficiently coordinate the decentralized learning process while simultaneously maintaining learning security and data privacy?}为了解决这个问题,在本文中,我们提出了SPDL,一个区块链安全和隐私保护的分散学习方案。SPDL将区块链、拜占庭容错(BFT)共识、BFT约束聚合规则(GAR)和差分隐私无缝集成到一个系统中,确保高效的机器学习,同时保持数据隐私、拜占庭容错、透明度和可追溯性。为了验证我们的计划,我们提供了严格的分析收敛性和遗憾的存在拜占庭节点。我们还建立了一个SPDL原型,并进行了广泛的实验,以证明SPDL是有效的,高效的强大的安全性和隐私保证。
2022-01-06 cs.CR cs.DC
RCanopus: Making Canopus Resilient to Failures and Byzantine Faults
分布式共识是许多分布式系统(包括分布式数据库和区块链)的关键推动因素。Canopus是一个可扩展的分布式共识协议,它确保系统中的活动节点就有序的操作序列(称为事务)达成一致。与大多数先前的共识协议不同,老人星不依赖于单一的领导者。相反,它使用虚拟树覆盖进行消息分发,以限制过度订阅链接的网络流量。它利用机架内和网络结构内的硬件冗余来降低协议复杂性和通信开销。这些设计决策使Canopus能够支持大型部署,而不会显着降低性能。现有的Canopus协议在面对节点和通信故障时具有弹性,但其重点主要是性能,因此不能很好地响应其他类型的故障。例如,单个服务器机架的故障会导致所有活动节点停止。该协议也是开放的拜占庭节点的攻击,这可能会导致不同的活节点,以不同的交易顺序结束协议。在本文中,我们描述RCanopus('resilent Canopus'),它扩展了Canopus以增加活性,即允许活节点在可能的情况下取得进展,尽管有许多类型的失败。这要求RCanopus能够准确地检测故障并从故障中恢复,尽管使用了不可靠的故障检测器,并且能够容忍拜占庭攻击。第二,RCanopus保证安全,也就是说,在拜占庭攻击和网络分区的存在下,交易顺序的活节点之间的协议。
2019-06-16 cs.DC cs.NI cs.PF
Byzantine Cluster-Sending in Expected Constant Communication
传统的弹性系统在完全复制的容错集群上运行,这限制了它们的可扩展性和性能。迈向能够处理巨大工作负载的弹性高性能系统的一种方法是使独立的容错集群能够有效地相互通信和协作,因为这也可以使用高性能技术,如分片和并行处理。最近,这种集群间的通信被形式化为拜占庭集群发送问题,并提出了解决这个问题的最坏情况下的最优协议。不幸的是,这些协议在所涉及的簇的大小方面具有全情况线性复杂度。在本文中,我们提出了概率集群发送技术,可以可靠地发送消息从一个拜占庭容错集群到另一个只有一个预期的恒定的消息复杂性,这独立的集群的大小。根据所涉及的集群的鲁棒性,我们的技术只需要两到四个消息往返。此外,我们的协议可以支持最坏情况下的集群之间的线性通信,这是最佳的,并处理异步和不可靠的通信。因此,我们的工作为进一步开发弹性高性能系统奠定了坚实的基础。
2021-08-19 cs.DB cs.DC
Automated Byzantine-Resilient Clustered Decentralized Federated Learning for Battery Intelligence in Connected EVs
SAMOVAR, Télécom SudParis(SAMOVAR,法国电信南巴黎学院);Department of Computer Science, German University of Technology in Oman (GUtech)(阿曼技术大学计算机科学系);L3i, La Rochelle University(拉罗什大学L3i)
本文提出了一种自动化抗拜占庭攻击的集群化去中心化联邦学习框架ABC-DFL,用于连接电动车的电池智能,通过引入动态Quorum拜占庭容错协议和基于或acles的聚合层,提高信任、安全和自动化水平,FLECA协议通过适应性阈值过滤恶意更新,有效缓解拜占庭攻击。
2026-07-01 cs.DC cs.LG
Model-Consistent Byzantine-Resilient Decentralized Federated Learning for Collaborative Missions
University of Kentucky(肯塔基大学);University of South Florida(南佛罗里达大学)
本文提出DFL-C架构,将ACS共识协议与双域信任评分机制结合,实现拜占庭容错的全局模型一致去中心化联邦学习,在非IID场景下优于BALANCE方案。
2026-08-25 cs.CR cs.DC cs.LG
Byzantine-Resilient High-Dimensional Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究随机梯度下降(SGD)与本地迭代在恶意/拜占庭客户端的存在下,联邦学习的动机。客户端不是在每次迭代中与中央服务器通信,而是维护它们的本地模型,它们通过基于自己的数据集进行几次SGD迭代来更新本地模型,然后将网络更新与服务器进行通信,从而实现通信效率。此外,只有客户端的子集与服务器通信,并且该子集在不同的同步时间可能不同。拜占庭客户端可以协作并向服务器发送任意向量以中断学习过程。为了对抗对手,我们采用了Steinhardt等人提出的一种高效的高维鲁棒均值估计算法。\cite [ITCS 2018]{Resilience_SCV18}在服务器上过滤掉损坏的向量;为了分析离群值过滤程序,我们开发了一种可能具有独立兴趣的新型基质浓度结果。我们为异构数据环境中的强凸和非凸光滑目标提供收敛分析,其中不同的客户端可能具有不同的本地数据集,并且我们不对数据生成进行任何概率假设。我们相信,我们是第一个拜占庭弹性算法和分析与本地迭代。我们得出我们的收敛结果的最小假设下的有界方差SGD和有界梯度相异性(捕获本地数据集之间的异质性)。我们还将我们的结果扩展到客户端计算全批梯度的情况。
2020-08-16 cs.CR cs.DC cs.LG
DSFL: A Dual-Server Byzantine-Resilient Federated Learning Framework via Group-Based Secure Aggregation
DSFL提出双服务器分组安全聚合框架,无需加密或可信假设,通过信用过滤和奖惩机制防御拜占庭客户端,在非IID数据下显著提升模型准确率并保持轻量级。
2025-09-10 cs.AI cs.CR cs.DC