Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本研究提出首个兼具内存与通信效率的抗拜占庭联邦学习零阶优化算法CYBER-0,经MNIST实验和RoBERTa-Large微调验证其效率更优且精度相当,并给出凸损失下的收敛理论保证。
2024-06-20 cs.AI cs.LG
BRFL: A Blockchain-based Byzantine-Robust Federated Learning Model
Key Laboratory of Beijing Network Technology, Beihang University(北京网络技术重点实验室,北京航空航天大学);Guangxi Collaborative Innovation Center of Multi-Source Information Integration and Intelligent Processing, Guangxi Normal University(广西多源信息整合与智能处理协同创新中心,广西师范大学);School of Computer Science and Technology, Zhengzhou University of Light Industry(轻工业学院计算机科学与技术学院);School of Cyber Science and Technology, Beihang University(网络安全科学与技术学院,北京航空航天大学);Shanghai Key Laboratory of Computer Software Evaluating and Testing(上海计算机软件评测测试重点实验室)
本文提出BRFL模型,结合联邦学习与区块链,通过皮尔逊相关系数选聚合节点、谱聚类及平均梯度计算,提升拜占庭鲁棒性并解决资源消耗问题。
2023-10-20 cs.LG
Byzantine-Robust Federated Learning with Learnable Aggregation Weights
Uppsala University, Sweden(瑞典乌普萨拉大学);KTH, Sweden(瑞典皇家理工学院)
提出一种将聚合权重作为可学习参数联合优化的拜占庭鲁棒联邦学习优化问题,并开发了交替最小化算法,在异构数据和恶意客户端场景下优于现有方法。
2026-05-25 cs.LG
AFLGuard: Byzantine-robust Asynchronous Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
联邦学习(FL)是一种新兴的机器学习范例,其中客户端在云服务器的帮助下联合学习模型。FL的一个基本挑战是客户端通常是异构的,例如,它们具有不同的计算能力,因此客户端可以以基本上不同的延迟向服务器发送模型更新。Asynchronous FL旨在通过使服务器能够在任何客户端的模型更新到达它时更新模型而无需等待其他客户端的模型更新来解决这个挑战。然而,与同步FL一样,异步FL也容易受到中毒攻击,其中恶意客户端通过中毒其本地数据和/或发送到服务器的模型更新来操纵模型。Byzantine-robust FL旨在防御中毒攻击。特别是,拜占庭健壮FL可以学习准确的模型,即使一些客户端是恶意的,并具有拜占庭行为。然而,大多数现有的研究拜占庭强大的FL集中在同步FL,离开异步FL在很大程度上尚未探索。在这项工作中,我们通过提出AFLGuard,拜占庭强大的异步FL方法来弥合这一差距。我们表明,无论是理论上还是经验上,AFLGuard对各种现有的和自适应的中毒攻击(无针对性和有针对性的)是强大的。此外,AFLGuard优于现有的拜占庭鲁棒异步FL方法。
2022-12-13 cs.CR cs.DC cs.LG
Byzantine-Robust Clustered Federated Learning
Princeton University(普林斯顿大学)
针对多任务聚类联邦学习中的拜占庭攻击,本文基于 IFCA 融合逐坐标截断均值与中位数聚合,提出鲁棒迭代联邦聚类算法,并证明强凸损失下的收敛性。
2023-06-01 cs.DC cs.LG stat.ML
Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
University of Basel, Switzerland(瑞士巴塞尔大学);KAUST, Saudi Arabia(沙特阿拉伯阿卜杜拉国王科技大学);MBZUAI, UAE(阿联酋穆罕默德·本·扎耶德人工智能大学)
本文提出Byz-Clip21-SGD2M算法,结合鲁棒聚合与双动量,通过放宽条件实现收敛保证,同时在无对手和存在对手时提升隐私和效用保障。
2026-04-05 cs.CR cs.LG math.OC
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
联邦学习(FL)是一种分布式机器学习范例,其中数据分布在客户端之间,这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重,可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL,其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而,这些作品要么完全忽略了数据不平衡的问题,要么假设客户端的权重是先验已知的服务器,而在实践中,它很可能是由客户端自己向服务器报告的权重,因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法,并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析,我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Byzantine-Robust Aggregation for Securing Decentralized Federated Learning
atlanTTic Research Center – ICLAB – Universidade de Vigo(atlanTTic研究中心 – ICLAB – 维戈大学)
提出WFAgg算法,通过多过滤器识别和缓解拜占庭攻击,增强去中心化联邦学习的安全性,在多种攻击场景下优于现有集中式方案。
2026-06-26 cs.AI cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
A Byzantine-Robust Federated Learning with Nesterov Momentum
Shenzhen MSU-BIT University(深圳MSU-BIT大学);Beijing Institute of Technology(北京理工大学)
针对拜占庭敌手场景,提出Byrd-NAFL算法,结合Nesterov动量与拜占庭鲁棒聚合规则,在非凸平滑损失下获收敛保证,实验显示其在多指标上优于现有基准。
2026-10-15 cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Byzantine-Robust Federated Linear Bandits
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们研究了一个线性强盗优化问题,在联邦设置的大型集合的分布式代理合作学习一个共同的线性强盗模型。应用于此设置的标准联邦学习算法即使对一小部分代理也容易受到拜占庭攻击。我们提出了一种新的算法,利用几何中值的强大的聚集预言。我们证明,我们提出的算法是强大的拜占庭攻击不到一半的代理,并实现了次线性$\tilde{\mathcal{O}}({T^{3/4}})$遗憾与$\mathcal{O}(\sqrt{T})$步骤的通信$T$步骤。此外,我们通过基于树的机制,使我们的算法差异私有。最后,如果腐败的水平是已知的是小的,我们表明,使用几何中位数的平均预言鲁棒聚合进一步提高了遗憾界。
2022-04-03 cs.LG cs.MA stat.ML
Embedding Byzantine Fault Tolerance into Federated Learning via Consistency Scoring
School of Electrical Engineering, KAIST, South Korea(韩国庆熙大学电子工程学院);Department of Applied AI, Hansung University, South Korea(韩国汉城市立大学应用人工智能系)
提出一种基于虚拟数据和一致性评分的插件,嵌入现有联邦学习以过滤拜占庭攻击,在血细胞分类任务中显著提升模型准确率。
2025-09-17 cs.LG
Cellular Traffic Prediction via Byzantine-robust Asynchronous Federated Learning
School of Software, Xinjiang University(新疆大学软件学院);Department of Computer Science, Tongji University(同济大学计算机学院)
针对联邦学习易受拜占庭攻击的问题,提出基于分布鲁棒优化的异步差分联邦学习框架,利用多客户端协同训练并采用本地差分隐私与正则化,在三个真实数据集上验证了其优于现有方法的性能。
2025-05-25 cs.AI cs.LG
Byzantine-Robust Federated Fire Detection with a Rotating Coordinator
Aalto University(阿尔托大学);Kudelski Labs(库德尔斯基实验室)
针对联邦火灾检测中带宽、拜占庭客户端和固定服务器信任问题,提出压缩更新、数据集及结合历史感知聚合与轮换协调器的半去中心化方法,消除单点故障并保持性能。
2026-09-14 cs.LG
Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data
Ocean College, Zhejiang University(浙江大学海洋学院);City University of Hong Kong(香港城市大学);Aalto University(阿尔托大学)
针对联邦学习中恶意攻击和数据异构性问题,提出利用截断二次损失的新鲁棒聚合规则,减轻现有方法偏差,在非凸损失函数和异构数据下实现最优阶拜占庭鲁棒学习,实验证明该聚合器鲁棒性优于其他技术。
2026-07-14 cs.LG
BOBA: Byzantine-Robust Federated Learning with Label Skewness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中标签偏斜设定下现有聚合规则存在选择偏差且易受拜占庭攻击的问题,提出高效两阶段方法BOBA,理论证明其收敛误差为最优阶,实验验证了其无偏性与鲁棒性。
2024-03-20 cs.LG
Byzantine-Resilient Federated Learning via Distributed Optimization
Institut Polytechnique de Paris(巴黎综合理工学院);Aalborg University(奥尔堡大学)
本文针对联邦学习中的拜占庭攻击,提出利用PDMM分布式优化的容错共识机制替代传统聚合协议,并在多数据集与多种攻击下验证其更高效用、更快收敛与更强稳定性。
2025-03-13 cs.AI cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Robust Federated Learning via Byzantine Filtering over Encrypted Updates
本文提出结合同态加密和元分类器的联邦学习方法,通过加密更新上的拜占庭过滤提升鲁棒性,实验表明在多个基准上有效识别拜占庭攻击。
2026-02-06 cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London(伦敦帝国理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对联邦学习客户端参与问题,提出基于控制论的确定性方法FedBack,通过积分反馈控制器动态调整参与率,实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Optimizing Byzantine Node Placement in Decentralized Federated Learning
Sapienza University of Rome(罗马大学)
该研究针对去中心化联邦学习(DFL)中拜占庭节点放置被忽视的问题,提出拜占庭放置影响力(BPI)度量并开发优化算法,经实验验证其能有效识别高破坏性配置,是DFL鲁棒性评估的关键维度。
2026-09-02 cs.AI cs.LG
Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging
Imperial College London(帝国理工学院)
联合学习能够在许多参与者的情况下大规模训练协作机器学习模型,同时保护其数据集的隐私。标准的联邦学习技术容易受到拜占庭式故障、有偏见的本地数据集和中毒攻击的影响。在本文中,我们介绍了自适应联邦平均,一种新的算法,强大的联邦学习,旨在检测故障,攻击和不良更新的参与者提供的协作模型。我们提出了一个隐马尔可夫模型来建模和学习每个参与者在训练过程中提供的模型更新的质量。与现有的强大的联邦学习计划相比,我们提出了一个强大的聚合规则,在每次训练迭代中检测和丢弃坏的或恶意的局部模型更新。这包括阻止不需要的参与者的机制,这也提高了计算和通信效率。我们在4个真实数据集上的实验评估表明,我们的算法对错误,噪声和恶意参与者的鲁棒性明显更强,同时比其他最先进的强大联邦学习方法(如Multi-KRUM和坐标中值)在计算上更有效。
2019-09-11 cs.DC cs.LG stat.ML
Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing
University of Louisville(路易斯维尔大学);University of North Texas(北得克萨斯大学);University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学)
针对环全归约(RAR)分布式联邦学习面临的独特拜占庭攻击风险,提出首个兼具拜占庭鲁棒性与通信效率的BRACE算法,为其收敛性提供理论保证并验证有效性,解决RAR架构的安全问题。
2025-02-12 cs.CR cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno(内华达大学里诺分校)
提出一种新的联邦学习方案,通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减,在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类,深入分析RoFL协议的优缺点,提出两种利用其漏洞的新型Sybil攻击,给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data
Sun Yat-Sen University(中山大学);Pazhou Lab(琶洲实验室);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们考虑联邦学习问题,其中工人的数据不是独立同分布的(i.i.d.)。在学习过程中,未知数量的Byzantine工人可能会向中心节点发送恶意消息,导致显著的学习错误。大多数拜占庭健壮方法通过使用健壮的聚合规则来聚合接收到的消息来解决这个问题,但是依赖于所有常规工作者都具有i.i.d.的假设。数据,这在许多联邦学习应用程序中并非如此。鉴于减少随机梯度噪声对减轻拜占庭攻击的影响的重要性,我们使用了一种恢复策略来减少内部变化(描述每个常规工人上的样本异质性)和外部变化(描述常规工人之间的样本异质性)的影响,以及随机平均梯度算法来逐渐消除内部变化。然后用一个鲁棒的几何中值算子聚合方差减小的消息。我们证明了所提出的方法达到最优解的一个邻域的线性收敛速度和学习误差是由拜占庭工人的数量。数值实验证实了理论结果,并表明该方法优于国家的最先进的非独立同分布。设置.
2021-08-28 cs.LG stat.ML
Byzantine-Resilient Federated Learning via QUBO-Based Client Selection on Quantum Annealers
Columbia University(哥伦比亚大学)
本文提出利用量子退火解决联邦学习中的拜占庭容错问题,通过将客户端选择转化为二次无约束二元优化问题,提升对恶意更新的检测能力。
2026-05-14 cs.AI cs.LG
Online Decentralized Federated Multi-task Learning With Trustworthiness in Cyber-Physical Systems
School of Computing University of Glasgow(计算学院格拉斯哥大学)
针对在线去中心化联邦学习场景下的数据异质性与拜占庭客户端占多数的容错难题,提出一种利用信息物理特性分配本地模型信任概率的多任务学习算法,可兼顾模型个性化与容错性,性能接近无拜占庭客户端的理想水平。
2025-08-31 cs.AI cs.LG
Practical Differentially Private and Byzantine-resilient Federated Learning
KAUST(阿卜杜拉国王科技大学);University of Virginia(弗吉尼亚大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种结合差分隐私随机梯度下降与拜占庭弹性算法的联邦学习方案,通过利用DP噪声构建聚合机制有效抵御拜占庭攻击,在高隐私环境与90%恶意节点下仍保持高精度。
2023-04-15 cs.AI cs.CR cs.LG
Perfect Privacy for Discriminator-Based Byzantine-Resilient Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全挑战,提出ByITFL和LoByITFL两种方案,结合判别器、拉格朗日编码计算等技术,在保障拜占庭弹性的同时实现信息论级隐私,各有通信成本与部署条件的权衡,并提供理论与实验验证。
2025-06-16 cs.DC cs.IT cs.LG
FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)(深圳市人工智能与机器人研究院)
联邦学习(FL)是一种有前途的隐私保护分布式机器学习方法,其允许多个客户端(即,工人)协作地训练统计模型,而不公开私有训练数据。由于数据局部化和训练过程不受检查的特点,可能存在Byzantine worker发起数据投毒和模型投毒攻击,严重影响模型性能或导致模型无法收敛。大多数现有的拜占庭鲁棒FL方案要么对几种高级中毒攻击无效,要么需要集中一个公共验证数据集,这在FL中是棘手的。此外,据我们所知,没有一个现有的拜占庭鲁棒分布式学习方法可以很好地发挥其在客户端之间的非独立和相同分布(Non-IID)数据中的作用。为了解决这些问题,我们提出了FedCom,一个新的拜占庭健壮的联邦学习框架,结合承诺的思想,从密码学,它可以实现数据投毒和模型中毒容忍FL下实际的非IID数据分区。具体来说,在FedCom中,每个客户端首先需要对其本地训练数据分发做出承诺。然后,我们通过比较不同客户端提交的承诺之间的Wasserstein距离来识别中毒数据集。此外,我们区分异常的本地模型更新,从良性的,通过测试每个本地模型的行为,其相应的数据提交。我们对FedCom进行广泛的性能评估。实验结果表明,在实际的非IID数据分布下,该方案能够有效抵御典型的数据投毒和模型中毒攻击,性能优于现有的拜占庭鲁棒方案.
2021-04-16 cs.LG
Dynamic Meta-Layer Aggregation for Byzantine-Robust Federated Learning
APC Roy Government College(APC罗伊政府学院);Department of Computer Science(计算机科学系);P.R. Thakur Government College(P.R.塔库尔政府学院)
本文提出FedAOT,通过元学习启发的自适应聚合框架,有效防御多标签翻转和未针对攻击,提升联邦学习的鲁棒性和效率。
2026-03-17 cs.LG
Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates
University of Tennessee(田纳西大学);Google Research(谷歌研究院);Oak Ridge National Laboratory(橡树岭国家实验室)
联邦学习(FL)支持多个分布式客户端(例如,移动设备)来协作地训练集中式模型,同时将训练数据保持在客户端本地。与传统的集中式机器学习相比,FL提供了许多有利的功能,例如卸载通常由中央服务器执行的操作,并降低严重隐私泄露的风险。然而,由于系统故障或对抗攻击而发送不正确或破坏性更新的拜占庭客户端可能会干扰联合学习过程,从而降低最终模型的性能。在本文中,我们建议从时空的角度来减轻这些故障和攻击。具体来说,我们使用基于聚类的方法来检测和排除不正确的更新,利用它们在参数空间中的几何属性。此外,为了进一步处理恶意客户端的时变行为,我们提出了自适应调整学习率根据动量为基础的更新推测。在4个公共数据集上的大量实验表明,与现有方法相比,该算法在跨竖井和跨设备FL设置下具有故障/恶意客户端,具有更强的鲁棒性。
2021-09-27 cs.LG
Holdout SGD: Byzantine Tolerant Federated Learning
The Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
针对随机梯度下降(SGD)优化问题,提出了一种新的分布式拜占庭容错联邦学习算法HoldOut SGD。HoldOut SGD以分布式方式使用众所周知的保持估计的机器学习技术,以便选择可能导致具有低损失值的模型的参数更新。这使得它在丢弃拜占庭工人输入方面比消除学习模型参数空间中的离群值的现有方法更有效。HoldOut SGD首先随机选择一组使用其私有数据的工作者,以便提出梯度更新。接下来,随机选择一个由工人组成的投票委员会,每个投票者使用其私人数据作为保留数据,以便通过投票方案选择最佳提案。我们提出了两种可能的机制,在分布式计算的HoldOut SGD工人的协调。第一种使用真实的中央服务器,对应于当前联邦学习的典型设置。第二种是完全分布式的,不需要中央服务器,为完全分散的联邦学习铺平了道路。完全分布式版本通过区块链领域的想法实现HoldOut SGD,特别是Algorand委员会的选择和共识过程。我们为HoldOut SGD流程提供了正式的保证,包括其收敛到最佳模型,以及其对拜占庭工人比例的弹性水平。实证评估表明,HoldOut SGD是拜占庭弹性的,并且只要参与的工人总数很大并且拜占庭工人的比例小于一半(对于完全分布式变体,<1/3),就可以有效地收敛到深度学习任务的有效模型。
2020-08-11 cs.DC cs.LG
FedIDM: Achieving Fast and Stable Convergence in Byzantine Federated Learning through Iterative Distribution Matching
FedIDM通过迭代分布匹配生成可信数据并过滤异常客户端,解决联邦学习中拜占庭鲁棒性与模型效用之间的平衡问题,实现快速稳定收敛。
2026-04-16 cs.CR cs.LG
ProDiGy: Proximity- and Dissimilarity-Based Byzantine-Robust Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习在数据异构下易受拜占庭攻击的问题,提出基于梯度邻近性和差异性的双评分算法ProDiGy,实验证明其在非IID场景下优于现有防御并保持模型精度。
2025-09-11 cs.DC cs.LG
Practical Validity Conditions for Byzantine-Tolerant Federated Learning
Aalto University(奥卢大学);Technical University Berlin(柏林技术大学);German Research Foundation(德国研究基金会)
本文提出最小包围球有效性条件及其放松形式c-MEB有效性,为联邦学习提供更实用的有效性保障,适用于多数客户端诚实的情况,并与传统有效性条件建立联系。
2026-05-15 cs.LG
Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments
Delft University of Technology(代尔夫特理工大学)
联邦学习(FL)是一种隐私友好型机器学习,其中设备在其私有数据上本地训练模型,并且通常与服务器通信模型更新。在去中心化FL(DFL)中,对等点相互通信模型更新。然而,DFL是具有挑战性的,因为(1)由不同对等体拥有的训练数据通常是非独立同分布的。(i.e.,在对等体之间不同地分布)和(2)恶意或拜占庭攻击者可以与其他对等体共享任意模型更新以破坏训练过程。我们解决这两个挑战,并提出刷毛,学习应用程序和分散的网络层之间的中间件。Bristle利用迁移学习来预先确定和冻结神经网络的非输出层,从而显著加快模型训练并降低通信成本。为了安全地更新输出层与其他同行的模型更新,我们设计了一个快速的基于距离的优先级和一个新的基于性能的集成。它们的综合效果导致对拜占庭攻击者的高弹性和处理非i.i.d.的能力。班我们的经验表明,在拜占庭环境中,Bristle收敛到一致的95%的准确率,优于所有评估的基线。在非拜占庭环境中,与最先进的方法相比,Bristle需要减少83%的迭代才能达到90%的准确率。我们表明,当训练类是非独立同分布的,Bristle的准确性比拜占庭最具弹性的基线高出2.3倍,同时将通信成本降低了90%。
2021-10-21 cs.DC cs.LG
On the Byzantine-Resilience of Distillation-Based Federated Learning
Zuse Institute Berlin(柏林朱瑟研究所);Technische Universität Berlin(柏林工业大学)
本文研究基于知识蒸馏的联邦学习在拜占庭客户端攻击下的韧性,提出两种新攻击、一种防御方法及攻击混淆框架。
2025-03-17 cs.AI cs.DC cs.LG
FL-OA: A Byzantine-Robust Federated Learning Framework with Outsourced Auditing for Intelligent Devices
针对联邦学习易受拜占庭攻击且现有防御方法存在局限的问题,提出带外包审计的FL-OA框架,通过第三方审计、梯度上升与参数重要性指标等技术,提升鲁棒性并缓解维度灾难,实验验证其性能优于现有方法。
2026-08-04 cs.AI cs.LG
Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全风险,提出结合拉格朗日编码计算等技术的ByITFL方案,基于多项式近似ReLU的信任分数实现拜占庭容错,是首个具备完整信息论隐私性的同类方案。
2025-06-12 cs.CR cs.DC cs.IT
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
在联邦学习中,多个客户端设备联合学习机器学习模型:每个客户端设备维护其本地训练数据集的本地模型,而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法,这些方法被声称对拜占庭式故障具有鲁棒性(例如,系统故障、对抗性操纵)。在这项工作中,我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备,并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数,使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题,并将我们的攻击,最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明,我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率,这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击,以抵御我们的本地模型中毒攻击。我们的评估结果表明,在某些情况下,一种防御可以有效地防御我们的攻击,但在其他情况下,防御不够有效,突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学);Department of Mathematics and Informatics(数学与信息学系);Faculty of Sciences, University of Novi Sad(自然科学学院,诺维萨德大学)
针对客户端存在拜占庭攻击的联邦学习场景,提出无需假设对抗参与者比例的FedGreed聚合策略,基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集,在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada(格拉纳达大学)
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习,容易受到拜占庭中毒对抗攻击的攻击。我们认为,联邦学习模型必须避免这些类型的对抗攻击,通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商,动态丢弃这些敌对的客户端,并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御,在Fed-EMNIST Digits,Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明,动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人(低质量的模型)的客户端。
2022-02-24 cs.AI cs.CR cs.LG
No Vandalism: Privacy-Preserving and Byzantine-Robust Federated Learning
Beijing Institute of Technology(北京理工大学);University of Auckland(奥克兰大学)
本文提出一种隐私保护且拜占庭鲁棒的联邦学习方案NoV,通过结合零知识证明的模型过滤器抵御数据和模型投毒攻击,并采用秘密共享实现可验证安全聚合以剔除恶意客户端,有效保护数据隐私并优于现有方案。
2024-06-03 cs.CR cs.DC cs.LG
Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap
Beijing Institute of Technology(北京理工大学);University of Windsor(温莎大学);Sun Yat-sen University(中山大学)
针对联邦学习中的拜占庭攻击问题,提出用户端多步可调更新、中心端几何中位数聚合的鲁棒方法,在攻击者占比低于半数时可线性收敛并实现零最优性间隙,经数值实验验证有效。
2023-08-21 cs.CR cs.DC cs.LG
A Weighted Loss Approach to Robust Federated Learning under Data Heterogeneity
针对联邦学习中数据异构性导致难以区分诚实离群梯度与拜占庭恶意梯度的问题,提出加权损失WoLA来对齐诚实节点梯度以提升拜占庭识别能力,在异构场景下性能优于现有方法,且有理论和实证支撑。
2025-09-05 cs.LG
Asynchronous Byzantine Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Neuchâtel(纳沙泰尔大学)
针对现有拜占庭容错联邦学习多依赖同步、易受掉队客户端延迟等问题,提出无需辅助服务器数据集的异步拜占庭弹性联邦学习算法,在多种攻击下训练速度和准确率均优于现有方案。
2024-06-20 cs.DC cs.LG
LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning
University of Maryland, College Park(马里兰大学帕克分校);IBM Research(IBM研究院)
联邦学习是一种允许多个参与者在不共享数据的情况下协作训练模型的机制。在这些设置中,参与者(工作人员)可能不完全信任彼此;例如,一组竞争对手可能协作训练机器学习模型来检测欺诈。工作器提供中央服务器用于更新全局模型的本地梯度。当Byzantine worker发送恶意梯度时,这个全局模型可能会被破坏,这需要用于聚合梯度的鲁棒方法来减轻Byzantine输入的不利影响。现有的鲁棒聚集算法通常计算量大,并且仅在严格的假设下有效。在本文中,我们介绍了分层梯度聚合(LEGATO),聚合算法,相比之下,可扩展性和通用性。LEGATO通过研究梯度对拜占庭攻击的特定于层的响应,采用了一种动态梯度重新加权方案,该方案在基于特定于层的鲁棒性处理梯度方面是新颖的。我们证明,LEGATO比多种最先进的技术在计算上更高效,并且在实践中在各种攻击环境中更强大。我们还证明了LEGATO在没有攻击的情况下对梯度下降收敛的好处。
2021-07-26 cs.CR cs.DC cs.LG
Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI))
针对联邦学习在高维空间中拜占庭攻击鲁棒性下降的问题,提出分层余弦聚合方法,通过逐层余弦距离增强鲁棒性,理论分析与实验表明准确率最高提升16%。
2025-03-27 cs.AI cs.LG