Byzantine-Robust Federated Learning via Credibility Assessment on Non-IID Data
Key Laboratory of Embedded System and Service Computing (Tongji University), Ministry of Education(嵌入式系统与服务计算教育部重点实验室(同济大学))
联邦学习是一种新的框架,它使资源受限的边缘设备能够联合学习模型,解决了数据保护和数据孤岛问题。然而,标准的联邦学习容易受到拜占庭攻击,这将导致全局模型被攻击者操纵或无法收敛。在非iid数据上,当前的方法不能有效地防御拜占庭攻击。在本文中,我们提出了一个拜占庭健壮的框架联邦学习通过可信性评估非iid数据(BRCA)。可信性评估是通过自适应异常检测模型和数据验证相结合来检测拜占庭攻击。特别地,在异常检测模型中引入了自适应机制,用于模型的训练和预测。同时,给出了统一的更新算法,保证全局模型具有一致的方向。在非iid数据上,我们的实验表明,与传统方法相比,BRCA对拜占庭攻击具有更好的鲁棒性
2021-09-06 cs.DC cs.LG
Byzantine-Resilient Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
安全联邦学习是一种隐私保护框架,通过对移动用户收集的大量数据进行训练来改进机器学习模型。这是通过迭代过程实现的,在每次迭代中,用户使用其本地数据集更新全局模型。然后,每个用户通过随机密钥屏蔽其本地模型,并且在中央服务器处聚合屏蔽的模型以计算下一次迭代的全局模型。由于本地模型受到随机掩码的保护,服务器无法观察到它们的真实值。这对模型对抗敌对(拜占庭)用户的弹性提出了一个重大挑战,这些用户可以通过修改其本地模型或数据集来操纵全局模型。为了应对这一挑战,本文提出了第一个单服务器拜占庭弹性安全聚合框架(BREA)的安全联邦学习。BREA基于集成的随机量化,可验证的离群值检测和安全的模型聚合方法,以同时保证Byzantine弹性,隐私和收敛。我们提供了理论上的收敛和隐私保证,并在网络规模,用户辍学和隐私保护方面的基本权衡。我们的实验证明了拜占庭用户存在的收敛性,以及与传统联邦学习基准相当的准确性。
2021-02-20 cs.CR cs.DC cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Security-Preserving Federated Learning via Byzantine-Sensitive Triplet Distance
KAIST(韩国科学技术院);King’s College London(伦敦国王学院)
虽然联邦学习(FL)是跨多个边缘设备学习共享模型的有效框架,但它通常容易受到来自敌对边缘设备的拜占庭攻击。虽然FL上的现有工作通过仅在服务器端聚合本地模型的子集来减轻此类受损设备,但由于不精确的评分规则,它们仍然无法成功地忽略离群值。在本文中,我们提出了一个有效的拜占庭鲁棒FL框架,即虚拟对比聚合,通过定义一个新的评分函数,灵敏地区分模型是否中毒或没有。关键思想是从每个局部模型以及先前的全局模型中提取必要的信息,以类似于三重丢失的方式定义距离度量。数值结果验证了所提出的方法的优点,通过显示与最先进的拜占庭弹性聚合方法相比的改进性能,例如,克鲁姆,小意思,还有牙牙。
2022-10-29 cs.LG
Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本研究提出首个兼具内存与通信效率的抗拜占庭联邦学习零阶优化算法CYBER-0,经MNIST实验和RoBERTa-Large微调验证其效率更优且精度相当,并给出凸损失下的收敛理论保证。
2024-06-20 cs.AI cs.LG
BRFL: A Blockchain-based Byzantine-Robust Federated Learning Model
Key Laboratory of Beijing Network Technology, Beihang University(北京网络技术重点实验室,北京航空航天大学);Guangxi Collaborative Innovation Center of Multi-Source Information Integration and Intelligent Processing, Guangxi Normal University(广西多源信息整合与智能处理协同创新中心,广西师范大学);School of Computer Science and Technology, Zhengzhou University of Light Industry(轻工业学院计算机科学与技术学院);School of Cyber Science and Technology, Beihang University(网络安全科学与技术学院,北京航空航天大学);Shanghai Key Laboratory of Computer Software Evaluating and Testing(上海计算机软件评测测试重点实验室)
本文提出BRFL模型,结合联邦学习与区块链,通过皮尔逊相关系数选聚合节点、谱聚类及平均梯度计算,提升拜占庭鲁棒性并解决资源消耗问题。
2023-10-20 cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
联邦学习(FL)是一种分布式机器学习范例,其中数据分布在客户端之间,这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重,可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL,其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而,这些作品要么完全忽略了数据不平衡的问题,要么假设客户端的权重是先验已知的服务器,而在实践中,它很可能是由客户端自己向服务器报告的权重,因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法,并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析,我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Byzantine-Robust Federated Learning with Learnable Aggregation Weights
Uppsala University, Sweden(瑞典乌普萨拉大学);KTH, Sweden(瑞典皇家理工学院)
提出一种将聚合权重作为可学习参数联合优化的拜占庭鲁棒联邦学习优化问题,并开发了交替最小化算法,在异构数据和恶意客户端场景下优于现有方法。
2026-05-25 cs.LG
Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation
Okinawa Institute of Science and Technology, Japan(冲绳科学技术大学院大学,日本);Toyota Motor Corporation, Japan(丰田汽车公司,日本)
针对部分参与场景下拜占庭客户端可能占多数的问题,提出延迟动量聚合原则,通过聚合未采样客户端的缓存动量和采样客户端的即时动量,确保拜占庭客户端在服务器视角中保持少数,并实例化为DeMoA优化器,理论分析和实验验证其鲁棒性和高效性。
2026-05-29 cs.LG math.OC
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada(格拉纳达大学)
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习,容易受到拜占庭中毒对抗攻击的攻击。我们认为,联邦学习模型必须避免这些类型的对抗攻击,通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商,动态丢弃这些敌对的客户端,并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御,在Fed-EMNIST Digits,Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明,动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人(低质量的模型)的客户端。
2022-02-24 cs.AI cs.CR cs.LG
Byzantine-Robust Aggregation for Securing Decentralized Federated Learning
atlanTTic Research Center – ICLAB – Universidade de Vigo(atlanTTic研究中心 – ICLAB – 维戈大学)
提出WFAgg算法,通过多过滤器识别和缓解拜占庭攻击,增强去中心化联邦学习的安全性,在多种攻击场景下优于现有集中式方案。
2026-06-26 cs.AI cs.LG
A Byzantine-Robust Federated Learning with Nesterov Momentum
Shenzhen MSU-BIT University(深圳MSU-BIT大学);Beijing Institute of Technology(北京理工大学)
针对拜占庭敌手场景,提出Byrd-NAFL算法,结合Nesterov动量与拜占庭鲁棒聚合规则,在非凸平滑损失下获收敛保证,实验显示其在多指标上优于现有基准。
2026-10-15 cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Embedding Byzantine Fault Tolerance into Federated Learning via Consistency Scoring
School of Electrical Engineering, KAIST, South Korea(韩国庆熙大学电子工程学院);Department of Applied AI, Hansung University, South Korea(韩国汉城市立大学应用人工智能系)
提出一种基于虚拟数据和一致性评分的插件,嵌入现有联邦学习以过滤拜占庭攻击,在血细胞分类任务中显著提升模型准确率。
2025-09-17 cs.LG
Cellular Traffic Prediction via Byzantine-robust Asynchronous Federated Learning
School of Software, Xinjiang University(新疆大学软件学院);Department of Computer Science, Tongji University(同济大学计算机学院)
针对联邦学习易受拜占庭攻击的问题,提出基于分布鲁棒优化的异步差分联邦学习框架,利用多客户端协同训练并采用本地差分隐私与正则化,在三个真实数据集上验证了其优于现有方法的性能。
2025-05-25 cs.AI cs.LG
Byzantine-Robust Federated Fire Detection with a Rotating Coordinator
Aalto University(阿尔托大学);Kudelski Labs(库德尔斯基实验室)
针对联邦火灾检测中带宽、拜占庭客户端和固定服务器信任问题,提出压缩更新、数据集及结合历史感知聚合与轮换协调器的半去中心化方法,消除单点故障并保持性能。
2026-09-14 cs.LG
Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data
Ocean College, Zhejiang University(浙江大学海洋学院);City University of Hong Kong(香港城市大学);Aalto University(阿尔托大学)
针对联邦学习中恶意攻击和数据异构性问题,提出利用截断二次损失的新鲁棒聚合规则,减轻现有方法偏差,在非凸损失函数和异构数据下实现最优阶拜占庭鲁棒学习,实验证明该聚合器鲁棒性优于其他技术。
2026-07-14 cs.LG
BOBA: Byzantine-Robust Federated Learning with Label Skewness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中标签偏斜设定下现有聚合规则存在选择偏差且易受拜占庭攻击的问题,提出高效两阶段方法BOBA,理论证明其收敛误差为最优阶,实验验证了其无偏性与鲁棒性。
2024-03-20 cs.LG
Byzantine-Resilient Federated Learning via Distributed Optimization
Institut Polytechnique de Paris(巴黎综合理工学院);Aalborg University(奥尔堡大学)
本文针对联邦学习中的拜占庭攻击,提出利用PDMM分布式优化的容错共识机制替代传统聚合协议,并在多数据集与多种攻击下验证其更高效用、更快收敛与更强稳定性。
2025-03-13 cs.AI cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
Robust Federated Learning via Byzantine Filtering over Encrypted Updates
本文提出结合同态加密和元分类器的联邦学习方法,通过加密更新上的拜占庭过滤提升鲁棒性,实验表明在多个基准上有效识别拜占庭攻击。
2026-02-06 cs.LG
An Equivalence Between Data Poisoning and Byzantine Gradient Attacks
EPFL(洛桑联邦理工学院)
为了研究分布式学习的弹性,“拜占庭”文献考虑了一个强威胁模型,其中工作人员可以向参数服务器报告任意梯度。虽然这个模型帮助获得了一些基本的结果,但有时被认为是不现实的,因为工人大多是值得信赖的机器。在本文中,我们展示了这个模型和数据投毒之间令人惊讶的等价性,这是一种被认为更现实的威胁。更具体地说,我们证明,每一个梯度攻击可以减少到数据投毒,在任何个性化的联邦学习系统与PAC的保证(我们表明是可取的和现实的)。这种等价性使得有可能获得新的不可能性结果的弹性的任何“强大的”学习算法的数据投毒在高度异构的应用程序,作为推论拜占庭机器学习现有的不可能性定理。此外,使用我们的等价性,我们得到了一个实际的攻击,我们表明(理论和经验)可以非常有效地对经典的个性化联邦学习模型。
2022-07-20 cs.LG stat.ML
Robust Federated Learning in a Heterogeneous Environment
UC Berkeley(加州大学伯克利分校)
我们研究了最近提出的大规模分布式学习范式,即联邦学习,其中的工人机器是最终用户自己的设备。统计和计算挑战出现在联邦学习中,特别是在存在异构数据分布的情况下(即,不同设备上的数据点属于表示不同集群的不同分布)和拜占庭机器(即,可能表现异常,甚至表现出任意和潜在敌对行为的机器)。为了解决上述挑战,首先,我们提出了一个通用的统计模型,考虑到集群结构的用户和拜占庭机器。然后,利用统计模型,我们解决了强大的异构联邦学习问题\emph{optimally},特别是我们的算法匹配的估计误差的下限在维度和数据点的数量。此外,作为一个副产品,我们证明了一个离群的强大的聚类算法,这可以被认为是劳埃德算法与强大的估计统计保证。最后,我们通过合成以及真实数据实验表明,我们提出的算法获得的估计误差是显着优于非拜占庭鲁棒算法,特别是,我们至少获得了53%和33%的合成和真实数据实验,分别在典型的设置。
2019-10-09 cs.LG stat.ML
Optimizing Byzantine Node Placement in Decentralized Federated Learning
Sapienza University of Rome(罗马大学)
该研究针对去中心化联邦学习(DFL)中拜占庭节点放置被忽视的问题,提出拜占庭放置影响力(BPI)度量并开发优化算法,经实验验证其能有效识别高破坏性配置,是DFL鲁棒性评估的关键维度。
2026-09-02 cs.AI cs.LG
Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing
University of Louisville(路易斯维尔大学);University of North Texas(北得克萨斯大学);University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学)
针对环全归约(RAR)分布式联邦学习面临的独特拜占庭攻击风险,提出首个兼具拜占庭鲁棒性与通信效率的BRACE算法,为其收敛性提供理论保证并验证有效性,解决RAR架构的安全问题。
2025-02-12 cs.CR cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类,深入分析RoFL协议的优缺点,提出两种利用其漏洞的新型Sybil攻击,给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
Practical Differentially Private and Byzantine-resilient Federated Learning
KAUST(阿卜杜拉国王科技大学);University of Virginia(弗吉尼亚大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种结合差分隐私随机梯度下降与拜占庭弹性算法的联邦学习方案,通过利用DP噪声构建聚合机制有效抵御拜占庭攻击,在高隐私环境与90%恶意节点下仍保持高精度。
2023-04-15 cs.AI cs.CR cs.LG
Perfect Privacy for Discriminator-Based Byzantine-Resilient Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全挑战,提出ByITFL和LoByITFL两种方案,结合判别器、拉格朗日编码计算等技术,在保障拜占庭弹性的同时实现信息论级隐私,各有通信成本与部署条件的权衡,并提供理论与实验验证。
2025-06-16 cs.DC cs.IT cs.LG
Online Decentralized Federated Multi-task Learning With Trustworthiness in Cyber-Physical Systems
School of Computing University of Glasgow(计算学院格拉斯哥大学)
针对在线去中心化联邦学习场景下的数据异质性与拜占庭客户端占多数的容错难题,提出一种利用信息物理特性分配本地模型信任概率的多任务学习算法,可兼顾模型个性化与容错性,性能接近无拜占庭客户端的理想水平。
2025-08-31 cs.AI cs.LG
FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)(深圳市人工智能与机器人研究院)
联邦学习(FL)是一种有前途的隐私保护分布式机器学习方法,其允许多个客户端(即,工人)协作地训练统计模型,而不公开私有训练数据。由于数据局部化和训练过程不受检查的特点,可能存在Byzantine worker发起数据投毒和模型投毒攻击,严重影响模型性能或导致模型无法收敛。大多数现有的拜占庭鲁棒FL方案要么对几种高级中毒攻击无效,要么需要集中一个公共验证数据集,这在FL中是棘手的。此外,据我们所知,没有一个现有的拜占庭鲁棒分布式学习方法可以很好地发挥其在客户端之间的非独立和相同分布(Non-IID)数据中的作用。为了解决这些问题,我们提出了FedCom,一个新的拜占庭健壮的联邦学习框架,结合承诺的思想,从密码学,它可以实现数据投毒和模型中毒容忍FL下实际的非IID数据分区。具体来说,在FedCom中,每个客户端首先需要对其本地训练数据分发做出承诺。然后,我们通过比较不同客户端提交的承诺之间的Wasserstein距离来识别中毒数据集。此外,我们区分异常的本地模型更新,从良性的,通过测试每个本地模型的行为,其相应的数据提交。我们对FedCom进行广泛的性能评估。实验结果表明,在实际的非IID数据分布下,该方案能够有效抵御典型的数据投毒和模型中毒攻击,性能优于现有的拜占庭鲁棒方案.
2021-04-16 cs.LG
Trade-off in Estimating the Number of Byzantine Clients in Federated Learning
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园)
本文理论分析联邦学习中估计拜占庭客户端数量对聚合器及联邦学习性能的影响,揭示低估导致性能任意差,非低估时误差与鲁棒程度成正比,存在权衡。
2025-10-06 cs.LG math.OC
Dynamic Meta-Layer Aggregation for Byzantine-Robust Federated Learning
APC Roy Government College(APC罗伊政府学院);Department of Computer Science(计算机科学系);P.R. Thakur Government College(P.R.塔库尔政府学院)
本文提出FedAOT,通过元学习启发的自适应聚合框架,有效防御多标签翻转和未针对攻击,提升联邦学习的鲁棒性和效率。
2026-03-17 cs.LG
Holdout SGD: Byzantine Tolerant Federated Learning
The Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
针对随机梯度下降(SGD)优化问题,提出了一种新的分布式拜占庭容错联邦学习算法HoldOut SGD。HoldOut SGD以分布式方式使用众所周知的保持估计的机器学习技术,以便选择可能导致具有低损失值的模型的参数更新。这使得它在丢弃拜占庭工人输入方面比消除学习模型参数空间中的离群值的现有方法更有效。HoldOut SGD首先随机选择一组使用其私有数据的工作者,以便提出梯度更新。接下来,随机选择一个由工人组成的投票委员会,每个投票者使用其私人数据作为保留数据,以便通过投票方案选择最佳提案。我们提出了两种可能的机制,在分布式计算的HoldOut SGD工人的协调。第一种使用真实的中央服务器,对应于当前联邦学习的典型设置。第二种是完全分布式的,不需要中央服务器,为完全分散的联邦学习铺平了道路。完全分布式版本通过区块链领域的想法实现HoldOut SGD,特别是Algorand委员会的选择和共识过程。我们为HoldOut SGD流程提供了正式的保证,包括其收敛到最佳模型,以及其对拜占庭工人比例的弹性水平。实证评估表明,HoldOut SGD是拜占庭弹性的,并且只要参与的工人总数很大并且拜占庭工人的比例小于一半(对于完全分布式变体,<1/3),就可以有效地收敛到深度学习任务的有效模型。
2020-08-11 cs.DC cs.LG
FedIDM: Achieving Fast and Stable Convergence in Byzantine Federated Learning through Iterative Distribution Matching
FedIDM通过迭代分布匹配生成可信数据并过滤异常客户端,解决联邦学习中拜占庭鲁棒性与模型效用之间的平衡问题,实现快速稳定收敛。
2026-04-16 cs.CR cs.LG
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno(内华达大学里诺分校)
提出一种新的联邦学习方案,通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减,在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
AFLGuard: Byzantine-robust Asynchronous Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
联邦学习(FL)是一种新兴的机器学习范例,其中客户端在云服务器的帮助下联合学习模型。FL的一个基本挑战是客户端通常是异构的,例如,它们具有不同的计算能力,因此客户端可以以基本上不同的延迟向服务器发送模型更新。Asynchronous FL旨在通过使服务器能够在任何客户端的模型更新到达它时更新模型而无需等待其他客户端的模型更新来解决这个挑战。然而,与同步FL一样,异步FL也容易受到中毒攻击,其中恶意客户端通过中毒其本地数据和/或发送到服务器的模型更新来操纵模型。Byzantine-robust FL旨在防御中毒攻击。特别是,拜占庭健壮FL可以学习准确的模型,即使一些客户端是恶意的,并具有拜占庭行为。然而,大多数现有的研究拜占庭强大的FL集中在同步FL,离开异步FL在很大程度上尚未探索。在这项工作中,我们通过提出AFLGuard,拜占庭强大的异步FL方法来弥合这一差距。我们表明,无论是理论上还是经验上,AFLGuard对各种现有的和自适应的中毒攻击(无针对性和有针对性的)是强大的。此外,AFLGuard优于现有的拜占庭鲁棒异步FL方法。
2022-12-13 cs.CR cs.DC cs.LG
ProDiGy: Proximity- and Dissimilarity-Based Byzantine-Robust Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习在数据异构下易受拜占庭攻击的问题,提出基于梯度邻近性和差异性的双评分算法ProDiGy,实验证明其在非IID场景下优于现有防御并保持模型精度。
2025-09-11 cs.DC cs.LG
Practical Validity Conditions for Byzantine-Tolerant Federated Learning
Aalto University(奥卢大学);Technical University Berlin(柏林技术大学);German Research Foundation(德国研究基金会)
本文提出最小包围球有效性条件及其放松形式c-MEB有效性,为联邦学习提供更实用的有效性保障,适用于多数客户端诚实的情况,并与传统有效性条件建立联系。
2026-05-15 cs.LG
Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates
University of Tennessee(田纳西大学);Google Research(谷歌研究院);Oak Ridge National Laboratory(橡树岭国家实验室)
联邦学习(FL)支持多个分布式客户端(例如,移动设备)来协作地训练集中式模型,同时将训练数据保持在客户端本地。与传统的集中式机器学习相比,FL提供了许多有利的功能,例如卸载通常由中央服务器执行的操作,并降低严重隐私泄露的风险。然而,由于系统故障或对抗攻击而发送不正确或破坏性更新的拜占庭客户端可能会干扰联合学习过程,从而降低最终模型的性能。在本文中,我们建议从时空的角度来减轻这些故障和攻击。具体来说,我们使用基于聚类的方法来检测和排除不正确的更新,利用它们在参数空间中的几何属性。此外,为了进一步处理恶意客户端的时变行为,我们提出了自适应调整学习率根据动量为基础的更新推测。在4个公共数据集上的大量实验表明,与现有方法相比,该算法在跨竖井和跨设备FL设置下具有故障/恶意客户端,具有更强的鲁棒性。
2021-09-27 cs.LG
Byzantine-Resilient High-Dimensional Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究随机梯度下降(SGD)与本地迭代在恶意/拜占庭客户端的存在下,联邦学习的动机。客户端不是在每次迭代中与中央服务器通信,而是维护它们的本地模型,它们通过基于自己的数据集进行几次SGD迭代来更新本地模型,然后将网络更新与服务器进行通信,从而实现通信效率。此外,只有客户端的子集与服务器通信,并且该子集在不同的同步时间可能不同。拜占庭客户端可以协作并向服务器发送任意向量以中断学习过程。为了对抗对手,我们采用了Steinhardt等人提出的一种高效的高维鲁棒均值估计算法。\cite [ITCS 2018]{Resilience_SCV18}在服务器上过滤掉损坏的向量;为了分析离群值过滤程序,我们开发了一种可能具有独立兴趣的新型基质浓度结果。我们为异构数据环境中的强凸和非凸光滑目标提供收敛分析,其中不同的客户端可能具有不同的本地数据集,并且我们不对数据生成进行任何概率假设。我们相信,我们是第一个拜占庭弹性算法和分析与本地迭代。我们得出我们的收敛结果的最小假设下的有界方差SGD和有界梯度相异性(捕获本地数据集之间的异质性)。我们还将我们的结果扩展到客户端计算全批梯度的情况。
2020-08-16 cs.CR cs.DC cs.LG
Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments
Delft University of Technology(代尔夫特理工大学)
联邦学习(FL)是一种隐私友好型机器学习,其中设备在其私有数据上本地训练模型,并且通常与服务器通信模型更新。在去中心化FL(DFL)中,对等点相互通信模型更新。然而,DFL是具有挑战性的,因为(1)由不同对等体拥有的训练数据通常是非独立同分布的。(i.e.,在对等体之间不同地分布)和(2)恶意或拜占庭攻击者可以与其他对等体共享任意模型更新以破坏训练过程。我们解决这两个挑战,并提出刷毛,学习应用程序和分散的网络层之间的中间件。Bristle利用迁移学习来预先确定和冻结神经网络的非输出层,从而显著加快模型训练并降低通信成本。为了安全地更新输出层与其他同行的模型更新,我们设计了一个快速的基于距离的优先级和一个新的基于性能的集成。它们的综合效果导致对拜占庭攻击者的高弹性和处理非i.i.d.的能力。班我们的经验表明,在拜占庭环境中,Bristle收敛到一致的95%的准确率,优于所有评估的基线。在非拜占庭环境中,与最先进的方法相比,Bristle需要减少83%的迭代才能达到90%的准确率。我们表明,当训练类是非独立同分布的,Bristle的准确性比拜占庭最具弹性的基线高出2.3倍,同时将通信成本降低了90%。
2021-10-21 cs.DC cs.LG
Byzantines can also Learn from History: Fall of Centered Clipping in Federated Learning
KUIS AI Center Koç University(科奇大学KUIS人工智能中心);IPC Lab Imperial College London(伦敦帝国理工学院IPC实验室);Koç University(科奇大学)
本文揭露了联邦学习中 Centered Clipping 框架的漏洞,提出可绕过其防御并降低测试准确率的新拜占庭攻击策略,同时设计了有效抵御该攻击及其他攻击的快速鲁棒防御机制。
2024-01-01 cs.AI cs.CR cs.DC
On the Byzantine-Resilience of Distillation-Based Federated Learning
Zuse Institute Berlin(柏林朱瑟研究所);Technische Universität Berlin(柏林工业大学)
本文研究基于知识蒸馏的联邦学习在拜占庭客户端攻击下的韧性,提出两种新攻击、一种防御方法及攻击混淆框架。
2025-03-17 cs.AI cs.DC cs.LG
FL-OA: A Byzantine-Robust Federated Learning Framework with Outsourced Auditing for Intelligent Devices
针对联邦学习易受拜占庭攻击且现有防御方法存在局限的问题,提出带外包审计的FL-OA框架,通过第三方审计、梯度上升与参数重要性指标等技术,提升鲁棒性并缓解维度灾难,实验验证其性能优于现有方法。
2026-08-04 cs.AI cs.LG
Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates
EPFL(洛桑联邦理工学院);Sorbonne Université(索邦大学);University of Toronto(多伦多大学)
本文研究客户端子采样和本地步骤对拜占庭鲁棒联邦学习 FedRo 的影响,给出近最优收敛的充分条件,并揭示子采样数量超过阈值后精度提升递减、合适步长下本地步骤增多可降低拜占庭误差,最终在 FEMNIST 和 CIFAR-10 上验证理论。
2024-06-10 cs.LG
Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习的隐私与安全风险,提出结合拉格朗日编码计算等技术的ByITFL方案,基于多项式近似ReLU的信任分数实现拜占庭容错,是首个具备完整信息论隐私性的同类方案。
2025-06-12 cs.CR cs.DC cs.IT
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
在联邦学习中,多个客户端设备联合学习机器学习模型:每个客户端设备维护其本地训练数据集的本地模型,而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法,这些方法被声称对拜占庭式故障具有鲁棒性(例如,系统故障、对抗性操纵)。在这项工作中,我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备,并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数,使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题,并将我们的攻击,最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明,我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率,这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击,以抵御我们的本地模型中毒攻击。我们的评估结果表明,在某些情况下,一种防御可以有效地防御我们的攻击,但在其他情况下,防御不够有效,突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学);Department of Mathematics and Informatics(数学与信息学系);Faculty of Sciences, University of Novi Sad(自然科学学院,诺维萨德大学)
针对客户端存在拜占庭攻击的联邦学习场景,提出无需假设对抗参与者比例的FedGreed聚合策略,基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集,在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
No Vandalism: Privacy-Preserving and Byzantine-Robust Federated Learning
Beijing Institute of Technology(北京理工大学);University of Auckland(奥克兰大学)
本文提出一种隐私保护且拜占庭鲁棒的联邦学习方案NoV,通过结合零知识证明的模型过滤器抵御数据和模型投毒攻击,并采用秘密共享实现可验证安全聚合以剔除恶意客户端,有效保护数据隐私并优于现有方案。
2024-06-03 cs.CR cs.DC cs.LG
Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap
Beijing Institute of Technology(北京理工大学);University of Windsor(温莎大学);Sun Yat-sen University(中山大学)
针对联邦学习中的拜占庭攻击问题,提出用户端多步可调更新、中心端几何中位数聚合的鲁棒方法,在攻击者占比低于半数时可线性收敛并实现零最优性间隙,经数值实验验证有效。
2023-08-21 cs.CR cs.DC cs.LG
A Weighted Loss Approach to Robust Federated Learning under Data Heterogeneity
针对联邦学习中数据异构性导致难以区分诚实离群梯度与拜占庭恶意梯度的问题,提出加权损失WoLA来对齐诚实节点梯度以提升拜占庭识别能力,在异构场景下性能优于现有方法,且有理论和实证支撑。
2025-09-05 cs.LG
Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning
School of Information, Computation and Technology(信息、计算与技术学院)
针对异构联邦学习中现有拜占庭容错方案无法结合隐私保护的问题,提出融合可验证秘密共享、安全聚合与定制对称私有信息检索的多阶段方法,实现信息论隐私与拜占庭容错,并结合零阶估计降低通信开销提升可扩展性。
2025-06-11 cs.DC cs.IT cs.LG
LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning
University of Maryland, College Park(马里兰大学帕克分校);IBM Research(IBM研究院)
联邦学习是一种允许多个参与者在不共享数据的情况下协作训练模型的机制。在这些设置中,参与者(工作人员)可能不完全信任彼此;例如,一组竞争对手可能协作训练机器学习模型来检测欺诈。工作器提供中央服务器用于更新全局模型的本地梯度。当Byzantine worker发送恶意梯度时,这个全局模型可能会被破坏,这需要用于聚合梯度的鲁棒方法来减轻Byzantine输入的不利影响。现有的鲁棒聚集算法通常计算量大,并且仅在严格的假设下有效。在本文中,我们介绍了分层梯度聚合(LEGATO),聚合算法,相比之下,可扩展性和通用性。LEGATO通过研究梯度对拜占庭攻击的特定于层的响应,采用了一种动态梯度重新加权方案,该方案在基于特定于层的鲁棒性处理梯度方面是新颖的。我们证明,LEGATO比多种最先进的技术在计算上更高效,并且在实践中在各种攻击环境中更强大。我们还证明了LEGATO在没有攻击的情况下对梯度下降收敛的好处。
2021-07-26 cs.CR cs.DC cs.LG