Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
Privacy Amplification via Random Participation in Federated Learning
Imperial College London(伦敦帝国学院)
在子采样数据集而不是整个数据集上运行随机算法可以增强差分隐私保证。在这项工作中,在联邦设置中,除了对本地数据集进行二次采样之外,我们还考虑了客户端的随机参与。由于客户端的这种随机参与在其子采样中创建了同一客户端的样本之间的相关性,因此我们通过非均匀子采样来分析相应的隐私放大。我们表明,当本地数据集的大小是小的,通过随机参与的隐私保证是接近的集中式设置,其中整个数据集位于一个单一的主机和二次采样。另一方面,当本地数据集很大时,观察算法的输出可以以高置信度揭示采样客户端的身份。我们的分析表明,即使在这种情况下,通过随机参与的隐私保证优于那些只通过本地子采样。
2022-05-03 cs.CR cs.LG
Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure Federated Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
联邦学习是一种分布式框架,用于在移动设备上的数据上训练机器学习模型,同时保护个人用户的隐私。将联邦学习扩展到大量用户的一个主要瓶颈是跨许多用户的安全模型聚合的开销。特别是,用于安全模型聚合的最新协议的开销随着用户的数量成二次方地增长。在本文中,我们提出了第一个安全的聚合框架,命名为涡轮聚合,在网络中与$N$用户实现了安全的聚合开销$O(N\log{N})$,而不是$O(N^2)$,同时容忍高达$50\%$的用户辍学率。Turbo-Aggregate采用多组循环策略进行有效的模型聚合,并利用附加秘密共享和新颖的编码技术注入聚合冗余,以处理用户退出,同时保证用户隐私。我们的实验表明,涡轮聚合实现了总的运行时间,增长几乎线性的用户数,并提供了高达$40\times$的加速比最先进的协议,高达$N=200$用户。我们的实验还展示了模型大小和带宽对Turbo-Aggregate性能的影响。
2021-02-20 cs.CR cs.DC cs.IT
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Imperial College London(伦敦帝国理工学院)
联邦边缘学习(FEEL)是一种有前途的分布式机器学习(ML)框架,可用于驱动边缘智能应用。然而,由于动态的无线环境和边缘设备的资源限制,通信成为一个主要的瓶颈。在这项工作中,我们提出了时间相关的稀疏化与混合聚合(TCS-H)的通信效率的FEEL,它利用联合功率的模型压缩和空中计算。通过利用模型参数之间的时间相关性,我们构建了一个全局稀疏化掩码,该掩码在设备之间是相同的,从而实现了空中的高效模型聚合。每个设备进一步构造局部稀疏向量以探索其自身的重要参数,这些参数经由具有正交多址的数字通信来聚合。我们进一步设计了TCS-H的设备调度和功率分配算法。实验结果表明,在有限的通信资源,TCS-H可以达到显着更高的精度相比,传统的top-K稀疏与正交模型聚合,与i.i.d.和非I.I.D.数据分布
2022-02-17 cs.IT cs.LG math.IT
Moss: Proxy Model-based Full-Weight Aggregation in Federated Learning with Heterogeneous Models
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对异构模型联邦学习中部分聚合导致精度低、开销大的问题,提出基于代理模型的全权重聚合方法 Moss,在训练速度、能耗、精度和带宽方面均优于现有基线。
2025-03-13 cs.CR cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.(Owkin公司)
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中,这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决,从而导致了相互竞争的优化。在这篇文章中,我们第一次同时处理它们。更确切地说,我们适应基于压缩的联邦技术添加剂秘密共享,导致一个有效的安全聚合协议,具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性,在半诚实的设置。在深度卷积网络上的实验表明,我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比,我们的协议具有较低的通信和计算成本,类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning
Linköping University(林雪平大学)
联邦学习(FL)是一种新出现的分散式机器学习(ML)框架,它将设备上的本地训练与基于服务器的模型同步相结合,以在分布式节点上训练集中式ML模型。在本文中,我们提出了一个异步FL框架与定期聚集,以消除在FL系统中的掉队者的问题。对于所提出的模型,我们研究了几种设备调度和更新聚合策略,并比较它们的性能时,设备具有异构的计算能力和训练数据分布。从模拟结果中,我们得出结论,异步FL的调度和聚合设计可以是相当不同的同步情况。例如,基于范数的重要性感知调度策略在异步FL设置中可能不是有效的,并且用于模型聚合的适当的“年龄感知”加权设计可以极大地提高这样的系统的学习性能。
2021-07-23 cs.DC cs.IT cs.LG
A Secure Aggregation for Federated Learning on Long-Tailed Data
University of Technology Sydney(悉尼科技大学);CSIRO(联邦科学与工业研究组织);Zhejiang Lab(之江实验室)
针对联邦学习中长尾数据分布与拜占庭模型攻击并存的问题,提出一种两层安全聚合方法,借助“智库”机制剔除恶意模型并筛选含尾类信息的有价值模型。
2023-07-17 cs.CR cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology(名古屋技术大学)
本文提出FedHAW方法,通过超梯度实现聚合权重的在线更新,提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Encoded Gradients Aggregation against Gradient Leakage in Federated Learning
University of Electronic Science and Technology of China(电子科技大学);Peng Cheng Lab(鹏城实验室);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院);The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
联邦学习使孤立的客户端能够通过聚合本地计算的梯度更新来协作地训练共享模型。然而,隐私信息可能会从上传的梯度中泄露,并暴露给恶意攻击者或诚实但好奇的服务器。虽然加性同态加密技术保证了该过程的安全性,但它给FL参与者带来了不可接受的计算和通信负担。为了减轻这种成本的安全聚合和保持学习性能,我们提出了一个新的框架,称为编码梯度聚合(\emph{EGA})。详细地说,EGA首先将局部梯度更新编码到编码域中,在服务器中聚合之前,在每个客户端中注入噪声。然后,可以经由解码函数恢复编码的梯度聚合结果以用于全局模型更新。该方案可以防止单个客户端的原始梯度暴露在互联网上,并使服务器不知道它们。EGA可以在不同的噪声水平下提供优化和通信的好处,并防止梯度泄漏。我们进一步提供了近似误差及其对联邦优化的影响的理论分析。此外,EGA与大多数联邦优化算法兼容。我们进行了密集的实验,以评估EGA在现实世界的联邦设置,结果表明其有效性。
2023-02-25 cs.CR cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Energy-Aware Analog Aggregation for Federated Learning with Redundant Data
Imperial College London(帝国理工学院)
联邦学习(FL)使工作人员能够在参数服务器(PS)的帮助下使用本地数据协作学习模型,以进行全局模型聚合。周期性模型更新的高通信成本和非独立同分布(i.i.d.)在这项工作中,我们考虑模拟聚合,以降低通信成本的工人的数量,并引入数据冗余的系统来处理非i.i.d.数据我们提出了一种在线的能量感知的动态工人调度策略,该策略在长期能量约束下,最大化每次迭代时为梯度更新调度的平均工人数量,并基于李雅普诺夫优化分析其性能。使用MNIST数据集的实验表明,对于非i.i.d.数据,加倍的数据存储可以提高9.8%的准确性下严格的能源预算,而所提出的政策可以实现接近最佳的准确性,而不违反能源约束。
2019-11-01 cs.IT cs.LG eess.SP
Over-the-Air Federated Learning via Weighted Aggregation
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
该研究提出一种带自适应加权聚合的空中联邦学习方案,无需发射端信道状态信息即可缓解信道影响,推导了收敛界并设计了权重优化算法,实验显示其准确率较现有方案提升15%-30%。
2024-09-12 cs.AI cs.IT cs.LG
Regularized Weight Aggregation in Networked Federated Learning for Glioblastoma Segmentation
Turku University of Applied Sciences(图尔库应用科学大学);Riphah International University(里法哈国际大学)
在联邦学习(FL)中,服务器端的全局模型需要一个有效的权重聚合机制和一个系统的协作选择策略来管理和优化通信负载。我们介绍了一个实用的和具有成本效益的正则化权重聚合方法,并提出了一个节省劳动力的技术来选择每轮合作者。我们说明了我们的方法,正则化的相似性权重聚合(RegSimAgg),在联邦肿瘤分割(FeTS)2022挑战的联邦训练(权重聚合)问题的性能。我们的可扩展方法是有原则的,节俭的,适合异构的非IID合作者。使用FeTS2021评估标准,我们提出的算法RegSimAgg在FeTS2022挑战的权重聚合任务的最终排名中处于第三位。我们的解决方案在以下网站开源:\url{https://github.com/dskhanirfan/FeTS2022}
2023-01-30 cs.AI cs.DC cs.LG
Aggregation Delayed Federated Learning
Northwestern University(西北大学)
联邦学习是一种分布式机器学习范例,其中多个数据所有者(客户端)协作训练一个机器学习模型,同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现,标准联邦算法(如FedAvg)在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架,并专注于改进服务器端或客户端的模型更新。在这项工作中,我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验,结果表明,该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);Trinity College Dublin(都柏林圣三一学院)
快速识别新的网络攻击模式对于提高网络安全性至关重要。然而,识别异构网络中正在进行的攻击是一项不平凡的任务。联邦学习是入侵检测系统协同训练的一种解决方案。基于联邦学习的IDS使用联邦参与者提供的本地机器学习模型来训练全局模型,而不共享本地数据。然而,优化挑战是联邦学习固有的。本文提出了联邦模拟退火(FedSA)元启发式选择超参数和一个子集的参与者为每一个聚合轮联邦学习。FedSA优化与全局模型收敛相关的超参数。该提案减少了聚合轮数,加快了收敛速度。因此,FedSA加速了从本地模型中提取学习,需要更少的IDS更新。提案评估表明,FedSA全球模型在不到10轮的沟通中收敛。与传统的聚合方法相比,该提案需要减少多达50%的聚合轮次才能实现约97%的攻击检测准确率。
2022-05-23 cs.CR cs.LG
Meta-FL: A Novel Meta-Learning Framework for Optimizing Heterogeneous Model Aggregation in Federated Learning
Oregon State University(俄勒冈州立大学)
针对联邦学习的数据异构与模型多样问题,提出基于优化元聚合器的Meta-FL框架,利用元特征实现适配性聚合,在医疗数据集上性能优于传统方法,兼具高效性与可扩展性。
2024-06-23 cs.CR cs.LG
Robust Aggregation for Federated Learning
University of Washington(华盛顿大学);Harvard University(哈佛大学)
提出基于几何中位数的鲁棒聚合方法,使联邦学习在部分设备发送损坏更新时保持鲁棒性,且在高低损坏程度下均表现优异。
2022-01-17 cs.CR cs.LG stat.ML
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Attack-Resistant Federated Learning with Residual-based Reweighting
HKUST(香港科技大学);Zhejiang University(浙江大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
联邦学习通过利用存储在不同设备上的私有训练数据在多个领域中具有各种应用。然而,联邦学习中的聚合过程极易受到对抗攻击的攻击,使得全局模型可能在攻击下表现异常。为了应对这一挑战,我们提出了一种新的聚合算法与基于残差的重新加权捍卫联邦学习。我们的聚合算法结合了重复中值回归和迭代加权最小二乘法的加权方案。我们的实验表明,我们的聚合算法优于其他替代算法的标签翻转和后门攻击的存在。我们还提供了我们的聚合算法的理论分析。
2021-01-08 cs.LG stat.ML
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence;Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing;Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Federated Learning Aggregation: New Robust Algorithms with Guarantees
ENS, PSL Research University(巴黎高等师范学院,巴黎文理研究大学);CNRS, PSL Research University(法国国家科学研究中心,巴黎文理研究大学)
联邦学习最近被提出用于边缘的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型,以获得一个新的更通用的“平均”模型(FedAvg)。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止,最流行的联邦学习算法使用模型参数的坐标平均进行聚合。在本文中,我们进行了一个完整的一般数学收敛分析,以评估联邦学习框架中的聚合策略。从这一点上,我们得到新的聚合算法,能够修改他们的模型架构,区分客户端的贡献,根据其损失的价值。此外,我们超越了理论上引入的假设,评估了这些策略的性能,并将它们与IID和Non-IID框架中分类任务中的FedAvg进行了比较,而没有额外的假设。
2022-07-18 cs.LG stat.ML
Privacy Preserving and Robust Aggregation for Cross-Silo Federated Learning in Non-IID Settings
University of Pavia(帕维亚大学)
针对非独立同分布数据下FedAvg性能下降及传输元数据引发的隐私风险,提出类感知梯度掩码聚合策略,仅依赖梯度更新增强隐私保护,并基于类别重要性动态加权客户端贡献,有效提升了模型对非独立同分布、收敛阻止及后门攻击的鲁棒性。
2025-03-06 cs.AI cs.CR cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London(伦敦帝国理工学院);OctaiPipe
本文提出一个端到端框架,通过单次试验和多次试验模式自动化联邦学习的聚合策略选择,提升非iid条件下的鲁棒性和泛化能力,减少人工干预。
2026-04-09 cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning
School of Information, Computation and Technology(信息、计算与技术学院)
针对异构联邦学习中现有拜占庭容错方案无法结合隐私保护的问题,提出融合可验证秘密共享、安全聚合与定制对称私有信息检索的多阶段方法,实现信息论隐私与拜占庭容错,并结合零阶估计降低通信开销提升可扩展性。
2025-06-11 cs.DC cs.IT cs.LG
Quality Inference in Federated Learning with Secure Aggregation
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文证明在联邦学习应用安全聚合后仍可推断个体数据集质量,并通过图像识别实验实现参与者质量排序,用于检测不当行为、稳定训练和衡量个体贡献。
2023-05-25 cs.CR cs.LG stat.ML
Federated Dynamic GNN with Secure Aggregation
University of Notre Dame(圣母大学)
给定来自多个个人设备或街道摄像头的视频数据,我们是否可以利用结构和动态信息来学习分布式监控等应用中对象的动态表示,而不会将数据存储在中央服务器上,从而导致侵犯用户隐私?在这项工作中,我们介绍了联邦动态图神经网络(Feddy),一个分布式的和安全的框架,学习对象表示从多用户图序列:i)它聚合的结构信息,从附近的对象在当前图以及动态信息,从那些在以前的图。它使用一种自我监督的损失来预测物体的轨迹。ii)它以联邦学习的方式进行训练。位于中央的服务器将模型发送到用户设备。各个用户设备上的本地模型学习并定期将其学习发送到中央服务器,而不会将用户的数据暴露给服务器。iii)研究表明,在服务器执行加权平均之后,聚合的参数可以在广播到客户端用于模型同步时被检查,尽管被解密。我们设计了一个合适的安全聚集原语聚集机制,可以保护联邦学习的安全性和隐私性,并具有可扩展性。在四个不同场景下的视频摄像机数据集上的实验和仿真结果表明,Feddy算法具有很好的安全性和有效性。
2020-09-15 cs.CR cs.LG
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University(阿米尔卡比尔理工大学);Virginia Tech(弗吉尼亚理工大学)
在联邦学习(FL)中,机器学习模型以分散的方式在多个节点上训练,同时保持数据本地化,不与其他节点共享。然而,FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而,从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节,从而引发隐私问题。此外,从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题,本文提出了一种新的两比特聚合算法,保证差分隐私和减少上行链路通信开销。大量实验表明,该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能,同时保证了差分隐私,提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG
Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks
Department of Electrical Engineering (ISY), Linköping University(电气工程系(ISY),林奈大学)
本文提出了一种基于无线网络的异步联邦学习调度与聚合设计,通过信道感知数据重要性调度策略和年龄感知聚合设计,提升模型收敛性能和学习效果。
2025-12-03 cs.DC cs.IT cs.LG
Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning
Institute for Digital Technologies, Loughborough University(拉夫堡大学数字技术研究所)
联邦学习作为解决机器学习中数据可用性和隐私挑战的解决方案已经越来越受欢迎。然而,在联邦学习中,局部模型更新以获得全局模型的聚合过程容易受到恶意攻击,例如后门中毒、标签翻转和成员推断。恶意用户的目标是通过使用恶意数据训练本地模型来破坏协作学习过程。本文提出了一种基于递归欧氏距离计算的鲁棒聚集方法。我们的方法测量局部模型与先前全局模型的距离,并相应地分配权重。远离全局模型的局部模型被分配较小的权重,以最小化聚合期间的数据投毒效应。我们的实验表明,该算法优于国家的最先进的算法,至少$5\%$的准确性,而减少时间复杂度小于$55\%$。我们的贡献是重要的,因为它解决了联邦学习中恶意攻击的关键问题,同时提高了全局模型的准确性。
2023-03-20 cs.AI cs.LG
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
FedRDF: A Robust and Dynamic Aggregation Function against Poisoning Attacks in Federated Learning
University of Murcia(穆尔西亚大学)
本文提出一种基于傅里叶变换的鲁棒聚合机制FedRDF,通过将客户端权重投影至频域选择最高频率密度函数以排除恶意权重,无需预知攻击者数量即可有效抵御复杂投毒攻击,性能优于现有方法。
2024-02-15 cs.CR cs.LG
Secure Aggregation for Federated Learning in Flower
University of Cambridge(剑桥大学)
联邦学习(FL)允许各方通过将训练计算委托给客户端并聚合服务器上所有单独训练的模型来学习共享的预测模型。为了防止从本地模型中推断出私有信息,安全聚合(SA)协议用于确保服务器在聚合它们时无法检查单个训练模型。然而,当前FL框架中SA的实现具有局限性,包括易受客户端退出或配置困难的影响。在本文中,我们提出了Salvia,这是Flower FL框架中Python用户的SA实现。Salvia基于SecAgg(+)协议,用于半诚实的威胁模型,对客户端退出具有鲁棒性,并提供了与各种机器学习框架兼容的灵活且易于使用的API。我们表明,Salvia的实验性能与SecAgg(+)的理论计算和通信复杂性是一致的。
2022-05-12 cs.CR cs.LG
FedUAF: Uncertainty-Aware Fusion with Reliability-Guided Aggregation for Multimodal Federated Sentiment Analysis
Shanghai University(上海大学);North China Electric Power University(华北电力大学);Université de Technologie de Compiègne(法国图卢兹国立理工学院);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Macquarie University(麦考瑞大学)
本文提出FedUAF框架,通过不确定性融合和可靠性引导聚合解决联邦学习中多模态数据缺失、分布异质和客户端更新不可靠的问题,实验证明其在CMU-MOSI和CMU-MOSEI数据集上优于现有方法。
2026-02-28 cs.AI cs.LG
FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University(吉林大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对联邦学习中数据异构性导致的聚合权重分配不合理问题,提出基于客户端向量自适应调整聚合权重的FedAWA方法,在保护隐私的同时提升了全局模型的稳定性与泛化能力,经多场景实验验证了其优越性。
2025-03-20 cs.LG
Uncovering Attacks and Defenses in Secure Aggregation for Federated Deep Learning
Purdue University(普渡大学);University of South Florida(南佛罗里达大学)
本文发现MicroSecAgg安全聚合协议存在可预测掩码值导致用户隐私泄露的安全缺陷,并提出动态不可预测掩码等防御对策。
2024-10-17 cs.CR cs.LG
FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP(德勤咨询有限责任公司)
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题,本文提出零信任聚合方法 FedBayes,利用贝叶斯统计评估客户端权重,从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana(瑞士意大利大学);Carnegie Mellon University(卡内基梅隆大学)
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题,减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
针对联邦学习中的复杂投毒攻击,本文提出基于强化学习的自适应聚合方法AdaAggRL,通过分布学习与MMD相似性计算,自适应确定聚合权重,在四个真实数据集上显著优于现有防御方法。
2024-12-15 cs.CR cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习,提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning
Uppsala University(乌普萨拉大学);The University of Hong Kong(香港大学);RISE, the Research Institutes of Sweden(瑞典研究院(RISE))
Byzantine-robust联邦学习旨在减少联邦训练过程中的Byzantine故障,其中恶意参与者可以将任意本地更新上传到中央服务器以降低全局模型的性能。近年来,一些鲁棒聚集方案被提出来抵御来自拜占庭客户端的恶意更新,提高联邦学习的鲁棒性。在某些假设下,这些解决方案被认为是拜占庭式的稳健。除此之外,新的攻击策略正在出现,试图绕过防御计划。但是,目前还缺乏对这两种模式的系统比较和实证研究。本文使用联邦学习中的两种流行算法FedSGD和FedAvg,对不同攻击下的拜占庭鲁棒聚集方案进行了实验研究。我们首先调查现有的拜占庭攻击策略和拜占庭强大的聚合计划,旨在抵御拜占庭攻击。我们还提出了一个新的计划,ClippedClustering,自动裁剪更新,以提高基于聚类的计划的鲁棒性。然后,我们提供了一个实验评估的情况下,五种不同的拜占庭攻击的八个聚合方案。我们的研究结果表明,这些聚合计划在某些情况下保持相对较高的精度,但在其他情况下是无效的。特别是,我们提出的ClippedClustering成功地抵御了独立和IID本地数据集下的大多数攻击。然而,当本地数据集是非IID的,所有的聚合方案的性能显着下降。对于非IID数据,即使完全没有拜占庭客户端,这些聚合方案中的一些也会失败。我们的结论是,所有的聚合方案的鲁棒性是有限的,强调需要新的防御策略,特别是非IID数据集。
2023-02-14 cs.LG
When Topology Betrays Privacy: Lattice-Based Reconstruction Attacks on Secure Aggregation in Decentralized Federated Learning
Aalborg University(奥尔堡大学);Institut Polytechnique de Paris(巴黎理工学院)
本研究揭示去中心化联邦学习中稀疏拓扑下安全聚合的结构性泄露,通过建立与隐藏子集和问题的联系,设计基于格的重构攻击,成功恢复诚实节点的私有更新与训练数据。
2026-09-09 cs.CR cs.LG
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Industrial Technology(山东省工业技术研究院)
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题,提出 FedADP 框架,通过聚合时动态调整模型架构实现高效协作,较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Improving Federated Aggregation with Deep Unfolding Networks
Deakin University(迪肯大学)
针对联邦学习中客户端异构性导致性能下降的问题,提出基于深度展开网络(DUN)的技术,通过学习无偏自适应权重有效改善异构性影响,实现质量感知聚合,并验证了方法的有效性与可解释性。
2023-06-30 cs.LG
FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data
College of Information Science and Technology, Jinan University(暨南大学信息科学技术学院);College of Information and Computational Science, Jilin University(吉林大学信息与计算科学学院);University of Toronto(多伦多大学);The Hong Kong Polytechnic University(香港理工大学)
针对异构数据下个性化联邦学习的准确率、计算与通信挑战,提出FedAPA,在服务器端基于客户端参数变化对聚合权重的梯度自适应更新权重,兼具理论收敛保证与优异性能。
2025-02-15 cs.CV cs.LG