A Stable Aggregation Method for Quantum Federated Learning
Deakin University(迪肯大学)
针对量子联邦学习在异构数据等因素下聚合不稳定及周期角参数平均失效的问题,提出自洽中点聚合方法,结合QoS加权等技术,经实验验证可提升稳定性并保持准确率。
2026-09-02 cs.AI cs.LG
A Federated Parameter Aggregation Method for Node Classification Tasks with Different Graph Network Structures
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院)
针对图联邦学习中客户端图结构异构导致梯度共享失效的问题,提出联邦聚合方法FLGNN,研究各层参数共享效果,并设计攻击与防御实验验证其有效性与隐私鲁棒性。
2024-03-24 cs.AI cs.LG
Coding-Enforced Resilient and Secure Aggregation for Hierarchical Federated Learning
Department of Information Science and Engineering(信息科学与工程系)
本文提出H-SecCoGC方案,通过编码策略提升分层联邦学习在不可靠通信下的鲁棒性、隐私保护和学习效率。
2026-01-25 cs.AI cs.LG
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
本文提出了一种基于不同距离度量的异步联邦学习聚合方法,通过评估梯度陈旧的影响,提升了模型收敛性和训练稳定性。
2026-03-09 cs.AI cs.LG
A Multivocal Literature Review on Privacy and Fairness in Federated Learning
University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文通过多声文献综述梳理联邦学习中隐私与公平性的整合方法,指出二者关系被忽视且存在内在张力,呼吁构建兼顾隐私、公平与性能的一体化框架。
2024-10-27 cs.AI cs.LG
Intrinsic Training Signals for Federated Learning Aggregation
AImageLab - University of Modena and Reggio Emilia, Italy(AImageLab - Modena和Reggio Emilia大学)
本文提出LIVAR方法,利用联邦学习标准优化中已有的内在训练信号,通过方差加权分类器聚合和基于SHAP分析的LoRA合并技术,无需架构修改即可实现最先进的模型聚合性能。
2025-09-15 cs.AI cs.LG
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring
University of Science and Technology of China (USTC)(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
属性倾斜阻碍了现有联邦学习(FL)框架在客户端之间的优化方向一致,从而导致性能下降和收敛不稳定。其核心问题在于:1)非因果的、仅局部有效的领域特定属性被无意地混入到全局聚集中。2)纠缠属性的单阶段优化不能同时满足两个冲突的目标,即,泛化和个性化。为了解决这些问题,我们提出了解纠缠联邦学习(DFL),将特定领域和交叉不变的属性分解为两个互补的分支,由提出的交替局部全局优化独立训练。重要的是,收敛性分析证明,FL系统可以稳定收敛,即使不完整的客户端模型参与全球聚合,这大大扩展了FL的应用范围。大量的实验验证,DFL促进FL更高的性能,更好的解释性,更快的收敛速度,相比SOTA FL方法在手动合成和现实的属性偏斜数据集。
2022-06-14 cs.AI cs.LG
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
Shanghai Jiao Tong University(上海交通大学);Louisiana State University(路易斯安那州立大学)
本文提出 FedALA 方法,通过自适应局部聚合模块在每轮训练前按客户端局部目标融合全局与局部模型,以缓解联邦学习中的统计异质性问题,并在多个基准上取得显著准确率提升。
2023-09-17 cs.AI cs.LG
Differentiated Aggregation to Improve Generalization in Federated Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出FedALS算法,通过对联邦学习模型不同部分采用差异化聚合频率,降低通信成本,提升非独立同分布场景下的模型泛化能力,实验验证了其有效性。
2026-08-27 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题,提出一种聚合多决策路径的客户端决策树流程,适用于 ID3 和 CART,并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Eluding Secure Aggregation in Federated Learning via Model Inconsistency
EPFL(洛桑联邦理工学院);Aarhus University(奥胡斯大学);George Mason University(乔治梅森大学)
安全聚合是一种加密协议,它安全地计算其输入的聚合。在联邦学习中,它是保持模型更新私密性的关键。事实上,使用安全聚合可以防止服务器了解用户提供的单个模型更新的值和来源,从而阻碍推理和数据归因攻击。在这项工作中,我们表明,恶意服务器可以很容易地逃避安全聚合,如果后者没有到位。我们设计了两种不同的攻击,能够推断个人私人训练数据集上的信息,独立于参与安全聚合的用户数量。这使得它们在大规模、真实世界的联邦学习应用中成为具体的威胁。无论使用何种安全聚合协议,攻击都是通用的,同样有效。他们利用了联邦学习协议的一个漏洞,该漏洞是由安全聚合的不正确使用和缺乏参数验证引起的。我们的工作表明,目前实现的联邦学习与安全聚合只提供了一个“虚假的安全感”。
2022-09-06 cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology(名古屋技术大学)
本文提出FedHAW方法,通过超梯度实现聚合权重的在线更新,提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Dim-Krum: Backdoor-Resistant Federated Learning for NLP with Dimension-wise Krum-Based Aggregation
Peking University(北京大学)
尽管联邦学习具有潜力,但众所周知,它容易受到后门攻击的攻击。许多健壮的联邦聚合方法被提出来降低潜在的后门风险。然而,它们主要在CV领域得到验证。本文发现NLP后门比CV更难防御,并从理论上分析了恶意更新检测错误概率由后门的相对强度决定。NLP攻击往往具有较小的相对后门强度,这可能导致NLP攻击的健壮联邦聚合方法失败。受理论结果的启发,我们可以选择一些具有较高后门强度的维度来解决这个问题。提出了一种新的面向NLP任务的联邦聚合算法Dim-Krum,实验结果验证了该算法的有效性。
2022-10-13 cs.CR cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing
Princeton University(普林斯顿大学);Purdue University(普渡大学)
联邦学习是网络边缘分布式机器学习的主要候选者,因为它具有低通信复杂性和隐私保护等吸引人的特性。然而,现有的算法面临的问题,由于在边缘的数据分布,计算和通信能力的相当大的异质性的缓慢收敛和/或鲁棒性的性能。在这项工作中,我们通过关注联邦学习系统中模型聚合的关键组成部分并研究执行此任务的最佳算法来解决这两个问题。特别是,我们提出了一个上下文聚合方案,实现了最佳的上下文相关的限制损失减少在每一轮的优化。上述上下文相关的界限是从该轮中的特定参与设备和对总体损失函数的平滑性的假设导出的。我们表明,这种聚集导致在每一轮的损失函数的明确减少。此外,我们可以将我们的聚合与许多现有的算法,以获得上下文版本。我们的实验结果表明,显着改善的收敛速度和鲁棒性的上下文版本相比,原来的算法。我们还考虑了上下文聚合的不同变体,即使在最极端的设置中也显示出强大的性能。
2022-03-23 cs.AI cs.DC cs.LG
Aggregation Delayed Federated Learning
Northwestern University(西北大学)
联邦学习是一种分布式机器学习范例,其中多个数据所有者(客户端)协作训练一个机器学习模型,同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现,标准联邦算法(如FedAvg)在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架,并专注于改进服务器端或客户端的模型更新。在这项工作中,我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验,结果表明,该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
FederatedNILM: A Distributed and Privacy-preserving Framework for Non-intrusive Load Monitoring based on Federated Deep Learning
University of Essex(埃塞克斯大学);Durham University(杜伦大学);University College Cork(科克大学学院)
非侵入式负载监测(NILM)通常利用机器学习方法,并有效地将智能电表读数从家庭级别分解为电器级别的消耗,可以帮助分析用户的用电行为,并实现实际的智能能源和智能电网应用。然而,智能电表是私有和分布式的,这使得NILM的实际应用具有挑战性。为此,本文提出了一种分布式隐私保护的联邦深度学习框架(FederatedNILM),将联邦学习与最先进的深度学习架构相结合,进行NILM,用于家电典型状态的分类。通过大量的对比实验,证明了所提出的FederatedNILM框架的有效性。
2021-08-08 cs.AI cs.LG eess.SP
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Privacy Preserving and Robust Aggregation for Cross-Silo Federated Learning in Non-IID Settings
University of Pavia(帕维亚大学)
针对非独立同分布数据下FedAvg性能下降及传输元数据引发的隐私风险,提出类感知梯度掩码聚合策略,仅依赖梯度更新增强隐私保护,并基于类别重要性动态加权客户端贡献,有效提升了模型对非独立同分布、收敛阻止及后门攻击的鲁棒性。
2025-03-06 cs.AI cs.CR cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg(卢森堡大学FINATRAX);University of Luxembourg(卢森堡大学)
由于间歇性发电和动态需求模式的高水平,对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用,因为它们提供详细的负荷数据。然而,由于数据隐私要求,使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术(如差分隐私和安全聚合)来满足这些要求。在我们的分析中,我们使用了大量的住宅负载数据,并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明,结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说,我们发现,这种组合使高水平的信息共享,同时确保隐私的处理负荷数据和预测模型。此外,我们确定并讨论了应用联邦学习,差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Survey of Privacy Threats and Countermeasures in Federated Learning
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究实验室)
本文综述横向、纵向和迁移联邦学习中的隐私威胁及防护对策,弥补现有研究对不同类型联邦学习共性与特有威胁缺乏系统分类的不足。
2025-08-29 cs.CR cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence;Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing;Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London(伦敦帝国理工学院);OctaiPipe
本文提出一个端到端框架,通过单次试验和多次试验模式自动化联邦学习的聚合策略选择,提升非iid条件下的鲁棒性和泛化能力,减少人工干预。
2026-04-09 cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Attack-Resistant Federated Learning with Residual-based Reweighting
HKUST(香港科技大学);Zhejiang University(浙江大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
联邦学习通过利用存储在不同设备上的私有训练数据在多个领域中具有各种应用。然而,联邦学习中的聚合过程极易受到对抗攻击的攻击,使得全局模型可能在攻击下表现异常。为了应对这一挑战,我们提出了一种新的聚合算法与基于残差的重新加权捍卫联邦学习。我们的聚合算法结合了重复中值回归和迭代加权最小二乘法的加权方案。我们的实验表明,我们的聚合算法优于其他替代算法的标签翻转和后门攻击的存在。我们还提供了我们的聚合算法的理论分析。
2021-01-08 cs.LG stat.ML
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架,用于分析医疗数据联邦学习中的隐私风险并制定缓解策略,通过实验证明联邦学习在处理医学图像时存在严重隐私风险,并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
Federated Learning Aggregation: New Robust Algorithms with Guarantees
ENS, PSL Research University(巴黎高等师范学院,巴黎文理研究大学);CNRS, PSL Research University(法国国家科学研究中心,巴黎文理研究大学)
联邦学习最近被提出用于边缘的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型,以获得一个新的更通用的“平均”模型(FedAvg)。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止,最流行的联邦学习算法使用模型参数的坐标平均进行聚合。在本文中,我们进行了一个完整的一般数学收敛分析,以评估联邦学习框架中的聚合策略。从这一点上,我们得到新的聚合算法,能够修改他们的模型架构,区分客户端的贡献,根据其损失的价值。此外,我们超越了理论上引入的假设,评估了这些策略的性能,并将它们与IID和Non-IID框架中分类任务中的FedAvg进行了比较,而没有额外的假设。
2022-07-18 cs.LG stat.ML
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology(北京理工大学)
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题,提出结合本地差分隐私与混洗技术的隐私放大算法,在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University(吉林大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对联邦学习中数据异构性导致的聚合权重分配不合理问题,提出基于客户端向量自适应调整聚合权重的FedAWA方法,在保护隐私的同时提升了全局模型的稳定性与泛化能力,经多场景实验验证了其优越性。
2025-03-20 cs.LG
Towards Privacy-Aware Causal Structure Learning in Federated Setting
Hefei University of Technology(合肥工业大学);Shanxi University(山西大学)
针对联邦学习中的隐私保护需求,提出FedPC算法,通过逐层聚合与一致分离集策略实现无需集中数据的因果结构学习。
2023-09-06 cs.AI cs.CR cs.LG
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana(瑞士意大利大学);Carnegie Mellon University(卡内基梅隆大学)
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题,减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会,信息技术的发展日新月异。在大数据时代,个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而,这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型,具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法,但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本,在本文中,我们提出将联邦学习和局部差分隐私与动量梯度下降相结合,以提高机器学习模型的性能。
2022-10-14 cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习,提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning
Uppsala University(乌普萨拉大学);The University of Hong Kong(香港大学);RISE, the Research Institutes of Sweden(瑞典研究院(RISE))
Byzantine-robust联邦学习旨在减少联邦训练过程中的Byzantine故障,其中恶意参与者可以将任意本地更新上传到中央服务器以降低全局模型的性能。近年来,一些鲁棒聚集方案被提出来抵御来自拜占庭客户端的恶意更新,提高联邦学习的鲁棒性。在某些假设下,这些解决方案被认为是拜占庭式的稳健。除此之外,新的攻击策略正在出现,试图绕过防御计划。但是,目前还缺乏对这两种模式的系统比较和实证研究。本文使用联邦学习中的两种流行算法FedSGD和FedAvg,对不同攻击下的拜占庭鲁棒聚集方案进行了实验研究。我们首先调查现有的拜占庭攻击策略和拜占庭强大的聚合计划,旨在抵御拜占庭攻击。我们还提出了一个新的计划,ClippedClustering,自动裁剪更新,以提高基于聚类的计划的鲁棒性。然后,我们提供了一个实验评估的情况下,五种不同的拜占庭攻击的八个聚合方案。我们的研究结果表明,这些聚合计划在某些情况下保持相对较高的精度,但在其他情况下是无效的。特别是,我们提出的ClippedClustering成功地抵御了独立和IID本地数据集下的大多数攻击。然而,当本地数据集是非IID的,所有的聚合方案的性能显着下降。对于非IID数据,即使完全没有拜占庭客户端,这些聚合方案中的一些也会失败。我们的结论是,所有的聚合方案的鲁棒性是有限的,强调需要新的防御策略,特别是非IID数据集。
2023-02-14 cs.LG
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu(会津大学);Sun Yat-sen University(中山大学)
对于数据孤岛和隐私问题,联邦学习引起了广泛的兴趣,因为它允许客户使用本地数据协作训练全球模型,而无需与第三方共享任何数据。然而,现有的联邦学习框架总是需要复杂的条件配置(例如,独立图形卡(如NVIDIA、编译环境)驱动程序配置复杂,给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现,我们创新性地提出了WebFed,一种新颖的基于浏览器的联邦学习框架,它利用浏览器的特性(例如,跨平台、JavaScript编程特性),并通过本地差分隐私机制增强隐私保护。最后,我们在异构设备上进行实验,以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Industrial Technology(山东省工业技术研究院)
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题,提出 FedADP 框架,通过聚合时动态调整模型架构实现高效协作,较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.(Owkin公司)
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中,这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决,从而导致了相互竞争的优化。在这篇文章中,我们第一次同时处理它们。更确切地说,我们适应基于压缩的联邦技术添加剂秘密共享,导致一个有效的安全聚合协议,具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性,在半诚实的设置。在深度卷积网络上的实验表明,我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比,我们的协议具有较低的通信和计算成本,类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
Improving Federated Aggregation with Deep Unfolding Networks
Deakin University(迪肯大学)
针对联邦学习中客户端异构性导致性能下降的问题,提出基于深度展开网络(DUN)的技术,通过学习无偏自适应权重有效改善异构性影响,实现质量感知聚合,并验证了方法的有效性与可解释性。
2023-06-30 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute(拉特格尔理工学院)
本文提出PBM-VFL算法,结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习,首次从理论上刻画隐私预算、收敛误差与通信成本间的关系,并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
FedEM: A Privacy-Preserving Framework for Concurrent Utility Preservation in Federated Learning
本文提出FedEM算法,通过自适应噪声注入引入受控扰动,在联邦学习中有效缓解梯度泄露攻击,同时保持模型精度,实现隐私保护与效用保留的稳健平衡。
2025-03-08 cs.LG
FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data
College of Information Science and Technology, Jinan University(暨南大学信息科学技术学院);College of Information and Computational Science, Jilin University(吉林大学信息与计算科学学院);University of Toronto(多伦多大学);The Hong Kong Polytechnic University(香港理工大学)
针对异构数据下个性化联邦学习的准确率、计算与通信挑战,提出FedAPA,在服务器端基于客户端参数变化对聚合权重的梯度自适应更新权重,兼具理论收敛保证与优异性能。
2025-02-15 cs.CV cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
Moss: Proxy Model-based Full-Weight Aggregation in Federated Learning with Heterogeneous Models
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对异构模型联邦学习中部分聚合导致精度低、开销大的问题,提出基于代理模型的全权重聚合方法 Moss,在训练速度、能耗、精度和带宽方面均优于现有基线。
2025-03-13 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG