Dim-Krum: Backdoor-Resistant Federated Learning for NLP with Dimension-wise Krum-Based Aggregation
Peking University(北京大学)
尽管联邦学习具有潜力,但众所周知,它容易受到后门攻击的攻击。许多健壮的联邦聚合方法被提出来降低潜在的后门风险。然而,它们主要在CV领域得到验证。本文发现NLP后门比CV更难防御,并从理论上分析了恶意更新检测错误概率由后门的相对强度决定。NLP攻击往往具有较小的相对后门强度,这可能导致NLP攻击的健壮联邦聚合方法失败。受理论结果的启发,我们可以选择一些具有较高后门强度的维度来解决这个问题。提出了一种新的面向NLP任务的联邦聚合算法Dim-Krum,实验结果验证了该算法的有效性。
2022-10-13 cs.CR cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning
Institute for Digital Technologies, Loughborough University(拉夫堡大学数字技术研究所)
联邦学习作为解决机器学习中数据可用性和隐私挑战的解决方案已经越来越受欢迎。然而,在联邦学习中,局部模型更新以获得全局模型的聚合过程容易受到恶意攻击,例如后门中毒、标签翻转和成员推断。恶意用户的目标是通过使用恶意数据训练本地模型来破坏协作学习过程。本文提出了一种基于递归欧氏距离计算的鲁棒聚集方法。我们的方法测量局部模型与先前全局模型的距离,并相应地分配权重。远离全局模型的局部模型被分配较小的权重,以最小化聚合期间的数据投毒效应。我们的实验表明,该算法优于国家的最先进的算法,至少$5\%$的准确性,而减少时间复杂度小于$55\%$。我们的贡献是重要的,因为它解决了联邦学习中恶意攻击的关键问题,同时提高了全局模型的准确性。
2023-03-20 cs.AI cs.LG
FedUAF: Uncertainty-Aware Fusion with Reliability-Guided Aggregation for Multimodal Federated Sentiment Analysis
Shanghai University(上海大学);North China Electric Power University(华北电力大学);Université de Technologie de Compiègne(法国图卢兹国立理工学院);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Macquarie University(麦考瑞大学)
本文提出FedUAF框架,通过不确定性融合和可靠性引导聚合解决联邦学习中多模态数据缺失、分布异质和客户端更新不可靠的问题,实验证明其在CMU-MOSI和CMU-MOSEI数据集上优于现有方法。
2026-02-28 cs.AI cs.LG
Moss: Proxy Model-based Full-Weight Aggregation in Federated Learning with Heterogeneous Models
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对异构模型联邦学习中部分聚合导致精度低、开销大的问题,提出基于代理模型的全权重聚合方法 Moss,在训练速度、能耗、精度和带宽方面均优于现有基线。
2025-03-13 cs.CR cs.LG
FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments
Department of Computer Science, Lahore University of Management Sciences, Lahore, Pakistan(计算机科学系,拉合尔管理科学大学,拉合尔,巴基斯坦)
FedSCAM通过动态调整扰动半径和聚合权重,提升联邦优化在异构环境中的鲁棒性和收敛速度。
2025-12-29 cs.AI cs.LG
A Stable Aggregation Method for Quantum Federated Learning
Deakin University(迪肯大学)
针对量子联邦学习在异构数据等因素下聚合不稳定及周期角参数平均失效的问题,提出自洽中点聚合方法,结合QoS加权等技术,经实验验证可提升稳定性并保持准确率。
2026-09-02 cs.AI cs.LG
A Secure Aggregation for Federated Learning on Long-Tailed Data
University of Technology Sydney(悉尼科技大学);CSIRO(联邦科学与工业研究组织);Zhejiang Lab(之江实验室)
针对联邦学习中长尾数据分布与拜占庭模型攻击并存的问题,提出一种两层安全聚合方法,借助“智库”机制剔除恶意模型并筛选含尾类信息的有价值模型。
2023-07-17 cs.CR cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
A Federated Parameter Aggregation Method for Node Classification Tasks with Different Graph Network Structures
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院)
针对图联邦学习中客户端图结构异构导致梯度共享失效的问题,提出联邦聚合方法FLGNN,研究各层参数共享效果,并设计攻击与防御实验验证其有效性与隐私鲁棒性。
2024-03-24 cs.AI cs.LG
Encoded Gradients Aggregation against Gradient Leakage in Federated Learning
University of Electronic Science and Technology of China(电子科技大学);Peng Cheng Lab(鹏城实验室);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院);The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
联邦学习使孤立的客户端能够通过聚合本地计算的梯度更新来协作地训练共享模型。然而,隐私信息可能会从上传的梯度中泄露,并暴露给恶意攻击者或诚实但好奇的服务器。虽然加性同态加密技术保证了该过程的安全性,但它给FL参与者带来了不可接受的计算和通信负担。为了减轻这种成本的安全聚合和保持学习性能,我们提出了一个新的框架,称为编码梯度聚合(\emph{EGA})。详细地说,EGA首先将局部梯度更新编码到编码域中,在服务器中聚合之前,在每个客户端中注入噪声。然后,可以经由解码函数恢复编码的梯度聚合结果以用于全局模型更新。该方案可以防止单个客户端的原始梯度暴露在互联网上,并使服务器不知道它们。EGA可以在不同的噪声水平下提供优化和通信的好处,并防止梯度泄漏。我们进一步提供了近似误差及其对联邦优化的影响的理论分析。此外,EGA与大多数联邦优化算法兼容。我们进行了密集的实验,以评估EGA在现实世界的联邦设置,结果表明其有效性。
2023-02-25 cs.CR cs.LG
Coding-Enforced Resilient and Secure Aggregation for Hierarchical Federated Learning
Department of Information Science and Engineering(信息科学与工程系)
本文提出H-SecCoGC方案,通过编码策略提升分层联邦学习在不可靠通信下的鲁棒性、隐私保护和学习效率。
2026-01-25 cs.AI cs.LG
Byzantine-Robust Federated Learning Framework with Post-Quantum Secure Aggregation for Real-Time Threat Intelligence Sharing in Critical IoT Infrastructure
本文提出一种结合后量子安全聚合的联邦学习框架,用于关键物联网基础设施中实时威胁情报共享,通过自适应加权聚合和基于格的加密协议,有效防御拜占庭攻击和量子威胁。
2026-01-03 cs.CR cs.LG
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
本文提出了一种基于不同距离度量的异步联邦学习聚合方法,通过评估梯度陈旧的影响,提升了模型收敛性和训练稳定性。
2026-03-09 cs.AI cs.LG
FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);Trinity College Dublin(都柏林圣三一学院)
快速识别新的网络攻击模式对于提高网络安全性至关重要。然而,识别异构网络中正在进行的攻击是一项不平凡的任务。联邦学习是入侵检测系统协同训练的一种解决方案。基于联邦学习的IDS使用联邦参与者提供的本地机器学习模型来训练全局模型,而不共享本地数据。然而,优化挑战是联邦学习固有的。本文提出了联邦模拟退火(FedSA)元启发式选择超参数和一个子集的参与者为每一个聚合轮联邦学习。FedSA优化与全局模型收敛相关的超参数。该提案减少了聚合轮数,加快了收敛速度。因此,FedSA加速了从本地模型中提取学习,需要更少的IDS更新。提案评估表明,FedSA全球模型在不到10轮的沟通中收敛。与传统的聚合方法相比,该提案需要减少多达50%的聚合轮次才能实现约97%的攻击检测准确率。
2022-05-23 cs.CR cs.LG
Meta-FL: A Novel Meta-Learning Framework for Optimizing Heterogeneous Model Aggregation in Federated Learning
Oregon State University(俄勒冈州立大学)
针对联邦学习的数据异构与模型多样问题,提出基于优化元聚合器的Meta-FL框架,利用元特征实现适配性聚合,在医疗数据集上性能优于传统方法,兼具高效性与可扩展性。
2024-06-23 cs.CR cs.LG
Intrinsic Training Signals for Federated Learning Aggregation
AImageLab - University of Modena and Reggio Emilia, Italy(AImageLab - Modena和Reggio Emilia大学)
本文提出LIVAR方法,利用联邦学习标准优化中已有的内在训练信号,通过方差加权分类器聚合和基于SHAP分析的LoRA合并技术,无需架构修改即可实现最先进的模型聚合性能。
2025-09-15 cs.AI cs.LG
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring
University of Science and Technology of China (USTC)(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
属性倾斜阻碍了现有联邦学习(FL)框架在客户端之间的优化方向一致,从而导致性能下降和收敛不稳定。其核心问题在于:1)非因果的、仅局部有效的领域特定属性被无意地混入到全局聚集中。2)纠缠属性的单阶段优化不能同时满足两个冲突的目标,即,泛化和个性化。为了解决这些问题,我们提出了解纠缠联邦学习(DFL),将特定领域和交叉不变的属性分解为两个互补的分支,由提出的交替局部全局优化独立训练。重要的是,收敛性分析证明,FL系统可以稳定收敛,即使不完整的客户端模型参与全球聚合,这大大扩展了FL的应用范围。大量的实验验证,DFL促进FL更高的性能,更好的解释性,更快的收敛速度,相比SOTA FL方法在手动合成和现实的属性偏斜数据集。
2022-06-14 cs.AI cs.LG
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
Shanghai Jiao Tong University(上海交通大学);Louisiana State University(路易斯安那州立大学)
本文提出 FedALA 方法,通过自适应局部聚合模块在每轮训练前按客户端局部目标融合全局与局部模型,以缓解联邦学习中的统计异质性问题,并在多个基准上取得显著准确率提升。
2023-09-17 cs.AI cs.LG
Differentiated Aggregation to Improve Generalization in Federated Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出FedALS算法,通过对联邦学习模型不同部分采用差异化聚合频率,降低通信成本,提升非独立同分布场景下的模型泛化能力,实验验证了其有效性。
2026-08-27 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题,提出一种聚合多决策路径的客户端决策树流程,适用于 ID3 和 CART,并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Regularized Weight Aggregation in Networked Federated Learning for Glioblastoma Segmentation
Turku University of Applied Sciences(图尔库应用科学大学);Riphah International University(里法哈国际大学)
在联邦学习(FL)中,服务器端的全局模型需要一个有效的权重聚合机制和一个系统的协作选择策略来管理和优化通信负载。我们介绍了一个实用的和具有成本效益的正则化权重聚合方法,并提出了一个节省劳动力的技术来选择每轮合作者。我们说明了我们的方法,正则化的相似性权重聚合(RegSimAgg),在联邦肿瘤分割(FeTS)2022挑战的联邦训练(权重聚合)问题的性能。我们的可扩展方法是有原则的,节俭的,适合异构的非IID合作者。使用FeTS2021评估标准,我们提出的算法RegSimAgg在FeTS2022挑战的权重聚合任务的最终排名中处于第三位。我们的解决方案在以下网站开源:\url{https://github.com/dskhanirfan/FeTS2022}
2023-01-30 cs.AI cs.DC cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.(Owkin公司)
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中,这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决,从而导致了相互竞争的优化。在这篇文章中,我们第一次同时处理它们。更确切地说,我们适应基于压缩的联邦技术添加剂秘密共享,导致一个有效的安全聚合协议,具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性,在半诚实的设置。在深度卷积网络上的实验表明,我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比,我们的协议具有较低的通信和计算成本,类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI))
针对联邦学习在高维空间中拜占庭攻击鲁棒性下降的问题,提出分层余弦聚合方法,通过逐层余弦距离增强鲁棒性,理论分析与实验表明准确率最高提升16%。
2025-03-27 cs.AI cs.LG
Federated Dynamic GNN with Secure Aggregation
University of Notre Dame(圣母大学)
给定来自多个个人设备或街道摄像头的视频数据,我们是否可以利用结构和动态信息来学习分布式监控等应用中对象的动态表示,而不会将数据存储在中央服务器上,从而导致侵犯用户隐私?在这项工作中,我们介绍了联邦动态图神经网络(Feddy),一个分布式的和安全的框架,学习对象表示从多用户图序列:i)它聚合的结构信息,从附近的对象在当前图以及动态信息,从那些在以前的图。它使用一种自我监督的损失来预测物体的轨迹。ii)它以联邦学习的方式进行训练。位于中央的服务器将模型发送到用户设备。各个用户设备上的本地模型学习并定期将其学习发送到中央服务器,而不会将用户的数据暴露给服务器。iii)研究表明,在服务器执行加权平均之后,聚合的参数可以在广播到客户端用于模型同步时被检查,尽管被解密。我们设计了一个合适的安全聚集原语聚集机制,可以保护联邦学习的安全性和隐私性,并具有可扩展性。在四个不同场景下的视频摄像机数据集上的实验和仿真结果表明,Feddy算法具有很好的安全性和有效性。
2020-09-15 cs.CR cs.LG
Byzantine-Robust Aggregation for Securing Decentralized Federated Learning
atlanTTic Research Center – ICLAB – Universidade de Vigo(atlanTTic研究中心 – ICLAB – 维戈大学)
提出WFAgg算法,通过多过滤器识别和缓解拜占庭攻击,增强去中心化联邦学习的安全性,在多种攻击场景下优于现有集中式方案。
2026-06-26 cs.AI cs.LG
FedRDF: A Robust and Dynamic Aggregation Function against Poisoning Attacks in Federated Learning
University of Murcia(穆尔西亚大学)
本文提出一种基于傅里叶变换的鲁棒聚合机制FedRDF,通过将客户端权重投影至频域选择最高频率密度函数以排除恶意权重,无需预知攻击者数量即可有效抵御复杂投毒攻击,性能优于现有方法。
2024-02-15 cs.CR cs.LG
Secure Aggregation for Federated Learning in Flower
University of Cambridge(剑桥大学)
联邦学习(FL)允许各方通过将训练计算委托给客户端并聚合服务器上所有单独训练的模型来学习共享的预测模型。为了防止从本地模型中推断出私有信息,安全聚合(SA)协议用于确保服务器在聚合它们时无法检查单个训练模型。然而,当前FL框架中SA的实现具有局限性,包括易受客户端退出或配置困难的影响。在本文中,我们提出了Salvia,这是Flower FL框架中Python用户的SA实现。Salvia基于SecAgg(+)协议,用于半诚实的威胁模型,对客户端退出具有鲁棒性,并提供了与各种机器学习框架兼容的灵活且易于使用的API。我们表明,Salvia的实验性能与SecAgg(+)的理论计算和通信复杂性是一致的。
2022-05-12 cs.CR cs.LG
Uncovering Attacks and Defenses in Secure Aggregation for Federated Deep Learning
Purdue University(普渡大学);University of South Florida(南佛罗里达大学)
本文发现MicroSecAgg安全聚合协议存在可预测掩码值导致用户隐私泄露的安全缺陷,并提出动态不可预测掩码等防御对策。
2024-10-17 cs.CR cs.LG
FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP(德勤咨询有限责任公司)
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题,本文提出零信任聚合方法 FedBayes,利用贝叶斯统计评估客户端权重,从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
针对联邦学习中的复杂投毒攻击,本文提出基于强化学习的自适应聚合方法AdaAggRL,通过分布学习与MMD相似性计算,自适应确定聚合权重,在四个真实数据集上显著优于现有防御方法。
2024-12-15 cs.CR cs.LG
FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation
National University of Singapore(新加坡国立大学);Northeastern University(东北大学);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学);ETH Zurich(苏黎世联邦理工学院)
针对一次性联邦学习在非独立同分布数据下的聚合性能下降问题,本文提出FedLPA方法,通过逐层拉普拉斯近似推断并聚合本地模型各层后验来训练全局模型,无需辅助数据且不泄露标签隐私,实验证明其在多个指标上显著优于现有方法。
2024-10-20 cs.AI cs.LG
Robust Aggregation for Federated Learning
University of Washington(华盛顿大学);Harvard University(哈佛大学)
提出基于几何中位数的鲁棒聚合方法,使联邦学习在部分设备发送损坏更新时保持鲁棒性,且在高低损坏程度下均表现优异。
2022-01-17 cs.CR cs.LG stat.ML
When Topology Betrays Privacy: Lattice-Based Reconstruction Attacks on Secure Aggregation in Decentralized Federated Learning
Aalborg University(奥尔堡大学);Institut Polytechnique de Paris(巴黎理工学院)
本研究揭示去中心化联邦学习中稀疏拓扑下安全聚合的结构性泄露,通过建立与隐藏子集和问题的联系,设计基于格的重构攻击,成功恢复诚实节点的私有更新与训练数据。
2026-09-09 cs.CR cs.LG
Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing
Princeton University(普林斯顿大学);Purdue University(普渡大学)
联邦学习是网络边缘分布式机器学习的主要候选者,因为它具有低通信复杂性和隐私保护等吸引人的特性。然而,现有的算法面临的问题,由于在边缘的数据分布,计算和通信能力的相当大的异质性的缓慢收敛和/或鲁棒性的性能。在这项工作中,我们通过关注联邦学习系统中模型聚合的关键组成部分并研究执行此任务的最佳算法来解决这两个问题。特别是,我们提出了一个上下文聚合方案,实现了最佳的上下文相关的限制损失减少在每一轮的优化。上述上下文相关的界限是从该轮中的特定参与设备和对总体损失函数的平滑性的假设导出的。我们表明,这种聚集导致在每一轮的损失函数的明确减少。此外,我们可以将我们的聚合与许多现有的算法,以获得上下文版本。我们的实验结果表明,显着改善的收敛速度和鲁棒性的上下文版本相比,原来的算法。我们还考虑了上下文聚合的不同变体,即使在最极端的设置中也显示出强大的性能。
2022-03-23 cs.AI cs.DC cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning
Southwest Jiaotong University(西南交通大学)
针对去中心化联邦学习中带宽有限和节点不可靠的问题,提出一种结合Top-K梯度稀疏化的信息论安全聚合方案,通过离线阶段处理维度相关开销,使用随机掩码和排列保护梯度,在1%稀疏率下保持精度并显著降低通信成本。
2026-06-09 cs.CR cs.IT cs.LG
Quality Inference in Federated Learning with Secure Aggregation
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文证明在联邦学习应用安全聚合后仍可推断个体数据集质量,并通过图像识别实验实现参与者质量排序,用于检测不当行为、稳定训练和衡量个体贡献。
2023-05-25 cs.CR cs.LG stat.ML
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology(名古屋技术大学)
本文提出FedHAW方法,通过超梯度实现聚合权重的在线更新,提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Aggregation Delayed Federated Learning
Northwestern University(西北大学)
联邦学习是一种分布式机器学习范例,其中多个数据所有者(客户端)协作训练一个机器学习模型,同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现,标准联邦算法(如FedAvg)在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架,并专注于改进服务器端或客户端的模型更新。在这项工作中,我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验,结果表明,该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence;Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing;Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London(伦敦帝国理工学院);OctaiPipe
本文提出一个端到端框架,通过单次试验和多次试验模式自动化联邦学习的聚合策略选择,提升非iid条件下的鲁棒性和泛化能力,减少人工干预。
2026-04-09 cs.LG
Sparsified Secure Aggregation for Privacy-Preserving Federated Learning
University of California, Riverside(加州大学河滨分校)
安全聚合是隐私保护联邦学习中的一种流行协议,它允许模型聚合,而不会公开单个模型。另一方面,传统的安全聚合协议会产生显著的通信开销,这可能成为现实世界中带宽受限应用的主要瓶颈。为了解决这一挑战,在这项工作中,我们提出了一个轻量级的梯度稀疏化框架的安全聚合,其中服务器从大量的用户学习稀疏化的本地模型更新的聚合,但不学习个别参数。我们的理论分析表明,所提出的框架可以显着减少安全聚合的通信开销,同时确保相当的计算复杂性。我们进一步确定了由于稀疏化的隐私和通信效率之间的权衡。我们的实验表明,与传统的安全聚合基准相比,我们的框架将通信开销降低了7.8倍,同时还将挂钟训练时间加快了1.13倍。
2021-12-23 cs.CR cs.DC cs.IT
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University(阿米尔卡比尔理工大学);Virginia Tech(弗吉尼亚理工大学)
在联邦学习(FL)中,机器学习模型以分散的方式在多个节点上训练,同时保持数据本地化,不与其他节点共享。然而,FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而,从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节,从而引发隐私问题。此外,从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题,本文提出了一种新的两比特聚合算法,保证差分隐私和减少上行链路通信开销。大量实验表明,该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能,同时保证了差分隐私,提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
University of Nevada, Reno(内华达大学雷诺分校)
本文提出层自适应稀疏化模型聚合方法LASA,通过预聚合稀疏化和逐层自适应过滤提升联邦学习对拜占庭攻击的鲁棒性,并在多种数据集上验证其有效性。
2024-09-02 cs.CR cs.DC cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG