FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Sony AI(索尼人工智能研究院);Huawei Cloud & AI(华为云与计算)
本地客户端的非独立同分布(non-IID)数据的统计异质性极大地限制了联邦学习的性能。以前的尝试,如FedProx,SCAFFOLD,MOON,FedNova和FedDyn诉诸于优化的角度,这需要一个辅助项或重新加权本地更新来校准学习偏差或目标不一致性。然而,除了以前对联邦平均改进的探索之外,我们的分析表明,另一个关键瓶颈是在更异构的条件下客户端模型的最优值较差。因此,我们引入了一种名为FedSkip的数据驱动方法,通过定期跳过联邦平均和将本地模型分散到跨设备来改善客户端优化。我们从理论上分析了FedSkip可能带来的好处,并在一系列数据集上进行了广泛的实验,以证明FedSkip实现了更高的准确性,更好的聚合效率和竞争的通信效率。源代码可在https://github.com/MediaBrain-SJTU/FedSkip上获得。
2022-12-14 cs.DC cs.LG
SHEFL: Sparse Heterogeneous Ensemble Federated Learning with Group-Balanced Aggregation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Technology Hansung University(技术汉城大学)
本文提出SHEFL框架,通过按客户端资源分配全局模型数量,并结合缓解训练偏差的聚合方案与动态稀疏化策略,在异构联邦学习中提升通信效率、准确性和稳定性。
2026-09-29 cs.DC cs.LG
Hierarchical Over-the-Air Federated Edge Learning
Bilkent University(比尔肯特大学);Imperial College London(伦敦帝国理工学院)
考虑了无线通信信道上的联邦学习(FL),具体地,空中(OTA)模型聚合框架。在OTA无线设置中,可以通过增加执行模型聚合的参数服务器(PS)处的接收天线的数量来减轻不利的信道影响。然而,OTA FL的性能受到位于远离PS的移动用户(MU)的存在的限制。在本文中,为了减轻这一限制,我们提出了分层的空中联邦学习(HOTAFL),它利用中间服务器(IS)附近的MU形成集群。我们提供了一个收敛性分析,并通过理论和实验结果表明,在每个集群的局部聚合之前,全局聚合导致更好的性能和更快的收敛比OTA FL。
2021-12-21 cs.DC cs.LG
Dynamic Gradient Aggregation for Federated Domain Adaptation
Microsoft(微软)
提出了一种新的联邦学习(FL)的学习算法。该方案基于加权梯度聚合,使用两步优化来提供灵活的训练管道。在这里,提出了两种不同风格的聚合方法,与其他分布式或FL训练算法(如BMUF和FedAvg)相比,收敛速度提高了一个数量级。此外,聚合算法充当梯度质量的正则化器。我们调查我们的FL算法在监督和无监督语音识别(SR)的情况下的效果。基于三个任务执行实验验证:首先,LibriSpeech任务与基线结果相比显示出7倍的加速和6%的单词出错率降低(WERR)。第二个任务是基于会话适配,在强大的LAS模型上提供20%的WERR。最后,我们的无监督流水线应用于会话SR任务。建议FL系统优于基线系统的收敛速度和整体模型性能。
2021-06-14 cs.DC cs.LG
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
Technical University of Munich(慕尼黑工业大学)
针对联邦学习中客户端计算受限导致的收敛慢问题,提出TurboSVM-FL聚合策略,利用SVM进行选择性聚合和最大间隔正则化,在不增加客户端负担下加速收敛,并在多个数据集上优于现有算法。
2025-04-25 cs.DC cs.LG
FlexP-SFT: A Flexible Aggregation-Free Framework for On-Device Personalized Split Federated Fine-Tuning of LLMs
Duke Kunshan University(杜克大学昆山学院);The University of Hong Kong(香港大学);Guangdong University of Technology(广东技术大学)
FlexP-SFT是一种无聚合的设备端个性化拆分联邦LLM微调框架,通过层灵活对齐策略与资源感知拆分比例优化,解决了现有框架的通信瓶颈与掉队者问题,在准确率和延迟上优于基线。
2026-09-02 cs.DC cs.LG
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University(浙江大学)
在异步联邦学习框架中,服务器在从客户端接收到更新后立即更新全局模型,而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型,从而加快训练过程。然而,它引入了陈旧模型问题,其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的,这可能会损害模型的收敛性。在本文中,我们提出了一个异步联邦学习框架,提出了自适应权重聚合算法,称为AsyncFedED。据我们所知,这种聚合方法是第一个考虑到达梯度的陈旧性的方法,通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下,我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比,现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
Practical and Light-weight Secure Aggregation for Federated Submodel Learning
Ant Group(蚂蚁集团);East China Normal University(华东师范大学)
最近,Niu,et. J.J.等人引入了联邦学习(FL)的一个新变体,称为联合子模型学习(FSL)。与传统FL不同,每个客户端本地训练子模型(例如,从服务器检索),并根据其选择将子模型上传到服务器。然后,所有客户端聚合其所有子模型并完成迭代。不可避免地,FSL引入了两个隐私保护计算任务,即,私有子模型检索(PSR)和安全子模型聚合(SSA)。现有的工作不能提供一个无损失的计划,或具有不切实际的效率。在这项工作中,我们利用分布式点函数(DPF)和布谷鸟哈希构建一个实用的和轻量级的安全FSL方案在两个服务器设置。更具体地说,我们提出了两个基本的协议与一些优化技术,这确保了我们的协议在特定的现实世界的FSL任务的实用性。实验结果表明,当权重大小为$\leq 2^{15}$时,我们提出的协议可以在1分钟内完成,并通过与现有工作的比较和实际FSL任务的处理证明了协议的有效性.
2021-11-02 cs.DC cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
Shanghai Jiao Tong University(上海交通大学)
FedQS通过分而治之策略优化半异步联邦学习中的梯度与模型聚合,提升准确性、稳定性和收敛速度。
2025-11-25 cs.DC cs.LG
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Harvard University(哈佛大学)
本文提出FedStaleWeight算法,通过平均陈旧度计算公平重加权,将异步联邦学习聚合重构为机制设计问题,激励真实计算速度报告,在实现更强公平性的同时加速收敛至更高的全局模型精度。
2024-06-05 cs.DC cs.LG
Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation
针对联邦在线策略蒸馏中聚合-轨迹反馈导致的学习率敏感问题,提出FedTOPS方法,通过复用教师反馈调整更新幅度,在六个数学推理基准上使宏观Avg@8提升4.56至14.57个百分点。
2026-09-29 cs.DC cs.LG
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation
针对层次化联邦学习中的域偏移问题,提出HFedATM方法,通过滤波器级最优传输对齐和收缩感知正则化均值聚合提升域泛化性能,并具有更紧的泛化误差界。
2025-08-07 cs.DC cs.LG
Far From Sight, Far From Mind: Inverse Distance Weighting for Graph Federated Recommendation
Deakin University(德克萨斯大学);TII(技术信息研究所)
本文针对图联邦推荐中聚合方法忽视用户嵌入相似性与锚定用户影响力的问题,提出基于逆距离加权的Dist-FedAvg方法,在多个数据集上验证其能提升推荐准确性并兼容现有联邦学习框架。
2025-07-02 cs.DC cs.IR cs.LG
Regularized Weight Aggregation in Networked Federated Learning for Glioblastoma Segmentation
Turku University of Applied Sciences(图尔库应用科学大学);Riphah International University(里法哈国际大学)
在联邦学习(FL)中,服务器端的全局模型需要一个有效的权重聚合机制和一个系统的协作选择策略来管理和优化通信负载。我们介绍了一个实用的和具有成本效益的正则化权重聚合方法,并提出了一个节省劳动力的技术来选择每轮合作者。我们说明了我们的方法,正则化的相似性权重聚合(RegSimAgg),在联邦肿瘤分割(FeTS)2022挑战的联邦训练(权重聚合)问题的性能。我们的可扩展方法是有原则的,节俭的,适合异构的非IID合作者。使用FeTS2021评估标准,我们提出的算法RegSimAgg在FeTS2022挑战的权重聚合任务的最终排名中处于第三位。我们的解决方案在以下网站开源:\url{https://github.com/dskhanirfan/FeTS2022}
2023-01-30 cs.AI cs.DC cs.LG
Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing
Princeton University(普林斯顿大学);Purdue University(普渡大学)
联邦学习是网络边缘分布式机器学习的主要候选者,因为它具有低通信复杂性和隐私保护等吸引人的特性。然而,现有的算法面临的问题,由于在边缘的数据分布,计算和通信能力的相当大的异质性的缓慢收敛和/或鲁棒性的性能。在这项工作中,我们通过关注联邦学习系统中模型聚合的关键组成部分并研究执行此任务的最佳算法来解决这两个问题。特别是,我们提出了一个上下文聚合方案,实现了最佳的上下文相关的限制损失减少在每一轮的优化。上述上下文相关的界限是从该轮中的特定参与设备和对总体损失函数的平滑性的假设导出的。我们表明,这种聚集导致在每一轮的损失函数的明确减少。此外,我们可以将我们的聚合与许多现有的算法,以获得上下文版本。我们的实验结果表明,显着改善的收敛速度和鲁棒性的上下文版本相比,原来的算法。我们还考虑了上下文聚合的不同变体,即使在最极端的设置中也显示出强大的性能。
2022-03-23 cs.AI cs.DC cs.LG
On the Geometric Coherence of Global Aggregation in Federated Graph Neural Networks
Department of Computer Science and Engineering, PES University(计算机科学与工程系,PES大学)
本文研究了联邦学习中图结构数据的聚合机制与GNN操作性质的不匹配问题,提出GGRS框架以保持消息传递操作的几何一致性。
2026-03-23 cs.DC cs.LG cs.NI
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway(东南挪威大学)
该研究针对临床EEG数据联邦学习的隐私泄露问题,提出以掩码安全聚合为核心的隐私保护框架,经模拟医疗场景验证,半诚实变体开销低,恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Semi-Decentralized Federated Learning with Cooperative D2D Local Model Aggregations
Purdue University(普渡大学);Arizona State University(亚利桑那州立大学)
联邦学习已经成为一种流行的技术,用于跨无线边缘分布机器学习(ML)模型训练。在本文中,我们提出了两个时间尺度的混合联邦学习(TT-HF),一个半分散的学习架构,结合了传统的设备到服务器的通信模式的联邦学习与设备到设备(D2 D)的通信模型训练。在TT-HF中,在每个全局聚合间隔期间,设备(i)在其个体数据集上执行多个随机梯度下降迭代,以及(ii)通过本地集群内的协作分布式D2 D通信来非周期性地参与其模型参数的共识过程。通过一个新的梯度多样性的一般定义,我们正式研究了TT-HF的收敛行为,得到了分布式ML的新的收敛界。我们利用我们的收敛边界来开发自适应控制算法,该算法随着时间的推移调整TT-HF的步长、D2 D通信轮次和全局聚合周期,以实现O(1/t)的次线性收敛速率,同时最小化网络资源利用率。我们随后的实验表明,TT-HF在本地设备数据集表现出统计异质性的不同场景下,在模型准确性和/或网络能耗方面显著优于联邦学习中的现有技术。最后,我们的数值评估表明对衰落信道引起的中断的鲁棒性,以及良好的性能与非凸损失函数。
2021-09-30 cs.DC cs.LG stat.ML
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence;Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing;Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London(伦敦帝国理工学院);OctaiPipe
本文提出一个端到端框架,通过单次试验和多次试验模式自动化联邦学习的聚合策略选择,提升非iid条件下的鲁棒性和泛化能力,减少人工干预。
2026-04-09 cs.LG
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
University of Nevada, Reno(内华达大学雷诺分校)
本文提出层自适应稀疏化模型聚合方法LASA,通过预聚合稀疏化和逐层自适应过滤提升联邦学习对拜占庭攻击的鲁棒性,并在多种数据集上验证其有效性。
2024-09-02 cs.CR cs.DC cs.LG
Federated Learning with Unbiased Gradient Aggregation and Controllable Meta Updating
Tsinghua University(清华大学);Tencent(腾讯)
联邦学习(FL)的目标是在由大量智能边缘设备组成的分散系统中训练机器学习模型。联邦平均(FedAvg)是FL设置中的基本算法,它提出了设备上的训练和模型聚合,以避免传输原始数据所带来的潜在的沉重通信成本和隐私问题。然而,通过理论分析,我们认为:1)局部更新的多个步骤会导致梯度偏差; 2)在FedAvg中,预期的目标分布与训练范式下的优化目标之间存在不一致性。为了解决这些问题,我们首先提出了一个无偏的梯度聚集算法与保持跟踪梯度下降和梯度评估策略。然后,我们引入了一个额外的可控Meta更新过程与一小组的数据样本,表明预期的目标分布,提供一个明确的和一致的优化目标。这两个改进都是与模型和任务无关的,可以单独或一起应用。实验结果表明,所提出的方法具有更快的收敛速度,并在不同的网络结构,在各种FL设置实现更高的精度。
2020-12-16 cs.DC cs.LG stat.ML
Federated Transfer Learning with Dynamic Gradient Aggregation
Microsoft(微软)
介绍了一个联邦学习(FL)仿真平台。目标场景是基于该平台的声学模型训练。据我们所知,这是第一次尝试应用FL技术的语音识别任务,由于固有的复杂性。该平台采用模块化设计,能够支持不同的任务。作为该平台的一部分,提出了一种新的分层优化方案和两种梯度聚合方法,与其他分布式或FL训练算法(如BMUF和FedAvg)相比,训练收敛速度几乎提高了一个数量级。除了增强的收敛速度之外,分层优化还在训练管道中提供了额外的灵活性。在分层优化的基础上,提出了一种基于数据驱动权值推理的动态梯度聚集算法。该聚合算法充当梯度质量的正则化器。最后,为FL量身定制的无监督训练管道作为一个单独的训练场景。所提出的系统的实验验证是基于两个任务:第一,LibriSpeech任务显示出7倍的速度和6%的字出错率减少(WERR)相比,基线结果。第二个任务是基于会话自适应,提供了20%的WERR比有竞争力的生产就绪LAS模型的改进。所提出的联邦学习系统在收敛速度和整体模型性能方面都优于分布式训练的黄金标准。
2020-08-06 cs.DC cs.LG stat.ML
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University(吉林大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对联邦学习中数据异构性导致的聚合权重分配不合理问题,提出基于客户端向量自适应调整聚合权重的FedAWA方法,在保护隐私的同时提升了全局模型的稳定性与泛化能力,经多场景实验验证了其优越性。
2025-03-20 cs.LG
Towards a Distributed Federated Learning Aggregation Placement using Particle Swarm Intelligence
ÉTS Montréal / Université du Québec(蒙特利尔ÉTS/魁北克大学);Islamic Azad University of Bojnord(伊斯兰Azad大学波尼尔分校)
针对分层半去中心化联邦学习中的分布式聚合放置问题,提出基于粒子群优化的Flag-Swap方法,仅依据处理延迟优化放置,仿真与真实实验表明其性能优于随机和均匀放置策略。
2025-04-22 cs.DC cs.LG cs.NE
Eluding Secure Aggregation in Federated Learning via Model Inconsistency
EPFL(洛桑联邦理工学院);Aarhus University(奥胡斯大学);George Mason University(乔治梅森大学)
安全聚合是一种加密协议,它安全地计算其输入的聚合。在联邦学习中,它是保持模型更新私密性的关键。事实上,使用安全聚合可以防止服务器了解用户提供的单个模型更新的值和来源,从而阻碍推理和数据归因攻击。在这项工作中,我们表明,恶意服务器可以很容易地逃避安全聚合,如果后者没有到位。我们设计了两种不同的攻击,能够推断个人私人训练数据集上的信息,独立于参与安全聚合的用户数量。这使得它们在大规模、真实世界的联邦学习应用中成为具体的威胁。无论使用何种安全聚合协议,攻击都是通用的,同样有效。他们利用了联邦学习协议的一个漏洞,该漏洞是由安全聚合的不正确使用和缺乏参数验证引起的。我们的工作表明,目前实现的联邦学习与安全聚合只提供了一个“虚假的安全感”。
2022-09-06 cs.CR cs.LG
Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad(库内夫大学);Universidad Autónoma de Chile(智利自治大学);Universidad Pablo de Olavide(巴勃罗·德·奥拉维德大学);Universidad de Extremadura(埃斯特雷马杜拉大学)
本研究针对生物医学数据,在对等联邦学习环境中测试了多种聚合策略,发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana(瑞士意大利大学);Carnegie Mellon University(卡内基梅隆大学)
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题,减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习,提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology(名古屋技术大学)
本文提出FedHAW方法,通过超梯度实现聚合权重的在线更新,提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning
Uppsala University(乌普萨拉大学);The University of Hong Kong(香港大学);RISE, the Research Institutes of Sweden(瑞典研究院(RISE))
Byzantine-robust联邦学习旨在减少联邦训练过程中的Byzantine故障,其中恶意参与者可以将任意本地更新上传到中央服务器以降低全局模型的性能。近年来,一些鲁棒聚集方案被提出来抵御来自拜占庭客户端的恶意更新,提高联邦学习的鲁棒性。在某些假设下,这些解决方案被认为是拜占庭式的稳健。除此之外,新的攻击策略正在出现,试图绕过防御计划。但是,目前还缺乏对这两种模式的系统比较和实证研究。本文使用联邦学习中的两种流行算法FedSGD和FedAvg,对不同攻击下的拜占庭鲁棒聚集方案进行了实验研究。我们首先调查现有的拜占庭攻击策略和拜占庭强大的聚合计划,旨在抵御拜占庭攻击。我们还提出了一个新的计划,ClippedClustering,自动裁剪更新,以提高基于聚类的计划的鲁棒性。然后,我们提供了一个实验评估的情况下,五种不同的拜占庭攻击的八个聚合方案。我们的研究结果表明,这些聚合计划在某些情况下保持相对较高的精度,但在其他情况下是无效的。特别是,我们提出的ClippedClustering成功地抵御了独立和IID本地数据集下的大多数攻击。然而,当本地数据集是非IID的,所有的聚合方案的性能显着下降。对于非IID数据,即使完全没有拜占庭客户端,这些聚合方案中的一些也会失败。我们的结论是,所有的聚合方案的鲁棒性是有限的,强调需要新的防御策略,特别是非IID数据集。
2023-02-14 cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Dim-Krum: Backdoor-Resistant Federated Learning for NLP with Dimension-wise Krum-Based Aggregation
Peking University(北京大学)
尽管联邦学习具有潜力,但众所周知,它容易受到后门攻击的攻击。许多健壮的联邦聚合方法被提出来降低潜在的后门风险。然而,它们主要在CV领域得到验证。本文发现NLP后门比CV更难防御,并从理论上分析了恶意更新检测错误概率由后门的相对强度决定。NLP攻击往往具有较小的相对后门强度,这可能导致NLP攻击的健壮联邦聚合方法失败。受理论结果的启发,我们可以选择一些具有较高后门强度的维度来解决这个问题。提出了一种新的面向NLP任务的联邦聚合算法Dim-Krum,实验结果验证了该算法的有效性。
2022-10-13 cs.CR cs.LG
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Industrial Technology(山东省工业技术研究院)
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题,提出 FedADP 框架,通过聚合时动态调整模型架构实现高效协作,较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Improving Federated Aggregation with Deep Unfolding Networks
Deakin University(迪肯大学)
针对联邦学习中客户端异构性导致性能下降的问题,提出基于深度展开网络(DUN)的技术,通过学习无偏自适应权重有效改善异构性影响,实现质量感知聚合,并验证了方法的有效性与可解释性。
2023-06-30 cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University(阿米尔卡比尔理工大学);Virginia Tech(弗吉尼亚理工大学)
在联邦学习(FL)中,机器学习模型以分散的方式在多个节点上训练,同时保持数据本地化,不与其他节点共享。然而,FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而,从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节,从而引发隐私问题。此外,从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题,本文提出了一种新的两比特聚合算法,保证差分隐私和减少上行链路通信开销。大量实验表明,该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能,同时保证了差分隐私,提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation
CFLoRA通过每轮将LoRA通道划分为互补集合并消除双线性项,实现了无误差的联邦聚合,支持异构秩预算,并达到O(1/√T)收敛速率,在GLUE和常识推理任务上优于现有基线。
2026-09-29 cs.LG
Sparsified Secure Aggregation for Privacy-Preserving Federated Learning
University of California, Riverside(加州大学河滨分校)
安全聚合是隐私保护联邦学习中的一种流行协议,它允许模型聚合,而不会公开单个模型。另一方面,传统的安全聚合协议会产生显著的通信开销,这可能成为现实世界中带宽受限应用的主要瓶颈。为了解决这一挑战,在这项工作中,我们提出了一个轻量级的梯度稀疏化框架的安全聚合,其中服务器从大量的用户学习稀疏化的本地模型更新的聚合,但不学习个别参数。我们的理论分析表明,所提出的框架可以显着减少安全聚合的通信开销,同时确保相当的计算复杂性。我们进一步确定了由于稀疏化的隐私和通信效率之间的权衡。我们的实验表明,与传统的安全聚合基准相比,我们的框架将通信开销降低了7.8倍,同时还将挂钟训练时间加快了1.13倍。
2021-12-23 cs.CR cs.DC cs.IT
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València(巴塞罗那理工大学);Universitat Jaume I(Jaime I 大学);Openchip & Software Technologies S.L.(Openchip 及软件技术公司)
FedOUI通过OUI指标优化联邦聚合,利用激活结构信息提升异构环境下的聚合质量,优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont(佛蒙特大学);MassMutual(万通互惠);Raytheon(雷神公司)
联邦机器学习利用边缘计算从网络用户数据开发模型,但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题,但也带来了自己的挑战--许多技术需要可信的第三方,否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要,但计算成本高,特别是在规模上。我们提出了一个新的联邦学习协议,利用一种新的差分私有,恶意的安全聚合协议的基础上,从错误的学习技术。我们的协议优于当前最先进的技术,经验结果表明,它可以扩展到大量的缔约方,具有最佳的准确性,任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Attack-Resistant Federated Learning with Residual-based Reweighting
HKUST(香港科技大学);Zhejiang University(浙江大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
联邦学习通过利用存储在不同设备上的私有训练数据在多个领域中具有各种应用。然而,联邦学习中的聚合过程极易受到对抗攻击的攻击,使得全局模型可能在攻击下表现异常。为了应对这一挑战,我们提出了一种新的聚合算法与基于残差的重新加权捍卫联邦学习。我们的聚合算法结合了重复中值回归和迭代加权最小二乘法的加权方案。我们的实验表明,我们的聚合算法优于其他替代算法的标签翻转和后门攻击的存在。我们还提供了我们的聚合算法的理论分析。
2021-01-08 cs.LG stat.ML
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对二阶联邦学习计算存储成本高、通信开销大的问题,提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法,相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Bi-level Personalization for Federated Foundation Models: A Task-vector Aggregation Approach
针对新用户或专业场景下联邦基础模型微调中个性化与联邦权衡敏感的问题,提出双层个性化框架,通过客户端私有数据微调与基于任务向量的服务器端相似用户聚合,有效获取群体个性化信息并减轻非独立同分布数据的干扰。
2025-09-16 cs.LG
Federated Learning Aggregation: New Robust Algorithms with Guarantees
ENS, PSL Research University(巴黎高等师范学院,巴黎文理研究大学);CNRS, PSL Research University(法国国家科学研究中心,巴黎文理研究大学)
联邦学习最近被提出用于边缘的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型,以获得一个新的更通用的“平均”模型(FedAvg)。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止,最流行的联邦学习算法使用模型参数的坐标平均进行聚合。在本文中,我们进行了一个完整的一般数学收敛分析,以评估联邦学习框架中的聚合策略。从这一点上,我们得到新的聚合算法,能够修改他们的模型架构,区分客户端的贡献,根据其损失的价值。此外,我们超越了理论上引入的假设,评估了这些策略的性能,并将它们与IID和Non-IID框架中分类任务中的FedAvg进行了比较,而没有额外的假设。
2022-07-18 cs.LG stat.ML
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);School of Computer Science and Technology, Tianjin University(计算机科学与技术学院,天津大学)
ILoRA通过正交初始化、拼接分解聚合和秩感知优化,解决异构客户端聚合中的初始化不稳定性、秩不兼容和客户端漂移问题,提升联邦学习的准确率和收敛稳定性。
2025-11-20 cs.LG