Flower: A Friendly Federated Learning Research Framework
University of Cambridge(剑桥大学);Adap(Adap公司);Nokia Bell Labs(诺基亚贝尔实验室);University of Oxford(牛津大学);University of Bologna(博洛尼亚大学);Avignon Université(阿维尼翁大学)
联邦学习(FL)已经成为边缘设备协作学习共享预测模型的一种有前途的技术,同时将其训练数据保存在设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。然而,FL是很难实现现实,无论是在规模和系统的异构性。虽然有许多研究框架可用于模拟FL算法,但它们不支持异构边缘设备上可扩展FL工作负载的研究。在本文中,我们提出了花-一个全面的FL框架,区别于现有的平台,提供新的设施来执行大规模FL实验,并考虑丰富的异构FL设备的情况。我们的实验表明,花可以执行FL实验高达15 M的客户端大小,只有一对高端GPU。然后,研究人员可以无缝地将实验迁移到真实设备上,以检查设计空间的其他部分。我们相信Flower为社区提供了一个重要的外语学习和发展的新工具。
2022-03-05 cs.CV cs.LG stat.ML
FRIEND: Federated Learning for Joint Optimization of multi-RIS Configuration and Eavesdropper Intelligent Detection in B5G Networks
FRIEND通过联邦学习和多RIS协调,提升B5G网络中窃听检测的保密率,实现分布式隐私保护的物理层安全方案。
2026-03-11 cs.LG
Eco-Friendly AI: Unleashing Data Power for Green Federated Learning
DEIB, Politecnico di Milano(迪埃比学院,米兰理工学院)
针对联邦学习能耗与碳排放问题,本文提出以数据为中心的绿色FL方法,通过数据质量分析、子集优选和低影响节点选择构建交互式配置推荐系统,并在时间序列分类中验证其减排效果。
2025-07-23 cs.AI cs.DB cs.DC
XFL: A High Performace, Lightweighted Federated Learning Framework
本文介绍了XFL,一个工业级的联邦学习项目。XFL支持在多个设备上协同训练AI模型,同时利用同态加密、差分隐私、安全多方计算等安全技术,确保数据不泄露。XFL提供了丰富的算法库,集成了大量预先构建的、安全的、优秀的联邦学习算法,涵盖了横向和纵向的联邦学习场景。数值实验表明了这些算法的优良性能。XFL为所有联邦算法构建了简洁的预置配置接口,并支持通过Docker容器进行快速部署。因此,我们认为XFL是用户最友好和易于开发的联邦学习框架。XFL是开源的,代码和文档都可以在https://github.com/paritybit-ai/XFL上找到。
2023-02-10 cs.LG
FedPOIRec: Privacy Preserving Federated POI Recommendation with Social Influence
Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与语音处理研究所);Department of Electrical and Computer Engineering, Democritus University of Thrace(色雷斯德谟克利特大学电气与计算机工程系)
随着基于位置的社交网络数量的增长,隐私保护的位置预测已经成为帮助用户发现新的兴趣点(POI)的主要任务。传统的系统采用集中式方法,需要传输和收集用户的私人数据。在这项工作中,我们提出了FedPOIRec,一个隐私保护的联邦学习方法,增强了用户社交圈的功能,用于顶级$N$ POI推荐。首先,FedPOIRec框架是基于本地数据永远不会离开所有者设备的原则构建的,而本地更新是由参数服务器盲目聚合的。第二,通过允许用户交换他们学习到的参数,使知识在朋友之间传递,本地用户变得个性化。为此,我们提出了一个隐私保护协议,通过利用CKKS完全同态加密方案的属性,在联邦计算后集成用户的朋友的偏好。为了评估FedPOIRec,我们使用两个推荐模型将我们的方法应用于五个真实世界的数据集。大量的实验表明,FedPOIRec实现了类似的推荐质量集中的方法,而社会集成协议在用户端产生的计算和通信开销低。
2021-12-21 cs.CR cs.IR cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近,出现了一种新的联邦学习算法范例--联邦蒸馏(Federated Distillation,FD),它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出,在中央服务器和参与的客户端之间,在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法,如联合平均(FA),通信与联合训练的模型的大小成比例,在FD通信中与蒸馏数据集大小成比例,导致有利的通信属性,特别是当训练大模型时。在这项工作中,我们调查FD从通信效率的角度来看,通过分析的影响,积极蒸馏数据整理,软标签量化和增量编码技术。基于从这种分析中收集的见解,我们提出了压缩联合蒸馏(CFD),一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明,我们的方法可以减少必要的通信量,以实现固定的性能目标超过两个数量级,相比FD和超过四个数量级相比,FA。
2020-12-01 cs.AI cs.LG stat.ML
Flotta: a Secure and Flexible Spark-inspired Federated Learning Framework
IDSIA (USI-SUPSI)(IDSIA(瑞士意大利语区大学与瑞士应用科学大学卢加诺分校联合机构))
本文提出Flotta联邦学习框架,受Apache Spark启发,旨在保障多方联盟敏感数据安全,支持仅使用内部机器进行模型训练,兼具安全、灵活与易用性。
2024-09-20 cs.LG
A Behaviour-Aware Federated Forecasting Framework for Distributed Stand-Alone Wind Turbines
IT University of Copenhagen(哥本哈根技术大学);Technical University of Denmark (DTU)(丹麦技术大学)
本文提出一种基于行为聚类的联邦学习框架,用于提升分布式独立风力涡轮机的短期功率预测精度,通过DRS和Auto-split实现行为感知的群体划分,有效提升预测性能并保护数据隐私。
2026-03-05 cs.LG
Federated Learning via Plurality Vote
NC State University(北卡罗来纳州立大学);Zhejiang University(浙江大学)
联邦学习允许协作工作者解决机器学习问题,同时保护数据隐私。最近的研究已经解决了联邦学习中的各种挑战,但通信开销,学习可靠性和部署效率的联合优化仍然是一个悬而未决的问题。为此,我们提出了一个新的计划命名为联邦学习通过多数投票(FedVote)。在FedVote的每一轮通信中,工作者以较低的通信开销向服务器发送二进制或三进制权重。模型参数通过加权投票进行聚合,以增强对拜占庭攻击的抵御能力。当部署用于推理时,具有二进制或三进制权重的模型对边缘设备是资源友好的。我们表明,我们提出的方法可以减少量化误差和收敛速度比直接量化的模型更新的方法。
2022-12-10 cs.AI cs.DC cs.LG
FedDriveScore: Federated Scoring Driving Behavior with a Mixture of Metric Distributions
China Three Gorges University(三峡大学)
针对无标签驾驶数据和隐私限制,提出无监督评分方法及车云协同联邦学习框架,实现与集中式学习一致的驾驶行为评分。
2024-01-13 cs.DC cs.LG
MarS-FL: Enabling Competitors to Collaborate in Federated Learning
Nanyang Technological University(南洋理工大学)
联邦学习(FL)正在迅速普及,并支持多个数据所有者({ \em a.k.a.} FL参与者)以隐私保护的方式协作训练机器学习模型。一个关键的未解决的情况是,这些FL参与者是在一个竞争性的市场,市场份额代表他们的竞争力。虽然他们有兴趣通过FL增强各自模型的性能,但市场领导者(通常是数据所有者,可以为构建高性能FL模型做出重大贡献)希望通过增强竞争对手的模型来避免失去市场份额。目前,还没有建模工具来分析这些场景并支持明智的决策。在本文中,我们提出了\underline{mar} ket \underline{s}兔为基础的决策支持框架,参与\underline{FL}(火星-佛罗里达州),以弥合这一差距。我们引入{ \em $δ$ -稳定市场的两个概念}和{ \em友好度}来衡量FL的可行性和FL的市场可接受性。FL参与者的行为可以使用博弈论工具(即,参与外语学习的最佳策略)。如果市场$δ$ -稳定性是可实现的,则每个FL-PT的最终模型性能改进应是有界的,这与FL应用的市场条件有关。我们提供严格的界限和量化的友好性,$κ$,给定的市场条件FL。实验结果表明,FL在广泛的市场条件下的可行性。我们的研究结果是有用的,以确定市场条件下,合作FL模型培训是可行的竞争对手之间,并在这些条件下应用FL的要求。
2022-03-10 cs.GT cs.LG
Federated Learning with Nesterov Accelerated Gradient
联邦学习(FL)是一种快速发展的技术,允许多个工作人员训练基于分布式数据集的全局模型。传统的FL(FedAvg)采用梯度下降算法,其效率可能不够。Momentum能够通过添加额外的动量步骤来加速收敛,从而改善这种情况,并且已经在集中式和FL环境中证明了其优势。众所周知,Nesterov加速梯度(NAG)是一种更有利的动量形式,但目前尚不清楚如何量化NAG在FL中的好处。这促使我们提出FedNAG,它在每个工作者中使用NAG,以及在聚合器中使用NAG动量和模型聚合。我们提供了一个详细的收敛性分析FedNAG,并比较它与FedAvg。基于真实世界数据集和跟踪驱动的仿真进行了大量的实验,表明FedNAG在广泛的设置下,与基准相比,学习精度提高了3-24%,总训练时间减少了11-70%。
2022-10-26 cs.DC cs.LG stat.ML
Utility-Maximizing Bidding Strategy for Data Consumers in Auction-based Federated Learning
Nanyang Technological University(南洋理工大学)
针对拍卖式联邦学习中多消费者竞争的现实场景,提出效用最大化投标策略Fed-Bidder,通过效用估计适应多种获胜函数,实验证明其优于四种先进方法。
2023-05-15 cs.AI cs.GT cs.LG
Post Quantum Secure Blockchain-based Federated Learning for Mobile Edge Computing
Hunan University(湖南大学);Deakin University(迪肯大学)
移动边缘计算(MEC)一直是移动数据通信和边缘处理的一种很有前途的范例。我们的目标是将联邦学习(FL)和区块链的突出功能应用到MEC架构中,例如连接的自动驾驶汽车,以同时实现完全的去中心化,不变性和奖励机制。FL对于具有受限连接的移动设备是有利的,因为它需要将模型更新传递到中心点,而不是大量的数据通信。例如,自动联网车辆中的FL可以增加数据多样性并允许模型定制,即使车辆在短时间内未连接(通过利用其本地模型),也可以进行预测。然而,现有的同步FL和区块链由于移动性引起的损害而产生极高的通信成本,并且不直接适用于MEC网络。我们提出了一个完全异步的区块链联邦学习(BFL)框架,称为BFL-MEC,其中移动客户端及其模型独立发展,但保证全局学习过程的稳定性。更重要的是,我们在BFL-MEC上使用后量子安全功能来验证客户端的身份并抵御恶意攻击。我们所有的设计假设和结果进行了广泛的模拟评估。
2023-02-26 cs.CR cs.DC cs.LG
Beyond performance-wise Contribution Evaluation in Federated Learning
CrySyS Lab, Hungary(匈牙利CrySyS实验室)
本文提出通过Shapley值近似方法评估联邦学习中客户端对模型可靠性、鲁棒性和公平性的多维贡献,揭示单一指标不足以全面评价的缺陷。
2026-02-25 cs.CR cs.LG
FedPURIN: Programmed Update and Reduced INformation for Sparse Personalized Federated Learning
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对个性化联邦学习通信负担重的问题,本文提出 FedPURIN,利用整数规划选择关键参数并结合稀疏聚合,在非 IID 图像分类任务中保持竞争力并显著降低通信开销。
2025-10-17 cs.AI cs.CV cs.LG
Personalized Additive Modeling for Multi-level Federated Learning
University of Technology Sydney(悉尼科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出FeMAM,通过多级共享模型和加法组合构建个性化预测器,有效处理复杂非独立同分布数据,优于传统联邦学习基线。
2026-06-24 cs.LG
Federated Learning with Position-Aware Neurons
Nanjing University(南京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
联邦学习(FL)融合了本地节点的协作模型,而不需要集中用户的数据。讨论了神经网络的置换不变性和非独立同分布性。跨客户端的数据使得本地更新的参数不精确地对齐,从而禁用基于坐标的参数平均。传统的神经元不明确考虑位置信息。因此,我们提出位置感知神经元(PAN)作为替代方案,融合位置相关值(即,位置编码)转换成神经元输出。PAN将自己耦合到它们的位置,并最大限度地减少错位的可能性,甚至更新异构数据。我们打开/关闭PAN来禁用/启用神经网络的置换不变性。PAN在应用于FL时与位置紧密耦合,使客户端之间的参数预先对齐并促进基于坐标的参数平均。PAN是算法不可知的,可以普遍改善现有的FL算法。此外,“具有PAN的FL”易于实现并且计算友好。
2022-04-02 cs.CV cs.DC cs.LG
Model-Agnostic Federated Learning
University of Turin(都灵大学);University of Verona(维罗纳大学)
针对现有联邦学习框架仅支持深度神经网络的局限,提出MAFL,结合AdaBoost.F算法与Intel OpenFL框架,实现首个模型无关的FL系统,支持64节点并实现5.5倍加速。
2023-10-18 cs.DC cs.LG
Federated Deep Clustering Networks for High-Dimensional and Heterogeneous Data
Maastricht University(马斯特里赫特大学)
针对联邦学习中高维异构数据聚类问题,提出FedDCN方法,通过联合优化重建与聚类损失并引入几何正则化,在非独立同分布场景下实现鲁棒聚类。
2026-09-21 cs.AI cs.LG
An Element-Wise Weights Aggregation Method for Federated Learning
Swansea University(斯旺西大学);Durham University(杜伦大学)
本文提出EWWA-FL方法,在元素级别聚合本地权重,使客户端逐元素贡献,提升模型准确性和收敛速度。
2024-04-24 cs.CV cs.LG
Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks
Purdue University(普渡大学);Yonsei University(延世大学);University at Buffalo-SUNY(纽约州立大学布法罗分校)
针对现有预训练方法在联邦学习下游任务中泛化差、准确率低且客户端间性能不均衡的问题,提出融合性能方差优化的协作式元学习预训练方法CoPreFL,可提升任意下游任务的平均准确率与性能均衡性,且兼容多种主流联邦学习算法。
2024-12-11 cs.LG
Flow: Per-Instance Personalized Federated Learning Through Dynamic Routing
Adobe Research(奥多比研究院)
本文提出Flow,一种细粒度无状态个性化联邦学习方法,通过动态路由机制为每个输入实例选择本地或全局参数,提升预测准确率并适用于大规模场景。
2024-02-10 cs.LG
Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates
Intel Corporation(英特尔公司);PES University(PES大学)
联邦学习(FL)解决了近十年来有关数据隐私和计算挑战的许多问题。FL确保没有数据离开其源,因为模型是在数据所在的位置进行训练的。然而,FL也面临着自己的一系列挑战。在这种分布式环境中,模型权重更新的通信伴随着显著的网络带宽成本。在这种情况下,我们提出了一种使用自动编码器(AE)压缩权重更新的机制,该机制学习权重更新的数据特征并随后执行压缩。编码器设置在执行训练的每个节点上,而解码器设置在聚合权重的节点上。这种设置通过编码器实现压缩,并在每个通信回合结束时使用解码器重新创建权重。本文表明,动态和正交AE为基础的重量压缩技术可以作为一个有利的替代(或附加)在一个大规模的FL,因为它不仅实现了压缩比范围从500倍到1720倍及以上,但也可以修改的精度要求,计算能力,和其他要求的FL设置的基础上。
2021-08-12 cs.AI cs.DC cs.LG
FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning
Fudan University(复旦大学);ETH Zurich(苏黎世联邦理工学院);Edith Cowan University(埃迪斯科文大学);Singapore University of Technology and Design(新加坡科技设计大学)
FedVSSAM通过引入方差抑制的sharpness-aware最小化方法,缓解联邦学习中由于数据异质性和友好对抗现象导致的flatness不兼容性,提升全局模型的泛化能力。
2026-05-09 cs.LG
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London(伦敦国王学院)
尽管联邦学习近年来取得了许多突破性进展,但学习环境的异构性极大地限制了其性能,阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战,这通常会导致训练过程不稳定和精度下降。在此,我们提出了应对这些挑战的战略。针对异构数据分布,我们提出了一种新的自适应混合聚合(AMA)方案,将前几轮的模型更新与当前轮混合,以避免大的模型偏移,从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后,我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器(FES),让计算有限的设备更新只有分类器。仿真结果表明,所提出的框架优于现有的最先进的解决方案,并提高了测试精度和训练稳定性分别高达2.38%,93.10%。此外,所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下,没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
FLGo: A Fully Customizable Federated Learning Platform
Xiamen University(厦门大学)
FLGo是一个轻量级、高度可定制的联邦学习平台,提供40多个基准、20多种算法和2个系统模拟器,并配备用户友好的API和实验工具,以促进跨应用FL研究并提高代码可共享性和可复现性。
2023-06-21 cs.DC cs.LG
Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning
National University of Singapore(新加坡国立大学);Institute of Automation, CAS(中国科学院自动化研究所);ByteDance Inc.(字节跳动公司)
本文揭示异构联邦学习中本地模型导致全局模型维度坍塌的机制,并提出通过表示去相关正则化缓解该问题的 FedDecorr,在基准数据集上持续优于基线。
2024-04-07 cs.LG
VeriFi: Towards Verifiable Federated Unlearning
Zhejiang University(浙江大学);Fudan University(复旦大学);University of Manchester(曼彻斯特大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
联邦学习(FL)是一种协作学习范式,参与者联合训练一个强大的模型,而不共享他们的私人数据。FL的一个理想特性是实现被遗忘权(RTBF),即,离开的参与者有权请求从全局模型中删除其私有数据。然而,unlearning本身可能不足以实现RTBF,除非unlearning效果可以独立验证,这是当前文献中被忽视的一个重要方面。在本文中,我们提出了可验证的联邦unlearning的概念,并提出了VeriFi,一个统一的框架,集成了联邦unlearning和验证,允许系统分析unlearning和量化其效果,多种unlearning和验证方法的不同组合。在VeriFi中,离开的参与者被授予验证权(RTV),即参与者在离开之前通知服务器,然后在接下来的几轮通信中主动验证遗忘效果。在接收到离开通知后,在服务器端立即进行学习,而验证由离开的参与者通过两个步骤在本地完成:标记(注入精心设计的标记以识别离开者)和检查(检查全局模型在标记上的性能变化)。基于VeriFi,我们首次对可验证的联邦unlearning进行了系统的大规模研究,考虑了7种unlearning方法和5种验证方法。特别是,我们提出了一个更有效和FL友好的unlearning方法,和两个更有效和强大的非侵入性验证方法。我们在7个数据集和4种类型的深度学习模型上广泛评估了VeriFi。我们的分析建立了重要的经验理解更值得信赖的联邦unle…
2022-05-25 cs.CR cs.LG
FedDAPL: Toward Client-Private Generalization in Federated Learning
University of Southern California, Los Angeles, US(美国南加州大学)
针对联邦医学影像中的扫描仪域偏移问题,本文提出带近端正则化的联邦DANN方法,以稳定跨客户端对抗训练,并在OpenBHB上证明其跨站点泛化优于FedAvg和ERM。
2025-09-28 cs.LG
Compressed Bayesian Federated Learning for Reliable Passive Radio Sensing in Industrial IoT
Politecnico di Milano(米兰理工大学);Consiglio Nazionale delle Ricerche(国家研究委员会)
针对去中心化贝叶斯联邦学习通信开销高的问题,提出结合后验压缩与多步本地优化的方法,在工业物联网雷达人员定位中保持精度与校准,并将通信量最高降低99%。
2024-05-09 cs.DC cs.LG eess.SP
HumekaFL: Automated Detection of Neonatal Asphyxia Using Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
针对非洲新生儿窒息诊断延迟及集中式机器学习的隐私风险,本文提出嵌入联邦学习流程的移动应用架构,并以Federated SVM实现优于集中式SVM和NN方法的早期检测。
2024-12-02 cs.LG eess.AS
An effective and efficient green federated learning method for one-layer neural networks
Universidade da Coruña(科鲁尼亚大学);CITIC(CITIC研究中心)
提出一种基于无隐藏层神经网络的联邦学习方法,单轮训练即可生成全局模型,在大型数据集上保持竞争力,并显著节省能源。
2023-12-22 cs.LG
Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling
School of Computer Science, Wuhan University(武汉大学计算机学院);Faculty of Artificial Intelligence in Education, Central China Normal University(中央财经大学教育人工智能学院)
针对联邦多任务学习难以将异构任务聚合为统一模型的问题,提出更新结构感知的聚合方法FedDEA,通过动态识别任务相关维度并缩放以抑制跨任务干扰,在无需任务标签和架构修改的情况下实现了统一全局模型内的任务级解耦聚合,显著提升了异构任务设置下的性能。
2025-05-30 cs.AI cs.CV cs.LG
A Web-Based Solution for Federated Learning with LLM-Based Automation
Centre of Wireless Communications, University of Oulu(奥卢大学无线通信中心)
本文提出一种结合基于意图LLM自动化的Web端联邦学习解决方案,支持FedAvg算法并优化通信与性能,通过LLM自动化减少传输量和CPU时间,并利用NAS与HPO提升测试准确率10-20%。
2024-08-23 cs.LG stat.AP
FedGH: Heterogeneous Federated Learning with Generalized Global Header
Nankai University(南开大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
针对模型异构联邦学习中公开数据集依赖和高通信计算成本问题,提出FedGH框架,通过在服务器训练共享广义全局预测头并转移全局知识替代客户端本地预测头,在节省85.53%通信开销的同时显著提升同构与异构场景下的测试准确率。
2023-08-01 cs.DC cs.LG
Mobile Application for Oral Disease Detection using Federated Learning
Amrita School of Computing(阿米塔计算学院);Amrita Vishwa Vidyapeetham(阿米塔维什瓦维迪亚皮塔姆大学)
本研究开发了基于联邦学习的口腔疾病检测移动应用OralH,利用YOLOv8模型在保护隐私的同时实现口腔健康自我评估与疾病提示。
2023-10-27 cs.CV cs.LG
Advances in APPFL: A Comprehensive and Extensible Federated Learning Framework
Argonne National Laboratory(阿贡国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
本文介绍可扩展联邦学习框架APPFL的最新进展,其全面解决异构性与安全性挑战,并通过实验和多种FL范式案例验证其能力与可扩展性。
2025-03-10 cs.CR cs.DC cs.LG
Benchmarking Data Heterogeneity Evaluation Approaches for Personalized Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心);School of Engineering, Westlake University(西湖大学工程学院)
本文提出统一的 DH-Benchmark 框架,在五种标准 non-IID FL 设置下系统比较六种数据异质性评估方法,为 PFL 方案设计、方法选择和训练公平性提供指导。
2024-10-28 cs.AI cs.LG
Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments
Delft University of Technology(代尔夫特理工大学)
联邦学习(FL)是一种隐私友好型机器学习,其中设备在其私有数据上本地训练模型,并且通常与服务器通信模型更新。在去中心化FL(DFL)中,对等点相互通信模型更新。然而,DFL是具有挑战性的,因为(1)由不同对等体拥有的训练数据通常是非独立同分布的。(i.e.,在对等体之间不同地分布)和(2)恶意或拜占庭攻击者可以与其他对等体共享任意模型更新以破坏训练过程。我们解决这两个挑战,并提出刷毛,学习应用程序和分散的网络层之间的中间件。Bristle利用迁移学习来预先确定和冻结神经网络的非输出层,从而显著加快模型训练并降低通信成本。为了安全地更新输出层与其他同行的模型更新,我们设计了一个快速的基于距离的优先级和一个新的基于性能的集成。它们的综合效果导致对拜占庭攻击者的高弹性和处理非i.i.d.的能力。班我们的经验表明,在拜占庭环境中,Bristle收敛到一致的95%的准确率,优于所有评估的基线。在非拜占庭环境中,与最先进的方法相比,Bristle需要减少83%的迭代才能达到90%的准确率。我们表明,当训练类是非独立同分布的,Bristle的准确性比拜占庭最具弹性的基线高出2.3倍,同时将通信成本降低了90%。
2021-10-21 cs.DC cs.LG
FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity
KAUST(阿卜杜拉国王科技大学);Sony AI(索尼人工智能公司)
针对联邦学习中客户端系统异构性导致需定制个性化模型的问题,提出适配模型异构场景的联邦个性化隐私友好剪枝框架FedP3及其本地差分隐私变体DP-FedP3,并完成理论验证。
2024-04-15 cs.CR cs.LG
When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices
East China Normal University(华东师范大学)
针对低内存 AIoT 设备难以承担联邦学习训练与推理开销的问题,提出基于 NTK 的联邦预见性剪枝并与 BP-Free 框架结合,实现最高 9 倍内存降低且减少 FLOPs。
2024-05-08 cs.AI cs.DC cs.LG
OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出OpenFedLLM框架,通过联邦学习在去中心化私有数据上训练大型语言模型,涵盖联邦指令微调、价值对齐及7种FL算法,实验证明其优于本地训练且微调后的Llama2-7B在金融基准上超越GPT-4。
2024-02-10 cs.CL cs.DC cs.LG
One-Shot Federated Learning for LEO Constellations that Reduces Convergence Time from Days to 90 Minutes
Missouri University of Science and Technology(密苏里科技大学)
针对LEO星座联邦学习多轮通信导致数天延迟的问题,提出仅需单轮通信的一次性联邦学习方法LEOShot,通过合成数据生成、知识蒸馏和虚拟模型重训练,将收敛速度提升超一个数量级且精度优于常规迭代方案。
2023-05-21 cs.LG cs.NI
FedCompetitors: Harmonious Collaboration in Federated Learning with Competing Participants
Beijing University of Posts and Telecommunications(北京邮电大学);Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
针对联邦学习中参与者存在竞争关系且数据异质的问题,本文基于平衡理论扩展原则,通过图论与整数线性规划构建模型,提出多项式时间协作者选择算法,实现无利益冲突的高可扩展和谐协作,经实验验证效果优于五种对比方法。
2023-12-18 cs.AI cs.GT cs.LG
Tool-Aided Evolutionary LLM for Generative Policy Toward Efficient Resource Management in Wireless Federated Learning
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Zhejiang Lab(浙江实验室);University of Manitoba(曼尼托巴大学);Macau University of Science and Technology(澳门科学理工学院)
针对无线联邦学习中设备选择与资源分配的效率问题,本文提出工具辅助进化大语言模型(T-ELLM)框架,通过自然语言场景提示增强泛化性,解耦优化问题并利用虚拟环境降低交互成本,在能源效率和环境适应性上优于基准方法。
2025-11-11 cs.AI cs.LG
FedConv: A Learning-on-Model Paradigm for Heterogeneous Federated Clients
The Hong Kong Polytechnic University(香港理工大学);University of Cambridge(剑桥大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Sichuan University(四川大学);Zhejiang University(浙江大学)
针对异构联邦客户端资源差异问题,提出FedConv框架,通过卷积压缩生成可训练的异构子模型,并用转置卷积膨胀聚合,在六个数据集上显著提升精度并降低计算与通信开销。
2025-02-28 cs.AI cs.LG
Federated Learning: A Cutting-Edge Survey of the Latest Advancements and Applications
Universitat Politecnica de Valencia(瓦伦西亚理工大学);University of Tehran(德黑兰大学);University of Houston(休斯顿大学);Nazarbayev University(纳扎尔巴耶夫大学);Coventry University(考文垂大学)
本综述全面分析和比较最新联邦学习算法,涵盖数学框架、隐私保护、资源分配及应用,并指出未来挑战与研究空白。
2024-05-26 cs.AI cs.CR cs.DC
FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning
Department of Science and Technology, TÉLUQ, University of Quebec(科学与技术系,TÉLUQ,魁北克大学);Higher School of Technology, Hassan II University(技术高等学院,哈桑二世大学)
FedEMA-Distill通过结合指数移动平均与日志its聚合,提升联邦学习的鲁棒性和通信效率,减少通信开销并增强对抗性攻击下的稳定性。
2026-02-15 cs.AI cs.CE cs.DC
Federated k-Means over Networks
Aalto University(阿尔托大学)
本文提出了一种基于广义总变分最小化的联邦k均值算法,通过正则化k均值问题实现设备间聚类质心的一致性更新,保障隐私安全。
2026-01-28 cs.LG
A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本文提出一种联邦学习友好的参数高效微调方法,通过联邦化SAM中的特定LoRA层,在三维医学图像分割中以约48倍通信成本降低实现性能提升,并与SAMed相当但通信和微调参数减少约2.8倍。
2024-07-31 cs.AI cs.CV cs.LG
Fed-BRDECS: Privacy-Preserving and Heterogeneity-Aware Federated Deep Embedded Clustering
Northwestern University(西北大学);Intel Corporation(英特尔公司)
针对联邦深度聚类中的隐私泄露与数据异构问题,提出Fed-BRDECS框架,通过局部样本稳定性损失和预测平衡采样及质心重启,在图像、文本及时间序列任务上优于现有基线。
2026-10-07 cs.LG
CCFC: Bridging Federated Clustering and Contrastive Learning
Central University of Finance and Economics(中央财经大学)
本文提出了一种基于聚类对比模型的联邦聚类方法CCFC,通过学习对聚类友好的表示,显著提升了高维复杂数据的聚类性能,并在部分情况下使聚类效果翻倍,同时具备处理设备故障的优越能力。
2025-06-02 cs.AI cs.LG
ACTION: Augmentation and Computation Toolbox for Brain Network Analysis with Functional MRI
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Department of Radiology(放射学系);Biomedical Research Imaging Center(生物医学研究成像中心)
本文提出开源跨平台 Python 工具箱 ACTION,集成 fMRI 与脑网络增强、网络构建、特征提取、自监督深度学习预训练及联邦学习,以提升小样本和多中心脑网络分析能力。
2024-05-10 cs.LG eess.IV q-bio.NC