Accelerating Differentially Private Federated Learning via Adaptive Extrapolation
LY Corporation(LY公司)
针对DP-FedAvg在客户端数据异质性下收敛慢的问题,提出无需额外超参数和客户端计算成本的DP-FedEXP,通过局部更新多样性自适应选全局步长,理论与实证均优于现有方法。
2025-04-14 cs.LG
Accelerating Federated Learning with a Global Biased Optimiser
University of Exeter(埃克塞特大学)
联邦学习(FL)是分布式机器学习的最新发展,其在训练数据不离开客户端设备的情况下协作训练模型,从而保护数据隐私。在现实世界的FL中,训练集以高度非独立和相同分布(非IID)的方式分布在客户端上,损害了模型收敛速度和最终性能。为了解决这一挑战,我们提出了一种新的,通用的方法,将自适应优化到FL与联邦全球偏置优化(FedGBO)算法。FedGBO通过在训练期间采用一组全局偏置优化器值来加速FL,减少来自非IID数据的“客户端漂移”,同时受益于自适应优化。我们表明,在FedGBO中,全局模型的更新可以重新表述为使用有偏梯度和优化器更新的集中训练,并应用此框架来证明FedGBO在使用动量SGD(SGDm)优化器时在非凸目标上的收敛性。我们还使用4个FL基准数据集(CIFAR100,Sent140,FEMNIST,Shakespeare)和3个流行的优化器(SGDm,RMSProp,Adam)进行了广泛的实验,将FedGBO与六种最先进的FL算法进行比较。结果表明,FedGBO在数据集上显示出卓越或具有竞争力的性能,同时具有较低的数据上传和计算成本,并提供了与不同自适应FL算法和优化器相关的权衡的实际见解。
2022-10-05 cs.DC cs.LG
Latent Information Sharing for Accelerating Federated Learning
Inha University(仁荷大学);University of Toronto(多伦多大学);University of Birmingham(伯明翰大学)
本文提出一种潜在信息共享方案,通过共享少量隐藏层激活值缓解客户端漂移,在保持收敛与隐私的同时提升联邦学习训练效率与精度。
2026-10-02 cs.LG
Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习(FL)是目前最广泛采用的用于在隐私约束下协作训练(深度)机器学习模型的框架。尽管联邦学习很受欢迎,但据观察,如果本地客户端的数据分布出现分歧,它会产生次优结果。为了解决这个问题,我们提出了一种新的联邦多任务学习(FMTL)框架,即分布式联邦学习(CFL),它利用FL损失表面的几何特性,将客户端群体分组为具有联合可训练数据分布的集群。与现有的FMTL方法相比,CFL不需要对FL通信协议进行任何修改,适用于一般的非凸目标(特别是深度神经网络),并且具有对聚类质量的强数学保证。CFL足够灵活,可以处理随时间变化的客户端人群,并且可以以隐私保护的方式实现。由于只有在联邦学习收敛到一个固定点后才执行聚类,因此CFL可以被视为一种后处理方法,通过允许客户端到达更专业的模型,它始终可以实现比传统FL更高或相等的性能。我们在常用的联邦学习数据集上使用深度卷积和递归神经网络进行实验,验证了我们的理论分析。
2019-10-04 cs.DC cs.LG stat.ML
Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying
University of Miami(迈阿密大学)
针对移动网络中异步联邦学习通信受限问题,提出FedMobile算法,利用客户端间机会中继增加通信机会,实现收敛速率O(1/√NT),并通过实验验证。研究还探讨了中继时机权衡及数据操作以降低成本与增强隐私。
2024-03-17 cs.AI cs.LG
Agnostic Federated Learning
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences, New York(纽约大学库朗数学科学研究所)
大规模应用程序中的一个关键学习场景是联邦学习,其中基于源自大量客户端的数据训练集中式模型。我们认为,通过现有的训练和推理,联邦模型可以偏向于不同的客户端。相反,我们提出了一个新的不可知联邦学习框架,其中集中式模型针对由客户端分布的混合物形成的任何目标分布进行了优化。我们进一步表明,这个框架自然产生公平的概念。我们提出了数据相关的Rademacher复杂性保证学习与此目标,指导定义的算法不可知的联邦学习。我们也给出了一个快速的随机优化算法来解决相应的优化问题,我们证明了收敛界,假设一个凸的损失函数和假设集。我们进一步实证证明了我们的方法在几个数据集的好处。除了联邦学习之外,我们的框架和算法还可以用于其他学习场景,如云计算、领域自适应、漂移以及其他训练和测试分布不一致的环境。
2019-02-01 cs.LG stat.ML
Accelerating Energy-Efficient Federated Learning in Cell-Free Networks with Adaptive Quantization
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(瑞典皇家理工学院电气与计算机科学学院)
本文提出一种面向无蜂窝大规模MIMO网络的节能低时延联邦学习框架,通过自适应量化与优化功率分配降低通信成本,并结合AdaDelta本地更新提升收敛性,实验显示测试准确率显著优于现有方法。
2024-12-30 cs.LG
GeFL: Model-Agnostic Federated Learning with Generative Models
Samsung Electronics(三星电子);University of Texas at Austin(德克萨斯大学奥斯汀分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对联邦学习中客户端模型异构、边缘设备算力不足及隐私保护需求,提出基于联邦训练生成模型的GeFL框架及特征级改进的GeFL-F,在异构图像分类任务中实现了有竞争力的性能,同时提升了可扩展性与隐私性。
2025-05-17 cs.AI cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained Learnable Masks
Shanghai Jiao Tong University(上海交通大学);Stevens Institute of Technology(史蒂文斯理工学院);Queen’s University Belfast(贝尔法斯特女王大学);Intel Corporation(英特尔公司)
针对联邦学习中的细粒度拜占庭攻击,提出SkyMask,利用参数级可学习掩码在干净数据集上训练以识别恶意更新,在SOTA攻击下准确率提升达14%,并支持高达80%恶意客户端比例。
2024-07-18 cs.CR cs.DC cs.LG
Federated Reconstruction: Partially Local Federated Learning
Google Research(谷歌研究院)
联邦学习中的个性化方法旨在平衡联邦和本地训练在数据可用性、通信成本和对客户端异构性的鲁棒性方面的优势。由于隐私和通信约束,要求客户端传送所有模型参数的方法可能是不可取的。其他方法需要始终可用或有状态的客户端,这在大规模跨设备设置中不切实际。我们介绍了联邦重建,第一个模型无关的框架,部分本地联邦学习适合大规模的训练和推理。我们通过与模型无关的元学习的连接来激励框架,经验性地展示了其在现有的协作过滤和下一个单词预测方法上的性能,并发布了一个开源库来评估这种设置中的方法。我们还描述了这种方法的成功部署在规模上的联合协同过滤在移动键盘应用程序。
2022-04-27 cs.DC cs.LG
Power Mechanism: Private Tabular Representation Release for Model Agnostic Consumption
MIT(麻省理工学院);MBZUAI(穆斯林人工智能研究所);EPFL(苏黎世联邦理工学院)
提出一种联合学习隐私编码网络与效用生成网络的方法,生成具有差分隐私保证的嵌入,实现模型无关的私有表格表示发布,仅需一轮通信且客户端计算量更少。
2025-10-07 cs.CR cs.LG
FedMuon: Accelerating Federated Learning with Matrix Orthogonalization
Tianjin University(天津大学);Xidian University(西安电子科技大学)
针对联邦学习通信轮数瓶颈,提出FedMuon优化器,通过动量聚合和本地-全局对齐技术解决非独立同分布下的客户端漂移,实现无异性假设的线性加速收敛并显著减少通信轮数。
2025-10-31 cs.AI cs.LG
pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
Department of Artificial Intelligence, Indian Institute of Technology, Hyderabad(人工智能系,印度理工学院,海得拉巴)
针对个性化联邦学习一阶优化收敛慢、通信轮次多及额外局部计算问题,提出pFedSOP,用Gompertz归一化夹角和正则化FIM近似Hessian实现二阶优化,实验性能优于现有方法。
2025-06-08 cs.DC cs.LG
One-Shot Clustering for Federated Learning Under Clustering-Agnostic Assumption
KDD Lab National Research Council of Italy(KDD实验室意大利国家研究理事会);KDD Lab Scuola Normale di Pisa(Pisa大学KDD实验室)
针对聚类联邦学习的聚类时机确定问题,提出一种聚类不可知的一次性聚类联邦学习算法OCFL,通过梯度余弦距离和收敛温度度量自动检测聚类时机,在多基准任务上表现优异且无需调参,同时验证了密度聚类的高效性与个性化和可解释性的关联。
2025-09-01 cs.AI cs.LG
GENE-FL: Gene-Driven Parameter-Efficient Dynamic Federated Learning
针对动态联邦学习中的通信与初始化挑战,提出GENE-FL框架,利用Fisher约束和参数敏感性分析生成learnGene,聚合后实现跨任务泛化,通信成本降低4倍,初始化仅需约9.04 MB。
2025-04-20 cs.DC cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习(FedCS),通过揭示客户端对实例潜在表示的偏差,仅训练一个鲁棒全局模型即可直接部署到未见客户端,性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中异构非平稳的客户端不可用问题,提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法,可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
DRAUN: An Algorithm-Agnostic Data Reconstruction Attack on Federated Unlearning Systems
Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎赫尔分校网络安全中心)
本文提出首个针对联邦遗忘系统的数据重建攻击框架DRAUN,从理论和实验上证明现有联邦遗忘方法存在隐私漏洞,可被恶意服务器利用遗忘更新重建被移除的数据。
2025-06-02 cs.LG
Pisces: Efficient Federated Learning via Guided Asynchronous Training
HKUST(香港科技大学);University of Toronto(多伦多大学)
联邦学习(FL)通常以同步并行方式执行,其中慢客户端的参与延迟了训练迭代。当前FL系统采用参与者选择策略来在每次迭代中选择具有高质量数据的快速客户端。然而,这在实践中并不总是可能的,并且选择策略通常必须在客户端的速度和数据质量之间进行不愉快的权衡。在本文中,我们提出了双鱼座,一个异步FL系统,智能参与者选择和模型聚合加速训练。为了避免产生过多的资源成本和陈旧的训练计算,Pisces使用了一种新的评分机制来识别合适的客户端来参与训练迭代。它还调整模型聚合的速度,以动态限制所选客户端和服务器之间的进度差距,并在平滑的非凸设置中保证可证明的收敛性。我们在一个名为Plato的开源FL平台上实现了Pisces,并在流行视觉和语言模型的大规模实验中评估了其性能。Pisces的性能优于最先进的同步和异步方案,分别将达到精度的时间加快了2.0倍和1.9倍。
2022-06-18 cs.DC cs.LG
Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对实际联邦学习中客户端非静态不可用性问题,提出轻量高效的FedSWE算法,可补偿错过计算、稳定扩散全局更新,收敛性好且开销小,经实验验证其有效性。
2026-09-07 cs.DC cs.LG math.OC
LoGoFair: Post-Processing for Local and Global Fairness in Federated Learning
Zhejiang University(浙江大学)
针对联邦学习中现有方法无法同时兼顾统计异构下的局部与全局公平性、且难适配模型无关设置的问题,提出后处理框架LoGoFair,通过约束下的贝叶斯最优分类器求解和联邦协同后处理实现双公平,经真实数据集验证有效。
2025-03-21 cs.DC cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida(中央佛罗里达大学)
FMCL通过基础模型生成语义客户端签名,实现一次聚类,提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Accelerating Heterogeneous Federated Learning with Closed-form Classifiers
Polytechnic University of Turin(都灵理工大学);Istituto Italiano di Tecnologia(意大利技术研究院);CINI Consortium(CINI联盟)
针对联邦学习中非独立同分布数据导致的客户端漂移和分类层偏差问题,提出Fed3R方法,利用预训练特征计算闭式岭回归分类器,并支持进一步微调,显著降低通信与计算开销并提升跨设备场景的稳定性。
2024-06-03 cs.AI cs.CV cs.LG
Accelerating Privacy-Preserving Federated Learning in Large-Scale LEO Satellite Systems
School of Telecommunication Engineering, Xidian University(电信工程学院,西安电子科技大学);Tianjin Artificial Intelligence Innovation Center (TAIIC)(天津人工智能创新中心);Pillar of ISTD, Singapore University of Technology and Design(ISTD支柱,新加坡科技与设计大学);School of Electrical and Electronic Engineering, Nanyang Technological University(电子与电气工程学院,南洋理工大学);Department of Electrical and Computer Engineering, University of Houston(电气与计算机工程系,休斯顿大学)
针对大规模LEO卫星系统中联邦学习因动态拓扑和有限带宽导致训练时间延长的问题,提出基于离散时间图的按需调度框架,动态分配通信资源,使整体轮次时间减少14.20%至41.48%,且在更大模型和更多客户端下加速效果更显著。
2025-09-05 cs.AI cs.DC cs.LG
Personalized Privacy-Preserving Framework for Cross-Silo Federated Learning
VinUniversity(VinUniversity(文大学))
联邦学习(FL)最近作为一种有前途的去中心化深度学习(DL)框架而蓬勃发展,该框架使基于DL的方法能够在客户端之间进行协作训练,而无需共享私有数据。然而,在中心方主动和不诚实的情况下,个人客户的数据可能会被完美重构,导致敏感信息泄露的可能性很大。此外,FL还受到客户端之间的非独立同分布(non-IID)数据的影响,导致对本地客户端数据的推理性能下降。在本文中,我们提出了一个新的框架,即个性化的隐私保护联邦学习(PPPFL),集中在跨筒仓FL克服这些挑战。具体来说,我们引入了模型不可知元学习(MAML)算法的稳定变体,以协同训练由差分私有生成对抗网络(DP-GANs)生成的客户端合成数据的全局初始化。在达到收敛之后,全局初始化将由客户端本地适配到其私有数据。通过大量的实验,我们实证表明,我们提出的框架在不同的数据集上优于多个FL基线,包括MNIST,Fashion-MNIST,CIFAR-10和CIFAR-100。
2023-02-22 cs.LG
Green Federated Learning via Carbon-Aware Client and Time Slot Scheduling
Inria Centre at Université Côte d’Azur(法国国家信息与自动化技术研究院(Inria)亚维农分校);Accenture(埃森哲);Department of Electrical Engineering (ISY), Linköping University(利厄普大学电气工程系)
本文提出一种整合松弛时间、α-公平碳分配和全局微调的碳感知调度器,在真实碳强度数据上验证其能在广泛碳预算下提升联邦学习模型精度并减少碳排放。
2025-09-10 cs.LG
CLAD: A Clustered Label-Agnostic Federated Learning Framework for Joint Anomaly Detection and Attack Classification
Yale University(耶鲁大学);Nokia Bell Labs(诺基亚贝尔实验室)
CLAD框架通过融合聚类联邦学习与双模式微架构,解决物联网设备异质性和标签稀缺问题,提升异常检测性能并降低通信成本。
2026-05-07 cs.CR cs.DC cs.LG
Fine-tuning Multimodal Transformers on Edge: A Parallel Split Learning Approach
Eindhoven University of Technology(埃因霍温理工大学)
针对多模态Transformer在边缘设备上微调的计算瓶颈,提出并行分割学习方法MPSL,通过轻量级客户端分词器和统一编码器,在7个数据集上匹配或超越联邦学习,减少250倍客户端计算并提升通信可扩展性。
2025-07-08 cs.DC cs.LG
FL Games: A Federated Learning Framework for Distribution Shifts
Mila(米拉研究所);Universite de Montreal(蒙特利尔大学);Imagia Cybernetics Inc.(Imagia控制论公司);Indian Institute of Technology Delhi(印度理工学院德里分校)
联邦学习的目标是在服务器的协调下,为分布在客户端的数据训练预测模型。然而,参与的客户端通常每个都持有来自不同分布的数据,这可能导致对来自不同客户端的数据的灾难性泛化,这代表了一个新的域。在这项工作中,我们认为,为了更好地推广非独立同分布。客户端,必须只学习跨域稳定和不变的相关性。我们提出FL GAMES,一个博弈论框架,用于联邦学习,学习在客户端之间不变的因果特征。传统的最佳反应策略在训练达到纳什均衡时会出现高频振荡。我们证明了FL GAMES有效地解决了这一挑战,并表现出平滑的性能曲线。此外,FL GAMES在客户端数量方面扩展良好,需要的通信回合明显减少,并且不受设备异构性的影响。通过实证评估,我们证明了FL GAMES在各种基准测试中达到了很高的分布性能。
2022-10-31 cs.LG
Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning
Department of Mathematical Sciences, Politecnico di Torino(波兰理工学院数学科学系);Istituto Nazionale di Fisica Nucleare, Sezione di Torino(意大利国家核物理研究所托斯卡纳分部);Tynk S.R.L.(Tynk公司);Laboratoire de Physique de l’Ecole Normale Supérieure, ENS Université PSL(巴黎高等科学研究院物理实验室);CNRS, Sorbonne Université, Université de Paris(法国国家科学研究中心、索邦大学、巴黎大学)
WAFFLE通过小波散射变换和傅里叶变换在联邦学习中实现恶意客户端的离线检测,提升检测准确性和分类性能。
2025-10-10 cs.LG
FL Games: A federated learning framework for distribution shifts
Imagia Cybernetics;Indian Institute of Technology Delhi(印度理工学院德里分校);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
联邦学习的目标是在服务器的协调下,为分布在客户端的数据训练预测模型。然而,参与的客户端通常每个都持有来自不同分布的数据,因此具有强大分布泛化能力的预测模型可能会在看不见的域上灾难性地失败。在这项工作中,我们认为,为了更好地推广非独立同分布。客户端,必须只学习跨域稳定和不变的相关性。我们提出了FL游戏,一个博弈论的框架,联邦学习学习的因果特征是不变的客户端。传统的最佳反应策略在训练达到纳什均衡时会出现高频振荡。我们证明了FL Games有效地解决了这一挑战,并表现出平滑的性能曲线。此外,FL Games在客户端数量上具有很好的扩展性,需要的通信回合明显减少,并且不受设备异构性的影响。通过实证评估,我们证明了FL Games在各种基准测试中取得了很高的发行表现。
2022-05-23 cs.AI cs.LG
Fairness and Accuracy in Federated Learning
Southwest Jiaotong University(西南交通大学)
在联邦学习设置中,多个客户端在中央服务器的协调下联合训练模型,而训练数据保存在客户端上以确保隐私。通常,联合网络中不同设备之间的数据分布不一致,终端设备之间的通信带宽有限,这使得统计异构性和昂贵的通信成为联邦学习的主要挑战。提出了一种在联邦学习(FedFa)中提高公平性和准确性的算法。它引入了一个优化方案,采用了双动量梯度,从而加快了模型的收敛速度。提出了一种结合训练精度和训练频率的信息量来衡量权值的权值选择算法。该程序有助于解决由于某些客户的偏好而导致的联邦学习中的不公平问题。我们的研究结果表明,所提出的FedFa算法优于基线算法的准确性和公平性。
2020-12-18 cs.LG
Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity
Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对联邦学习在非独立同分布数据下的客户端漂移问题,提出基于Kuramoto同步模型的Kuramoto-FedAvg算法,通过相位对齐动态加权客户端更新,理论证明降低漂移并加速收敛,实验验证提升精度。
2025-05-26 cs.LG
FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation
Ludwig Maximilian University of Munich(慕尼黑大学);Siemens Technology(西门子技术);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学)
针对联邦学习中客户端特征分布偏移的问题,提出FRAug方法,通过共享生成模型结合表征变换网络生成客户端专属嵌入以扩充数据,提升模型泛化能力,效果优于现有最优方法。
2023-08-22 cs.AI cs.LG
Distributionally Robust Clustered Federated Learning: A Case Study in Healthcare
Duke University(杜克大学);School of Medicine, Duke University(杜克大学医学院)
针对跨机构联邦学习的数据异质性问题,提出基于Wasserstein距离的CS-RCFL算法,通过整数分式规划实现分布鲁棒聚类,兼顾模型性能与隐私,在医疗数据上验证有效。
2024-10-09 cs.LG
Federated Learning in the Presence of Adversarial Client Unavailability
Northeastern University(东北大学);Duke University(杜克大学);Tsinghua University(清华大学)
本文研究对抗性客户端不可用下的联邦学习,利用ε-对手丢弃比例量化不可用程度,证明FedAvg/FedProx变体在非凸和强凸目标下均达到最优估计误差与收敛速度。
2024-02-20 cs.DC cs.LG
Multi-Hop Privacy Propagation for Differentially Private Federated Learning in Social Networks
School of Artificial Intelligence, Sun Yat-sen University, China(人工智能学院,中山大学)
本文研究社交网络中联邦学习的隐私外部性问题,提出一种社会感知的隐私保护机制,通过多跳传播模型量化间接隐私泄露,并利用两阶段Stackelberg博弈和平均场估计器优化客户端隐私预算,实验证明该方法在保持模型性能的同时显著提升了客户端效用并降低了服务器成本。
2025-08-11 cs.DC cs.GT cs.LG
Discovering Collaboration from Novelty: Random Network Distillation for Clustered Federated Learning
University of Bologna(博洛尼亚大学);Trinity College Dublin(都柏林圣三一学院);Cesena, Italy(意大利塞森纳);Dublin, Ireland(爱尔兰都柏林)
提出基于随机网络蒸馏的轻量级聚类方法,在联邦训练前通过局部新颖性估计发现客户端群组,解耦聚类与学习过程,适用于非独立同分布数据下的自主大规模分布式系统。
2026-06-29 cs.LG
Examining Modality Incongruity in Multimodal Federated Learning for Medical Vision and Language-based Disease Detection
University of Oxford(牛津大学)
本文首次分析多模态联邦学习中模态不一致性的影响,提出三种缓解途径(自注意力、模态插补网络、正则化),并在两个真实数据集上验证其优于单模态联邦学习。
2024-02-07 cs.AI cs.CL cs.CV
VARS-FL: Validation-Aligned Client Selection for Non-IID Federated Learning in IoT Systems
College of Information Technology, United Arab Emirates University(阿联酋大学信息科技学院)
本文提出VARS-FL框架,通过验证损失减少量化客户端贡献,结合滑动窗口平均与对数参与项提升探索利用平衡,提升物联网非独立同分布联邦学习的收敛速度与性能。
2026-05-07 cs.AI cs.LG
Local K-Similarity Constraint for Federated Learning with Label Noise
NAAMII, Nepal Applied Mathematics and Informatics Institute for Research(NAAMII尼泊尔应用数学与信息学研究所);Rochester Institute of Technology(罗切斯特技术研究所);West Virginia University(西弗吉尼亚大学);University of Lausanne(洛桑大学);Ulsan National Institute of Science & Technology(釜山国家科学与技术研究所);University of Aberdeen(阿伯丁大学)
本文针对联邦学习中客户端标签噪声问题,提出一种基于自监督预训练模型表示空间的局部K-相似性正则化方法,在不依赖预训练初始化且架构无关的前提下,显著提升噪声联邦场景下的分类性能。
2025-11-09 cs.LG
DART: A Server-side Plug-in for Resource-efficient Robust Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DART是一种服务器端插件,通过在不增加客户端开销的情况下提升联邦学习的鲁棒性,适用于资源受限环境下的稳健联邦学习部署。
2026-03-25 cs.LG
SureFED: Robust Federated Learning via Uncertainty-Aware Inward and Outward Inspection
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Northeastern University(东北大学);Khoury College of Computer Sciences(科里计算机学院)
提出 SureFED 拜占庭鲁棒联邦学习框架,通过本地干净参考模型与贝叶斯不确定性进行内外检查,可在多数客户端被攻陷及 non-IID 场景下抵御数据和模型投毒。
2024-03-01 cs.DC cs.LG cs.MA
Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases
Centre for Brain, Mind and Markets(脑、心智与市场中心);University of Melbourne(墨尔本大学);Parkville, Victoria, Australia(维多利亚州帕克维尔)
本文研究了联邦学习中由于注册和参与选择偏差导致的偏差问题,提出FedIPW算法和校正方法,通过逆概率加权和有限信息聚合修正目标群体与训练目标的不匹配。
2026-04-29 cs.LG
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究针对联邦学习易受后门攻击的问题,提出服务器端数据无关后门攻击模型DABS,直接修改全局模型实现攻击,实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
Federated Learning with Buffered Asynchronous Aggregation
Meta AI
可扩展性和隐私性是跨设备联邦学习(FL)系统的两个关键问题。在这项工作中,我们确定,同步FL -同步聚合的客户端更新FL -不能有效地扩展到几百个客户端并行培训。它导致模型性能和训练速度的收益递减,类似于大批量训练。另一方面,FL中的客户端更新的异步聚合(即,异步FL)解决了可伸缩性问题。但是,聚合单个客户端更新与安全聚合不兼容,这可能导致系统的隐私级别不理想。为了解决这些问题,我们提出了一种新的缓冲异步聚合方法,FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳属性。我们的经验表明,FedBuff是3.3倍以上的效率比同步FL和高达2.5倍以上的效率比异步FL,同时与诸如安全聚合和差分隐私之类的隐私保护技术兼容。我们在光滑非凸设置中提供理论收敛保证。最后,我们表明,在差异私人培训,FedBuff可以在低隐私设置优于FedAvgM,并实现较高的隐私设置相同的效用。
2022-03-07 cs.LG
FedHypeVAE: Federated Learning with Hypernetwork Generated Conditional VAEs for Differentially Private Embedding Sharing
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
FedHypeVAE通过超网络生成条件VAE实现联邦学习中差分隐私的嵌入共享,兼顾个性化、隐私保护与分布对齐。
2026-01-02 cs.AI cs.CV cs.LG
RCC-PFL: Robust Client Clustering under Noisy Labels in Personalized Federated Learning
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对个性化联邦学习中的噪声标签问题,提出标签无关的一次性聚类算法RCC-PFL,通过数据相似性聚类客户端,减少通信轮次和计算量,提升平均准确率并降低方差。
2025-03-25 cs.DC cs.IT cs.LG
An Element-Wise Weights Aggregation Method for Federated Learning
Swansea University(斯旺西大学);Durham University(杜伦大学)
本文提出EWWA-FL方法,在元素级别聚合本地权重,使客户端逐元素贡献,提升模型准确性和收敛速度。
2024-04-24 cs.CV cs.LG
BlendFL: Blended Federated Learning for Handling Multimodal Data Heterogeneity
\dagger(共同第一作者)
针对联邦学习中多模态数据异构问题,提出混合水平与垂直联邦学习的BlendFL框架,结合去中心化推理与自适应聚合,在医学及多模态基准上取得更优分类性能与更快收敛。
2025-10-15 cs.LG
FedCAP: Robust Federated Learning via Customized Aggregation and Personalization
University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft(微软公司);Lehigh University(里海大学);Florida International University(佛罗里达国际大学)
本文提出FedCAP框架,通过模型更新校准、定制化聚合规则和基于欧几里得范数的异常检测来抵抗数据异质性及拜占庭攻击,并结合客户端个性化进一步提升鲁棒性。
2024-10-16 cs.AI cs.CR cs.LG
BLOSSOM: Block-wise Federated Learning Over Shared and Sparse Observed Modalities
DaSH Lab, BITS Pilani, KK Birla Goa Campus, India(BITS Pilani 去年戈亚校区达什实验室,印度);Queen Mary University of London, United Kingdom(伦敦女王玛丽大学,英国)
BLOSSOM提出一种任务无关的多模态联邦学习框架,通过块级聚合策略实现共享组件聚合与任务特定块保护,提升在模态缺失场景下的性能,实验显示其在模态稀疏情况下性能提升显著。
2026-04-14 cs.DC cs.LG
Federated Learning with Position-Aware Neurons
Nanjing University(南京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
联邦学习(FL)融合了本地节点的协作模型,而不需要集中用户的数据。讨论了神经网络的置换不变性和非独立同分布性。跨客户端的数据使得本地更新的参数不精确地对齐,从而禁用基于坐标的参数平均。传统的神经元不明确考虑位置信息。因此,我们提出位置感知神经元(PAN)作为替代方案,融合位置相关值(即,位置编码)转换成神经元输出。PAN将自己耦合到它们的位置,并最大限度地减少错位的可能性,甚至更新异构数据。我们打开/关闭PAN来禁用/启用神经网络的置换不变性。PAN在应用于FL时与位置紧密耦合,使客户端之间的参数预先对齐并促进基于坐标的参数平均。PAN是算法不可知的,可以普遍改善现有的FL算法。此外,“具有PAN的FL”易于实现并且计算友好。
2022-04-02 cs.CV cs.DC cs.LG