Fairness-aware Agnostic Federated Learning
University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
联邦学习是一种新兴的框架,它使用分布在多个设备上的训练数据构建集中式机器学习模型。以往关于联邦学习的研究主要集中在隐私保护和降低通信成本方面。然而,如何在联邦学习中实现公平性,特别是当测试数据分布与训练分布不同甚至未知时,还没有得到充分的探索和挑战。在集中式模型上引入简单的公平性约束,无法在未知测试数据上实现模型公平性。在本文中,我们开发了一个公平意识的不可知的联邦学习框架(AgnosticFair),以应对未知的测试分布的挑战。我们使用核重权函数在损失函数和公平性约束中为每个训练样本分配一个重权值。因此,基于AgnosticFair构建的集中式模型能够在未知测试数据上实现高精度和公平性的保证。此外,所建立的模型可以直接应用于本地站点,因为它保证了本地数据分布的公平性。据我们所知,这是实现联邦学习公平性的第一项工作。在两个真实数据集上的实验结果表明,在数据转移场景下,该方法在效用和公平性方面都是有效的。
2020-10-10 cs.CY cs.LG
Agnostic Federated Learning
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences, New York(纽约大学库朗数学科学研究所)
大规模应用程序中的一个关键学习场景是联邦学习,其中基于源自大量客户端的数据训练集中式模型。我们认为,通过现有的训练和推理,联邦模型可以偏向于不同的客户端。相反,我们提出了一个新的不可知联邦学习框架,其中集中式模型针对由客户端分布的混合物形成的任何目标分布进行了优化。我们进一步表明,这个框架自然产生公平的概念。我们提出了数据相关的Rademacher复杂性保证学习与此目标,指导定义的算法不可知的联邦学习。我们也给出了一个快速的随机优化算法来解决相应的优化问题,我们证明了收敛界,假设一个凸的损失函数和假设集。我们进一步实证证明了我们的方法在几个数据集的好处。除了联邦学习之外,我们的框架和算法还可以用于其他学习场景,如云计算、领域自适应、漂移以及其他训练和测试分布不一致的环境。
2019-02-01 cs.LG stat.ML
COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication
Washington University in St. Louis(华盛顿大学圣路易斯分校)
COSMOS通过伪标签通信实现服务器端个性化,利用客户端本地模型预测公共数据并聚类,训练集群特定模型并回传知识蒸馏,理论分析显示其能有效降低个性化风险,实验验证其在异构环境中优于现有基线方法。
2026-10-21 cs.LG
One-Shot Clustering for Federated Learning Under Clustering-Agnostic Assumption
KDD Lab National Research Council of Italy(KDD实验室意大利国家研究理事会);KDD Lab Scuola Normale di Pisa(Pisa大学KDD实验室)
针对聚类联邦学习的聚类时机确定问题,提出一种聚类不可知的一次性聚类联邦学习算法OCFL,通过梯度余弦距离和收敛温度度量自动检测聚类时机,在多基准任务上表现优异且无需调参,同时验证了密度聚类的高效性与个性化和可解释性的关联。
2025-09-01 cs.AI cs.LG
GeFL: Model-Agnostic Federated Learning with Generative Models
Samsung Electronics(三星电子);University of Texas at Austin(德克萨斯大学奥斯汀分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对联邦学习中客户端模型异构、边缘设备算力不足及隐私保护需求,提出基于联邦训练生成模型的GeFL框架及特征级改进的GeFL-F,在异构图像分类任务中实现了有竞争力的性能,同时提升了可扩展性与隐私性。
2025-05-17 cs.AI cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Towards Model Agnostic Federated Learning Using Knowledge Distillation
EPFL(洛桑联邦理工学院);UC Berkeley(加州大学伯克利分校)
有没有可能为联邦学习设计一个通用的API,让一组特定的数据持有者(代理)相互协作并执行联邦学习?这样的API必须是模型不可知的,即不对代理使用的模型架构做出任何假设,也不能依赖于手头有代表性的公共数据。知识蒸馏(KD)是设计此类协议的首选工具。然而,令人惊讶的是,我们发现大多数基于KD的自然联邦学习协议的性能很差。为了研究这一点,我们提出了一个新的理论框架,联邦核岭回归,它可以捕捉模型的异质性以及数据的异质性。我们的分析表明,退化很大程度上是由于数据异构下的知识蒸馏的基本限制。我们进一步验证我们的框架,分析和设计新的协议的基础上KD。他们在使用神经网络的真实世界实验中的表现,尽管仍然不令人满意,但与我们的理论预测非常吻合。
2022-05-11 cs.DC cs.LG math.OC
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着人们对数据隐私的日益关注和数据量的快速增长,联邦学习(FL)已成为一种重要的学习范式。然而,在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务,因为与神经网络相关的复杂性,例如跨客户端的不同架构,神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络(FedHeNN)框架,允许每个客户端建立一个个性化的模型,而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化,同时仍然受益于其他(可能更强大的)客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明,FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning
University of Exeter(埃克塞特大学)
本文提出Fed-TaLoRA,通过任务无关适应、后聚合模型校准和策略性低秩适应放置,解决联邦持续微调中的遗忘、参数增长和聚合不一致问题,提升效率。
2026-04-09 cs.LG
FedH2L: Federated Learning with Model and Statistical Heterogeneity
National University of Defense Technology(国防科技大学);The University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
联邦学习(FL)使分布式参与者能够在不牺牲个人数据隐私的情况下集体学习强大的全局模型。主流FL方法要求每个参与者共享一个共同的网络架构,并进一步假设数据是跨参与者采样的IID。然而,在实际部署中,参与者可能需要异构网络架构;并且数据分布几乎可以肯定在参与者之间是不均匀的。为了解决这些问题,我们引入了FedH 2L,它对模型架构不可知,并且对参与者之间的不同数据分布具有鲁棒性。与共享参数或梯度的方法相比,FedH 2L依赖于相互蒸馏,仅以分散的方式在参与者之间交换共享种子集的后验。这使得它具有极高的带宽效率,模型不可知性,并且在从异构孤岛中学习时,关键是生成能够在整个数据分布上表现良好的模型。
2021-07-27 cs.AI cs.LG
Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出FedProTIP框架,通过随机奇异值分解提取客户端共享任务子空间,并利用梯度投影减少任务间干扰,实现无重放、任务无关的联邦持续学习。
2026-06-23 cs.LG
ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning
Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, Canada(电气与计算机工程系,不列颠哥伦比亚大学);Department of Computer Science and Engineering, Southern University of Science and Technology, China(计算机科学与工程系,南方科技大学)
ASFL框架通过自适应模型分割和资源分配优化,在无线网络中提升联邦学习的收敛速度和效率。
2026-02-19 cs.AI cs.LG
Convergence of Agnostic Federated Averaging
Department of ECE---Yale University(耶鲁大学电子工程系)
针对客户端间歇性且概率未知参与的实际挑战,本文严格证明了一般非均匀随机参与下agnostic FedAvg算法在凸非光滑损失上的O(1/√T)收敛性,并实验证实其优于加权聚合变体。
2025-07-14 cs.DC cs.LG eess.SP
Federated Neural Architecture Search with Model-Agnostic Meta Learning
University of Toronto(多伦多大学);University of Virginia(弗吉尼亚大学)
本文提出 FedMetaNAS,将模型无关元学习与联邦神经架构搜索结合,通过 Gumbel-Softmax 松弛和软剪枝加速搜索并免去重训练,相比 FedNAS 加速超 50% 且准确率更高。
2025-04-08 cs.AI cs.DC cs.LG
Improving Federated Learning Personalization via Model Agnostic Meta Learning
University of Washington(华盛顿大学);Google Research(谷歌研究院)
联邦学习(FL)是指基于分散的数据存储来学习高质量的全局模型,而无需复制原始数据。一个自然的场景出现了由移动电话用户的活动在移动电话上创建的数据。考虑到这种情况下典型的数据异构性,很自然地会问如何为每个这样的设备单独定制全局模型。在这项工作中,我们指出,设置模型不可知的元学习(MAML),其中一个优化的快速,基于梯度的,Few-Shot适应异构分布的任务,有一些相似之处与FL的个性化的目标。我们提出FL作为一个自然的源MAML算法的实际应用,并作出以下观察。1)流行的FL算法,联邦平均,可以被解释为一个元学习算法。2)仔细的微调可以产生更高精度的全局模型,同时更容易个性化。然而,仅针对全局模型准确性进行优化会产生较弱的个性化结果。3)使用标准数据中心优化方法训练的模型比使用联合平均训练的模型更难个性化,这支持了第一个说法。这些结果为FL,MAML和更广泛的ML研究提出了新的问题。
2023-01-18 cs.LG stat.ML
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning
Texas A&M University(德克萨斯农工大学);The University of Iowa(爱荷华大学);University at Albany(奥尔巴尼大学)
本文提出基于记忆的MAML随机优化算法,以恒定任务与样本采样实现误差趋零收敛,并给出通信高效的个性化联邦学习版本。
2023-04-24 cs.LG
ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices
University of Florida(佛罗里达大学);Shandong University(山东大学);University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
针对联邦学习中设备与服务器资源高效利用的难题,提出高效拆分联邦学习算法ESFL,通过拆分模型并联合优化用户侧负载与服务器资源分配,在异构设备场景下显著提升学习效率。
2024-04-17 cs.AI cs.LG cs.NI
HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation
Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong SAR, China(电子与计算机工程系,香港大学,香港特别行政区,中国)
提出HO-SFL框架,通过拉格朗日框架重构分割学习,服务器执行一阶更新而客户端进行零阶优化,实现无反向传播客户端、维度无关聚合,理论证明收敛速度与一阶方法相当,实验验证通信和内存成本显著降低。
2026-09-29 cs.AI cs.LG
Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习(FL)是目前最广泛采用的用于在隐私约束下协作训练(深度)机器学习模型的框架。尽管联邦学习很受欢迎,但据观察,如果本地客户端的数据分布出现分歧,它会产生次优结果。为了解决这个问题,我们提出了一种新的联邦多任务学习(FMTL)框架,即分布式联邦学习(CFL),它利用FL损失表面的几何特性,将客户端群体分组为具有联合可训练数据分布的集群。与现有的FMTL方法相比,CFL不需要对FL通信协议进行任何修改,适用于一般的非凸目标(特别是深度神经网络),并且具有对聚类质量的强数学保证。CFL足够灵活,可以处理随时间变化的客户端人群,并且可以以隐私保护的方式实现。由于只有在联邦学习收敛到一个固定点后才执行聚类,因此CFL可以被视为一种后处理方法,通过允许客户端到达更专业的模型,它始终可以实现比传统FL更高或相等的性能。我们在常用的联邦学习数据集上使用深度卷积和递归神经网络进行实验,验证了我们的理论分析。
2019-10-04 cs.DC cs.LG stat.ML
Model-Agnostic Federated Learning
University of Turin(都灵大学);University of Verona(维罗纳大学)
针对现有联邦学习框架仅支持深度神经网络的局限,提出MAFL,结合AdaBoost.F算法与Intel OpenFL框架,实现首个模型无关的FL系统,支持64节点并实现5.5倍加速。
2023-10-18 cs.DC cs.LG
BESplit: Bias-Compensated Split Federated Learning with Evidential Aggregation
MoE Key Laboratory of Interdisciplinary Research of Computation(交叉计算与经济学 interdisciplinary 研究 MOE 重点实验室);Shanghai University of Finance(上海财经大学)
本文提出BESplit框架,通过证据聚合和偏差补偿协作来解决非独立同分布数据下分割联邦学习的偏差优化和收敛不稳定问题,提升了模型的准确性和效率。
2026-11-03 cs.AI cs.LG
SCALA: Split Federated Learning with Concatenated Activations and Logit Adjustments
school of Electronic and Information Engineering, South China University of Technology(电子与信息工程学院,华南理工大学)
SCALA通过拼接客户端激活和logit调整,解决联邦学习中标签分布偏斜问题,提升模型性能。
2025-12-25 cs.AI cs.LG
DRAUN: An Algorithm-Agnostic Data Reconstruction Attack on Federated Unlearning Systems
Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎赫尔分校网络安全中心)
本文提出首个针对联邦遗忘系统的数据重建攻击框架DRAUN,从理论和实验上证明现有联邦遗忘方法存在隐私漏洞,可被恶意服务器利用遗忘更新重建被移除的数据。
2025-06-02 cs.LG
Federated Reconstruction: Partially Local Federated Learning
Google Research(谷歌研究院)
联邦学习中的个性化方法旨在平衡联邦和本地训练在数据可用性、通信成本和对客户端异构性的鲁棒性方面的优势。由于隐私和通信约束,要求客户端传送所有模型参数的方法可能是不可取的。其他方法需要始终可用或有状态的客户端,这在大规模跨设备设置中不切实际。我们介绍了联邦重建,第一个模型无关的框架,部分本地联邦学习适合大规模的训练和推理。我们通过与模型无关的元学习的连接来激励框架,经验性地展示了其在现有的协作过滤和下一个单词预测方法上的性能,并发布了一个开源库来评估这种设置中的方法。我们还描述了这种方法的成功部署在规模上的联合协同过滤在移动键盘应用程序。
2022-04-27 cs.DC cs.LG
HealSplit: Towards Self-Healing through Adversarial Distillation in Split Federated Learning
针对拆分联邦学习易受数据投毒攻击、现有防御效果不佳的问题,本文提出定制化统一防御框架HealSplit,结合拓扑异常检测、生成式恢复与对抗多教师蒸馏,在多场景下防御表现优于十种现有最优方法。
2025-11-14 cs.AI cs.LG
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究针对联邦学习易受后门攻击的问题,提出服务器端数据无关后门攻击模型DABS,直接修改全局模型实现攻击,实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
FedSplitX: Federated Split Learning for Computationally-Constrained Heterogeneous Clients
KAIST(韩国科学技术院);Myongji University(明知大学)
FedSplitX是一种新型联邦学习框架,通过在多个分区点拆分模型并引入辅助网络,解决异构客户端计算受限问题,有效利用服务器算力训练大模型并降低通信成本。
2023-10-23 cs.AI cs.LG
TOFD: Target-Oriented Feature Decoupling against Poisoning Attacks in Split Federated Learning
Shanghai University of Finance and Economics(上海财经大学)
针对分裂式联邦学习的投毒攻击,本文提出TOFD框架,通过目标推理、样本净化、解耦优化三阶段防御,在五个数据集上优于现有最优防御,鲁棒性高且开销低,适用于实际部署。
2026-08-10 cs.AI cs.LG
Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach
Rochester Institute of Technology(罗切斯特理工学院);Purdue University(普渡大学)
针对分割联邦学习中的掉队者问题,提出MU-SplitFed算法,通过不平衡更新机制解耦训练进度与延迟,实现非凸目标下的线性加速,实验验证其有效性。
2025-10-24 cs.AI cs.DC cs.LG
SplitAVG: A heterogeneity-aware federated deep learning method for medical imaging
Stanford University(斯坦福大学);Athinoula A. Martinos Center for Biomedical Imaging(阿西努拉·A·马丁诺斯生物医学成像中心);Massachusetts General Hospital(马萨诸塞州综合医院)
联邦学习是一种新兴的研究范式,用于在不共享患者数据的情况下协作训练深度学习模型。然而,来自不同机构的数据通常是异构的,这可能会降低使用联邦学习训练的模型的性能。在这项研究中,我们提出了一种新的异质性感知的联邦学习方法,SplitAVG,以克服性能下降的数据异质性在联邦学习。与以前需要复杂的启发式训练或超参数调整的联邦方法不同,我们的SplitAVG利用简单的网络分割和特征映射拼接策略来鼓励联邦模型训练目标数据分布的无偏估计器。我们将SplitAVG与七种最先进的联邦学习方法进行了比较,使用集中托管的训练数据作为合成和真实世界联邦数据集的基线。我们发现,使用所有比较联邦学习方法训练的模型的性能随着数据异构程度的增加而显着下降。相比之下,SplitAVG方法在所有异质设置下实现了与基线方法相当的结果,即在高度异质的数据分区上,它分别在糖尿病视网膜病变二元分类数据集和骨龄预测数据集中实现了由基线获得的96.2%的准确度和110.4%的平均绝对误差。我们得出结论,SplitAVG方法可以有效地克服跨机构的数据分布的可变性的性能下降。实验结果还表明,SplitAVG可以适应不同的基础网络,并推广到各种类型的医学成像任务。
2022-04-10 cs.LG eess.IV
Combined Federated and Split Learning in Edge Computing for Ubiquitous Intelligence in Internet of Things: State of the Art and Future Directions
Pennsylvania State University(宾夕法尼亚州立大学);Fudan University(复旦大学)
联合学习(Federated Learning,FL)和分裂学习(Split Learning,SL)是两种新兴的协作学习方法,可以极大地促进物联网(Internet of Things,IoT)中的泛在智能。联邦学习使使用私有数据本地训练的机器学习(ML)模型能够聚合成全局模型。拆分学习允许ML模型的不同部分在学习框架中的不同工作者上进行协作训练。联邦学习和分裂学习各有其独特的优势和各自的局限性,可以相互补充,共同实现物联网中的泛在智能。因此,联邦学习和分裂学习的结合成为近年来一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联邦学习和分离学习的最新发展,并对在基于边缘计算的物联网环境中结合这两种学习方法的最新技术进行了调查。我们还确定了一些开放的问题,并讨论了在这一领域的未来研究的可能方向,希望进一步引起研究界对这一新兴领域的兴趣。
2022-07-20 cs.DC cs.LG
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University(西蒙弗雷泽大学)
本文提出SplitFedZip方法,通过学习型压缩技术有效降低SplitFed学习中的数据传输量,在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training
本文提出一种分割联邦学习架构,通过联合优化问题提升模型准确性,同时减少训练延迟和通信开销。
2026-03-09 cs.AI cs.LG
Advancements of federated learning towards privacy preservation: from federated learning to split learning
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61)
在分布式协作机器学习(DCML)范式中,联邦学习(FL)最近因其在健康,金融以及工业4.0和智能汽车等最新创新中的应用而备受关注。FL通过设计提供隐私。它在多个分布式客户端(从两个到数百万个)(如手机)上协作训练机器学习模型,而不与任何其他参与者共享原始数据。在实际场景中,并非所有客户端都具有足够的计算资源(例如,物联网),机器学习模型具有数百万个参数,并且在训练/测试时其在服务器和客户端之间的隐私是主要关注的(例如,竞争对手)。在这方面,FL是不够的,所以引入了分裂学习(SL)。SL在这些场景中是可靠的,因为它将模型分成多个部分,将它们分布在客户端和服务器之间,并训练/测试它们各自的模型部分以完成完整的模型训练/测试。在SL中,参与者不与任何其他方共享数据及其模型部分,并且通常将较小的网络部分分配给数据所在的客户端。最近,引入了FL和SL的混合,称为splitfed learning,以提升FL(更快的训练/测试时间)和SL(模型分割和训练)的优势。根据从外语到外语的发展,并考虑到外语的重要性,本章旨在提供外语及其变体的广泛覆盖。覆盖面包括基本面,现有的调查结果,与隐私措施,如差分隐私,开放的问题,和代码实现的集成。
2020-11-25 cs.AI cs.CR cs.LG
Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems
University of Warwick(华威大学);South China University of Technology(华南理工大学);Shenzhen University(深圳大学)
移动边缘计算(MEC)结合了云、边缘节点和终端设备,在使数据处理更接近数据源方面显示出巨大的潜力。与此同时,联邦学习(FL)已经成为促进AI应用的一种有前途的隐私保护方法。然而,它仍然是一个很大的挑战,以优化效率和有效性的FL时,它与MEC架构集成。此外,不可靠的性质(例如,离散和间歇性辍学)的终端设备显着放缓FL过程,并影响全球模型的质量辛这种情况下。在本文中,多层联邦学习协议称为HybridFL设计的MEC架构。HybridFL采用边缘层和云层两个层次的模型聚合,并制定了不同的聚合策略。此外,为了减轻掉队者和终端设备辍学,我们引入区域松弛因素的边缘节点使用概率的方法,而不识别或探测终端设备的状态(其可靠性是不可知的)的客户端选择的阶段。我们证明了我们的方法在调制的客户端选择的比例的有效性,并提出了我们的协议的收敛性分析。我们已经进行了广泛的实验,机器学习任务在不同规模的MEC系统。结果表明,HybridFL显著改善了FL训练过程,缩短了联邦轮长度,加快了全局模型的收敛速度(高达12倍),并降低了终端设备的能耗(高达58%)。
2021-04-23 cs.DC cs.LG eess.SP
FedeRage: Provably Convergent Agnostic Federated Learning under General Client Drift
针对客户端参与概率未知且数据异构的联邦学习,提出风险规避平均算法FedeRage,嵌入CVaR提升高损失和低频客户端权重,实现可证明收敛并在准确率、公平性和速度上超越现有方法。
2026-09-21 cs.DC cs.LG cs.SY
SplitFed: When Federated Learning Meets Split Learning
CSIRO Data61(联邦科学与工业研究组织Data61);Lehigh University(理海大学)
联邦学习(FL)和分裂学习(SL)是两种流行的分布式机器学习方法。两者都遵循模型到数据的场景;客户端训练和测试机器学习模型,而无需共享原始数据。由于客户端和服务器之间的机器学习模型架构分离,SL提供了比FL更好的模型隐私。此外,拆分模型使SL成为资源受限环境的更好选择。然而,由于跨多个客户端的基于中继的训练,SL比FL执行得慢。在这方面,本文提出了一种新的方法,命名为splitfed学习(SFL),合并这两种方法消除其固有的缺点,以及一个完善的架构配置,结合差分隐私和PixelDP,以提高数据隐私和模型的鲁棒性。我们的分析和实证结果表明,(纯)SFL提供了类似的测试精度和通信效率的SL,同时显着降低其计算时间比在SL的多个客户端的每个全球性的时代。此外,如在SL中,其在FL上的通信效率随着客户端的数量而提高。此外,在扩展的实验环境下,进一步评估了SFL的隐私性和鲁棒性。
2022-02-16 cs.LG
Federated Split Learning for Human Activity Recognition with Differential Privacy
University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校)
本文提出一种基于差分隐私的联邦分割学习框架FSL-DP,利用加速度计和陀螺仪数据提升人类活动识别准确性,在准确率、损失和通信效率上优于传统联邦学习,并平衡了隐私与性能。
2024-11-09 cs.AI cs.CR cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学梅尔德分校);The University of Hong Kong(香港大学)
本文提出SplitFT系统,通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能,实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
Federated Split Learning with Only Positive Labels for resource-constrained IoT environment
Munster Technological University(芒斯特理工大学);Commonwealth Scientific and Industrial Research Organization (CSIRO)(联邦科学与工业研究组织(CSIRO));Data61
针对资源受限物联网设备仅含正标签数据导致联邦分割学习模型不收敛的问题,提出SFPL,通过随机洗牌和局部批量归一化,显著提升多分类性能。
2023-07-25 cs.AI cs.LG
Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning
本文系统分析分割联邦学习中切分层选择对客户端能耗与隐私的影响,并通过示例展示在能量预算约束下降低原始数据重建风险的权衡策略。
2024-05-03 cs.AI cs.CR cs.LG
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Indian Institute of Technology Patna(印度理工学院帕特纳分校)
提出FLsim,一个模块化、与库无关的联邦学习仿真框架,支持定制数据分布、本地算法选择、网络拓扑、聚合算法及区块链支持,有效模拟多样化FL实验。
2025-07-15 cs.DC cs.LG
Data-Agnostic Model Poisoning against Federated Learning: A Graph Autoencoder Approach
University of Cambridge(剑桥大学);Real-Time and Embedded Computing Systems Research Centre (CISTER)(实时与嵌入式计算系统研究中心(CISTER));CyLab Security and Privacy Institute, Carnegie Mellon University(卡内基梅隆大学CyLab安全与隐私研究所);Commonwealth Scientific and Industrial Research Organization (CSIRO)(联邦科学与工业研究组织(CSIRO));Koç University(科奇大学);Princeton University(普林斯顿大学)
本文提出一种基于图自编码器的数据无关模型投毒攻击,无需知晓联邦学习训练数据即可生成难以检测的恶意本地模型,导致全局模型准确率持续下降并感染所有良性设备。
2023-11-30 cs.CR cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology(麻省理工学院)
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下,每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景,并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型(1 M-6 M参数),大模型(10 M-200 M参数)和超大模型(10亿-1000亿参数)的设置。我们发现,增加客户端的数量或增加模型的大小有利于分裂学习设置联邦,而增加数据样本的数量,同时保持客户端的数量或模型的大小低,使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Federated Split BERT for Heterogeneous Text Classification
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
预训练的BERT模型在许多自然语言处理(NLP)任务中取得了令人印象深刻的性能。然而,在许多现实情况下,文本数据通常分散在许多客户端上,并且由于隐私保护和法规而无法上传到中央服务器。联邦学习(FL)使多个客户端协作训练一个全局模型,同时保持本地数据的隐私。一些研究已经在联邦学习环境中研究了BERT,但是异构(例如,非IID)数据仍然未被充分探索。为了解决这个问题,我们提出了一个框架,FedSplitBERT,它处理异构数据,并通过将BERT编码器层分为局部部分和全局部分来降低通信成本。局部部分参数仅由局部客户端训练,而全局部分参数通过聚合多个客户端的梯度来训练。由于BERT的庞大规模,我们探索了一种量化方法,以进一步降低通信成本,以最小的性能损失。我们的框架是现成的,并兼容许多现有的联邦学习算法,包括FedAvg,FedProx和FedAdam。我们的实验验证了该框架的有效性,它优于基线方法的显着保证金,而量化的FedSplitBERT可以减少$11.9\times$的通信成本。
2022-05-26 cs.AI cs.CL cs.LG
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题,提出SFPrompt方法,结合分割学习与联邦学习,引入软提示、数据集剪枝和本地损失更新策略,在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Privacy and Efficiency of Communications in Federated Split Learning
Boston University(波士顿大学);Saint Louis University(圣路易斯大学)
每天,大量的敏感数据分布在手机、可穿戴设备和其他传感器上。传统上,这些庞大的数据集是在一个系统上处理的,复杂的模型被训练来做出有价值的预测。最近开发了分布式机器学习技术,例如联合学习和分裂学习,以在确保高性能的同时更好地保护用户数据和隐私。这两种分布式学习架构各有优缺点。在本文中,我们研究了这些权衡,并提出了一种新的混合联邦分裂学习架构,结合了两者的效率和隐私优势。我们的评估展示了我们的混合联合分裂学习方法如何降低运行分布式学习系统的每个客户端所需的处理能力,减少训练和推理时间,同时保持类似的准确性。我们还讨论了我们的方法对深度学习隐私推理攻击的弹性,并将我们的解决方案与其他最近提出的基准进行了比较。
2023-01-07 cs.CR cs.DC cs.LG
Efficient Resource Optimization for Split Federated Learning
the University of Hong Kong(香港大学)
针对拆分联邦学习中混合整数优化难题,提出资源受限网络下的高效优化框架,联合优化模型拆分与资源分配,实现能耗-延迟最优权衡,可适配大规模用户场景。
2026-08-19 cs.LG
Hybrid Federated and Split Learning for Privacy Preserving Clinical Prediction and Treatment Optimization
Dept. of Information Technology, Washington University of Science and Technology(信息科技系,华盛顿科学大学)
本文提出混合联邦与分割学习方法,通过保留客户端特征提取和服务器预测头部,实现隐私保护下的临床预测与治疗优化,兼顾隐私与效用的平衡。
2026-02-17 cs.AI cs.LG
SplitGP: Achieving Both Generalization and Personalization in Federated Learning
Purdue University(普渡大学);KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
提供边缘人工智能服务的一个根本挑战是需要一个机器学习(ML)模型来实现个性化(即,到个人客户端)和一般化(即,到不可见的数据)属性。联邦学习(FL)中的现有技术在这些目标之间遇到了急剧的权衡,并且在训练和推理期间对边缘设备施加了大量的计算要求。在本文中,我们提出了SplitGP,这是一种新的分割学习解决方案,可以同时捕获泛化和个性化功能,以便在资源受限的客户端(例如,移动/IoT设备)。我们的关键思想是将完整的ML模型分为客户端和服务器端组件,并为它们施加不同的角色:客户端模型经过训练,具有针对每个客户端的主要任务进行优化的强大个性化能力,而服务器端模型经过训练,具有处理所有客户端的分发任务的强大泛化能力。我们分析了SplitGP的收敛行为,揭示了所有客户端模型渐近地接近稳定点。此外,我们分析了SplitGP中的推理时间,并提供了确定模型分割比的界限。实验结果表明,SplitGP优于现有的基线,在推理时间和测试精度的大幅利润率为不同数量的分布外的样本。
2023-02-11 cs.LG
When Is Shallow Enough? Adaptive Split Federated Learning with Client-Specific Sufficiency Estimation
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
针对拆分联邦学习中静态拆分策略无法适配客户端异质性的问题,提出FedSGA框架,通过客户端特定充分性估计实现自适应拆分,提升模型性能并降低客户端计算量。
2026-08-21 cs.AI cs.DC cs.LG
HARMONY: Bridging the Personalization-Generalization Gap by Mitigating Representation Skew in Heterogeneous Split Federated Learning
Department of ECE and INMC, Seoul National University, Seoul, South Korea(首尔国立大学电子与信息科学系及网络信息中心,首尔,韩国);Graduate School of Data Science, Seoul National University, Seoul, South Korea(首尔国立大学数据科学研究生院,首尔,韩国);Department of Computer Science, University of Colorado Boulder, CO, USA(科罗拉多大学博尔德分校计算机科学系,科罗拉多州,美国)
HARMONY通过减轻异构分裂联邦学习中的表示偏移,实现个性化与泛化之间的平衡,提升OOD预测精度,同时保持低延迟。
2026-05-08 cs.AI cs.LG
Heterogeneous Datasets for Federated Survival Analysis Simulation
Politecnico di Milano(米兰理工大学);Technische Universität Dresden(德累斯顿工业大学)
生存分析研究人群中发生的感兴趣事件的时间建模技术。生存分析在医疗保健、工程和社会科学中得到了广泛的应用。然而,训练生存模型所需的数据往往是分布式的,不完整的,审查,和机密。在这种情况下,可以利用联邦学习来极大地提高在分布式数据上训练的模型的质量,同时保护用户隐私。然而,联邦生存分析仍处于早期发展阶段,并且没有通用的基准数据集来测试联邦生存模型。这项工作提供了一种新的技术,通过以可复制的方式从现有的非联邦数据集开始构建真实的异构数据集。具体来说,我们提出了两个基于Dirichlet分布的数据集分裂算法,将每个数据样本分配给精心选择的客户端:数量偏斜分裂和标签偏斜分裂。此外,这些算法允许通过改变单个超参数来获得不同水平的异质性。最后,数值实验提供了一个定量评估的异质性水平,使用对数秩检验和定性分析所产生的分裂。所提出的方法的实施是公开的,有利于可重复性,并鼓励共同的做法,模拟联邦环境的生存分析。
2023-02-21 cs.LG
A Novel Collaborative Framework for Efficient Synchronization in Split Federated Learning over Wireless Networks
Department of Electrical and Computer Engineering, Concordia University(电气与计算机工程系,康科迪亚大学);Department of Physics and Computer Science, Faculty of Science, Wilfrid Laurier University(物理与计算机科学系,科学学院,威尔弗里德·劳里埃大学)
针对无线网络中分割联邦学习因设备异构导致的同步效率低下问题,提出协作分割联邦学习框架,通过设备间协作卸载计算,显著降低训练延迟且不损收敛与精度。
2025-10-07 cs.LG