An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University(大湾大学);Peking University(北京大学)
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题,提出高效子空间算法FedSub,通过子空间投影和低维对偶变量解决问题,经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University(乔治华盛顿大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题,提出统一异构联邦学习框架并首次给出一般收敛性分析,同时引入最小覆盖指数和模型缩减噪声,以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
Federated Bilevel Performative Prediction
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Washington State University(华盛顿州立大学)
研究联邦学习中客户端数据分布受决策影响的双层优化问题,提出联邦双层执行稳定点概念及两种求解方法,实验验证了稳定性阈值和元泛化提升。
2026-06-19 cs.LG
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Huazhong University of Science and Technology(华中科技大学);Lehigh University(理海大学)
最近的联邦学习(FL)范例的一个基本假设是,所有本地模型通常共享相同的网络架构和大小,这对于具有不同硬件资源的设备来说是不切实际的。一个可扩展的联邦学习框架应该解决客户端具有不同计算能力和通信能力的异构性。为此,本文提出了一种新的异构联邦模型压缩框架FedHM,将异构的低秩模型分发给客户端,然后聚合成一个满秩模型。我们的解决方案能够训练具有不同计算复杂性的异构模型,并将它们聚合到一个全局模型中。此外,FedHM显着降低了通信成本,通过使用低秩模型。大量的实验结果表明,FedHM是优越的性能和不同大小的模型的鲁棒性,与国家的最先进的异构FL方法在各种FL设置。此外,FL的异构设备的收敛保证进行了理论分析。
2022-05-26 cs.AI cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学);Sony AI(索尼人工智能);North Carolina State University(北卡罗来纳州立大学)
本文提出pFedHR框架,通过异构模型重组将个性化建模为服务器端模型匹配优化问题,自动生成多样化候选模型,在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong(香港大学)
联邦学习(FL)能够管理边缘设备以协作地训练模型,同时保持训练数据本地和私有。FL中的一个常见假设是,所有边缘设备在训练中共享相同的机器学习模型,例如,相同的神经网络架构。然而,不同设备的计算和存储能力可能不同。此外,减少通信开销可以提高训练效率,但它仍然是一个具有挑战性的问题,在FL。在本文中,我们提出了一种新的FL方法,称为FedHe,灵感来自知识蒸馏,它可以训练异构模型,并支持异步训练过程,显着减少通信开销。我们的分析和实验结果表明,我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data
Clemson University(克莱姆森大学)
针对异构数据下联邦学习的客户端漂移问题,提出FedCET算法,通过学习率加权客户端信息消除漂移,仅共享单个变量实现线性收敛与通信高效,数值实验验证其有效性。
2025-03-20 cs.LG math.OC
Subspace Optimization for Efficient Federated Learning under Heterogeneous Data
Peking University(北京大学);Beihang University(北航)
本文提出子空间优化方法SSF,通过低维子空间进行异构性校正优化,降低通信和内存开销,实现非渐近收敛率和异构数据下的高效联邦学习。
2026-04-28 cs.LG math.OC
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University(南开大学);Nanyang Technological University(南洋理工大学);University of British Columbia (UBC)(不列颠哥伦比亚大学(UBC))
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题,提出pFedLoRA框架,通过同构小型适配器实现全局-局部知识交换迭代训练,在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Michigan State University (MSU)(密歇根州立大学)
针对联邦学习中极端数据异质性导致的收敛障碍,提出FedPeWS方法,通过预热阶段让参与者学习个性化掩码并更新子网络,再切换至标准联邦优化,提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
PracMHBench: Re-evaluating Model-Heterogeneous Federated Learning Based on Practical Edge Device Constraints
School of Computer Science , Beijing University of Posts and Telecommunications , Beijing, China(计算机学院,北京邮电大学,北京,中国)
针对现有模型异构联邦学习算法缺乏实际边缘设备约束下的评估,构建平台PracMHBench,分类测试多种算法,揭示其适用性与异构模式。
2025-09-04 cs.DC cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory(阿贡国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMWare Research(威睿研究院);The University of Chicago(芝加哥大学)
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题,提出带算力感知调度器的半异步算法FedCompass,兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Completely Heterogeneous Federated Learning
Shanghai Jiao Tong University(上海交通大学)
联邦学习面临着三大困难:跨领域、异构模型和非独立同分布。为场景添加标签。现有的FL方法无法同时处理上述三个约束,并且需要降低隐私保护的级别(例如,可以共享模型体系结构和数据类别分布)。在这项工作中,我们提出了具有挑战性的“完全异构”的情况下,FL,这是指每个客户端不会暴露任何私人信息,包括特征空间,模型架构,标签分布。然后,我们设计了一个基于参数解耦和无数据知识蒸馏的FL框架来解决这个问题。实验表明,我们提出的方法在完全异构的情况下,其他方法失败,实现了高性能。
2022-10-28 cs.CR cs.DC cs.LG
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);School of Engineering, Westlake University(西湖大学工程学院);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题,系统比较了多种联邦聚合方法,并提出CNN-SNN融合框架,在MNIST数据集上取得最佳性能,同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University(北京航空航天大学);Kuaishou Technology(快手科技)
联邦学习旨在保护用户的隐私,同时执行来自不同参与者的数据分析。然而,由于各种计算能力和通信瓶颈,在异构系统上保证训练效率具有挑战性。在这项工作中,我们提出FedSkel,通过只更新模型的基本部分(称为骨架网络),在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明,该算法在保证训练精度的前提下,可使CONV层的反向传播速度提高到5.52 $\times$,整个训练过程的速度提高到1.82 $\times$,通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架,解决系统异构性、通信开销和资源调度问题,实现高可扩展性和容错性,适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)(青岛软件研究所、计算机科学与技术学院、中国石油大学(华东));the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software(山东省智能石油与天然气工业软件重点实验室);National University of Singapore(新加坡国立大学)
针对现有个性化联邦学习方法在模型异构场景下的局限,提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架,在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出 HypeMeFed 框架,通过多出口网络与超网络权重生成结合低秩分解,在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);Michigan State University(密歇根州立大学)
联邦学习(FL)是一种流行的分布式学习模式,它从一组参与用户中学习模型,而无需共享原始数据。FL的一个主要挑战来自异构用户,这些用户可能具有分布不同(或非iid)的数据和不同的计算资源。由于联邦用户将使用模型进行预测,他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练(AT)为集中式学习提供了一个良好的解决方案,但将其用于联合用户带来了重大挑战,因为许多用户可能只有非常有限的训练数据和紧张的计算预算,以负担数据饥饿和昂贵的AT。在本文中,我们研究了一种新的FL策略:在联邦学习过程中,将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现,现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略,并提出了一个有效的传播方法,通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是,所提出的方法被证明是授予联邦模型显着的鲁棒性,即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London(伦敦国王学院)
尽管联邦学习近年来取得了许多突破性进展,但学习环境的异构性极大地限制了其性能,阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战,这通常会导致训练过程不稳定和精度下降。在此,我们提出了应对这些挑战的战略。针对异构数据分布,我们提出了一种新的自适应混合聚合(AMA)方案,将前几轮的模型更新与当前轮混合,以避免大的模型偏移,从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后,我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器(FES),让计算有限的设备更新只有分类器。仿真结果表明,所提出的框架优于现有的最先进的解决方案,并提高了测试精度和训练稳定性分别高达2.38%,93.10%。此外,所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下,没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data
KTH Royal Institute of Technology(皇家理工学院);UC Berkeley(加州大学伯克利分校);The Chinese University of Hong Kong(香港中文大学)
针对异质客户端数据下紧致光滑子流形上的非凸联邦学习问题,提出融合随机黎曼梯度、流形投影与局部更新的算法,证明其次线性收敛并显著降低计算与通信开销。
2024-06-12 cs.DC cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
在联邦优化中,客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致,即全局模型收敛到不匹配目标函数的稳定点,该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法,如FedAvg和FedProx,并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓,由于客观的不一致性。利用这种分析的见解,我们提出了FedNova,一种归一化的平均方法,消除了客观的不一致性,同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
Dual-Distilled Heterogeneous Federated Learning with Adaptive Margins for Trainable Global Prototypes
FedProtoKD通过双知识蒸馏和自适应边距解决异构联邦学习中的原型边距缩小问题,提升模型性能。
2025-12-19 cs.DC cs.LG
Federated Learning with Superquantile Aggregation for Heterogeneous Data
CNRS(法国国家科学研究中心);University of Washington(华盛顿大学);Google Research(谷歌研究院);Rutgers University(罗格斯大学)
提出基于超分位数学习目标的联邦学习框架,结合差分隐私客户端过滤与联邦平均,在异构数据下提供收敛保证并改善误差尾部统计量。
2022-12-06 cs.LG math.OC stat.ML
Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection
在联邦学习的研究中,用户选择策略被广泛用于解决交流效率问题。然而,由于所选择的子集的更新的大的方差,先验选择方法与有限的采样率不能在异构FL的收敛性和准确性。为了解决这个问题,在本文中,我们提出了一种新的分层客户端选择方案,以减少追求更好的收敛性和更高的精度的方差。具体来说,为了减轻异质性的影响,我们开发了基于客户的本地数据分布的分层,以获得近似的同质层,以便在每个层中进行更好的选择。集中在一个有限的抽样率的情况下,我们接下来提出了一个优化的样本量分配方案,考虑到阶层的变异性的多样性,与进一步减少方差的承诺。在理论上,我们阐述了不同的选择方案之间的显式关系的方差,在异构设置下,我们证明了我们的选择方案的有效性。实验结果证实,我们的方法不仅允许更好的性能相对于国家的最先进的方法,但也与流行的FL算法兼容。
2022-04-27 cs.DC cs.LG
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University(台湾大学);Silesian University of Technology(西里西亚工业大学)
本文提出一种异构联邦学习系统,通过稠密/稀疏特征张量处理稀疏医疗时间序列,实现异步网络共享与知识迁移,在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features
Zhejiang Lab(之江实验室);Xiamen University(厦门大学)
联邦学习(FL)为分布式机器学习任务提供了一种隐私保护解决方案。在实际的FL应用中,经常出现的数据异构性和长尾分布的共存是严重损害FL模型性能的一个挑战性问题。在本文中,我们揭示了一个有趣的事实,有偏见的分类器是导致全局模型性能不佳的主要因素。受上述发现的启发,我们提出了一种新的隐私保护FL方法,用于异构和长尾数据,通过联邦特征分类器再训练(CReFF)。在联邦特征上重新训练的分类器可以以隐私保护的方式产生与在真实数据上重新训练的分类器相当的性能,而不会泄漏本地数据或类分布的信息。在多个基准数据集上的实验表明,CReFF是一种有效的解决方案,可以在异构和长尾数据下获得有前途的FL模型。与最先进的FL方法的比较结果也验证了CReFF的优越性。我们的代码可在https://github.com/shangxinyi/CReFF-FL上获得。
2022-04-28 cs.LG
Cross-Silo Heterogeneous Model Federated Multitask Learning
UESTC(电子科技大学);Pengcheng Laboratory(鹏城实验室);Agile and Intelligent Computing Key Laboratory of Sichuan Province(四川省敏捷与智能计算重点实验室);Mohamed Bin Zayed University Of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
联邦学习(FL)是一种机器学习技术,它使参与者能够协作训练高质量的模型,而无需交换他们的私人数据。使用跨筒仓联邦学习(CS-FL)设置的参与者是具有不同任务需求的独立组织,他们不仅关注数据隐私,而且出于知识产权考虑,他们还独立训练自己独特的模型。大多数现有的FL方法无法满足上述场景。在这项研究中,我们提出了一种新的联邦学习方法CoFED的基础上未标记的数据伪标记通过一个过程称为协同训练。CoPED是一种与异构模型、任务和培训流程兼容的联邦学习方法。实验结果表明,该方法优于竞争的。这对于非独立和同分布的设置和异构模型尤其如此,其中所提出的方法实现了35%的性能改进。
2022-08-18 cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);Accenture Labs(埃森哲实验室)
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案,通过引入随机聚合权重来表示客户端更新时间的可变性,例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置,客户端具有异构数据集,并执行至少一个步骤的随机梯度下降(SGD)。我们证明了这样一个计划的收敛性,并提供了足够的条件,相关的最小是最佳的联邦问题。我们表明,我们的一般框架适用于现有的优化方案,包括集中式学习,FedAvg,异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是,我们在这项工作中开发FedFix,FedAvg的一个新的扩展,使高效的异步联邦训练,同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明,异步FedAvg导致快速收敛的稳定性为代价,我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis(加利福尼亚大学戴维斯分校)
联邦学习(FL)由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型,现有的工作要求全局模型和局部模型相同。然而,物联网(IoT)设备在计算速度和板载存储器方面本质上是多样化的。在本文中,我们提出了一个FL框架,针对物联网设备的异构性。具体地,从全局模型压缩局部模型,并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验,以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University(普渡大学);NC State University(北卡罗来纳州立大学)
机器学习(ML)任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术,通过利用收集数据的节点的处理能力,在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战,这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题,我们提倡一种称为雾学习的新学习范式,它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习:网络、异构性和邻近性。它认为是一个多层混合学习框架,包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构,通过设备到设备(D2 D)通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University(成均馆大学)
本文提出FedCKA框架,通过CKA识别神经网络重要层并施加逐层正则化,在异构数据联邦学习中超越现有方法,同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University(东南大学)
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题,提出含多级正则化的FedMLP框架,通过原型与语义原型及三类正则化保障性能,在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Ericsson Research(爱立信研究院)
各种物联网应用需要资源受限的机器学习机制,用于不同的应用,如普及医疗保健,活动监控,语音识别,实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是,设备上的联邦学习是一个活跃的研究领域,然而,在解决统计(非IID数据)和模型异质性方面存在各种挑战。此外,在本文中,我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此,我们提出了一个框架,简单的$α$加权联邦聚合的分数,利用重叠的信息增益标签,同时节省带宽成本的过程中。对Animals-10数据集(具有4个标签以有效阐明结果)的经验评价表明,平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2(单板计算平台)上进行不同迭代的联邦学习和推理实验,展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
HeteroTune: Efficient Federated Learning for Large Heterogeneous Models
针对大型预训练模型在分布式环境部署中面临的客户端资源异构问题,提出HeteroTune联邦微调范式,通过DeMA架构和CMGA机制实现异构模型高效聚合与稳定训练,在LLaMA模型上实现通信开销降99.5%、内存降约50%、性能提升4.61%。
2025-08-25 cs.CL cs.CV cs.DC
Continual Horizontal Federated Learning for Heterogeneous Data
NEC Corporation(日本电气股份有限公司)
联邦学习是一种很有前途的机器学习技术,它使多个客户端能够协作构建模型,而无需向彼此透露原始数据。在各种类型的联邦学习方法中,水平联邦学习(HFL)是研究得最好的类别,并处理同质特征空间。然而,在异构特征空间的情况下,HFL仅使用共同的特征,而不使用客户端特定的特征。在本文中,我们提出了一种HFL方法,使用神经网络命名为连续水平联邦学习(CHFL),一个持续学习的方法来提高HFL的性能,利用每个客户端的独特功能。CHFL将网络分为两列,分别对应于共同特征和独特特征。它通过vanilla HFL使用共同特征来联合训练第一列,并通过使用独特特征并通过横向连接利用第一列的知识来本地训练第二列,而不会干扰其联合训练。我们在各种真实世界数据集上进行实验,并表明CHFL大大优于仅使用共同特征的vanilla HFL和使用每个特征的所有特征的本地学习。客户有。
2022-11-14 cs.LG
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Industrial Technology(山东省工业技术研究院)
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题,提出 FedADP 框架,通过聚合时动态调整模型架构实现高效协作,较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略,在异构边缘设备上实现个性化压缩,同时保持聚合兼容性和收敛稳定性,实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架,通过基于发火率的异构信息融合实现异构联邦学习,提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
联邦学习(FL)是一种在分布在大量可能异构的客户端(如移动电话和物联网设备)上的私有数据上训练机器学习模型的方法。在这项工作中,我们提出了一个新的联邦学习框架命名为HeteroFL,以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练,仍然产生一个单一的全局推理模型。第一次,我们的方法挑战了现有工作的基本假设,即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练,并进行了广泛的实证评估,包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明,自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology(韩国科学技术院);King’s College London(伦敦国王学院)
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习(FL)和联邦蒸馏(FD),以及一种新的混合联邦蒸馏(HFD)计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its applications on real-world medical records
Beijing Jiaotong University(北京交通大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
针对传统联邦学习难以适配异构数据与任务、受限医疗场景应用的问题,研究融合联邦学习与元学习,引入部分参数共享提出PMFL算法,在两个医疗异构数据集上实现最快训练速度与最优性能。
2024-03-09 cs.LG
Towards Federated Learning on Time-Evolving Heterogeneous Data
CUHK (SZ)(香港中文大学(深圳));Westlake University(西湖大学)
联邦学习(FL)是一种学习范式,通过将客户端数据保存在边缘设备上来保护隐私。然而,由于学习系统的多样性和异质性,在实践中优化外语可能是困难的。尽管最近的研究努力,以提高异构数据的优化,时间演变的异构数据在现实世界中的场景,如不断变化的客户端数据或间歇性的客户端加入或离开在训练中的影响,还没有得到很好的研究。在这项工作中,我们提出了连续联邦学习(CFL),一个灵活的框架,用于捕获随时间变化的异质性FL。CFL可以处理复杂和现实的情况下,这是很难评估在以前的FL配方,通过提取信息,从过去的本地数据集和近似的本地目标函数。我们从理论上证明,CFL方法具有更快的收敛速度比FedAvg随时间变化的情况下,与近似质量的好处。通过实验,我们表明,我们的数值结果匹配的收敛性分析和CFL方法显着优于其他国家的最先进的FL基线。
2023-02-20 cs.LG
Federated Neural Compression Under Heterogeneous Data
University of Pennsylvania(宾夕法尼亚大学)
本文研究统计异构联邦场景下的学习式压缩问题,提出共享分析/合成变换并个性化熵模型的联邦神经压缩方法,实验表明其优于纯本地方法。
2023-05-25 cs.IT cs.LG math.IT
A Survey on Heterogeneous Federated Learning
Southern University of Science and Technology(南方科技大学)
联邦学习(FL)是一种保护数据隐私的学习方法,通过组织间的协作训练模型,在不破坏隐私和安全的前提下,虚拟地组装孤立的数据孤岛。然而,外语面临着来自各个方面的异质性,包括数据空间、统计和系统的异质性。例如,没有利益冲突的协作组织通常来自不同的领域,并且具有来自不同特征空间的异构数据。由于非IID和不平衡的数据分布以及各种资源受限的设备,参与者还可能希望训练异构的个性化本地模型。因此,异构FL被提出来解决FL的异构性问题。在这次调查中,我们全面调查领域的异构FL的数据空间,统计,系统和模型的异构性。首先,我们对外语进行了概述,包括其定义和分类。然后,我们提出了一个精确的分类异构外语设置的每一种类型的异质性,根据问题设置和学习目标。我们还研究了迁移学习方法来解决外语中的异质性问题。我们进一步介绍了异质外语的应用。最后,我们强调了挑战和机遇,并展望了未来的研究方向,即新的框架设计和值得信赖的方法。
2022-10-10 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(美国NEC实验室);Florida International University(佛罗里达国际大学);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
个性化联邦学习(PFL)是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行,它已被观察到,现有的PFL方法导致次优的解决方案时,当地客户端之间的联合分布发散。为了解决这个问题,我们提出了联邦模块化网络(FedMN),一种新的PFL方法,自适应地从模块池中选择子模块,为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布,并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担,我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验,在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题,提出 FCCL+,通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化,并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
Federated Short-Term Load Forecasting with Personalization Layers for Heterogeneous Clients
University of California, Santa Cruz(加州大学圣克鲁兹分校);Argonne National Laboratory(阿贡国家实验室)
针对联邦短期负荷预测中客户端数据异构导致模型性能下降的问题,提出PL-FL算法,通过仅在本地训练个性化层提升异构商业建筑负荷预测效果。
2023-09-22 cs.LG
Personalised Federated Learning On Heterogeneous Feature Spaces
Criteo AI Lab(Criteo人工智能实验室)
大多数个性化联邦学习(FL)方法假设所有客户端的原始数据都定义在一个公共子空间中,即所有客户端根据相同的模式存储其数据。对于现实世界的应用程序,这个假设是限制性的,因为客户端有自己的系统来收集和存储数据,可能会使用异构数据表示。我们的目标是填补这一空白。为此,我们提出了一个通用的框架创造FLIC,客户端的数据映射到一个共同的特征空间,通过本地嵌入功能。公共特征空间是使用Wasserstein重心以联邦方式学习的,而本地嵌入函数是通过分布对齐在每个客户端上训练的。我们将这种分布式学习机制集成到一种联邦学习方法中,并给出了FLIC的算法。我们比较其性能对FL基准涉及异构输入特征空间。此外,我们提供了理论见解,支持我们的方法的相关性。
2023-01-26 cs.AI cs.LG stat.ML
FedRolex: Model-Heterogeneous Federated Learning with Rolling Sub-Model Extraction
Michigan State University(密歇根州立大学);The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
大多数跨设备联邦学习(FL)研究都集中在模型同构设置上,其中全局服务器模型和本地客户端模型是相同的。然而,这种约束不仅排除了低端客户端,否则他们将对模型训练做出独特的贡献,而且由于设备上的资源瓶颈,还限制了客户端训练大型模型。在这项工作中,我们提出了FedRolex,部分训练(PT)为基础的方法,使模型异构FL,可以训练全球服务器模型大于最大的客户端模型。FedRolex的核心是采用滚动子模型提取方案,允许全局服务器模型的不同部分得到均匀训练,从而减轻了由各个客户端模型和服务器模型架构之间的不一致性引起的客户端漂移。我们表明,FedRolex优于最先进的基于PT的模型异构FL方法(例如Federated Dropout),并减少了模型异构和模型同质FL之间的差距,特别是在大模型大数据集制度下。此外,我们提供了关于其优于Federated Dropout的理论统计分析,并在模拟的真实设备分布上评估FedRolex,以表明FedRolex可以增强FL的包容性,并提高低端设备的性能,否则这些设备将无法从FL中受益。我们的代码可在以下网站获得:https://github.com/AIoT-MLSys-Lab/FedRolex
2023-01-20 cs.CR cs.CV cs.DC
Hierarchical Federated Learning Across Heterogeneous Cellular Networks
Imperial College London(帝国理工学院);Sabanci University(萨班哲大学)
我们研究跨无线设备的协作机器学习(ML),每个设备都有自己的本地数据集。由于延迟、带宽和隐私限制,将这些数据集卸载到云或边缘服务器以实现强大的ML解决方案通常是不可行的。相反,我们考虑联合边缘学习(FEEL),其中设备共享模型参数的本地更新,而不是它们的数据集。我们考虑一个异构蜂窝网络(HCN),其中小小区基站(SBS)编排FL之间的移动用户(MU)在其小区内,并定期交换模型更新与宏基站(MBS)的全球共识。我们采用梯度稀疏化和周期平均,以提高这种分层联邦学习(FL)框架的通信效率。然后,我们使用CIFAR-10数据集表明,所提出的分层学习解决方案可以在不牺牲模型准确性的情况下显着减少通信延迟。
2019-09-05 cs.DC cs.IT cs.LG