FedLAM: Low-latency Wireless Federated Learning via Layer-wise Adaptive Modulation
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（电子与计算机工程系，香港科技大学）
针对无线联邦学习中高维DNN参数传输导致的通信延迟问题，提出逐层自适应调制方案，根据层重要性自动分配最优调制级别，最多节省73.9%延迟。
2025-10-09 cs.LG
Class-wise Federated Unlearning: Harnessing Active Forgetting with Teacher-Student Memory Generation
School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）；College of Computer Science & Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院）
针对联邦学习中细粒度数据删除需求，本文提出基于主动遗忘的框架，通过师生学习生成新记忆覆盖目标记忆，并用改进EWC保护非目标知识。
2025-03-13 cs.LG
Continual Horizontal Federated Learning for Heterogeneous Data
NEC Corporation（日本电气股份有限公司）
联邦学习是一种很有前途的机器学习技术，它使多个客户端能够协作构建模型，而无需向彼此透露原始数据。在各种类型的联邦学习方法中，水平联邦学习（HFL）是研究得最好的类别，并处理同质特征空间。然而，在异构特征空间的情况下，HFL仅使用共同的特征，而不使用客户端特定的特征。在本文中，我们提出了一种HFL方法，使用神经网络命名为连续水平联邦学习（CHFL），一个持续学习的方法来提高HFL的性能，利用每个客户端的独特功能。CHFL将网络分为两列，分别对应于共同特征和独特特征。它通过vanilla HFL使用共同特征来联合训练第一列，并通过使用独特特征并通过横向连接利用第一列的知识来本地训练第二列，而不会干扰其联合训练。我们在各种真实世界数据集上进行实验，并表明CHFL大大优于仅使用共同特征的vanilla HFL和使用每个特征的所有特征的本地学习。客户有。
2022-11-14 cs.LG
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University（软件学院，山东大学）；Shandong Research Institute of Industrial Technology（山东省工业技术研究院）
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题，提出 FedADP 框架，通过聚合时动态调整模型架构实现高效协作，较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架，通过基于发火率的异构信息融合实现异构联邦学习，提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning
研究非IID数据联邦学习中客户端性能问题，提出PLayer-FL方法，通过系统分析分层泛化动态，计算联邦敏感性度量选择最佳分割点，在多任务中性能具竞争力，能更公平分配收益并减少客户端回归。
2026-07-21 cs.LG
FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
针对联邦学习中的全局权重收缩效应，提出自适应逐层权重收缩策略FedLWS，以逐层方式设计收缩因子，避免代理数据集优化，实验证明其优于现有方法。
2025-03-28 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its applications on real-world medical records
Beijing Jiaotong University（北京交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
针对传统联邦学习难以适配异构数据与任务、受限医疗场景应用的问题，研究融合联邦学习与元学习，引入部分参数共享提出PMFL算法，在两个医疗异构数据集上实现最快训练速度与最优性能。
2024-03-09 cs.LG
Towards Federated Learning on Time-Evolving Heterogeneous Data
CUHK (SZ)（香港中文大学（深圳））；Westlake University（西湖大学）
联邦学习（FL）是一种学习范式，通过将客户端数据保存在边缘设备上来保护隐私。然而，由于学习系统的多样性和异质性，在实践中优化外语可能是困难的。尽管最近的研究努力，以提高异构数据的优化，时间演变的异构数据在现实世界中的场景，如不断变化的客户端数据或间歇性的客户端加入或离开在训练中的影响，还没有得到很好的研究。在这项工作中，我们提出了连续联邦学习（CFL），一个灵活的框架，用于捕获随时间变化的异质性FL。CFL可以处理复杂和现实的情况下，这是很难评估在以前的FL配方，通过提取信息，从过去的本地数据集和近似的本地目标函数。我们从理论上证明，CFL方法具有更快的收敛速度比FedAvg随时间变化的情况下，与近似质量的好处。通过实验，我们表明，我们的数值结果匹配的收敛性分析和CFL方法显着优于其他国家的最先进的FL基线。
2023-02-20 cs.LG
A Survey on Heterogeneous Federated Learning
Southern University of Science and Technology（南方科技大学）
联邦学习（FL）是一种保护数据隐私的学习方法，通过组织间的协作训练模型，在不破坏隐私和安全的前提下，虚拟地组装孤立的数据孤岛。然而，外语面临着来自各个方面的异质性，包括数据空间、统计和系统的异质性。例如，没有利益冲突的协作组织通常来自不同的领域，并且具有来自不同特征空间的异构数据。由于非IID和不平衡的数据分布以及各种资源受限的设备，参与者还可能希望训练异构的个性化本地模型。因此，异构FL被提出来解决FL的异构性问题。在这次调查中，我们全面调查领域的异构FL的数据空间，统计，系统和模型的异构性。首先，我们对外语进行了概述，包括其定义和分类。然后，我们提出了一个精确的分类异构外语设置的每一种类型的异质性，根据问题设置和学习目标。我们还研究了迁移学习方法来解决外语中的异质性问题。我们进一步介绍了异质外语的应用。最后，我们强调了挑战和机遇，并展望了未来的研究方向，即新的框架设计和值得信赖的方法。
2022-10-10 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（美国NEC实验室）；Florida International University（佛罗里达国际大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）
个性化联邦学习（PFL）是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行，它已被观察到，现有的PFL方法导致次优的解决方案时，当地客户端之间的联合分布发散。为了解决这个问题，我们提出了联邦模块化网络（FedMN），一种新的PFL方法，自适应地从模块池中选择子模块，为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布，并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担，我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验，在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Federated Short-Term Load Forecasting with Personalization Layers for Heterogeneous Clients
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Argonne National Laboratory（阿贡国家实验室）
针对联邦短期负荷预测中客户端数据异构导致模型性能下降的问题，提出PL-FL算法，通过仅在本地训练个性化层提升异构商业建筑负荷预测效果。
2023-09-22 cs.LG
Heterogeneous Federated Learning Systems for Time-Series Power Consumption Prediction with Multi-Head Embedding Mechanism
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）；Brandon University（布兰登大学）；Sejong University（世宗大学）
提出多头异构联邦学习系统MHHFL，通过多头网络嵌入与选择机制实现多客户端协作学习，显著降低电力消耗预测误差24.9%-94.1%。
2025-01-21 cs.LG
Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning
University of Sheffield（谢菲尔德大学）
硬件和数据的异构性是联邦学习（FL）在异构环境下运行的一个众所周知的问题。最近，使用知识蒸馏（KD）训练的定制大小的客户端模型已经成为应对异构性挑战的可行策略。然而，以前在这个方向上的努力是针对客户端模型调优，而不是他们对全球模型的知识聚合的影响。尽管全球模型的性能是FL系统的主要目标，在异构环境下的客户端模型受到了更多的关注。在这里，我们提供了更多关于训练自定义客户端模型的方法如何影响全局模型的见解，这对于任何FL应用程序都是必不可少的。我们表明，全球模型可以充分利用KD的强度与异构数据。在实证观察的推动下，我们进一步提出了一种新的方法，将KD和学习而不忘记（LwoF）相结合，以产生改进的个性化模型。我们将异构FL与同构FL的强大FedAvg配对，在实际的部署场景中删除客户端。
2022-11-13 cs.LG
HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation
East China Normal University（华东师范大学）
联邦学习（FL）已被公认为是一种隐私保护的分布式机器学习范例，其通过集中式全局模型聚合来实现各种异构人工智能（AIoT）设备之间的知识共享。由于所涉及的AIoT设备的模型异构性，FL遭受模型不准确和收敛缓慢的困扰。尽管现有的各种方法试图解决模型异构性问题的瓶颈，但大多数都是以粗粒度的方式提高异构模型的准确性，这使得部署大规模AIoT设备仍然是一个很大的挑战。为了减轻这个问题的负面影响，并充分利用每个异构模型的多样性，我们提出了一个高效的框架，名为HierarchyFL，它使用了少量的公共数据的高效和可扩展的知识在各种不同的结构模型。通过使用自蒸馏和我们提出的集成库，每个层次模型可以在云服务器上智能地相互学习。在各种知名数据集上的实验结果表明，HierarchyFL不仅可以最大限度地实现大规模AIoT系统中各种异构模型之间的知识共享，还可以大大提高每个涉及的异构AIoT设备的模型性能。
2022-12-05 cs.LG
Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces
Rice University（莱斯大学）；ThirdAI Corp（ThirdAI 公司）
针对联邦推荐中嵌入表超出异构设备内存的问题，本文提出 FAIR，利用基于哈希随机投影的一致可坍缩子空间实现任意压缩和全设备协同训练，并验证其效果与收敛性。
2023-11-03 cs.LG
Data-Heterogeneous Hierarchical Federated Learning with Mobility
Beijing Jiaotong University（北京交通大学）；Imperial College London（帝国理工学院）；Tsinghua University（清华大学）
本文针对车载网络中的移动性数据异构分层联邦学习，推导收敛上界，利用移动性缓解数据异构，提升模型准确率最高达15.1%。
2023-06-19 cs.LG
FedFIbOS: Fisher Importance based Optimal Submodelling for Heterogeneous Federated Learning
University of Otago（奥塔哥大学）；University of New South Wales（新南威尔士大学）
针对异构联邦学习子模型参数选择缺乏理论依据的问题，提出基于Fisher重要性的最优子建模方法FedFIbOS，通过最小化掩蔽误差并高效估计Fisher分数，在多个数据集上比现有方法准确率提升约10%。
2026-09-18 cs.LG
Layer-wise Update Aggregation with Recycling for Communication-Efficient Federated Learning
Inha University（延世大学）；University of Southern California（南加州大学）
FedLUAR通过分层更新聚合与回收技术，在保持模型准确性的同时显著降低联邦学习的通信成本。
2026-02-10 cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习，提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece（电气与计算机工程学院，国家技术大学亚历山大学院，希腊）；Department of Informatics and Telematics, Harokopio University of Athens, Greece（信息与电信学院，哈罗基奥大学亚历山大学院，希腊）
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能，通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）；School of Systems Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）
本文综述了异构联邦学习在数据、模型、任务、设备和通信方面的挑战，系统梳理了数据级、模型级和架构级的应对方法及隐私保护策略，并展望了未来研究方向。
2025-03-08 cs.LG
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel
ece（电气与计算机工程系）；sci（安全计算研究所）
针对去中心化联邦学习在统计异构场景下的性能瓶颈，提出融合神经切线核演化与模型平均的NTK-DFL方法，可提升准确率与收敛速度，通信轮次较基线减少4.6倍，且在多场景下具备鲁棒性。
2025-06-12 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对联邦学习中客户端异构、数据有限带来的隐私与不确定性量化需求，提出基于函数空间先验的定制化本地贝叶斯联邦学习框架，兼具差分隐私保障，在多场景下性能优于基线且可表征不确定性。
2023-06-13 cs.LG
FedHeN: Federated Learning in Heterogeneous Networks
Boston University（波士顿大学）
我们提出了一个新的训练配方联邦学习与异构网络，其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中，以在联合设置中联合训练不同的架构。我们的经验表明，我们的方法提高了不同架构的性能，并导致高通信节省相比，国家的最先进的方法。
2022-07-07 cs.DC cs.LG
Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions
FedCRef是一种针对去中心化数据分布的无监督联邦学习方法，通过本地聚类、模型交换和协作优化提高聚类准确性，适用于多簇-客户端场景，实现高达95%的准确率。
2026-01-08 cs.LG
Heterogeneous Federated Learning Using Knowledge Codistillation
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
针对联邦平均要求所有客户端同构的限制，提出大小模型在服务器无标注数据上双向知识蒸馏的异构联邦学习方法，提升图像分类与语言建模性能并支持域迁移。
2023-10-04 cs.LG
AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；University of Notre Dame（圣母大学）
提出AdapterFL，一种面向资源受限移动系统的自适应异构联邦学习方法，通过模型重组策略自适应结合大小模型参数进行协作训练，有效缓解了大型模型性能下降问题，准确率最高提升12%。
2023-11-23 cs.LG
Personalized federated prototype learning in mixed heterogeneous data scenarios
Guangxi Normal University（广西师范大学）；Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education, GuangXi Normal University（教育区块链与智能技术重点实验室）；Hefei University of Technology（合肥工业大学）
针对联邦学习中传统方法仅适配单一异构场景的问题，提出混合异构场景下的PFPL方法，通过构建个性化无偏原型和引入一致性正则化提升收敛性，在多个数据集上验证有效且降低了通信成本。
2025-10-04 cs.LG
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对异构联邦学习无法处理批次级数据异构的问题，提出pFedAFM方法，通过共享全局小特征提取器、交替训练策略和动态特征混合，实现批次级个性化并显著提升准确率。
2024-04-27 cs.LG
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University（迪肯大学）；Applied Artificial Intelligence Initiative（应用人工智能倡议）
针对异构环境下联邦学习的分布不匹配问题，提出SAPE-FL框架，通过双锚定机制平衡全局与对等知识，在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG
On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond
University of Electronic Science and Technology of China（电子科技大学）；Fudan University（复旦大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Meta AI；Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））
针对联邦学习中FedAvg理论与实践在异构场景下的不一致问题，本文提出客户端共识动力学度量，证明合适聚合策略下FedAvg可应对异构性，并设计出FedAWARE算法，实现更快收敛与更优泛化，还可作为插件提升现有算法性能。
2024-12-13 cs.LG
Dim-Krum: Backdoor-Resistant Federated Learning for NLP with Dimension-wise Krum-Based Aggregation
Peking University（北京大学）
尽管联邦学习具有潜力，但众所周知，它容易受到后门攻击的攻击。许多健壮的联邦聚合方法被提出来降低潜在的后门风险。然而，它们主要在CV领域得到验证。本文发现NLP后门比CV更难防御，并从理论上分析了恶意更新检测错误概率由后门的相对强度决定。NLP攻击往往具有较小的相对后门强度，这可能导致NLP攻击的健壮联邦聚合方法失败。受理论结果的启发，我们可以选择一些具有较高后门强度的维度来解决这个问题。提出了一种新的面向NLP任务的联邦聚合算法Dim-Krum，实验结果验证了该算法的有效性。
2022-10-13 cs.CR cs.LG
Class-Wise Federated Averaging for Efficient Personalization
SAKAK Inc.（SAKAK公司）；The Cyber University of Korea（韩国网络大学）
针对联邦学习在异构数据下个性化不足的问题，提出类级联邦平均（cwFedAvg）框架及权重分布正则化器（WDR），通过类级聚合与分布对齐实现高效个性化，保持通信成本并避免额外计算。
2025-08-02 cs.DC cs.LG
Row-wise Fusion Regularization: An Interpretable Personalized Federated Learning Framework in Large-Scale Scenarios
Department of Statistics, University of Science and Technology of China（统计系，中国科学技术大学）
针对多变量响应个性化联邦学习中的异构建模与结构共享问题，提出 SROF 正则化和 RowFed 算法，实现可解释的行级聚类、稀疏恢复、收敛保证及更优预测性能。
2025-10-19 cs.LG stat.ML
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University（东南大学）
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题，提出含多级正则化的FedMLP框架，通过原型与语义原型及三类正则化保障性能，在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning
Tsinghua University（清华大学）；Huawei Wireless Technology Lab（华为无线技术实验室）；Hong Kong University of Science and Technology（香港科技大学）
联邦学习（FL）作为一种高效的、隐私保护的分布式学习方案已经得到了广泛的应用。在这项工作中，我们主要集中在优化的计算和通信的FL从修剪的角度。通过在局部训练和联邦更新中采用逐层剪枝，我们制定了一个显式FL剪枝框架FedLP（Federated Layer-wise Pruning），该框架对不同类型的深度学习模型具有模型无关性和通用性。分别针对局部模型同质和异构的场景设计了FedLP的两种具体方案。理论和实验评估，以验证FedLP缓解系统的通信和计算瓶颈与边际性能衰减。据我们所知，FedLP是第一个正式将逐层剪枝引入FL的框架。在联邦学习的范围内，可以基于FedLP进一步设计更多的变体和组合。
2023-03-11 cs.AI cs.DC cs.LG
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略，在异构边缘设备上实现个性化压缩，同时保持聚合兼容性和收敛稳定性，实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习（FL）是一种在分布在大量可能异构的客户端（如移动电话和物联网设备）上的私有数据上训练机器学习模型的方法。在这项工作中，我们提出了一个新的联邦学习框架命名为HeteroFL，以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练，仍然产生一个单一的全局推理模型。第一次，我们的方法挑战了现有工作的基本假设，即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练，并进行了广泛的实证评估，包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明，自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
MUC-FL: Block-Wise Marginal Utility Contribution for Communication-Efficient Federated Learning
Arizona State University（亚利桑那州立大学）
提出分块边际效用贡献框架，通过选择性传输高贡献数据块，在MIMIC多模态数据集上实现45-50%通信削减并提升宏F1分数至0.8566。
2026-09-11 cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
在实际的联邦学习场景中，参与设备可以根据设计具有用于计算和存储器存储的不同位宽。然而，尽管在设备异构联邦学习场景中取得了进展，但硬件中位宽规范的异构性大多被忽视了。我们介绍了一个实用的FL方案，跨参与设备的位宽异构，被称为位宽异构联邦学习（BHFL）。BHFL带来了一个新的挑战，不同位宽的模型参数的聚合可能会导致严重的性能退化，特别是对于高位宽的模型。为了解决这个问题，我们提出了ProWD框架，它在中央服务器上有一个可训练的权重去量化器，可以逐步将低位宽权重重建为更高的位宽权重，最后重建为全精度权重。ProWD进一步选择性地聚合模型参数以最大化跨比特异构权重的兼容性。我们验证ProWD对基准数据集上的相关FL基线，使用不同的位宽的客户端。我们的ProWD在很大程度上优于基线FL算法，以及天真的方法（如分组平均）下提出的BHFL的情况。
2023-01-11 cs.DC cs.LG
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题，提出 FCCL+，通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化，并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
最近的联邦学习（FL）范例的一个基本假设是，所有本地模型通常共享相同的网络架构和大小，这对于具有不同硬件资源的设备来说是不切实际的。一个可扩展的联邦学习框架应该解决客户端具有不同计算能力和通信能力的异构性。为此，本文提出了一种新的异构联邦模型压缩框架FedHM，将异构的低秩模型分发给客户端，然后聚合成一个满秩模型。我们的解决方案能够训练具有不同计算复杂性的异构模型，并将它们聚合到一个全局模型中。此外，FedHM显着降低了通信成本，通过使用低秩模型。大量的实验结果表明，FedHM是优越的性能和不同大小的模型的鲁棒性，与国家的最先进的异构FL方法在各种FL设置。此外，FL的异构设备的收敛保证进行了理论分析。
2022-05-26 cs.AI cs.DC cs.LG
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University（大湾大学）；Peking University（北京大学）
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题，提出高效子空间算法FedSub，通过子空间投影和低维对偶变量解决问题，经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida（中央佛罗里达大学）
FMCL通过基础模型生成语义客户端签名，实现一次聚类，提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Heterogeneous Federated Learning
George Mason University（乔治梅森大学）；Microsoft（微软）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
联邦学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而，由于混沌的信息分布，模型融合可能会遭受不匹配参数的结构失调。在这项工作中，我们提出了一个新的联邦学习框架，以解决这个问题，建立一个坚实的结构信息对齐跨协作模型。具体而言，我们设计了一个面向特征的调节方法（{ $Ψ$ -Net}），以确保明确的特征信息分配在不同的神经网络结构。将这种调整方法应用于协同模型，可以在很早的训练阶段初始化具有相似特征信息的匹配结构。在IID和非IID场景下的联邦学习过程中，专用协作机制进一步保证了信息的有序分布和明确的结构匹配，从而实现了全面的模型对齐。最终，该框架有效地增强了联邦学习对广泛异构环境的适用性，同时提供了出色的收敛速度、准确性和计算/通信效率。
2022-03-20 cs.LG stat.ML
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题，提出统一异构联邦学习框架并首次给出一般收敛性分析，同时引入最小覆盖指数和模型缩减噪声，以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology（韩国科学技术院）；King’s College London（伦敦国王学院）
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习（FL）和联邦蒸馏（FD），以及一种新的混合联邦蒸馏（HFD）计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
SMoFi: Step-wise Momentum Fusion for Split Federated Learning on Heterogeneous Data
针对拆分联邦学习中数据异构性导致全局模型收敛速度和准确性下降的问题，提出分步动量融合（SMoFi）框架，通过同步服务器端动量缓冲区及感知陈旧性对齐机制，提升模型性能，尤其适用于资源受限场景。
2025-11-16 cs.DC cs.LG
Federated Neural Compression Under Heterogeneous Data
University of Pennsylvania（宾夕法尼亚大学）
本文研究统计异构联邦场景下的学习式压缩问题，提出共享分析/合成变换并个性化熵模型的联邦神经压缩方法，实验表明其优于纯本地方法。
2023-05-25 cs.IT cs.LG math.IT
Towards Instance-wise Personalized Federated Learning via Semi-Implicit Bayesian Prompt Tuning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
本文提出pFedBayesPT框架，通过半隐式贝叶斯提示微调实现实例级个性化联邦学习，以解决客户端内部数据异质性问题，并在基准数据集上验证了其优于现有方法。
2025-08-27 cs.AI cs.LG
