FedPseudo: Pseudo value-based Deep Learning Models for Federated Survival Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
生存分析，时间事件分析，是一个重要的问题，在医疗保健，因为它有广泛的影响，病人和姑息治疗。许多生存分析方法都假设生存数据可以从一个医疗中心集中获得，或者通过多个中心的数据共享获得。然而，患者属性的敏感性和严格的隐私法律越来越禁止医疗保健数据的共享。为了应对这一挑战，研究界已经研究了使用联邦学习（FL）范式的分散训练和共享模型参数的解决方案。在本文中，我们研究利用FL进行生存分析的分布式医疗数据集。最近，流行的Cox比例风险（CPH）模型已适用于FL设置;然而，由于其线性和比例风险假设，CPH模型导致次优性能，特别是对于非线性，非iid和严重删失的生存数据集。为了克服现有联邦生存分析方法的挑战，我们利用深度学习模型的预测准确性和伪值的强大功能，提出了一种用于联邦生存分析（FSA）的基于伪值的深度学习模型FedPseudo。此外，我们介绍了一种新的方法，推导出的生存概率的伪值的FL设置，加快了伪值的计算。在合成数据集和真实世界数据集上进行的大量实验表明，我们基于伪值的FL框架与最佳集中训练的深度生存分析模型具有相似的性能。此外，我们提出的FL方法获得了最好的结果，为各种删失设置。
2022-07-12 cs.LG stat.ME
Predicting Survival of Hemodialysis Patients using Federated Learning
Chirec International School（奇雷克国际学校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对血液透析患者生存预测中数据隔离导致本地模型性能不佳的问题，提出使用联邦学习在不共享数据的情况下提升预测性能，并在印度最大透析网络NephroPlus的数据上进行了验证。
2024-12-14 cs.AI cs.LG
BVFLMSP : Bayesian Vertical Federated Learning for Multimodal Survival with Privacy
本文提出BVFLMSP框架，通过贝叶斯神经网络处理多模态数据，实现隐私保护下的生存预测，提升预测可靠性并提供不确定性估计。
2026-04-02 cs.LG stat.ML
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）
本文提出一种异构联邦学习系统，通过稠密/稀疏特征张量处理稀疏医疗时间序列，实现异步网络共享与知识迁移，在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features
Zhejiang Lab（之江实验室）；Xiamen University（厦门大学）
联邦学习（FL）为分布式机器学习任务提供了一种隐私保护解决方案。在实际的FL应用中，经常出现的数据异构性和长尾分布的共存是严重损害FL模型性能的一个挑战性问题。在本文中，我们揭示了一个有趣的事实，有偏见的分类器是导致全局模型性能不佳的主要因素。受上述发现的启发，我们提出了一种新的隐私保护FL方法，用于异构和长尾数据，通过联邦特征分类器再训练（CReFF）。在联邦特征上重新训练的分类器可以以隐私保护的方式产生与在真实数据上重新训练的分类器相当的性能，而不会泄漏本地数据或类分布的信息。在多个基准数据集上的实验表明，CReFF是一种有效的解决方案，可以在异构和长尾数据下获得有前途的FL模型。与最先进的FL方法的比较结果也验证了CReFF的优越性。我们的代码可在https://github.com/shangxinyi/CReFF-FL上获得。
2022-04-28 cs.LG
Federated Survival Analysis in Healthcare: A Multi-Model Evaluation on Cross-Institutional Heterogeneous Breast Cancer Data
University of Oulu（奥卢大学）；University of Deusto（德乌斯托大学）
本文在跨机构异质性乳腺癌数据上系统评估了三种生存模型（Cox比例风险、DeepSurv、随机生存森林）和三种联邦优化策略（FedAvg、FedProx、FedAdam），发现联邦学习优于本地训练且接近集中式性能，随机生存森林在区分度、校准度和鲁棒性上最佳，并给出了实践指南。
2026-06-24 cs.LG q-bio.QM stat.ME
Cross-Silo Heterogeneous Model Federated Multitask Learning
UESTC（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Agile and Intelligent Computing Key Laboratory of Sichuan Province（四川省敏捷与智能计算重点实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）是一种机器学习技术，它使参与者能够协作训练高质量的模型，而无需交换他们的私人数据。使用跨筒仓联邦学习（CS-FL）设置的参与者是具有不同任务需求的独立组织，他们不仅关注数据隐私，而且出于知识产权考虑，他们还独立训练自己独特的模型。大多数现有的FL方法无法满足上述场景。在这项研究中，我们提出了一种新的联邦学习方法CoFED的基础上未标记的数据伪标记通过一个过程称为协同训练。CoPED是一种与异构模型、任务和培训流程兼容的联邦学习方法。实验结果表明，该方法优于竞争的。这对于非独立和同分布的设置和异构模型尤其如此，其中所提出的方法实现了35%的性能改进。
2022-08-18 cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安提波利斯分部）；Accenture Labs（埃森哲实验室）
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案，通过引入随机聚合权重来表示客户端更新时间的可变性，例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置，客户端具有异构数据集，并执行至少一个步骤的随机梯度下降（SGD）。我们证明了这样一个计划的收敛性，并提供了足够的条件，相关的最小是最佳的联邦问题。我们表明，我们的一般框架适用于现有的优化方案，包括集中式学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是，我们在这项工作中开发FedFix，FedAvg的一个新的扩展，使高效的异步联邦训练，同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明，异步FedAvg导致快速收敛的稳定性为代价，我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Federated Survival Analysis with Discrete-Time Cox Models
Owkin Inc.（Owkin公司）；Hospital Israelita Albert Einstein（爱因斯坦以色列医院）；French Red Cross Innovation（法国红十字会创新中心）
使用联邦学习（FL）从位于不同中心的分散数据集构建机器学习模型是一种很有前途的方法，可以在保护隐私的同时规避本地数据稀缺性。然而，用于生存分析的显著Cox比例风险（PH）模型不适合FL框架，因为其损失函数相对于样本不可分离。绕过这种不可分离性的简单方法包括计算每个中心的损失，并最小化它们的总和作为真实损失的近似值。我们表明，由此产生的模型可能会遭受重要的性能损失，在一些不利的设置。相反，我们利用Cox PH模型的离散时间扩展，将生存分析作为一个具有可分离损失函数的分类问题。使用这种方法，我们使用标准FL技术对合成数据以及来自癌症基因组图谱（TCGA）的真实世界数据集进行训练生存模型，显示出与在聚合数据上训练的Cox PH模型相似的性能。与以前的工作相比，所提出的方法通信效率更高、更通用，并且更适合使用隐私保护技术。
2020-06-16 cs.LG stat.ML
Personalized Federated Hierarchical Gaussian Processes for Privacy-Preserving Modeling of Heterogeneous Distributed Systems
Arizona State University（亚利桑那州立大学）
提出个性化联邦分层高斯过程，通过共享全局组件与局部残差分解实现异构客户端隐私保护的概率建模，在故障分类和空气质量建模中取得高效结果。
2026-09-18 cs.LG
Continual Horizontal Federated Learning for Heterogeneous Data
NEC Corporation（日本电气股份有限公司）
联邦学习是一种很有前途的机器学习技术，它使多个客户端能够协作构建模型，而无需向彼此透露原始数据。在各种类型的联邦学习方法中，水平联邦学习（HFL）是研究得最好的类别，并处理同质特征空间。然而，在异构特征空间的情况下，HFL仅使用共同的特征，而不使用客户端特定的特征。在本文中，我们提出了一种HFL方法，使用神经网络命名为连续水平联邦学习（CHFL），一个持续学习的方法来提高HFL的性能，利用每个客户端的独特功能。CHFL将网络分为两列，分别对应于共同特征和独特特征。它通过vanilla HFL使用共同特征来联合训练第一列，并通过使用独特特征并通过横向连接利用第一列的知识来本地训练第二列，而不会干扰其联合训练。我们在各种真实世界数据集上进行实验，并表明CHFL大大优于仅使用共同特征的vanilla HFL和使用每个特征的所有特征的本地学习。客户有。
2022-11-14 cs.LG
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University（软件学院，山东大学）；Shandong Research Institute of Industrial Technology（山东省工业技术研究院）
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题，提出 FedADP 框架，通过聚合时动态调整模型架构实现高效协作，较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Convergence Analysis of Sequential Federated Learning on Heterogeneous Data
National Engineering Research Center for Mobile Network Technologies（国家移动网络技术工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文为顺序联邦学习在异构数据上建立收敛性保证，证明其优于并行联邦学习，并通过实验验证了SFL在极度异构数据上的优势。
2026-09-15 cs.LG
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架，通过基于发火率的异构信息融合实现异构联邦学习，提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its applications on real-world medical records
Beijing Jiaotong University（北京交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
针对传统联邦学习难以适配异构数据与任务、受限医疗场景应用的问题，研究融合联邦学习与元学习，引入部分参数共享提出PMFL算法，在两个医疗异构数据集上实现最快训练速度与最优性能。
2024-03-09 cs.LG
Towards Federated Learning on Time-Evolving Heterogeneous Data
CUHK (SZ)（香港中文大学（深圳））；Westlake University（西湖大学）
联邦学习（FL）是一种学习范式，通过将客户端数据保存在边缘设备上来保护隐私。然而，由于学习系统的多样性和异质性，在实践中优化外语可能是困难的。尽管最近的研究努力，以提高异构数据的优化，时间演变的异构数据在现实世界中的场景，如不断变化的客户端数据或间歇性的客户端加入或离开在训练中的影响，还没有得到很好的研究。在这项工作中，我们提出了连续联邦学习（CFL），一个灵活的框架，用于捕获随时间变化的异质性FL。CFL可以处理复杂和现实的情况下，这是很难评估在以前的FL配方，通过提取信息，从过去的本地数据集和近似的本地目标函数。我们从理论上证明，CFL方法具有更快的收敛速度比FedAvg随时间变化的情况下，与近似质量的好处。通过实验，我们表明，我们的数值结果匹配的收敛性分析和CFL方法显着优于其他国家的最先进的FL基线。
2023-02-20 cs.LG
A Survey on Heterogeneous Federated Learning
Southern University of Science and Technology（南方科技大学）
联邦学习（FL）是一种保护数据隐私的学习方法，通过组织间的协作训练模型，在不破坏隐私和安全的前提下，虚拟地组装孤立的数据孤岛。然而，外语面临着来自各个方面的异质性，包括数据空间、统计和系统的异质性。例如，没有利益冲突的协作组织通常来自不同的领域，并且具有来自不同特征空间的异构数据。由于非IID和不平衡的数据分布以及各种资源受限的设备，参与者还可能希望训练异构的个性化本地模型。因此，异构FL被提出来解决FL的异构性问题。在这次调查中，我们全面调查领域的异构FL的数据空间，统计，系统和模型的异构性。首先，我们对外语进行了概述，包括其定义和分类。然后，我们提出了一个精确的分类异构外语设置的每一种类型的异质性，根据问题设置和学习目标。我们还研究了迁移学习方法来解决外语中的异质性问题。我们进一步介绍了异质外语的应用。最后，我们强调了挑战和机遇，并展望了未来的研究方向，即新的框架设计和值得信赖的方法。
2022-10-10 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（美国NEC实验室）；Florida International University（佛罗里达国际大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）
个性化联邦学习（PFL）是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行，它已被观察到，现有的PFL方法导致次优的解决方案时，当地客户端之间的联合分布发散。为了解决这个问题，我们提出了联邦模块化网络（FedMN），一种新的PFL方法，自适应地从模块池中选择子模块，为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布，并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担，我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验，在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
FADE: Enabling Federated Adversarial Training on Heterogeneous Resource-Constrained Edge Devices
Duke University（杜克大学）；Accenture（埃森哲）
针对资源受限异构边缘设备难以承担联邦对抗训练的问题，提出 FADE 框架，通过差异化模型解耦、单模块训练和辅助权重衰减降低内存与计算开销，并提供收敛及鲁棒性保证。
2023-04-26 cs.LG
Federated Short-Term Load Forecasting with Personalization Layers for Heterogeneous Clients
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Argonne National Laboratory（阿贡国家实验室）
针对联邦短期负荷预测中客户端数据异构导致模型性能下降的问题，提出PL-FL算法，通过仅在本地训练个性化层提升异构商业建筑负荷预测效果。
2023-09-22 cs.LG
On Global Convergence Rates for Federated Softmax Policy Gradient under Heterogeneous Environments
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院CMAP实验室，法国国家科学研究中心）；Université Paris-Saclay, CNRS, LMO（巴黎萨克雷大学，法国国家科学研究中心，数学与建模实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；LRE EPITA（EPITA 研究与工程实验室）
本文研究了在异构环境中联邦Softmax策略梯度算法的收敛率，证明了其在平均代理价值方面的近优策略收敛，并通过投影类操作符获得了熵正则化策略梯度的首次明确常数收敛率。
2026-04-01 cs.LG
Heterogeneous Federated Learning Systems for Time-Series Power Consumption Prediction with Multi-Head Embedding Mechanism
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）；Brandon University（布兰登大学）；Sejong University（世宗大学）
提出多头异构联邦学习系统MHHFL，通过多头网络嵌入与选择机制实现多客户端协作学习，显著降低电力消耗预测误差24.9%-94.1%。
2025-01-21 cs.LG
Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning
University of Sheffield（谢菲尔德大学）
硬件和数据的异构性是联邦学习（FL）在异构环境下运行的一个众所周知的问题。最近，使用知识蒸馏（KD）训练的定制大小的客户端模型已经成为应对异构性挑战的可行策略。然而，以前在这个方向上的努力是针对客户端模型调优，而不是他们对全球模型的知识聚合的影响。尽管全球模型的性能是FL系统的主要目标，在异构环境下的客户端模型受到了更多的关注。在这里，我们提供了更多关于训练自定义客户端模型的方法如何影响全局模型的见解，这对于任何FL应用程序都是必不可少的。我们表明，全球模型可以充分利用KD的强度与异构数据。在实证观察的推动下，我们进一步提出了一种新的方法，将KD和学习而不忘记（LwoF）相结合，以产生改进的个性化模型。我们将异构FL与同构FL的强大FedAvg配对，在实际的部署场景中删除客户端。
2022-11-13 cs.LG
HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation
East China Normal University（华东师范大学）
联邦学习（FL）已被公认为是一种隐私保护的分布式机器学习范例，其通过集中式全局模型聚合来实现各种异构人工智能（AIoT）设备之间的知识共享。由于所涉及的AIoT设备的模型异构性，FL遭受模型不准确和收敛缓慢的困扰。尽管现有的各种方法试图解决模型异构性问题的瓶颈，但大多数都是以粗粒度的方式提高异构模型的准确性，这使得部署大规模AIoT设备仍然是一个很大的挑战。为了减轻这个问题的负面影响，并充分利用每个异构模型的多样性，我们提出了一个高效的框架，名为HierarchyFL，它使用了少量的公共数据的高效和可扩展的知识在各种不同的结构模型。通过使用自蒸馏和我们提出的集成库，每个层次模型可以在云服务器上智能地相互学习。在各种知名数据集上的实验结果表明，HierarchyFL不仅可以最大限度地实现大规模AIoT系统中各种异构模型之间的知识共享，还可以大大提高每个涉及的异构AIoT设备的模型性能。
2022-12-05 cs.LG
Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Zhejiang Sci-Tech University（浙江科技学院）
针对联邦微调中统一架构难以适配异构数据的问题，提出FedAMoLE框架，通过异构LoRA专家模块和反向选择分配策略实现个性化架构，平均性能提升5.97%。
2025-10-09 cs.LG
Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks
针对异构网络中设备算力差异导致联邦训练收敛慢的问题，提出基于ADMM的SVM高效迭代分布式方法，支持非独立同分布数据下的模型个性化，并引入随机掩码增强隐私。
2023-04-01 cs.LG
Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；DKFZ German Cancer Research Center（德国癌症研究中心）
生存分析或事件发生时间分析旨在建模和预测群体或个体发生感兴趣事件所需的时间。在医学方面，这一事件可能是死亡，转移，癌症复发等的时间，最近，专门设计用于生存分析的神经网络的使用已经变得越来越流行，更传统的方法的一个有吸引力的替代。在本文中，我们利用神经网络的固有属性联邦这些模型的训练过程。这在医疗领域至关重要，因为数据稀缺，多个健康中心的合作对于做出关于治疗或疾病属性的决定至关重要。为了确保数据集的隐私，通常在联邦学习之上使用差分隐私。差分隐私的作用是在不同的训练阶段引入随机噪声，从而使对手更难提取有关数据的细节。然而，在小型医疗数据集和只有少数数据中心的现实环境中，这种噪声使得模型更难收敛。为了解决这个问题，我们提出了DPFed-post，它在私有联邦学习方案中添加了一个后处理阶段。这个额外的步骤有助于调节有噪声的平均参数更新的幅度和模型的更容易收敛。在我们的实验中，我们选择了3个真实世界的数据集，每个健康中心只有几百条记录，我们表明，与标准的差分私有联邦学习方案相比，DPFed-post成功地将模型的性能平均提高了$17\%$。
2022-02-08 cs.CR cs.LG
Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces
Rice University（莱斯大学）；ThirdAI Corp（ThirdAI 公司）
针对联邦推荐中嵌入表超出异构设备内存的问题，本文提出 FAIR，利用基于哈希随机投影的一致可坍缩子空间实现任意压缩和全设备协同训练，并验证其效果与收敛性。
2023-11-03 cs.LG
Data-Heterogeneous Hierarchical Federated Learning with Mobility
Beijing Jiaotong University（北京交通大学）；Imperial College London（帝国理工学院）；Tsinghua University（清华大学）
本文针对车载网络中的移动性数据异构分层联邦学习，推导收敛上界，利用移动性缓解数据异构，提升模型准确率最高达15.1%。
2023-06-19 cs.LG
On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）；HKUST（香港科技大学）
现有的理论预测，数据的异构性会降低联邦平均（Federated Averaging，FedAvg）算法在联邦学习中的性能。然而，在实践中，简单的FedAvg算法收敛得非常好。本文解释了FedAvg的看似不合理的有效性，与以前的理论预测相矛盾。我们发现，有界梯度相异度的关键假设在以前的理论分析是过于悲观，在实际应用中描述数据的异质性。对于一个简单的二次问题，我们证明了存在制度，大梯度相异性不具有任何负面影响的收敛FedAvg。出于这种观察，我们提出了一个新的数量，平均漂移在最佳状态，来衡量数据异质性的影响，并明确使用它来提出一个新的理论分析FedAvg。我们发现，在许多真实世界的联邦训练任务中，最佳情况下的平均漂移几乎为零，而梯度相异性可能很大。我们的新分析表明，FedAvg在同质和异构数据环境中可以具有相同的收敛速度，因此，可以更好地理解其经验成功。
2022-06-09 cs.LG
FedFIbOS: Fisher Importance based Optimal Submodelling for Heterogeneous Federated Learning
University of Otago（奥塔哥大学）；University of New South Wales（新南威尔士大学）
针对异构联邦学习子模型参数选择缺乏理论依据的问题，提出基于Fisher重要性的最优子建模方法FedFIbOS，通过最小化掩蔽误差并高效估计Fisher分数，在多个数据集上比现有方法准确率提升约10%。
2026-09-18 cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习，提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece（电气与计算机工程学院，国家技术大学亚历山大学院，希腊）；Department of Informatics and Telematics, Harokopio University of Athens, Greece（信息与电信学院，哈罗基奥大学亚历山大学院，希腊）
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能，通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）；School of Systems Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）
本文综述了异构联邦学习在数据、模型、任务、设备和通信方面的挑战，系统梳理了数据级、模型级和架构级的应对方法及隐私保护策略，并展望了未来研究方向。
2025-03-08 cs.LG
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel
ece（电气与计算机工程系）；sci（安全计算研究所）
针对去中心化联邦学习在统计异构场景下的性能瓶颈，提出融合神经切线核演化与模型平均的NTK-DFL方法，可提升准确率与收敛速度，通信轮次较基线减少4.6倍，且在多场景下具备鲁棒性。
2025-06-12 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对联邦学习中客户端异构、数据有限带来的隐私与不确定性量化需求，提出基于函数空间先验的定制化本地贝叶斯联邦学习框架，兼具差分隐私保障，在多场景下性能优于基线且可表征不确定性。
2023-06-13 cs.LG
Heterogeneous Federated Learning Using Knowledge Codistillation
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
针对联邦平均要求所有客户端同构的限制，提出大小模型在服务器无标注数据上双向知识蒸馏的异构联邦学习方法，提升图像分类与语言建模性能并支持域迁移。
2023-10-04 cs.LG
AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；University of Notre Dame（圣母大学）
提出AdapterFL，一种面向资源受限移动系统的自适应异构联邦学习方法，通过模型重组策略自适应结合大小模型参数进行协作训练，有效缓解了大型模型性能下降问题，准确率最高提升12%。
2023-11-23 cs.LG
Personalized federated prototype learning in mixed heterogeneous data scenarios
Guangxi Normal University（广西师范大学）；Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education, GuangXi Normal University（教育区块链与智能技术重点实验室）；Hefei University of Technology（合肥工业大学）
针对联邦学习中传统方法仅适配单一异构场景的问题，提出混合异构场景下的PFPL方法，通过构建个性化无偏原型和引入一致性正则化提升收敛性，在多个数据集上验证有效且降低了通信成本。
2025-10-04 cs.LG
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对异构联邦学习无法处理批次级数据异构的问题，提出pFedAFM方法，通过共享全局小特征提取器、交替训练策略和动态特征混合，实现批次级个性化并显著提升准确率。
2024-04-27 cs.LG
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University（迪肯大学）；Applied Artificial Intelligence Initiative（应用人工智能倡议）
针对异构环境下联邦学习的分布不匹配问题，提出SAPE-FL框架，通过双锚定机制平衡全局与对等知识，在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；School of Computer Science and Technology, Tianjin University（计算机科学与技术学院，天津大学）
ILoRA通过正交初始化、拼接分解聚合和秩感知优化，解决异构客户端聚合中的初始化不稳定性、秩不兼容和客户端漂移问题，提升联邦学习的准确率和收敛稳定性。
2025-11-20 cs.LG
On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond
University of Electronic Science and Technology of China（电子科技大学）；Fudan University（复旦大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Meta AI；Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））
针对联邦学习中FedAvg理论与实践在异构场景下的不一致问题，本文提出客户端共识动力学度量，证明合适聚合策略下FedAvg可应对异构性，并设计出FedAWARE算法，实现更快收敛与更优泛化，还可作为插件提升现有算法性能。
2024-12-13 cs.LG
FedHeN: Federated Learning in Heterogeneous Networks
Boston University（波士顿大学）
我们提出了一个新的训练配方联邦学习与异构网络，其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中，以在联合设置中联合训练不同的架构。我们的经验表明，我们的方法提高了不同架构的性能，并导致高通信节省相比，国家的最先进的方法。
2022-07-07 cs.DC cs.LG
A Multiparty Homomorphic Encryption Approach to Confidential Federated Kaplan Meier Survival Analysis
Norwegian Institute of Public Health（挪威公共卫生研究所）；Norwegian Computing Center（挪威计算中心）；The Arctic University of Norway（挪威北极大学）
本文提出基于阈值CKKS加密的隐私保护联邦Kaplan-Meier框架，实现加密聚合计数和近似浮点计算，通过加密向量和部分共享恢复明文，确保隐私安全的同时实现高保真生存估计。
2026-04-11 cs.AI cs.CR cs.LG
Federated Learning of Molecular Properties with Graph Neural Networks in a Heterogeneous Setting
University of Rochester（罗切斯特大学）
化学研究进行实验的材料和计算成本都很高。因此，机构认为化学数据是有价值的，并且很少有努力为机器学习构建大型公共数据集。另一个挑战是，不同的直觉对不同类别的分子感兴趣，从而产生了传统分布式训练无法轻松连接的异构数据。在这项工作中，我们引入联邦异构分子学习来应对这些挑战。联邦学习允许最终用户协作构建全局模型，同时保持训练数据分布在隔离的客户端上。由于缺乏相关的研究，我们首先模拟了一个异构的联邦学习基准（FedChem），联合执行脚手架分裂和潜在的Dirichlet分配现有的数据集上的异构分布的客户端数据。我们在FedChem上的研究结果表明，在与客户端的异构分子合作时，会出现重大的学习挑战。然后，我们提出了一种方法来缓解这个问题，即联邦学习的实例重新加权（FLIT（+））。FLIT（+）可以通过提高不确定样本的性能来调整异构客户端的本地训练。在我们的新基准FedChem上进行的综合实验验证了该方法相对于其他联邦学习方案的优势。FedChem应该实现一种新型的合作，以改善化学中的人工智能，减轻对有价值的化学数据的担忧。
2022-05-09 cs.LG physics.chem-ph
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University（东南大学）
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题，提出含多级正则化的FedMLP框架，通过原型与语义原型及三类正则化保障性能，在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
FedHQL: Federated Heterogeneous Q-Learning
National University of Singapore（新加坡国立大学）；ETH Zurich（苏黎世联邦理工学院）；Institute for Infocomm Research（资讯通信研究院）
联邦强化学习（FedRL）鼓励分布式代理从彼此的经验中集体学习，以提高其性能，而无需交换原始轨迹。FedRL上的现有工作假设所有参与的代理都是同质的，这要求所有代理共享相同的策略参数化（例如，网络架构和训练配置）。然而，在现实世界的应用程序中，代理往往是在不同意的架构和参数，也可能是因为不同的计算预算。由于在实际应用中没有给出同构性，本文引入了具有异构和黑盒代理的联邦强化学习（FedRL-HALE）的问题设置。我们提出了这种新设置带来的独特挑战，并提出了联邦异构Q-Learning（FedHQL）算法，主要解决这些挑战。我们实证证明了FedHQL在提高异构代理的样本效率与不同的政策参数化使用标准RL任务的功效。
2023-01-26 cs.DC cs.LG
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略，在异构边缘设备上实现个性化压缩，同时保持聚合兼容性和收敛稳定性，实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习（FL）是一种在分布在大量可能异构的客户端（如移动电话和物联网设备）上的私有数据上训练机器学习模型的方法。在这项工作中，我们提出了一个新的联邦学习框架命名为HeteroFL，以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练，仍然产生一个单一的全局推理模型。第一次，我们的方法挑战了现有工作的基本假设，即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练，并进行了广泛的实证评估，包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明，自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Estimating heterogeneous treatment effects with right-censored data via causal survival forests
Zhejiang University（浙江大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Stanford University（斯坦福大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
基于森林的方法最近在非参数处理效应估计中得到普及。在这一工作的基础上，我们引入了因果生存森林，它可用于估计异质性处理效应的生存和观察设置的结果可能是右删失。我们的方法依赖于正交估计方程，以鲁棒地调整下unconfoundness的删失和选择效果。在我们的实验中，我们发现我们的方法相对于一些基线表现良好。
2023-02-28 cs.LG stat.ME stat.ML
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
