Federated scientific machine learning for approximating functions and solving differential equations with data heterogeneity
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；Wu Tsai Institute（吴蔡研究院）
本文提出FedPINN和FedDeepONet两种联邦科学机器学习模型，结合数据异质性度量与权重散度理论分析，在函数逼近和PDE求解中取得优于本地训练并接近集中式训练的精度。
2024-10-17 cs.LG physics.comp-ph
Sharpness-Aware Minimization for Generalized Embedding Learning in Federated Recommendation
本文提出FedRecGEL框架，通过精确度感知最小化方法解决联邦推荐中通用物品嵌入学习的稳定性问题，提升推荐性能。
2026-03-12 cs.LG
FedRecon: Missing Modality Reconstruction in Heterogeneous Distributed Environments
针对多模态联邦学习中模态缺失与Non-IID数据异构的耦合挑战，提出FedRecon方法，利用轻量级MVAE重构缺失模态并通过分布映射实现样本级对齐，同时采用全局生成器冻结策略缓解Non-IID波动，在多模态数据集上超越现有方法。
2025-08-13 cs.AI cs.LG
A Privacy-Preserving Subgraph-Level Federated Graph Neural Network via Differential Privacy
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Beijing Jiaotong University（北京交通大学）
目前，联邦图神经网络（GNN）由于其在不违反隐私法规的情况下在现实中的广泛应用而引起了人们的广泛关注。在所有的隐私保护技术中，差分隐私（DP）由于其有效性和较小的计算开销是最有前途的一个。然而，基于DP的联邦GNN还没有得到很好的研究，特别是在子图级的设置，如推荐系统的场景。联邦GNN面临的最大挑战是如何在保证隐私的同时解决非独立同分布（non-IID）数据。在本文中，我们提出了DP-FedRec，一个基于DP的联邦GNN来填补这一空白。利用私有集交叉（PSI）来扩展每个客户端的局部图，从而解决非IID问题。最重要的是，DP不仅应用于PSI的权重，还应用于PSI的交集图的边缘，以充分保护客户端的隐私。测试结果表明，DP-FedRec在图形扩展方面取得了更好的性能，DP只引入了很少的计算开销。
2022-06-07 cs.AI cs.CR cs.LG
Federated Continual Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出联邦持续推荐任务FCRec及F3CRec框架，通过客户端自适应回放记忆和服务器逐项时序均值，在保护隐私的同时平衡知识保留与适应，实验证明其优于现有方法。
2025-08-17 cs.IR cs.LG
Graph Federated Learning for Personalized Privacy Recommendation
Yangzhou University（扬州大学）；Jilin University（吉林大学）；City University of Hong Kong（香港城市大学）；Nanjing University（南京大学）
本文提出GFed-PP框架，通过构建用户-项目交互图和用户关系图，利用公开用户数据并保护私有用户隐私，在适应不同隐私需求的同时显著提升了联邦推荐系统的准确性。
2025-08-08 cs.AI cs.LG
Towards Fair Federated Recommendation Learning: Characterizing the Inter-Dependence of System and Data Heterogeneity
Meta AI；Meta
联邦学习（FL）是一种通过在设备上运行机器学习模型训练来实现推荐系统中数据隐私的有效机制。虽然先前的FL优化解决了FL面临的数据和系统异构性挑战，但它们假设两者是相互独立的。这个基本假设并不能反映真实世界的大规模推荐系统--数据和系统的异构性是紧密交织在一起的。本文采用数据驱动的方法来展示真实世界数据中数据和系统异构性的相互依赖性，并量化其对整体模型质量和公平性的影响。我们设计了一个框架，RF^2，对相互依赖进行建模，并评估其对联邦推荐任务的最新模型优化技术的影响。我们证明，在现实的异质性场景下，公平性的影响可能是严重的，最多15.8- 41倍相比，在大多数（如果不是全部）以前的工作假设一个简单的设置。这意味着当现实的系统引起的数据异构性没有正确建模时，优化的公平性影响可以被淡化高达41倍。结果表明，建模现实的系统引起的数据异构性是必要的，以实现公平的联邦推荐学习。我们计划开源RF^2，以实现未来FL创新的设计和评估。
2022-05-30 cs.IR cs.LG
FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity
KAUST（阿卜杜拉国王科技大学）；Sony AI（索尼人工智能公司）
针对联邦学习中客户端系统异构性导致需定制个性化模型的问题，提出适配模型异构场景的联邦个性化隐私友好剪枝框架FedP3及其本地差分隐私变体DP-FedP3，并完成理论验证。
2024-04-15 cs.CR cs.LG
Federated Learning in Temporal Heterogeneity
Georgia Institute of Technology（佐治亚理工学院）
本文研究联邦学习中客户端间的时间异质性，发现固定长度序列训练的FedAvg收敛更快，并提出缓解时间异质性以提升联邦学习效率的方法。
2023-09-17 cs.LG
Personalized and Multi-View Representation for Federated Cold-Start Recommendation
针对联邦冷启动推荐的双重约束与三类局限，提出PMFRec方法，通过个性化生成器、多视图编码器及知识融合提升冷项目推荐性能与公平性、适应性及鲁棒性。
2026-08-31 cs.IR cs.LG
Navigating Heterogeneity and Privacy in One-Shot Federated Learning with Diffusion Models
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
本文提出 FedDiff 方法，利用扩散模型应对一次性联邦学习中的数据异构性，并结合傅里叶幅值滤波提升差分隐私下生成样本质量，从而改善全局模型训练性能。
2024-12-24 cs.CR cs.CV cs.LG
FederatedScope: A Flexible Federated Learning Platform for Heterogeneity
Alibaba Group（阿里巴巴集团）
尽管现有的联邦学习（FL）平台在为开发提供基础设施方面取得了显著的进展，但这些平台可能无法很好地解决各种类型的异构性带来的挑战，包括参与者本地数据、资源、行为和学习目标的异构性。为了填补这一空白，在本文中，我们提出了一种新的FL平台，名为FederatedScope，它采用了事件驱动的架构，为用户提供了极大的灵活性，独立地描述不同参与者的行为。这样的设计使得用户可以很容易地描述具有各种本地培训过程、学习目标和后端的参与者，并将其协调到具有同步或异步培训策略的FL课程中。FederatedScope是一个易于使用和灵活的平台，支持丰富类型的插件操作和组件，以实现高效的进一步开发，我们已经实现了几个重要组件，以更好地帮助用户进行隐私保护，攻击模拟和自动调优。我们在https://github.com/alibaba/FederatedScope上发布了FederatedScope，以促进联邦学习在各种场景中的学术研究和工业部署。
2022-11-15 cs.LG
Mitigating Data Heterogeneity in Federated Learning with Data Augmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Waterloo（滑铁卢大学）
联邦学习（FL）是一个突出的框架，它可以训练一个集中式模型，同时通过融合本地的分散式模型来保护用户隐私。在这种情况下，一个主要障碍是数据异构性，即，每个客户端具有不相同且独立分布的（非IID）数据。这类似于领域泛化（DG）的上下文，其中每个客户端可以被视为不同的域。然而，虽然DG中的许多方法从算法的角度来处理数据异构性，但最近的证据表明，数据增强可以产生相等或更高的性能。出于这种连接，我们提出了联邦版本的流行DG算法，并表明，通过应用适当的数据增强，我们可以减轻数据异构性的联邦设置，并获得更高的准确性看不见的客户端。配备了数据增强，我们可以实现最先进的性能，即使是最基本的联邦平均算法，更稀疏的通信。
2022-06-20 cs.LG
An Experimental Study of Data Heterogeneity in Federated Learning Methods for Medical Imaging
Stanford University（斯坦福大学）
联邦学习使多个机构能够以保护隐私的方式在其本地数据上协作训练机器学习模型。然而，它的分布式特性往往导致机构间数据分布的显著异质性。在本文中，我们调查的有害影响的分类数据异构性制度的联邦学习方法，包括数量偏斜，标签分布偏斜，成像采集偏斜。我们表明，性能下降的数据异构性程度的增加。我们提出了几种缓解策略，以克服性能下降的数据异构性，包括加权平均数据量偏斜，加权损失和批量归一化平均标签分布偏斜。所提出的对联邦学习方法的优化提高了它们处理跨机构异构性的能力，这为联邦学习在实际临床应用中的部署提供了有价值的指导。
2021-07-18 cs.AI cs.CV cs.LG
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning
Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；Tsinghua University（清华大学）
在现实世界的应用程序中的隐私和安全问题，导致了对抗强大的联邦模型的发展。然而，对抗训练和联邦学习在一个框架中的直接组合可能会导致不希望的鲁棒性恶化。我们发现，这种现象背后的归因是，生成的对抗性数据可能会加剧本地客户端之间的数据异构性，使包装的联邦学习表现不佳。为了解决这个问题，我们提出了一个名为Slack Federated Adversarial Training（SFAT）的新框架，在聚合过程中分配客户端松弛以对抗加剧的异质性。理论上，我们分析了所提出的方法的收敛性，以适当放宽目标时，结合联邦学习和对抗训练。在实验上，我们使用不同的对抗训练和联邦优化方法在各种基准数据集和真实世界数据集上验证了SFAT的合理性和有效性。该代码可在https://github.com/ZFancy/SFAT上公开获取。
2023-03-01 cs.LG
Learning to Collaborate via Structures: Cluster-Guided Item Alignment for Federated Recommendation
Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）；University of Edinburgh（爱丁堡大学）
CGFedRec通过聚类引导的方法，利用全局结构约束实现联邦推荐中的物品对齐，提升通信效率并保持推荐准确性。
2026-02-25 cs.IR cs.LG
FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient Federated Learning
Korea University（高丽大学）；Meta
联邦学习（FL）已经成为处理机器学习训练中隐私泄露风险的解决方案。该方法允许各种移动设备协作地训练机器学习模型，而无需与云共享原始设备上训练数据。然而，由于系统/数据异构性和运行时差异，FL的有效边缘部署具有挑战性。本文通过考虑上述挑战，在保证模型收敛的同时优化了FL用例的能效。我们提出了基于强化学习，学习如何识别最佳的全局参数（B，E，K）为每个FL聚合轮适应系统/数据的异质性和随机运行时方差的Federisk。在我们的实验中，Federix将模型收敛时间提高了2.4倍，并实现了比基线设置高3.6倍的能效。
2022-11-30 cs.CR cs.DC cs.LG
Benchmarking Algorithms for Federated Domain Generalization
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对现有联邦域泛化评估的局限，该研究提出可调控客户端数量与异质性、含数据集难度指标的基准方法，评估14类相关方法后发现多场景下仍存显著性能差距，并开源可扩展基准代码。
2024-04-10 cs.LG
Toward Data Heterogeneity of Federated Learning
University of Minnesota（明尼苏达大学）
联邦学习是机器学习的一种流行范式。理想情况下，当所有客户端共享类似的数据分布时，联邦学习工作得最好。然而，在现实世界中并不总是如此。因此，异构数据上的联邦学习得到了学术界和工业界越来越多的关注。在这个项目中，我们首先做了大量的实验，以显示数据偏斜和数量偏斜将如何影响最先进的联邦学习算法的性能。然后，我们提出了一个新的算法FedMix，调整现有的联邦学习算法，我们展示了它的性能。我们发现，现有的国家的最先进的算法，如FedProx和FedNova没有在所有的测试情况下有显着的改善。但是通过测试现有的和新的算法，似乎调整客户端比调整服务器端更有效。
2022-12-17 cs.LG
Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）；School of Systems Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）
本文综述了异构联邦学习在数据、模型、任务、设备和通信方面的挑战，系统梳理了数据级、模型级和架构级的应对方法及隐私保护策略，并展望了未来研究方向。
2025-03-08 cs.LG
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks
UC San Diego（加州大学圣地亚哥分校）；UCF（中佛罗里达大学）
虽然成功，但联邦学习为机器学习提出了新的挑战，特别是当数据异构性（也称为非IID数据）问题出现时。为了应对统计异质性，以前的作品在本地优化中加入了近端项，或者在服务器端修改了模型聚合方案，或者提倡集群联邦学习方法，其中中央服务器将代理人口分组为具有联合可训练数据分布的集群，以利用一定程度的个性化。虽然有效，但它们缺乏对什么样的数据异构性以及数据异构性如何影响参与客户端的准确性性能的深入阐述。与许多以前的联邦学习方法相比，我们不仅证明了当前设置中的数据异构性问题不一定是一个问题，而且事实上它对FL参与者也是有益的。我们的观察是直观的：（1）客户端的不同标签（标签偏斜）不一定被认为是数据异质性，以及（2）由其对应的数据主向量所跨越的代理的数据子空间之间的主角度是数据异质性的更好估计。我们的代码可在https://github.com/MMorafah/FL-SC-NIID上获得。
2022-09-30 cs.AI cs.LG
Communication-Efficient Federated Learning With Data and Client Heterogeneity
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）；Stanford University（斯坦福大学）；Aptos Labs（Aptos实验室）
提出首个同时支持数据异构、部分客户端异步和通信压缩的FedAvg变体，理论分析证明收敛性，在LEAF基准上验证了快速收敛并优于现有方法。
2025-05-22 cs.LG
Client Selection for Federated Policy Optimization with Environment Heterogeneity
The Hong Kong University of Science and Technology（香港科技大学）
本文研究了环境异质性下的联邦近似策略迭代（API），推导了误差界限，并从理论上证明适当的客户端选择可降低该误差，据此提出一种客户端选择算法以缓解异质性带来的额外近似误差，在多个问题上优于其他选择方法。
2025-06-02 cs.LG
Architectural Blueprint For Heterogeneity-Resilient Federated Learning
London South Bank University（伦敦南岸大学）
针对边缘环境中的数据异构与算力约束，提出三层隐私保护联邦学习架构，更有效处理 non-IID 数据并提升准确率、降低通信开销。
2024-06-14 cs.DC cs.LG cs.NI
FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning
Auburn University（奥本大学）
针对跨孤岛场景下决策聚焦联邦学习中的目标与可行集异构性问题，提出基于正则化投影平滑的FedRSPO+框架，并证明其决策误差界与跨客户端异构性界，实验验证平滑策略的有效性。
2026-10-08 cs.LG math.OC stat.ML
Heterogeneity for the Win: One-Shot Federated Clustering
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们探索了无监督联邦学习（FL）的独特挑战和机遇。我们开发和分析一个一次性的联邦聚类方案，$k$ -FED，广泛使用的劳埃德的方法$k$均值聚类的基础上。与许多监督问题相比，我们发现联邦网络中的统计异质性问题实际上有利于我们的分析。我们分析$k$ -FED下的中心分离的假设，并比较它的集中式对应的最佳已知的要求。我们的分析表明，在每个设备$(k')$的集群数小于网络$k$，$(k'\le \sqrt{k})$上的集群总数的异构体系中，我们可以利用异构性来发挥优势-显著削弱$k$ -FED的集群分离要求。从实用的角度来看，$k$ -FED还具有许多理想的属性：它只需要一轮通信，可以异步运行，并可以处理部分参与或节点/网络故障。我们激励我们的分析与常见的FL基准测试的实验，并通过个性化FL和设备采样的用例突出了一次性聚类的实际效用。
2021-10-05 cs.LG
Towards Effective Federated Multimodal Graph Learning via Navigating Multifaceted Heterogeneity
针对联邦多模态图学习的多层面异质性问题，本文提出FedTCR算法，通过两阶段范式与拓扑感知跨模态路由机制，在7个领域的图中心与模态中心任务上优于现有最优基线。
2026-08-04 cs.LG
Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks
University of Calgary（卡尔加里大学）
该研究聚焦空天网络联邦学习中的异质性与类别不平衡问题，分析了异质性对类别不平衡的影响及电池等约束的加剧作用，指出现有算法难以有效应对该场景下的高度异质性挑战。
2024-09-17 cs.DC cs.LG
Against Multifaceted Graph Heterogeneity via Asymmetric Federated Prompt Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对联邦图学习中数据与任务的多面异质性，提出FedGPL框架，通过分割联邦保留通用与领域知识，并利用HiDTA层次化传递跨任务知识、VPG自适应生成图结构，实现高效非对称图知识转移，显著提升准确性与效率。
2024-11-04 cs.AI cs.DC cs.LG
SplitAVG: A heterogeneity-aware federated deep learning method for medical imaging
Stanford University（斯坦福大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马丁诺斯生物医学成像中心）；Massachusetts General Hospital（马萨诸塞州综合医院）
联邦学习是一种新兴的研究范式，用于在不共享患者数据的情况下协作训练深度学习模型。然而，来自不同机构的数据通常是异构的，这可能会降低使用联邦学习训练的模型的性能。在这项研究中，我们提出了一种新的异质性感知的联邦学习方法，SplitAVG，以克服性能下降的数据异质性在联邦学习。与以前需要复杂的启发式训练或超参数调整的联邦方法不同，我们的SplitAVG利用简单的网络分割和特征映射拼接策略来鼓励联邦模型训练目标数据分布的无偏估计器。我们将SplitAVG与七种最先进的联邦学习方法进行了比较，使用集中托管的训练数据作为合成和真实世界联邦数据集的基线。我们发现，使用所有比较联邦学习方法训练的模型的性能随着数据异构程度的增加而显着下降。相比之下，SplitAVG方法在所有异质设置下实现了与基线方法相当的结果，即在高度异质的数据分区上，它分别在糖尿病视网膜病变二元分类数据集和骨龄预测数据集中实现了由基线获得的96.2%的准确度和110.4%的平均绝对误差。我们得出结论，SplitAVG方法可以有效地克服跨机构的数据分布的可变性的性能下降。实验结果还表明，SplitAVG可以适应不同的基础网络，并推广到各种类型的医学成像任务。
2022-04-10 cs.LG eess.IV
Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（教育部新一代人工智能技术及其交叉应用重点实验室（东南大学））
本文针对私有数据倾斜分布的联邦学习挑战，提出带个性化的联邦原型校正方法，通过联邦个性化构建平衡决策边界并利用类间判别与类内一致性校正原型，在个性化和泛化上均优于现有方法。
2024-08-23 cs.DC cs.LG
Personalized Federated Learning for Statistical Heterogeneity
Pukyong National University（釜山国立大学）
本文针对联邦学习中数据分布异构导致的个性化不足和收敛缓慢问题，总结了个性化联邦学习（PFL）的概念、相关技术、当前进展及未来研究挑战。
2024-02-07 cs.LG cs.NI
Federated Reinforcement Learning with Environment Heterogeneity
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）
我们研究了一个联邦强化学习（FedRL）问题，其中$n$代理协作学习单个策略，而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束，这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数，我们提出了两个联邦RL算法，\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明，这些算法收敛到次优的解决方案，而这种次优性取决于如何异构这些$n$环境。此外，我们提出了一个启发式，实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练，而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
FedRD: Reducing Divergences for Generalized Federated Learning via Heterogeneity-aware Parameter Guidance
The Hong Kong Polytechnic University（香港理工大学）；The Education University of Hong Kong（香港教育大学）
FedRD通过异质性感知的参数引导和局部去偏分类，减少联邦学习中的优化与性能分歧，提升模型在异质数据下的泛化能力。
2026-01-28 cs.AI cs.LG
Towards Robust Federated Analytics via Differentially Private Measurements of Statistical Heterogeneity
针对联邦场景中统计异质性导致差分隐私分析准确性下降的问题，本文提出结合差分隐私的统计异质性测量方法及分析机制，实验验证其在分布式环境下准确性优于经典/集中式方案，且异质性样本下无显著精度损失。
2024-11-28 cs.DB cs.LG
Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning
University of Nevada, Reno（内华达大学里诺分校）；IBM Research（IBM研究院）；University of Virginia（弗吉尼亚大学）
数据异构性已被确定为联邦学习的关键特征之一，但在对对抗攻击的鲁棒性方面往往被忽视。本文通过使用合成和LEAF基准测试的综合实验，重点描述和理解其对联邦学习中后门攻击的影响。我们的实验结果驱动的初步印象表明，数据异构性是攻击有效性的主导因素，它可能是防御后门的救赎，因为它使攻击效率降低，设计有效的攻击策略更具挑战性，攻击结果也变得更难预测。然而，通过进一步的调查，我们发现数据异构性更像是一种诅咒而不是救赎，因为只需调整客户端后门定时就可以显着提高攻击效率。更重要的是，数据异构性可能导致在良性客户端的本地训练中过度拟合，攻击者可以利用这些过度拟合来伪装自己并欺骗基于倾斜特征的防御。此外，还可以通过调整攻击数据分布来制定有效的攻击策略。最后，我们讨论了防御数据异构带来的诅咒的潜在方向。从我们广泛的实验和分析中获得的结果和经验教训为设计健壮的联邦学习方法和系统提供了新的见解
2021-02-01 cs.DC cs.LG
Federated Temporal Difference Learning with Linear Function Approximation under Environmental Heterogeneity
Columbia University（哥伦比亚大学）；North Carolina State University（北卡罗来纳州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文首次在环境异质性下研究联邦强化学习的策略评估问题，提出带线性函数逼近的联邦时序差分学习算法，并通过虚拟 MDP 和扰动界分析证明低异质性下交换模型估计可实现随智能体数量线性增长的收敛加速。
2024-07-01 cs.LG math.OC
FedorAS: Federated Architecture Search under system heterogeneity
Samsung AI Center（三星人工智能中心）
联邦学习（FL）最近受到了相当大的关注，因为它能够在保护客户隐私的同时学习分散的数据。然而，它也带来了与参与设备的异质性相关的额外挑战，无论是在其计算能力还是贡献的数据方面。同时，神经架构搜索（NAS）已成功用于集中式数据集，在受约束或不受约束的设置中产生最先进的结果。然而，这种集中式数据集可能并不总是可用于训练。最近在NAS和FL交叉领域的工作尝试在跨竖井联合设置中缓解此问题，该设置假设具有企业级硬件的同构计算环境。在本文中，我们探讨了我们是否可以在跨设备联合设置中设计不同足迹的架构的问题，其中设备环境，可用性和规模非常不同。为此，我们设计我们的系统，FedorAS，发现和训练有前途的架构，在处理不同的能力，持有非IID分布式数据的设备时，以资源感知的方式。我们提出了其在不同环境下的有效性的经验证据，跨越三种不同的模式（视觉，语音，文本），并展示了其更好的性能相比，最先进的联邦解决方案，同时保持资源效率。
2022-09-29 cs.LG
Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning
Meta AI
联邦学习的一个经常提到的挑战是异质性的存在。\emph{Data heterogeneity}是指来自不同客户端的数据可能遵循非常不同的分布。\emph{System heterogeneity}是指客户端设备具有不同的系统能力的事实。大量的联邦优化方法可以解决这一挑战。在文献中，经验评估通常从随机初始化开始联邦训练。然而，在联邦学习的许多实际应用中，服务器可以访问训练任务的代理数据，这些数据可以用于在开始联合训练之前预训练模型。我们使用四个标准的联邦学习基准数据集实证研究了从联邦学习中的预训练模型开始的影响。不出所料，从预先训练的模型开始减少了达到目标出错率所需的训练时间，并且能够训练比从随机初始化开始时更准确的模型（高达40%）。令人惊讶的是，我们还发现，从预先训练的初始化开始联邦学习可以减少数据和系统异构性的影响。我们建议未来的工作提出和评估联邦优化方法时，从随机和预先训练的初始化开始评估性能。我们还认为，这项研究提出了几个问题，进一步了解联邦优化中的异构性的作用。
2022-10-14 cs.AI cs.LG
When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity
University of Gujrat（瓜尔杰特大学）
研究发现，在极端联邦异质性下，基础模型先验可能加剧最差客户端的差异，通过实验对比文本分类中TextCNN与DistilBERT+LoRA的表现，揭示FM公平性悖论。
2026-09-22 cs.LG
Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning
Meta AI
联邦学习的一个经常提到的挑战是异质性的存在。\emph{Data heterogeneity}是指来自不同客户端的数据可能遵循非常不同的分布。\emph{System heterogeneity}是指具有不同系统能力的客户端设备。大量的联邦优化方法可以解决这一挑战。在文献中，经验评估通常从随机初始化开始联邦训练。然而，在联邦学习的许多实际应用中，服务器可以访问训练任务的代理数据，这些数据可以用于在开始联合训练之前预训练模型。使用四个标准的联邦学习基准数据集，我们实证研究了从联邦学习中的预训练模型开始的影响。不出所料，从预先训练的模型开始减少了达到目标出错率所需的训练时间，并且能够训练比从随机初始化开始时更准确的模型（高达40%）。令人惊讶的是，我们还发现，从预先训练的初始化开始联邦学习可以减少数据和系统异构性的影响。我们建议未来的工作提出和评估联邦优化方法，以评估从随机和预先训练的初始化开始时的性能。这项研究提出了几个问题，进一步了解联邦优化中的异构性的作用。\footnote{Our code is available at: \url{https://github.com/facebookresearch/where_to_begin}}
2023-03-24 cs.AI cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称，以提高指标，如准确性，公平性和健壮性，在联邦网络。然而，尽管在这一领域已经做了大量的工作，但仍然不清楚：（1）哪些个性化技术在各种设置中最有效，以及（2）个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题，我们提出了Motley，一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成，以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法，在基准上建立基线。这些初步结果突出了现有方法的优点和缺点，并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法，以推进个性化和异构感知联邦学习的发展，以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent
Chongqing University of Posts and Telecommunications（重庆邮电大学）
联邦学习（Federated learning，FL）是近年来备受关注的一种新的智能推理方法，它使分布式设备能够在不共享数据共享的情况下，协同地训练一个通用的机器学习（Machine Learning，ML）模型。然而，在实际网络中的问题，如非独立和同分布（non-iid）的原始数据和有限的带宽，引起的FL训练过程的缓慢和不稳定的收敛。为了解决这些问题，我们提出了一个新的FL方法，可以显着减轻统计异质性通过人格解体机制。特别地，我们通过交替的随机梯度下降来解耦全局和局部优化目标，从而减少局部更新阶段的累积方差以加速FL收敛。然后，我们详细分析了所提出的方法，证明了所提出的方法在一般的非凸设置下以亚线性速度收敛。最后，通过在公开数据集上的实验，验证了该方法的有效性.
2022-10-31 cs.LG
UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity
UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架，含FedCSA与TCoD组件，在多基准数据集上优于现有FL方法。
2026-08-18 cs.LG
Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
PM-SFL通过概率掩码训练和个性化掩码学习，在隐私保护和异质性感知方面提升了分裂联邦学习的性能和鲁棒性。
2025-12-30 cs.LG
Exploiting Heterogeneity in Robust Federated Best-Arm Identification
University of Pennsylvania（宾夕法尼亚大学）
我们研究了随机多臂强盗中最佳手臂识别问题的联邦变体：一组客户端，每个客户端只能对手臂的一个子集进行采样，通过服务器协作以识别最佳手臂（即，具有最高平均奖励的手臂）。对于这个问题，我们提出了Fed-SEL，一个简单的通信效率的算法，建立在连续消除技术，并涉及在客户端的本地采样步骤。为了研究Fed-SEL的性能，我们引入了臂异构性的概念，该臂异构性捕获了与不同客户端对应的臂分布之间的相异性水平。有趣的是，我们的分析揭示了臂异构性在降低Fed-SEL的样本和通信复杂性方面的好处。作为我们分析的一个特例，我们表明，对于某些异构问题实例，Fed-SEL在一轮通信后输出最佳臂。我们的研究结果具有以下关键意义：与联邦监督学习不同，最近的工作表明统计异质性可能导致性能低下，可以证明可以获得本地计算和异质性的好处，用于联邦最佳臂识别。作为我们的最后一个贡献，我们开发了Fed-SEL的变体，用于联邦和对等设置，这些变体对拜占庭客户端的存在具有鲁棒性，因此适合在恶劣的敌对环境中部署。
2021-09-15 cs.LG cs.SY eess.SY
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sony AI（索尼人工智能研究院）；Huawei Cloud & AI（华为云与计算）
本地客户端的非独立同分布（non-IID）数据的统计异质性极大地限制了联邦学习的性能。以前的尝试，如FedProx，SCAFFOLD，MOON，FedNova和FedDyn诉诸于优化的角度，这需要一个辅助项或重新加权本地更新来校准学习偏差或目标不一致性。然而，除了以前对联邦平均改进的探索之外，我们的分析表明，另一个关键瓶颈是在更异构的条件下客户端模型的最优值较差。因此，我们引入了一种名为FedSkip的数据驱动方法，通过定期跳过联邦平均和将本地模型分散到跨设备来改善客户端优化。我们从理论上分析了FedSkip可能带来的好处，并在一系列数据集上进行了广泛的实验，以证明FedSkip实现了更高的准确性，更好的聚合效率和竞争的通信效率。源代码可在https://github.com/MediaBrain-SJTU/FedSkip上获得。
2022-12-14 cs.DC cs.LG
Synthetic data shuffling accelerates the convergence of federated learning under data heterogeneity
Technical University of Denmark（丹麦技术大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对联邦学习中的数据异构性问题，本文建立跨客户端数据混洗比例与收敛速率参数的量化关系，证明混洗可二次降低梯度相异性，并提出混洗本地合成数据的权限友好方法，显著提升多种联邦学习算法性能。
2024-04-08 cs.CV cs.DC cs.LG
Virtual Homogeneity Learning: Defending against Data Heterogeneity in Federated Learning
Hong Kong Baptist University（香港浸会大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
在联邦学习（FL）中，模型性能通常会受到由数据异构引起的客户端漂移的影响，主流研究集中在纠正客户端漂移上。我们提出了一种不同的方法，称为虚拟同质性学习（VHL）直接“纠正”数据的异质性。特别是，VHL使用一个虚拟的同质数据集进行FL，该数据集满足两个条件：不包含私有信息和可分离。虚拟数据集可以从跨客户端共享的纯噪声生成，旨在校准来自异构客户端的特征。从理论上证明了VHL在自然分布上具有可证明的推广性能。经验上，我们表明，VHL赋予FL大幅提高收敛速度和泛化性能。VHL是首次尝试使用虚拟数据集来解决数据异构性，为FL提供了新的有效手段。
2022-06-24 cs.AI cs.DC cs.LG
On the Impact of Device and Behavioral Heterogeneity in Federated Learning
KAUST（阿卜杜拉国王科技大学）；UCLouvain（鲁汶大学）；IST(ULisboa)/INESC-ID（里斯本大学高等技术学院/信息与通信技术研究所）
联邦学习（FL）正在成为一种流行的模式，用于在非信任实体拥有的分布式私有数据集上进行协作学习。FL已经在生产环境中成功部署，并已在虚拟键盘、自动完成、项目推荐和多个物联网应用程序等服务中采用。然而，FL面临着在集中式FL服务器无法控制的大部分异构数据集、设备和网络上执行训练的挑战。在这种固有设置的激励下，我们迈出了表征设备和行为异质性对训练模型的影响的第一步。我们进行了广泛的实证研究，跨越近1.5K独特的配置上五个流行的FL基准。我们的分析表明，这些来源的异质性有重大影响的模型性能和公平性，从而揭示了在FL系统设计中考虑异质性的重要性。
2021-02-15 cs.DC cs.LG cs.PF
Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition
Purdue University（普渡大学）
本文提出将联邦学习中的卷积滤波器分解为滤波器原子及其系数的线性组合，通过聚合原子和系数并利用交叉项模拟大量潜在客户端以降低模型方差，从而有效克服数据异质性并提升模型准确率。
2025-03-11 cs.LG
MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity
KAIST（韩国科学技术院）；NTU Singapore（新加坡南洋理工大学）
针对联邦多模态医疗AI的客户端与样本级模态异质性问题，提出MedMix框架，通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合，在多模态医疗数据集上取得最优平均F1值，严重异质性下提升显著。
2026-08-17 cs.LG
FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity
University of Science and Technology of China（中国科学技术大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦学习（FL）是一种新兴的框架，用于通过受限于有限的通信带宽、数据分布和计算资源的异构性以及隐私考虑的边缘设备对大数据量进行分布式处理。在本文中，我们介绍了一个新的FL协议称为FedADMM的基础上的原始-对偶优化。所提出的方法利用双变量来解决统计异构性，并通过容忍客户端执行的可变工作量来适应系统异构性。FedADMM保持与FedAvg/Prox相同的每轮通信成本，并通过增广拉格朗日函数对其进行推广。一个收敛性证明建立非凸目标，在没有限制的数据相异度或每轮的算法参与者的数量。我们通过在真实数据集上进行广泛的实验，在跨客户端的IID和非IID数据分布下证明了这些优点。FedADMM在通信效率方面始终优于所有基准方法，达到规定精度所需的轮次数减少了87%。该算法通过使用对偶变量有效地适应异构数据分布，而不需要超参数调整，其优势在大规模系统中更加明显。
2022-04-08 cs.LG
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对联邦 LoRA 中客户端秩异构导致零填充聚合稀释高秩信息的问题，提出基于复制的填充策略，以保留高质量客户端信息并提升全局模型收敛与预测性能。
2025-02-15 cs.DC cs.LG
