Personalized Federated Learning with Contextualized Generalization
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）
流行的个性化联邦学习（PFL）通常通过维护共享的全局模型来指导局部模型的训练过程，从而在个性化和泛化之间寻求平衡。然而，当局部数据集上存在多个潜在上下文时，单一的全局模型可能容易将偏离的上下文知识转移到某些局部模型。在本文中，我们提出了一个新的概念，称为上下文泛化（CG），为每个客户端提供细粒度的上下文知识，可以更好地适应本地数据分布，促进更快的模型收敛，在此基础上，我们适当地设计了一个框架的PFL，被称为CGPFL。我们进行了详细的理论分析，其中的收敛性保证和$\mathcal{O}(\sqrt{K})$加速大多数现有的方法被授予。为了定量地研究泛化-个性化的权衡，我们引入了“泛化误差”的措施，并证明了建议的CGPFL可以实现一个更好的权衡比现有的解决方案。此外，我们的理论分析进一步启发了一个启发式算法，找到一个接近最优的权衡在CGPFL。在多个真实世界数据集上的实验结果表明，我们的方法在测试精度上明显优于最先进的方法。
2022-05-01 cs.DC cs.LG
Federated Wasserstein Distance
Criteo AI Lab（Criteo人工智能实验室）；MIT（麻省理工学院）
本研究提出联邦算法FedWad，利用Wasserstein距离的三角不等式与测地线几何性质，在中心服务器不接触原始样本的情况下迭代估算跨客户端样本间的Wasserstein距离，验证了收敛性并将其用于构建新联邦模型、提升主流联邦学习算法性能。
2023-10-03 cs.DC cs.LG
Bridging Generalization Gap of Heterogeneous Federated Clients Using Generative Models
School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）；Department of Computing Technologies（计算技术系）；Swinburne University of Technology（斯威本理工大学）
本文提出一种模型异质化的联邦学习框架，通过生成合成数据提升客户端在未见过数据上的泛化能力，同时减少通信和内存开销。
2026-02-13 cs.DC cs.LG
Federated Measurement of Demographic Disparities from Quantile Sketches
Kyoto University, Japan（京都大学）
本文提出一种联邦学习方法，通过分位数摘要测量人口公平性差异，利用Wasserstein-Fréchet方差分析敏感群体分数分布，实现通信高效且具有有限样本保证的全局差异估计。
2026-02-21 cs.LG stat.ML
FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）
针对多模态联邦学习中微调大型视觉语言模型时面临的数据与任务异质性及资源限制问题，提出FedPIA框架，通过利用Wasserstein重心在服务器和客户端进行适配器的逐层置换与集成，有效融合客户端特定与无关知识，在48个医学数据集的2000多次实验中显著优于现有PEFT-FL基线。
2024-12-19 cs.AI cs.CV cs.LG
How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；University of Granada（格拉纳达大学）；EURECOM（欧洲通信大学）
针对跨孤岛联邦学习中数据异质性导致的性能下降问题，提出基于层次聚类的协作训练方案HCCT，通过划分协作组提升泛化性能，其效果优于基线方案且在特定场景下可退化为独立训练或传统FL。
2024-11-28 cs.DC cs.LG
Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning
针对环形拓扑去中心化联邦学习中数据异构与信息共享效率低的问题，提出DRDFL框架，通过PersonaNet模块提取个性化特征，并利用Learngene模块对齐共享知识，实现泛化与个性化的协调。
2025-04-27 cs.DC cs.LG
DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；University at Buffalo（纽约州立大学布法罗分校）
针对个性化联邦学习中泛化与个性化难以兼得的冲突，本文提出DualFed方法，通过在编码器与分类器间插入个性化投影网络，分别生成泛化表示和个性化表示，从而同时提升模型泛化能力与本地个性化效果。
2025-02-05 cs.DC cs.LG
Private Wasserstein Distance
IORA, National University of Singapore（新加坡国立大学IORA）
本研究提出TriangleWad方法，利用Wasserstein空间的三角性质，在保护原始数据隐私的前提下快速计算不同实体间数据集的Wasserstein距离，兼顾安全性与高精度。
2025-02-02 cs.AI cs.LG
Data-Driven Laplacian-Constrained Personalized Federated Learning
Division of Decision and Control Systems KTH Royal Institute of Technology（决策与控制系统系 瑞典皇家理工学院）
针对联邦学习中的客户端统计异质性，提出 KARULA 正则化个性化方法，利用适配联邦场景的 1-Wasserstein 距离代理量约束模型相异性，并给出收敛的非精确投影随机梯度算法。
2026-10-28 cs.LG
Data Valuation and Detections in Federated Learning
National University of Singapore（新加坡国立大学）；NUS (Chongqing) Research Institution（新加坡国立大学（重庆）研究院）；Georgetown University（乔治城大学）
本文提出隐私保护的 FedBary 方法，利用 Wasserstein 距离和重心在联邦学习中评估客户贡献、筛选相关数据集，并降低对验证集的依赖。
2024-05-09 cs.AI cs.CR cs.LG
Federated Learning under Covariate Shifts with Generalization Guarantees
University of Oslo（奥斯陆大学）；Visual Intelligence Centre（视觉智能中心）；EPFL（洛桑联邦理工学院）
针对联邦学习中客户端内外协变量偏移影响泛化性能的问题，提出FTW-ERM及通信高效变体FITW-ERM，理论和实验均验证了其在泛化性能上优于现有基线。
2023-06-08 cs.LG
Federated Functional Gradient Boosting
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）；Yale（耶鲁大学）
在本文中，我们提出了一个研究功能最小化的联邦学习。首先，在半异构设置，当客户端机器上的特征向量的边缘分布是相同的，我们开发的联邦功能梯度提升（FFGB）的方法，可证明收敛到全局最小值。随后，我们通过设计一个名为FFGB. C的FFGB的有效变体，将我们的结果扩展到完全异构的设置（其中特征向量的边缘分布可能不同），可证明收敛到半径内的全局最小值的邻域，该半径取决于客户端特征分布之间的总变化距离。对于平方损失的特殊情况，但仍然是在完全异构的设置，我们设计的FFGB.L方法，也享有可证明收敛到一个邻域的全局最小值，但在一个半径取决于更紧密的Wasserstein-1距离。对于FFGB. C和FFGB.L，随着特征分布变得更加均匀，收敛半径缩小到零。最后，我们进行了概念验证实验，以证明我们的方法对自然基线的好处。
2021-03-11 cs.DC cs.LG math.OC
Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters
Northwestern University（西北大学）
本文利用算法稳定性分析 FedAvg、SCAFFOLD 和 FedProx 在凸与非凸损失下的泛化，揭示客户端数据异质性和收敛行为的关键作用。
2023-06-06 cs.LG
Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
École Polytechnique（巴黎综合理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文主要研究联邦学习环境下的贝叶斯推断。虽然已经提出了几个分布式MCMC算法，很少考虑FL的具体限制，如通信瓶颈和统计异质性。最近，引入了联合平均朗之万动力学（Federated Averaging Langevin Dynamics，简称FMD），其将联合平均算法扩展到贝叶斯推断。我们得到了一个新的紧的非渐近上界的瓦瑟斯坦距离的全球后验的Wasserstein D。该界限突出了统计异质性的影响，这会导致局部更新的漂移，从而对收敛产生负面影响。我们提出了一个新的算法VR-VRND *，使用控制变量来纠正客户端漂移。我们建立了非渐近界，表明VR-ADVD * 不受统计异质性的影响。最后，我们说明了我们的结果在几个FL基准贝叶斯推断。
2022-10-31 cs.LG stat.ML
Federated Learning with Domain Generalization
Chongqing University（重庆大学）；Michigan State University（密歇根州立大学）
联邦学习（FL）使一组客户端能够在集中式服务器的帮助下联合训练机器学习模型。在训练过程中，客户端不需要向服务器提交其本地数据，因此客户端的本地训练数据受到保护。在FL中，分布式客户端独立地收集它们的本地数据，因此每个客户端的数据集可以自然地形成不同的源域。在实践中，在多个源域上训练的模型可能在看不见的目标域上具有较差的泛化性能。为了解决这个问题，我们提出了FedADG来为联邦学习提供领域泛化能力。FedADG采用联邦对抗学习方法，通过将每个分布与参考分布进行匹配来测量和对齐不同源域之间的分布。自适应地生成参考分布（通过容纳所有源域），以最小化对齐期间的域偏移距离。在FedADG中，对齐是细粒度的，因为每个类都是独立对齐的。通过这种方式，学习的特征表示应该是通用的，因此它可以在看不见的领域上很好地推广。在各种数据集上的密集实验表明，FedADG具有与最先进的性能相当的性能。
2023-01-07 cs.LG
Data Valuation and Selection in a Federated Model Marketplace
IORA National University of Singapore（国际研究机构国立新加坡大学）；NUS Research Institution（国立新加坡大学研究机构）；Department of ECE（电子工程系）；Virginia Tech（弗吉尼亚理工大学）；Business School（商学院）
本文针对联邦模型市场中的数据估值与选择问题，提出基于Wasserstein估计器的隐私保护框架，结合神经标度律实现无需全量训练的性能预测与数据筛选，并通过多场景实验验证其有效性。
2025-09-09 cs.AI cs.LG
Differentiated Aggregation to Improve Generalization in Federated Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出FedALS算法，通过对联邦学习模型不同部分采用差异化聚合频率，降低通信成本，提升非独立同分布场景下的模型泛化能力，实验验证了其有效性。
2026-08-27 cs.AI cs.LG
Improving Generalization in Federated Learning by Seeking Flat Minima
Politecnico di Torino（都灵理工大学）；CINI（意大利国家信息学大学联盟）
在联邦设置中训练的模型通常会遭受性能下降和泛化失败的困扰，特别是在面对异构场景时。在这项工作中，我们调查这种行为，通过镜头的几何损失和海森本征谱，连接模型的缺乏泛化能力的解决方案的清晰度。受先前研究的启发，将损失表面的锐度与泛化差距联系起来，我们表明：i）使用锐度感知最小化（SAM）或其自适应版本（ASAM）在本地训练客户端，ii）在服务器端平均随机权重（SWA）可以大大提高联邦学习中的泛化能力，并有助于弥合与集中式模型的差距。通过在具有均匀低损失的邻域中寻找参数，该模型收敛于更平坦的最小值，并且其泛化能力在同质和异质场景中都有显着提高。实证结果表明，这些优化器在各种基准视觉数据集（例如CIFAR 10/100，Landmarks-User-160 k，IDDA）和任务（大规模分类，语义分割，领域泛化）上的有效性。
2022-07-21 cs.CV cs.LG
Personalised Federated Learning On Heterogeneous Feature Spaces
Criteo AI Lab（Criteo人工智能实验室）
大多数个性化联邦学习（FL）方法假设所有客户端的原始数据都定义在一个公共子空间中，即所有客户端根据相同的模式存储其数据。对于现实世界的应用程序，这个假设是限制性的，因为客户端有自己的系统来收集和存储数据，可能会使用异构数据表示。我们的目标是填补这一空白。为此，我们提出了一个通用的框架创造FLIC，客户端的数据映射到一个共同的特征空间，通过本地嵌入功能。公共特征空间是使用Wasserstein重心以联邦方式学习的，而本地嵌入函数是通过分布对齐在每个客户端上训练的。我们将这种分布式学习机制集成到一种联邦学习方法中，并给出了FLIC的算法。我们比较其性能对FL基准涉及异构输入特征空间。此外，我们提供了理论见解，支持我们的方法的相关性。
2023-01-26 cs.AI cs.LG stat.ML
Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Harvard College（哈佛大学）；Imperial College London（帝国理工学院伦敦分校）
本文提出迭代联邦适应方法，通过生成层面的忘却和进化策略提升联邦学习在非iid数据下的泛化能力，实验表明在多个数据集上平均提升21.5%。
2026-02-04 cs.LG
Distributionally Robust Clustered Federated Learning: A Case Study in Healthcare
Duke University（杜克大学）；School of Medicine, Duke University（杜克大学医学院）
针对跨机构联邦学习的数据异质性问题，提出基于Wasserstein距离的CS-RCFL算法，通过整数分式规划实现分布鲁棒聚类，兼顾模型性能与隐私，在医疗数据上验证有效。
2024-10-09 cs.LG
Personalized Federated Learning via Convex Clustering
Carnegie Mellon University（卡内基梅隆大学）；University of Novi Sad（诺维萨德大学）
我们提出了一个参数家庭的个性化联邦学习的局部凸用户成本的算法。所提出的框架是基于一个推广的凸聚类，其中不同用户的模型之间的差异通过一个总和的范数惩罚惩罚，加权的惩罚参数$λ$。所提出的方法，使“自动”模型聚类，没有事先知道的隐藏的集群结构，也没有集群的数量。分析的权重参数，导致同时个性化，泛化和自动模型聚类的界限。对公式化问题的解决方案通过在不同的集群中提供不同的模型来实现个性化，并且通过提供与孤立计算的每个用户模型不同的模型来实现泛化。然后，我们提供了一个有效的算法的基础上，并行方向乘法（PDMM）解决所提出的配方在联邦服务器-用户设置。数值实验证实了我们的发现。作为一个有趣的副产品，我们的研究结果提供了几个概括凸聚类。
2022-02-18 cs.LG
Adaptive Personalized Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
对联邦学习算法中个性化程度的研究表明，只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中，我们提倡一种自适应个性化联邦学习（APFL）算法，每个客户端将训练他们的本地模型，同时有助于全球模型。我们推导了局部和全局模型混合的推广界，并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型，并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性，以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）
针对噪声信道下拓扑感知的异构联邦边缘学习，提出信息论泛化分析，并设计FedGMIR正则化方法提升模型性能，数值实验验证了其有效性。
2023-12-23 cs.IT cs.LG math.IT
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong（香港大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Damo Institute, Alibaba（阿里巴巴达摩院）；the University of New South Wales（新南威尔士大学）
针对端到端自动驾驶中通信资源受限的分层联邦学习问题，提出CRCHFL框架，利用混合数据与模型聚合最小化泛化误差，并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
From Optimization to Generalization: Fair Federated Learning against Quality Shift via Inter-Client Sharpness Matching
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本研究针对联邦学习中成像质量偏移导致的公平性问题，提出客户端间锐度匹配（FedISM）方法，通过锐度感知协调客户端泛化，实验证明其优于现有方法。
2024-12-18 cs.CV cs.LG
SplitGP: Achieving Both Generalization and Personalization in Federated Learning
Purdue University（普渡大学）；KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）
提供边缘人工智能服务的一个根本挑战是需要一个机器学习（ML）模型来实现个性化（即，到个人客户端）和一般化（即，到不可见的数据）属性。联邦学习（FL）中的现有技术在这些目标之间遇到了急剧的权衡，并且在训练和推理期间对边缘设备施加了大量的计算要求。在本文中，我们提出了SplitGP，这是一种新的分割学习解决方案，可以同时捕获泛化和个性化功能，以便在资源受限的客户端（例如，移动/IoT设备）。我们的关键思想是将完整的ML模型分为客户端和服务器端组件，并为它们施加不同的角色：客户端模型经过训练，具有针对每个客户端的主要任务进行优化的强大个性化能力，而服务器端模型经过训练，具有处理所有客户端的分发任务的强大泛化能力。我们分析了SplitGP的收敛行为，揭示了所有客户端模型渐近地接近稳定点。此外，我们分析了SplitGP中的推理时间，并提供了确定模型分割比的界限。实验结果表明，SplitGP优于现有的基线，在推理时间和测试精度的大幅利润率为不同数量的分布外的样本。
2023-02-11 cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University（武汉大学）；Hong Kong University of Science and Technology（香港科技大学）
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展，并基于多个数据集进行基准测试，同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG
Federated Learning for Feature Generalization with Convex Constraints
Dongwon Kim（金东Won）；Donghee Kim（金东浩）；Sung Kuk Shyn（申 Sung Kuk）；Kwangsu Kim（金光Su）
针对联邦学习中客户端数据异构导致的泛化问题，提出FedCONST方法，利用线性凸约束自适应调整更新幅度，平衡参数学习，并通过梯度信噪比分析验证其有效性，实现跨异构环境的强泛化。
2026-06-15 cs.LG stat.ML
BLEND: Balancing Personalization vs. Generalization in Federated Vision-Language Models
University at Buffalo–SUNY（纽约州立大学布法罗分校）；Adobe（奥多比公司）；Zhejiang University（浙江大学）
本研究提出BLEND框架，通过选择性微调聚合策略与新型损失函数，在联邦视觉-语言模型中平衡个性化与泛化，实验显示其性能优于现有最优基线。
2026-10-12 cs.CV cs.LG
Federated Joint Learning for Domain and Class Generalization
FedDCG通过联邦联合学习同时解决领域和类别泛化问题，通过领域分组策略和解耦机制提升模型在未见领域和类别上的泛化能力。
2026-01-27 cs.CV cs.LG
Minimizing Layerwise Activation Norm Improves Generalization in Federated Learning
通过引入'平坦性'约束的优化方法，该研究在联邦学习中最小化逐层激活范数以提升模型泛化能力，实现了新的性能突破。
2025-12-09 cs.LG
Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization
本文提出 Libra 泛化动力学分析框架，刻画联邦学习中模型稳定性与梯度范数的权衡，解释本地步数和服务器动量对超额风险的影响。
2025-10-19 cs.LG stat.ML
BTFL: A Bayesian-based Test-Time Generalization Method for Internal and External Data Distributions in Federated learning
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于贝叶斯的测试时泛化方法BTFL，通过双头架构和双贝叶斯框架在样本层面平衡个性化与泛化，以应对联邦学习中内部与外部分布测试时的性能下降问题，并在多数据集上以更低时间成本取得更优效果。
2025-03-09 cs.AI cs.LG
Window-based Model Averaging Improves Generalization in Heterogeneous Federated Learning
Politecnico di Torino（都灵理工大学）
针对联邦学习数据异构导致的噪声、不稳定和收敛慢问题，提出基于窗口的模型平均方法WIMA，聚合多轮全局模型以减少偏差，提升泛化，且无额外开销，实验验证其鲁棒性和有效性。
2023-10-10 cs.LG
PTOPOFL: Topology-Guided Personalised Federated Learning with Persistent-Homology Client Descriptors
Université Sorbonne Paris Nord（索邦巴黎北大学）；LAGA（拉加数学研究所）；CNRS（国家科学研究中心）；UMR 7539（7539号研究单位）；Laboratoire d’excellence Infibrex（卓越实验室Infibrex）；Instituto de Hortofruticultura Subtropical y Mediterránea La Mayora (IHSM)（亚得里亚地中海亚热带园艺研究所（IHSM））；Universidad de Málaga–Consejo Superior de Investigaciones Científicas（马拉加大学–高级科学研究理事会）
PTOPOFL通过持久同调实现隐私保护的个性化联邦学习，利用拓扑描述符替代梯度通信，提升聚合质量并降低数据重建风险。
2026-10-20 cs.CR cs.DC cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题，提出DP-FPL方法，通过低秩分解与差异化差分隐私保护策略，在减轻隐私噪声影响的同时平衡权衡，实验效果优于基准方法。
2025-02-13 cs.LG
FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging
College of Intelligence and Computing, Tianjin University, Tianjin, China（天津大学智能学院）；Medical School, Tianjin University, Tianjin, China（天津大学医学院）；Peng Cheng Lab, Shenzhen, China（鹏城实验室）；School of Artificial Intelligence, Xidian University, Xi'an, China（西安电子科技大学人工智能学院）；School of Cyber Engineering, Xidian University, Xi'an, China（西安电子科技大学网络工程学院）
本文提出FedSWA和FedMoSWA算法，通过随机受控权重平均提升联邦学习在高度异质数据中的泛化能力，理论分析和实验验证其有效性。
2025-07-26 cs.AI cs.LG
Gromov-Wasserstein Discrepancy with Local Differential Privacy for Distributed Structural Graphs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Samsung Research America, inc.（三星美国研究公司）
学习结构化数据之间的相似性，尤其是图之间的相似性，是结构化数据挖掘的基本问题之一。除了像图核这样的方法之外，Gromov-Wasserstein（GW）距离最近引起了很大的关注，因为它可以灵活地捕获拓扑和特征特征，以及处理排列不变性。然而，结构化数据广泛分布于不同的数据采掘和机器学习应用中。由于隐私问题，访问分散的数据仅限于单个客户端或不同的筒仓。为了解决这些问题，本文提出了一个隐私保护框架，分析了在联邦风格下从图神经网络中学习到的节点嵌入的GW差异，然后基于多比特编码器显式地放置局部差分隐私（LDP）来保护敏感信息。我们的实验表明，强大的隐私保护的$\varepsilon$ -LDP算法保证，所提出的框架不仅保留隐私图学习，但也提出了一个噪声结构度量下GW距离，从而在分类和聚类任务的性能相当，甚至更好。此外，我们的理由背后的基于LDP的GW距离分析和经验。
2022-02-01 cs.CR cs.LG
Interaction-Aware Gaussian Weighting for Clustered Federated Learning
Polytechnic University of Turin（都灵理工大学）；Istituto Nazionale di Fisica Nucleare (INFN)（国家核物理研究所）；Vector Institute（向量研究所）
本文提出了一种新颖的聚簇联邦学习方法FedGWC，通过高斯奖励机制建模客户端交互，并引入Wasserstein Adjusted Score指标评估聚簇内聚性，有效应对数据异构性与类别不平衡问题，显著提升了聚类质量与分类准确率。
2025-05-01 cs.LG
Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning
Delft University of Technology（代尔夫特理工大学）
Shapley值通常用于衡量和激励客户参与联邦学习。在本文中，我们通过理论和模拟表明，Shapley值低估了一种常见类型的客户端的贡献：小牛。Mavericks是数据分布和数据量不同的客户端，可以是某些类型数据的唯一所有者。在正确的时刻选择正确的客户端对于联邦学习减少收敛时间和提高准确性非常重要。我们提出了FedEMD，一个自适应的客户端选择策略的基础上Wasserstein距离的本地和全球数据分布。由于FedEMD调整了选择概率，使得当模型受益于稀有类的改进时优选选择Mavericks，因此它始终确保在存在不同类型的Mavericks时的快速收敛。与现有的策略相比，包括基于Shapley值的策略，FedEMD将神经网络分类器的收敛性提高了至少26.9%，用于FedAvg聚合。
2021-06-20 cs.AI cs.CY cs.LG
FedDAPL: Toward Client-Private Generalization in Federated Learning
University of Southern California, Los Angeles, US（美国南加州大学）
针对联邦医学影像中的扫描仪域偏移问题，本文提出带近端正则化的联邦DANN方法，以稳定跨客户端对抗训练，并在OpenBHB上证明其跨站点泛化优于FedAvg和ERM。
2025-09-28 cs.LG
FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation
The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）
针对跨机构联邦学习中个性化方法易过拟合、分布外泛化差的问题，提出FedSoup选择性模型插值方法，通过客户端维护全局模型池寻找平坦极小值，在视网膜与病理图像分类任务上显著提升了分布外泛化性能。
2023-07-20 cs.CV cs.LG
pFedMMA: Personalized Federated Fine-Tuning with Multi-Modal Adapter for Vision-Language Models
Department of Electrical and Computer Engineering（电气与计算机工程系）
pFedMMA通过多模态适配器实现视觉-语言模型的个性化联邦微调，平衡个性化与泛化能力，优于现有方法。
2026-02-27 cs.CV cs.LG
FedKPer: Tackling Generalization and Personalization in Medical Federated Learning via Knowledge Personalization
Georgia Institute of Technology（佐治亚理工学院）
FedKPer通过选择性对齐全局模型和改进的聚合方案，缓解统计异质性影响，提升泛化与个性化平衡，无需牺牲保留性能。
2026-05-01 cs.LG eess.IV
PAGE: Equilibrate Personalization and Generalization in Federated Learning
Xidian University（西安电子科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Guelph（圭尔夫大学）
本文提出基于博弈论的联邦学习算法PAGE，将联邦学习重塑为客户端与服务器的合作竞争博弈，并利用强化学习求解均衡，同时提升全局与本地预测精度，在四个数据集上分别最高提升35.20%和39.91%。
2023-10-13 cs.LG
When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA
Meta Platforms, Inc.（元平台公司）
半监督学习（Semi-Supervised Learning，SSL）在计算机视觉领域受到了广泛的关注，导致了FixMatch等有前途的方法的发展。在训练数据分散并驻留在客户端设备上的情况下，SSL必须与隐私感知培训技术（如联邦学习）集成。我们认为，联邦图像分类的问题，并研究现有的联邦SSL（FSSL）的方法的性能和隐私的挑战。首先，我们注意到，即使是最先进的FSSL算法也可能轻微地损害客户端隐私和其他现实世界的约束，如客户端无状态和通信成本。其次，我们观察到将EMA（指数移动平均线）更新集成到联邦设置中具有挑战性，这需要在性能和通信成本之间进行权衡。我们提出了一种新的方法FedSwitch，通过指数移动平均（EMA）更新来提高隐私和泛化性能。FedSwitch利用联邦半监督教师-学生EMA框架，具有两个功能-本地教师自适应和教师和学生之间的自适应切换以生成伪标签。我们提出的方法优于联邦图像分类的最先进的，可以适应现实世界的约束，并实现了良好的泛化性能，最小的通信成本开销。
2023-01-24 cs.LG
Efficient and Reliable Overlay Networks for Decentralized Federated Learning
University of California, Santa Cruz（加州大学圣克鲁斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Utah（犹他大学）
我们提出了基于$d$ -正则扩展图的近优覆盖网络，以加速分散式联邦学习（DFL）并提高其泛化能力。在DFL中，大量的客户端通过覆盖网络连接，它们在不共享原始数据的情况下协作解决机器学习问题。我们的覆盖网络设计集成了谱图理论和DFL的理论收敛性和泛化界。因此，我们提出的覆盖网络加速收敛，提高泛化能力，并增强了对DFL中客户端故障的鲁棒性。此外，我们提出了一个有效的算法来转换一个给定的图到一个实际的覆盖网络和维护网络拓扑结构后，潜在的客户端故障。我们用我们提出的网络在各种基准任务上进行数值验证DFL的优势，从图像分类到使用数百个客户端的语言建模。
2021-12-12 cs.DC cs.LG cs.NA
Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning?
The Ohio State University（俄亥俄州立大学）；Rochester Institute of Technology（罗切斯特理工大学）
本文针对数据异质性和局部更新如何影响联邦学习泛化的问题，基于线性模型给出模型误差闭式解，刻画局部更新次数、轮数及参数配置的作用。
2024-09-05 cs.LG
Replication Study: Federated Text-Driven Prompt Generation for Vision-Language Models
本研究通过复制FedTPG方法，验证了文本驱动提示生成在联邦学习中提升泛化能力的效果，并展示了在不同视觉领域中的高性能表现。
2025-11-24 cs.CV cs.LG
Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning
University of Michigan（密歇根大学）
本文提出Fed-ensemble，通过随机排列更新K个模型并取平均预测，在不增加通信开销的前提下提升联邦学习的泛化能力，且具备贝叶斯解释与理论保证。
2021-07-21 cs.LG stat.ML
OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement
National University of Defense Technology（国防科技大学）；Hebei University of Technology（河北工业大学）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间科学与技术学院）
针对去中心化联邦学习（DFL）因不一致性导致泛化和收敛性能弱于中心化联邦学习的问题，提出带反向前瞻增强的OledFL优化客户端初始化，经理论证明和多数据集实验验证，其性能最高提升5%、加速达8倍。
2024-10-09 cs.AI cs.LG
Generalization in Federated Learning: A Conditional Mutual Information Framework
Ziqiao Wang（瓦氏）；Cheng Long（龙成）；Yongyi Mao（茅永毅）
本文提出基于条件互信息的超客户端框架，为联邦学习两级泛化误差推导多个信息论界，并给出快速速率界及实验验证。
2025-06-04 cs.IT cs.LG math.IT
