Federated Unsupervised Domain Generalization using Global and Local Alignment of Gradients
本文首次研究无监督联邦域泛化,提出FedGaLA方法,通过在客户端和服务器端分别进行局部与全局梯度对齐来学习域不变特征并提升模型泛化能力,在多个多域数据集上验证了其优于基线方法的性能。
2025-01-02 cs.AI cs.LG
Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset
Trinity College Dublin(都柏林信任学院)
针对异构联邦持续学习中生成重放易遗忘、客户端任务差异导致过拟合的问题,提出STAMP方法,通过模型无关原型筛选、时空梯度匹配及原型近似梯度提升性能,优于现有基线。
2025-05-22 cs.AI cs.LG
Federated Self-supervised Domain Generalization for Label-efficient Polyp Segmentation
Xiamen University(厦门大学)
针对医疗数据隐私限制下息肉分割模型泛化不足的问题,本文提出联邦自监督域泛化方法LFDG,结合对抗数据增强和松弛模块提升泛化能力,在6个医疗中心数据集上性能优于基线及近期相关方法。
2025-02-11 cs.CV cs.DC cs.LG
DOLFIN: Balancing Stability and Plasticity in Federated Continual Learning
AImageLab, University of Modena and Reggio Emilia(AImageLab,莫德纳和雷吉奥艾米利亚大学)
DOLFIN结合视觉Transformer与低秩适配器及双梯度投影记忆,在联邦持续学习中平衡稳定性与可塑性,以低通信开销和内存占用超越六个基线。
2025-10-15 cs.LG
Federated Domain Generalization: A Survey
College of Computer Science and Engineering, Northeastern University(计算机科学与工程学院,东北大学);Distributed Systems Group, TU Wien(分布式系统组,TU Wien);College of Software, Northeastern University(软件学院,东北大学);College of Information Science and Engineering, Northeastern University(信息科学与工程学院,东北大学)
本文首次系统综述联邦域泛化(FDG),梳理其从传统机器学习到域适应与域泛化的发展脉络,将现有方法分为联邦域对齐、数据操作、学习策略和聚合优化四类,并总结常用数据集、评估基准及未来研究方向。
2024-03-01 cs.AI cs.LG
FEDTAIL: Federated Long-Tailed Domain Generalization with Sharpness-Guided Gradient Matching
Koita Centre for Digital Health IIT Bombay, Mumbai(Koita数字健康中心IIT博伊斯瓦尔,孟买);Department of Electrical Engineering, IIT Bombay, Mumbai(电气工程系IIT博伊斯瓦尔,孟买)
本文提出 FedTAIL 联邦域泛化框架,通过锐度引导的梯度对齐、类别级锐度最小化、动态加权及条件分布对齐,解决长尾分布与优化冲突问题,并在集中式和联邦设置下达到 SOTA。
2025-06-10 cs.AI cs.CV cs.LG
Feature Diversification and Adaptation for Federated Domain Generalization
Qualcomm AI Research(高通人工智能研究中心)
针对联邦学习中客户端域偏移、隐私约束下易过拟合及全局模型性能下降的问题,提出联邦特征多样化方法与实例自适应推理策略,在多个联邦域泛化基准上取得SOTA性能。
2024-07-11 cs.CV cs.LG
FedAlign: Federated Domain Generalization with Cross-Client Feature Alignment
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对联邦学习中的域泛化挑战,提出FedAlign框架,通过跨客户端特征扩展与双阶段对齐模块增加特征多样性并促进域不变性,在保护隐私且低开销下提升对未见域的泛化能力。
2025-01-26 cs.AI cs.CV cs.DC
StableFDG: Style and Attention Based Learning for Federated Domain Generalization
KAIST(韩国科学技术院);Purdue University(普渡大学);SK Hynix(SK海力士);IBM Research(IBM研究院)
本文提出 StableFDG,通过风格共享、偏移与探索增强域多样性,并利用注意力特征高亮器学习域不变特征,以解决联邦学习中的数据匮乏和域偏移问题,在多个域泛化基准上优于现有方法。
2023-11-01 cs.AI cs.LG
Federated Domain Generalization with Data-free On-server Matching Gradient
Pusan National University(釜山国立大学);Trinity College Dublin(都柏林三一学院)
提出FedOMG方法,通过服务器端梯度内积最大化利用分布式域信息,实现联邦域泛化,无需额外通信成本,在多个基准数据集上超越现有SOTA。
2025-05-26 cs.AI cs.DC cs.LG
Federated Domain Generalization with Latent Space Inversion
Ying Wu College of Computing, New Jersey Institute of Technology, USA(yingwu计算学院,新泽西理工学院,美国);Applied Artificial Intelligence Initiative Deakin University(应用人工智能计划,德克萨斯大学)
本文提出了一种联邦域泛化方法,通过潜在空间倒置和重要权重聚合策略,提升模型泛化能力并降低通信开销。
2025-12-11 cs.AI cs.CV cs.LG
PARDON: Privacy-Aware and Robust Federated Domain Generalization
Vanderbilt University(范德堡大学)
本文提出FISC范式,通过插值风格与对比学习解决联邦域泛化中的域偏移和隐私问题,在多个数据集上显著优于现有方法。
2025-04-08 cs.CV cs.DC cs.LG
Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Department of ECE, The Hong Kong University of Science and Technology(香港科学与技术大学电子工程系);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文研究了无线环境下基于元学习的个性化联邦学习在泛化与收敛之间的权衡,通过空中计算分析了信道损伤对泛化和收敛的影响。
2025-12-01 cs.IT cs.LG eess.SP
Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization
School of Computing and Artificial Intelligence, Shandong University of Finance and Economics(计算机与人工智能学院,山东财经大学);School of Computer Science and Technology, Shandong Jianzhu University(计算机科学与技术学院,山东建筑大学);College of Electronics and Information Engineering, Tongji University(电子信息工程学院,同济大学);School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学)
针对联邦领域泛化中单一全局提示导致个性化样本性能下降及现有MoE方法通信成本高的问题,提出基于无参数路由的Token级提示混合框架TRIP,通过token聚类和最优传输实现细粒度专家分配,在仅需1K参数通信的条件下取得最优泛化效果。
2025-04-29 cs.AI cs.LG
Federated Domain Generalization via Prompt Learning and Aggregation
School of Computing and Artificial Intelligence, Shandong University of Finance and Economics(山东财经大学计算与人工智能学院);School of Computer Science and Technology, Shandong Jianzhu University(山东建筑大学计算机科学与技术学院);College of Electronics and Information Engineering, Tongji University(同济大学电子与信息工程学院)
本文提出 PLAN 框架,通过提示学习与聚合在联邦域泛化场景中适配视觉-语言模型,利用本地和全局提示的安全交换与聚合提升未见域泛化能力,同时显著降低计算与通信开销。
2024-11-15 cs.AI cs.CV cs.LG
Bayesian Federated Neural Matching that Completes Full Information
Tongji University(同济大学);University of Oklahoma(俄克拉荷马大学)
联邦学习是一种当代机器学习范式,其中局部训练模型被提炼成全局模型。由于神经网络具有固有的排列不变性,概率联合神经网络匹配(PFNM)在局部神经元的生成过程中采用贝叶斯非参数框架,然后在每次交替优化迭代中创建线性和分配公式。但根据我们的理论分析,PFNM中的优化迭代忽略了现有的全局信息。在这项研究中,我们提出了一种新的方法,克服了这一缺陷,在每次迭代引入Kullback-Leibler发散惩罚。我们的方法的有效性证明了图像分类和语义分割任务的实验。
2023-02-22 cs.LG
Federated Flow Matching
KTH Royal Institute of Technology(皇家理工学院);Duke University(杜克大学)
本文提出联邦流匹配(FFM)框架,通过三种策略在隐私约束下训练流匹配模型,实验表明其能提升流的直线性和样本质量,性能接近集中式基线。
2025-09-25 cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Federated Learning under Covariate Shifts with Generalization Guarantees
University of Oslo(奥斯陆大学);Visual Intelligence Centre(视觉智能中心);EPFL(洛桑联邦理工学院)
针对联邦学习中客户端内外协变量偏移影响泛化性能的问题,提出FTW-ERM及通信高效变体FITW-ERM,理论和实验均验证了其在泛化性能上优于现有基线。
2023-06-08 cs.LG
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Meta Platforms(元平台公司);Shanghai AI Laboratory(上海人工智能实验室);Weizmann Institute of Science(魏茨曼科学研究所)
联邦学习(FL)的关键挑战之一是跨客户端的本地数据分布异构性,这可能导致跨客户端的特征空间不一致。为了解决这个问题,我们提出了一种新的方法FedFM,它引导每个客户端的功能,以匹配共享的类别明智的锚(特征空间中的地标)。该方法试图通过对齐每个客户端的特征空间来减轻FL中数据异构性的负面影响。此外,我们解决了变化的目标函数的挑战,并提供收敛保证FedFM。在FedFM中,为了减轻类别间特征空间重叠的现象,提高特征匹配的有效性,我们进一步提出了一种更精确和有效的特征匹配损失,称为对比引导(CG),它引导每个局部特征与相应的锚点匹配,同时远离非对应的锚点。此外,为了实现更高的效率和灵活性,我们提出了一个FedFM变体,称为FedFM-Lite,其中客户端与服务器进行通信,同步时间和通信带宽成本更少。通过大量的实验,我们证明,与CG的FedFM优于几个作品的定量和定性比较。FedFM-Lite可以实现比最先进的方法更好的性能,并且通信成本降低五到十倍。
2022-10-14 cs.LG
Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters
Northwestern University(西北大学)
本文利用算法稳定性分析 FedAvg、SCAFFOLD 和 FedProx 在凸与非凸损失下的泛化,揭示客户端数据异质性和收敛行为的关键作用。
2023-06-06 cs.LG
Federated Learning with Domain Generalization
Chongqing University(重庆大学);Michigan State University(密歇根州立大学)
联邦学习(FL)使一组客户端能够在集中式服务器的帮助下联合训练机器学习模型。在训练过程中,客户端不需要向服务器提交其本地数据,因此客户端的本地训练数据受到保护。在FL中,分布式客户端独立地收集它们的本地数据,因此每个客户端的数据集可以自然地形成不同的源域。在实践中,在多个源域上训练的模型可能在看不见的目标域上具有较差的泛化性能。为了解决这个问题,我们提出了FedADG来为联邦学习提供领域泛化能力。FedADG采用联邦对抗学习方法,通过将每个分布与参考分布进行匹配来测量和对齐不同源域之间的分布。自适应地生成参考分布(通过容纳所有源域),以最小化对齐期间的域偏移距离。在FedADG中,对齐是细粒度的,因为每个类都是独立对齐的。通过这种方式,学习的特征表示应该是通用的,因此它可以在看不见的领域上很好地推广。在各种数据集上的密集实验表明,FedADG具有与最先进的性能相当的性能。
2023-01-07 cs.LG
Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters
Intel Corporation(英特尔公司)
联邦学习是一种分布式的、隐私感知的学习场景,它在属于多个客户端的数据上训练单个模型。每个客户端在其数据上训练本地模型,然后由中央方聚合本地模型。当前的联邦学习方法在异构客户端数据分布的情况下会遇到困难,这会很快导致不同的本地模型和性能崩溃。在这些情况下,仔细的超参数调整特别重要,但传统的自动超参数调整方法需要多次训练试验,这在联邦学习设置中通常是不切实际的。我们描述了一个双管齐下的解决方案,在联邦学习设置的鲁棒性和超参数调整的问题。我们提出了一种新的表示匹配方案,通过确保全局(聚合)模型中的特征表示可以从本地学习的表示中导出,来减少局部模型的发散。我们还提出了一个在线超参数调整方案,该方案使用在线版本的REINFORCE算法来找到一个超参数分布,使训练损失的预期改善最大化。我们在几个基准测试中表明,我们的局部表示匹配和全局自适应超参数的两部分方案显着提高了性能和训练鲁棒性。
2019-12-30 cs.LG stat.ML
Aggregation Weighting of Federated Learning via Generalization Bound Estimation
Jilin University(吉林大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出基于泛化界估计的联邦学习聚合加权策略,通过估计偏移分布二阶原点矩的上下界差异确定聚合权重,显著提升多个FL算法在基准数据集上的性能。
2023-11-10 cs.LG
FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning
Sun Yat-sen University(中山大学);South China University of Technology(华南理工大学)
针对联邦学习数据异构导致的本地更新发散问题,本文提出 FedCME 框架,通过匹配分布差异较大的客户端并在本地训练中交换分类器,同时结合特征对齐,在 FMNIST 和 CIFAR10 上优于多种主流方法。
2023-07-17 cs.LG
Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Harvard College(哈佛大学);Imperial College London(帝国理工学院伦敦分校)
本文提出迭代联邦适应方法,通过生成层面的忘却和进化策略提升联邦学习在非iid数据下的泛化能力,实验表明在多个数据集上平均提升21.5%。
2026-02-04 cs.LG
Personalized Federated Learning via Convex Clustering
Carnegie Mellon University(卡内基梅隆大学);University of Novi Sad(诺维萨德大学)
我们提出了一个参数家庭的个性化联邦学习的局部凸用户成本的算法。所提出的框架是基于一个推广的凸聚类,其中不同用户的模型之间的差异通过一个总和的范数惩罚惩罚,加权的惩罚参数$λ$。所提出的方法,使“自动”模型聚类,没有事先知道的隐藏的集群结构,也没有集群的数量。分析的权重参数,导致同时个性化,泛化和自动模型聚类的界限。对公式化问题的解决方案通过在不同的集群中提供不同的模型来实现个性化,并且通过提供与孤立计算的每个用户模型不同的模型来实现泛化。然后,我们提供了一个有效的算法的基础上,并行方向乘法(PDMM)解决所提出的配方在联邦服务器-用户设置。数值实验证实了我们的发现。作为一个有趣的副产品,我们的研究结果提供了几个概括凸聚类。
2022-02-18 cs.LG
NL-SME: Enhancing Multi-Step Gradient Inversion through Adaptive Two-State Matching
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China(民族语言智能分析与安全治理教育部重点实验室,中央民族大学)
针对联邦学习梯度反演攻击问题,提出NL-SME方法,通过构建可学习非线性替代轨迹近似隐藏局部状态,整合轨迹级信息与校准梯度匹配,提升多步梯度反演性能,揭示隐私泄漏风险。
2026-11-17 cs.CR cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
SplitGP: Achieving Both Generalization and Personalization in Federated Learning
Purdue University(普渡大学);KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
提供边缘人工智能服务的一个根本挑战是需要一个机器学习(ML)模型来实现个性化(即,到个人客户端)和一般化(即,到不可见的数据)属性。联邦学习(FL)中的现有技术在这些目标之间遇到了急剧的权衡,并且在训练和推理期间对边缘设备施加了大量的计算要求。在本文中,我们提出了SplitGP,这是一种新的分割学习解决方案,可以同时捕获泛化和个性化功能,以便在资源受限的客户端(例如,移动/IoT设备)。我们的关键思想是将完整的ML模型分为客户端和服务器端组件,并为它们施加不同的角色:客户端模型经过训练,具有针对每个客户端的主要任务进行优化的强大个性化能力,而服务器端模型经过训练,具有处理所有客户端的分发任务的强大泛化能力。我们分析了SplitGP的收敛行为,揭示了所有客户端模型渐近地接近稳定点。此外,我们分析了SplitGP中的推理时间,并提供了确定模型分割比的界限。实验结果表明,SplitGP优于现有的基线,在推理时间和测试精度的大幅利润率为不同数量的分布外的样本。
2023-02-11 cs.LG
From Optimization to Generalization: Fair Federated Learning against Quality Shift via Inter-Client Sharpness Matching
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
本研究针对联邦学习中成像质量偏移导致的公平性问题,提出客户端间锐度匹配(FedISM)方法,通过锐度感知协调客户端泛化,实验证明其优于现有方法。
2024-12-18 cs.CV cs.LG
FedIDM: Achieving Fast and Stable Convergence in Byzantine Federated Learning through Iterative Distribution Matching
FedIDM通过迭代分布匹配生成可信数据并过滤异常客户端,解决联邦学习中拜占庭鲁棒性与模型效用之间的平衡问题,实现快速稳定收敛。
2026-04-16 cs.CR cs.LG
Minimizing Layerwise Activation Norm Improves Generalization in Federated Learning
通过引入'平坦性'约束的优化方法,该研究在联邦学习中最小化逐层激活范数以提升模型泛化能力,实现了新的性能突破。
2025-12-09 cs.LG
Differentiated Aggregation to Improve Generalization in Federated Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出FedALS算法,通过对联邦学习模型不同部分采用差异化聚合频率,降低通信成本,提升非独立同分布场景下的模型泛化能力,实验验证了其有效性。
2026-08-27 cs.AI cs.LG
Federated Adapter on Foundation Models: An Out-Of-Distribution Approach
University of Technology Sydney(悉尼技术大学);University of Maryland(马里兰大学);Data61, CSIRO(数据61,澳大利亚联邦科学与工业研究组织)
针对联邦基础模型中的分布外泛化挑战,提出FedOA方法,利用基于适配器的参数高效微调与特征距离正则化对齐分布,理论上证明其能增强个性化模型的OOD泛化并保证收敛,实验验证了其有效性。
2025-05-02 cs.LG
Window-based Model Averaging Improves Generalization in Heterogeneous Federated Learning
Politecnico di Torino(都灵理工大学)
针对联邦学习数据异构导致的噪声、不稳定和收敛慢问题,提出基于窗口的模型平均方法WIMA,聚合多轮全局模型以减少偏差,提升泛化,且无额外开销,实验验证其鲁棒性和有效性。
2023-10-10 cs.LG
What Do We Mean by Generalization in Federated Learning?
Stanford University(斯坦福大学);Google Research(谷歌研究院)
联邦学习数据来自分布的分布:客户端来自元分布,其数据来自本地数据分布。因此,联邦学习中的泛化研究应该将来自看不见的客户端数据的性能差距(样本外差距)与来自看不见的客户端分布的性能差距(参与差距)分开。在这项工作中,我们提出了一个框架来解开这些性能差距。使用这个框架,我们观察并解释了自然和合成联邦数据集之间的行为差异,表明数据集合成策略对于联邦学习中泛化的真实模拟非常重要。我们提出了一种语义合成策略,使逼真的模拟没有自然分区的数据。根据我们的发现,我们呼吁社区对未来的联邦学习工作提出建议。
2022-03-16 cs.DC cs.LG stat.ML
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
最近,本地客户端上的训练数据集之间的数据异构性(也称为,非IID数据)引起了联邦学习(Federated Learning,FL)的极大兴趣,许多个性化的联邦学习方法被提出来处理它。然而,尽管在现实世界中,训练数据集和测试数据集之间的分布偏移在FL中是普遍存在的,但FL从未考虑过。我们注意到分布偏移(也称为,由于个性化信息和虚假信息之间的纠缠,非IID联邦设置下的分布外泛化(out-of-distribution generalization)问题变得相当具有挑战性。为了解决上述问题,我们详细阐述了一个通用的双重正则化学习框架,以探索个性化的不变性,与现有的个性化联邦学习方法,由一个单一的基线(通常是全局模型)进行正则化。利用个性化的不变特征,开发的个性化模型可以有效地利用最相关的信息,同时消除虚假信息,以提高每个客户端的分布外泛化性能。理论分析和实验结果表明,在不同的分布外和非IID数据情况下,该方法优于现有的联邦学习和不变学习方法.
2022-11-21 cs.DC cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题,提出DP-FPL方法,通过低秩分解与差异化差分隐私保护策略,在减轻隐私噪声影响的同时平衡权衡,实验效果优于基准方法。
2025-02-13 cs.LG
Matching Pursuit Based Scheduling for Over-the-Air Federated Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Princeton University(普林斯顿大学)
本文提出了一种基于匹配追踪的低复杂度空中联邦学习设备调度算法。所提出的方案密切跟踪接近最优的性能实现的差分凸规划,并显着优于著名的基准算法的基础上凸松弛。与现有技术相比,所提出的方案对系统造成了显著更低的计算负载:对于参数服务器处的$K$设备和$N$天线,基准复杂度随着$\left(N^2+K\right)^3 + N^6$而缩放,而所提出的方案的复杂度对于一些$0 < p,q \leq 2$随着$K^p N^q$而缩放。在CIFAR-10数据集上的数值实验证实了该方法的有效性。
2022-10-12 cs.IT cs.LG math.IT
Improving Generalization in Federated Learning by Seeking Flat Minima
Politecnico di Torino(都灵理工大学);CINI(意大利国家信息学大学联盟)
在联邦设置中训练的模型通常会遭受性能下降和泛化失败的困扰,特别是在面对异构场景时。在这项工作中,我们调查这种行为,通过镜头的几何损失和海森本征谱,连接模型的缺乏泛化能力的解决方案的清晰度。受先前研究的启发,将损失表面的锐度与泛化差距联系起来,我们表明:i)使用锐度感知最小化(SAM)或其自适应版本(ASAM)在本地训练客户端,ii)在服务器端平均随机权重(SWA)可以大大提高联邦学习中的泛化能力,并有助于弥合与集中式模型的差距。通过在具有均匀低损失的邻域中寻找参数,该模型收敛于更平坦的最小值,并且其泛化能力在同质和异质场景中都有显着提高。实证结果表明,这些优化器在各种基准视觉数据集(例如CIFAR 10/100,Landmarks-User-160 k,IDDA)和任务(大规模分类,语义分割,领域泛化)上的有效性。
2022-07-21 cs.CV cs.LG
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning
UCLA(加州大学洛杉矶分校);HKUST(香港科技大学);Google Research(谷歌研究院)
联邦学习~(FL)近年来受到学术界和工业界越来越多的关注,其最终目标是实现隐私和通信约束下的协同训练。现有的基于迭代模型平均的FL算法需要大量的通信回合,以获得一个性能良好的模型,由于非常不平衡和非i.i. d数据划分在不同的客户端之间。因此,我们建议FedDM从多个本地代理函数中构建全局训练目标,这使服务器能够获得更全局的损失情况。详细地说,我们在每个客户端上构建合成数据集,通过分布匹配从原始数据中本地匹配损失情况。与笨重的模型权重相比,FedDM通过传输更多信息和更小的合成数据来减少通信轮次并提高模型质量。我们在三个图像分类数据集上进行了大量的实验,结果表明,我们的方法在效率和模型性能方面优于其他FL同行。此外,我们证明了FedDM可以适用于保持差分隐私高斯机制和训练一个更好的模型在相同的隐私预算。
2022-07-20 cs.CR cs.LG
FedDAPL: Toward Client-Private Generalization in Federated Learning
University of Southern California, Los Angeles, US(美国南加州大学)
针对联邦医学影像中的扫描仪域偏移问题,本文提出带近端正则化的联邦DANN方法,以稳定跨客户端对抗训练,并在OpenBHB上证明其跨站点泛化优于FedAvg和ERM。
2025-09-28 cs.LG
FOOGD: Federated Collaboration for Both Out-of-distribution Generalization and Detection
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院);National University of Singapore(新加坡国立大学)
针对联邦学习中协变量偏移与语义偏移同时出现的问题,本文提出FOOGD,通过SM3D和SAG实现分布估计、OOD检测与协变量偏移泛化。
2024-10-23 cs.LG
Federated Variational Inference: Towards Improved Personalization and Generalization
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Google Research(谷歌研究院)
本文针对跨设备联邦学习中客户端数据与模型异质性问题,提出基于层次生成模型和变分推断的FedVI算法,并通过PAC-Bayes分析给出泛化界,在FEMNIST和CIFAR-100上取得最优性能。
2023-05-25 cs.DC cs.LG
PAGE: Equilibrate Personalization and Generalization in Federated Learning
Xidian University(西安电子科技大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Guelph(圭尔夫大学)
本文提出基于博弈论的联邦学习算法PAGE,将联邦学习重塑为客户端与服务器的合作竞争博弈,并利用强化学习求解均衡,同时提升全局与本地预测精度,在四个数据集上分别最高提升35.20%和39.91%。
2023-10-13 cs.LG
When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA
Meta Platforms, Inc.(元平台公司)
半监督学习(Semi-Supervised Learning,SSL)在计算机视觉领域受到了广泛的关注,导致了FixMatch等有前途的方法的发展。在训练数据分散并驻留在客户端设备上的情况下,SSL必须与隐私感知培训技术(如联邦学习)集成。我们认为,联邦图像分类的问题,并研究现有的联邦SSL(FSSL)的方法的性能和隐私的挑战。首先,我们注意到,即使是最先进的FSSL算法也可能轻微地损害客户端隐私和其他现实世界的约束,如客户端无状态和通信成本。其次,我们观察到将EMA(指数移动平均线)更新集成到联邦设置中具有挑战性,这需要在性能和通信成本之间进行权衡。我们提出了一种新的方法FedSwitch,通过指数移动平均(EMA)更新来提高隐私和泛化性能。FedSwitch利用联邦半监督教师-学生EMA框架,具有两个功能-本地教师自适应和教师和学生之间的自适应切换以生成伪标签。我们提出的方法优于联邦图像分类的最先进的,可以适应现实世界的约束,并实现了良好的泛化性能,最小的通信成本开销。
2023-01-24 cs.LG
Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning?
The Ohio State University(俄亥俄州立大学);Rochester Institute of Technology(罗切斯特理工大学)
本文针对数据异质性和局部更新如何影响联邦学习泛化的问题,基于线性模型给出模型误差闭式解,刻画局部更新次数、轮数及参数配置的作用。
2024-09-05 cs.LG
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间科学与技术学院)
针对去中心化联邦学习中数据异构性导致的收敛慢与泛化差问题,提出基于Catalyst加速的DFedCata算法,结合Moreau包络与Nesterov外推提升性能,并从理论与实验验证了其有效性。
2024-10-09 cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University(武汉大学);Hong Kong University of Science and Technology(香港科技大学)
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展,并基于多个数据集进行基准测试,同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG
FeDaL: Federated Dataset Learning for General Time Series Foundation Models
本文提出FeDaL方法,通过联邦学习 paradigm 解决时间序列异质性问题,通过DBE和GBE机制消除偏差,验证了跨数据集泛化能力。
2026-03-15 cs.LG
Federated Learning for Feature Generalization with Convex Constraints
Dongwon Kim(金东Won);Donghee Kim(金东浩);Sung Kuk Shyn(申 Sung Kuk);Kwangsu Kim(金光Su)
针对联邦学习中客户端数据异构导致的泛化问题,提出FedCONST方法,利用线性凸约束自适应调整更新幅度,平衡参数学习,并通过梯度信噪比分析验证其有效性,实现跨异构环境的强泛化。
2026-06-15 cs.LG stat.ML
BLEND: Balancing Personalization vs. Generalization in Federated Vision-Language Models
University at Buffalo–SUNY(纽约州立大学布法罗分校);Adobe(奥多比公司);Zhejiang University(浙江大学)
本研究提出BLEND框架,通过选择性微调聚合策略与新型损失函数,在联邦视觉-语言模型中平衡个性化与泛化,实验显示其性能优于现有最优基线。
2026-10-12 cs.CV cs.LG
Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Electronic Science and Technology of China(电子科技大学)
针对噪声信道下拓扑感知的异构联邦边缘学习,提出信息论泛化分析,并设计FedGMIR正则化方法提升模型性能,数值实验验证了其有效性。
2023-12-23 cs.IT cs.LG math.IT