Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
数据异构的联邦学习（FL）系统存在两个重要的收敛误差来源：1）在客户端执行多个局部优化步骤导致的客户端漂移误差; 2）只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现，其中，只有前者在文献中得到了显着的关注。为了弥补这一点，我们提出了FedVARP，一种新的方差减少算法应用在服务器上，消除了错误，由于部分客户端的参与。为此，服务器只需在内存中维护每个客户端的最新更新，并在每一轮中使用这些更新作为非参与客户端的代理更新。此外，为了减轻在服务器上的内存需求，我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同，FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验，我们表明，FedVARP优于国家的最先进的方法，和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Client Selection in Federated Learning: Principles, Challenges, and Opportunities
Bank of Jiangsu（江苏银行）；Fudan University（复旦大学）；Shandong University（山东大学）；Ohio State University（俄亥俄州立大学）；University of California, Davis（加州大学戴维斯分校）
本文系统综述了联邦学习中客户端选择这一新兴领域的最新进展、挑战与机遇，旨在解决客户端异构性问题并帮助从业者与研究者更好地理解和应用相关机制。
2023-07-26 cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University（厦门大学信息学院福建省智慧城市感知与计算重点实验室）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果，但其性能可能会受到间歇性客户端可用性的阻碍，这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战，我们提出了一个名为Federated Graph-based Sampling（FedGS）的框架，以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先，我们使用数据分布依赖图（3DG）对客户端的数据相关性进行建模，该图有助于将采样的客户端数据彼此分开，这在理论上可以提高最佳模型更新的近似值。其次，受样本客户数据分布距离较远的约束，进一步最小化样本客户被抽样次数的方差，以减小长期偏差。为了验证FedGS的有效性，我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势，使一个公平的客户端采样方案，并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FedPCD: Priority-Constrained Federated Aggregation
American University of Sharjah（沙迦美国大学）；Massachusetts Institute of Technology（麻省理工学院）
FedPCD是一种优先级约束的联邦优化框架，通过分离全局优化目标与客户端保护，在异质联邦学习基准中实现更高全局准确率、更优最差客户端准确率及更快收敛，性能优于现有最优基线。
2026-10-12 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS（拉合尔管理科学大学）
联邦学习（FL）是一种分布式学习技术，它以隐私保护的方式在分布式数据上训练共享模型。不幸的是，FL的性能下降时，有（i）在计算和内存资源（系统异构性）和（ii）非IID数据分布在客户端（统计异构性）方面的客户端特性的变化。例如，在FL方案中，慢客户端会被丢弃，例如Federated Averaging（FedAvg），这不仅限制了整体学习，而且会使结果偏向于快客户端。我们提出FedPrune，一个系统，通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做，慢客户端可以快速训练一个小模型并参与FL，从而提高测试的准确性和公平性。通过使用中心极限定理的见解，FedPrune采用了一种新的聚合技术，该技术在非IID数据上实现了强大的性能。实验结果表明，与联邦平均算法相比，Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Federated Mutual Learning
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Huazhong University of Science and Technology（华中科技大学）
联邦学习（FL）支持在分散数据上协作训练深度学习模型。然而，有三种类型的异质性在FL设置带来了独特的挑战，规范的联邦学习算法（FedAvg）。首先，由于数据的非IID性，全局共享模型可能比仅在其私有数据上训练的局部模型性能更差;其次，中心服务器和客户端的目标可能不同，其中中心服务器寻求通用模型，而客户端追求个性化模型，并且客户端可能运行不同的任务;第三，客户端可能需要针对各种场景和任务设计其定制模型;在这项工作中，我们提出了一种新的联邦学习范式，命名为联邦相互学习（FML），处理这三个异质性。FML允许客户协同训练通用模型和独立训练个性化模型，并设计他们的私人定制模型。因此，数据的非IID性不再是一个错误，而是一个可以更好地为客户提供个性化服务的功能。实验结果表明，在典型的FL环境下，FML可以获得比替代方案更好的性能，客户端可以受益于不同的模型和任务的FML。
2020-09-17 cs.LG
Adversarial Client Detection via Non-parametric Subspace Monitoring in the Internet of Federated Things
Arizona State University（亚利桑那州立大学）；University of Florida（佛罗里达大学）；Clemson University（克莱姆森大学）
针对联邦物联网中联邦学习易遭对抗攻击的安全问题，提出非参数方法FedRR，利用传输参数更新的低秩特征检测对抗客户端，可在无攻击场景下控制误报率，经MNIST数字识别实验验证有效。
2023-10-02 cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性（即，数据分布在客户端之间可能不同）。为了解决这个问题，许多联邦学习方法都是针对个性化的联邦学习，为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法，但实验设置（例如，比较方法、数据集和客户端设置）彼此不同，并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准（即，非个性化）联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试，评价每种方法的特点。我们的实验研究表明：（1）不存在冠军方法，（2）大数据异构性通常会导致高准确度的预测，以及（3）具有微调的标准联邦学习方法（例如FedAvg）通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench，供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine（加州大学尔湾分校）
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法，以低通信成本处理客户端数据异构性，并证明每个客户端享有次线性遗憾，实验验证其优于现有方法。
2023-11-09 cs.LG
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电气与电子工程学院）
本文提出FRAMP框架，通过生成客户端特定模型实现个性化和资源适应的联邦学习，提升泛化能力和适应性。
2026-04-13 cs.LG
Maximizing Global Model Appeal in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
联邦学习通常考虑在边缘客户端使用本地数据协作训练全局模型。客户可能有自己的个人要求，例如具有最小的训练损失阈值，他们希望全局模型能够满足这些要求。然而，由于客户端的异质性，全局模型可能无法满足每个客户端的要求，并且只有一小部分人可能会发现全局模型具有吸引力。在这项工作中，我们探讨的问题，全球模式缺乏吸引力的客户端，由于无法满足当地的要求。我们提出了MaxFL，旨在最大限度地增加发现全球模式吸引力的客户数量。我们表明，具有较高的全局模型吸引力对于保持足够的客户端进行训练非常重要，并且可以直接提高可见和不可见客户端的测试准确性。我们为MaxFL提供了收敛保证，并表明MaxFL实现了$22$ - $40\%$和$18$ - $50\%$测试精度分别为培训客户端和看不见的客户端的改进，相比广泛的FL建模方法，包括那些解决数据异构性，旨在激励客户端，并学习个性化或公平的模型。
2023-02-04 cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安提波利斯分部）；Accenture Labs（埃森哲实验室）
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案，通过引入随机聚合权重来表示客户端更新时间的可变性，例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置，客户端具有异构数据集，并执行至少一个步骤的随机梯度下降（SGD）。我们证明了这样一个计划的收敛性，并提供了足够的条件，相关的最小是最佳的联邦问题。我们表明，我们的一般框架适用于现有的优化方案，包括集中式学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是，我们在这项工作中开发FedFix，FedAvg的一个新的扩展，使高效的异步联邦训练，同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明，异步FedAvg导致快速收敛的稳定性为代价，我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习，提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine（加州大学欧文分校）
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题，本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法，理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University（迪肯大学）；Applied Artificial Intelligence Initiative（应用人工智能倡议）
针对异构环境下联邦学习的分布不匹配问题，提出SAPE-FL框架，通过双锚定机制平衡全局与对等知识，在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG
Learning from straggler clients in federated learning
Google Research（谷歌研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google DeepMind（谷歌DeepMind）
本文针对联邦学习中延迟严重的掉队客户端，提出基于蒸馏和平均的两种新算法FARe-DUST与FeAST-on-MSG，在多个基准任务上提升了准确性并优化了训练时间与精度的权衡。
2024-03-14 cs.LG
Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal
NVIDIA（英伟达）；Microsoft（微软）；Microsoft Research（微软研究院）
联邦学习是ML的一个快速发展的领域，其中训练数据集非常分散，并且随着时间的推移而动态变化。模型需要在客户设备上进行训练，但无法保证本地私有数据的同质性或平稳性。由于不断增加的任务中数据的产生，对持续培训的需求也有所增加。然而，同时追求这两个方向是具有挑战性的，因为客户端数据隐私是一个主要的限制，特别是对于排练方法。在这里，我们提出了一种新的算法来解决增量学习过程中FL的情况下，基于现实的客户端注册的情况下，客户端可以动态地下降或退出。我们首先建议使用深度变分嵌入来保护客户端数据的隐私。其次，我们提出了一种服务器端训练方法，使模型能够排练以前学习的知识。最后，我们研究了联邦增量学习在动态客户端注册场景中的性能。所提出的方法显示出与领域增量学习的离线训练的对等性，解决了客户端的动态注册和客户端数据的域转移中的挑战。
2021-10-19 cs.LG
SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients with Alternate Training
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习允许通过使用许多分布式客户端的计算和私有数据资源来训练机器学习模型。联邦学习（FL）的大多数现有结果假设客户端具有地面真实标签。然而，在许多实际场景中，由于缺乏专业知识或资源，客户端可能无法标记特定于任务的数据。我们提出SemiFL来解决将FedAvg等通信效率高的FL与半监督学习（SSL）相结合的问题。在SemiFL中，客户端具有完全未标记的数据，并且可以训练多个本地epoch以降低通信成本，而服务器具有少量的标记数据。我们提供了一个成功的数据增强为基础的SSL方法的理论理解，以说明一个香草组合的通信效率FL与SSL的瓶颈。为了解决这个问题，我们提出了替代训练，以“用标记数据微调全局模型”和“用全局模型生成伪标签”。“我们进行了广泛的实验，并证明我们的方法显着提高了标记服务器的性能，而未标记客户端使用多个本地时期进行训练。此外，我们的方法优于许多现有的SSFL基线，并与最先进的FL和SSL结果竞争。
2022-10-11 cs.LG
Find Your Friends: Personalized Federated Learning with the Right Collaborators
Layer 6 AI；Carleton University（卡尔顿大学）
在传统的联邦学习设置中，中央服务器协调客户端网络来训练一个全局模型。然而，由于数据异构性，全局模型可能无法很好地服务于许多客户端。此外，可能不存在可以协调客户端以确保它们中的每一个可以从其他客户端受益的可信中心方。为了解决这些问题，我们提出了一个新的去中心化框架FedeRiCo，每个客户端可以从其他客户端学习尽可能多或尽可能少的本地数据分布。基于期望最大化，FedeRiCo估计其他参与者的模型对每个客户数据的效用，以便每个人都可以选择正确的合作者进行学习。因此，我们的算法在几个基准数据集上的性能优于其他联合、个性化和/或分散的方法，是唯一一种始终优于仅使用本地数据进行训练的方法。
2022-10-14 cs.LG
Heterogeneous Federated Learning via Personalized Generative Networks
Halmstad University（哈尔姆斯塔德大学）
针对联邦学习中客户端统计异构与概念漂移导致的收敛问题，提出服务器训练客户端专属生成器以迁移知识并消除局部模型冲突，理论与实验验证其可提升全局模型泛化性。
2024-01-25 cs.LG
FedMe: Federated Learning via Model Exchange
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需共享客户端上的数据集。针对联邦学习中的数据异构性问题，已经提出了许多方法。现有的解决方案需要由中央服务器调整的模型架构，然而主要的技术挑战是，由于中央服务器上没有本地数据，因此难以调整模型架构。在本文中，我们提出了联邦学习通过模型交换（FedMe），个性化的模型与自动模型体系结构调整在学习过程中。FedMe的新颖之处在于它的学习过程：客户端交换他们的模型，以进行模型架构调优和模型训练。首先，为了优化本地数据的模型架构，客户端通过与交换的模型进行比较并选择产生最佳性能的模型来调整自己的个性化模型。其次，客户端通过使用深度相互学习来训练个性化模型和交换模型，尽管跨客户端的模型架构不同。我们在三个真实数据集上进行了实验，结果表明FedMe在自动调整模型架构的同时优于最先进的联邦学习方法。
2021-10-15 cs.LG
PQFed: A Privacy-Preserving Quality-Controlled Federated Learning Framework
Case Western Reserve University（凯斯西储大学）；IBM Research Europe（IBM欧洲研究院）
PQFed提出一种隐私保护的个性化联邦学习框架，通过聚类估计客户端数据相似性并实施客户端选择策略，在低参与率下提升目标模型性能，优于IFCA基线。
2025-09-25 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin（柏林技术大学）
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法，以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University（杜克大学）
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而，这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中，我们提出了第一个基于假客户端的模型中毒攻击，称为MPAF。具体来说，我们假设攻击者将假客户端注入联邦学习系统，并在训练期间将精心制作的假本地模型更新发送到云服务器，这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标，我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说，在每一轮联邦学习中，假客户端都会制作指向基础模型的假本地模型更新，并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明，MPAF可以显着降低测试精度的全球模型，即使采用经典的防御和范数裁剪，突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana（瑞士大学）；INRAE Paris（巴黎国家农业研究院）
针对联邦学习中客户端演化行为难以解释的问题，提出联邦行为平面（FBPs）方法实现客户端行为的分析可视化，基于其识别的模式设计Federated Behavioural Shields聚合技术，防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London（伦敦帝国理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对联邦学习客户端参与问题，提出基于控制论的确定性方法FedBack，通过积分反馈控制器动态调整参与率，实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University（厦门大学）；Western University（韦仕敦大学）
我们研究了无线网络中多个联邦学习（FL）服务的数据质量感知的动态客户端选择问题，每个客户端提供动态数据集用于同时训练多个FL服务，每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法，在避免动作冲突的同时，优化联合客户选择和支付动作。仿真结果表明，我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
Abnormal Client Behavior Detection in Federated Learning
HKUST（香港科技大学）；WeBank（微众银行）
在联邦学习系统中，客户端是自治的，因为它们的行为不完全由服务器控制。因此，客户端可能有意或无意地偏离联邦模型训练的规定过程，导致异常行为，例如变成恶意攻击者或故障客户端。因此，及时发现这些异常客户端对于尽量减少其不利影响至关重要。在这项工作中，我们建议在服务器端检测异常客户端。特别是，我们生成模型权重向量的低维代理，并使用它们来执行异常检测。我们通过FEMNIST数据集上的图像分类模型训练实验来评估我们的解决方案。实验结果表明，所提出的基于检测的方法显着优于传统的基于防御的方法。
2019-12-06 cs.LG stat.ML
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami（迈阿密大学）
本文研究了联邦学习（FL）在一个经典的无线网络，其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络（WFLN）中，优化学习性能至关重要，这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽，因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试，以分配有限的无线资源，以优化FL，他们专注于在个别学习轮的问题，忽略了一个固有的，但关键的特点，联邦学习。本文带来了一个新的长期的视角，资源分配在WFLN，实现学习轮不仅是时间上相互依赖的，但也有不同的意义，对最终的学习成果。为此，我们首先设计数据驱动的实验，以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解，我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束，并开发了一种新的算法，只利用目前可用的无线信道信息，但可以实现长期的性能保证。进一步的实验表明，我们的算法在所需的时间客户端选择模式的结果，是适应不断变化的网络环境，远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia（不列颠哥伦比亚大学）；Purdue University（普渡大学）；Tianjin University（天津大学）
联邦学习（FL）是一种有效的技术，可以直接将边缘设备参与机器学习训练，同时保护客户端隐私。然而，FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输，并且没有考虑FL客户端采样。在本文中，我们提出了一个框架，它结合了新的客户端采样和模型压缩算法，以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端，并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中，GSTYLE FL平均将下游客户端带宽减少了27%，平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida（中央佛罗里达大学）
FMCL通过基础模型生成语义客户端签名，实现一次聚类，提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
联邦学习（FL）旨在促进客户群体之间的协作，以提高机器学习的准确性，而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法，大多数以前的作品隐含地假设，所有的客户端都愿意参与FL计划。在实践中，客户可能不会从加入FL中受益，特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中，我们研究了客户在联邦学习中的动机，以帮助服务提供商设计更好的解决方案，并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司，每个客户的利益取决于也加入网络的其他客户。使用这种设置，我们分析客户的参与动态和特征的均衡，没有客户有动机改变他们的决定。具体来说，我们表明，在人口动态自然收敛到平衡，而不需要明确的干预。最后，我们提供了一个具有成本效益的支付方案，激励客户端达到理想的平衡时，初始网络是空的。
2023-02-16 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；Myant Inc.（迈安特公司）
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的，并且相对较慢，在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法（FLT），通过学习客户端之间的任务相关性来更有效地联合聚合异构数据，从而概括了这一方向。在一个一次性的过程中，服务器为客户端提供一个预先训练（和微调）的编码器，将其数据压缩成潜在的表示，并将其数据的签名传输回服务器。然后，服务器通过流形学习来学习客户端之间的任务相关性，并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图，当没有显式的客户端集群，以及有效地将其分解成（不相交）集群的联邦学习。我们证明，FLT不仅优于现有的国家的最先进的基线在非IID的情况下，但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Welfare and Fairness Dynamics in Federated Learning: A Client Selection Perspective
University of Minnesota（明尼苏达大学）
联邦学习（FL）是一种隐私保护学习技术，其使得分布式计算设备能够跨数据孤岛协作地训练共享学习模型。现有的FL工作主要集中在设计先进的FL算法，以提高模型的性能。然而，客户的经济考虑因素，如公平和激励，尚未得到充分探讨。如果没有这些考虑，自我激励的客户可能会失去兴趣并离开联合会。为了解决这个问题，我们设计了一个新的激励机制，包括客户选择过程，以消除低质量的客户和资金转移过程，以确保公平的奖励分配。实验结果表明，该激励机制能有效地提高联盟的持续时间和公平性。
2023-02-17 cs.LG stat.ML
EvoCSFL: Surrogate-Assisted Evolutionary Client Selection for Efficient and Robust Federated Learning
Jiangnan University（江南大学）；The Hong Kong Polytechnic University（香港理工大学）
针对联邦学习中客户端数据与系统异构性导致收敛慢、鲁棒性差的问题，提出代理辅助的进化客户端选择框架，将选择问题建模为组合优化，用代理模型加速进化搜索，实验表明收敛更快、能耗更低、鲁棒性更强。
2026-06-05 cs.AI cs.LG
Active Federated Learning
University of Michigan（密歇根大学）；Facebook（脸书）
联邦学习允许在不集中客户端数据的情况下训练群体级模型，方法是将全局模型传输到客户端，在本地计算梯度，然后对梯度进行平均。下载模型和上传梯度会使用客户端的带宽，因此最大限度地减少这些传输成本非常重要。每个客户端上的数据都是高度可变的，因此对不同客户端进行培训的好处可能会有很大差异。为了利用这一点，我们提出了主动联邦学习，在每一轮中，客户端不是随机选择的，而是以当前模型和客户端数据为条件的概率来最大化效率。我们提出了一个便宜，简单和直观的采样方案，它减少了20-70%的训练迭代次数，同时保持相同的模型精度，并在某些条件下模仿众所周知的reservation技术。
2019-09-27 cs.LG stat.ML
Every Client Is an Environment: Federated De-confounding for Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shanghai Jiao Tong University（上海交通大学）；Harbin Engineering University（哈尔滨工程大学）
针对时空预测，提出联邦去混淆框架\method，将客户端视为不同因果环境，利用客户端异质性作为分布式环境证据，学习全局原型码本捕获共享环境模式，推导理论边界，实验证明其优于联邦基线，提供可转移等环境表示。
2026-07-28 cs.AI cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary（电气与软件工程系，卡尔加里大学）；Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
针对联邦学习中客户端能量与可用预算受限问题，提出半去中心化客户端选择方法FedDeCAB，通过概率排序选客户端、离线时从近邻获取参数优化，在多场景下均有效。
2025-09-03 cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University（杜克大学）
联邦学习使客户端能够协作学习共享的全局模型，而无需与云服务器共享其本地训练数据。然而，恶意客户端可以破坏全局模型，以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而，这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是，给定任何基础联邦学习算法，我们使用该算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时，我们在全局模型中进行多数投票。我们表明，我们的集成联邦学习与任何基础联邦学习算法是可证明的安全，对恶意客户端。具体来说，我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外，我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如，当1,000个客户端中有20个是恶意客户端时，我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
Personalized Federated Learning via Learning Dynamic Graphs
Nanjing University of Science and Technology（南京理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Southeast University（东南大学）
本文提出pFedGAT方法，通过图注意力网络动态学习客户端间潜在图结构并细粒度控制聚合过程，在多个数据集上验证了其优于现有方法的个性化联邦学习性能。
2025-03-07 cs.AI cs.LG
Differentially Private Federated Learning: A Client Level Perspective
SAP SE（思爱普股份公司）；ETH Zurich（苏黎世联邦理工学院）
联邦学习是隐私保护领域的一个新进展。在这种情况下，受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端，最终汇聚为一个联合代表模型，而无需显式地共享数据。然而，该协议容易受到差分攻击，这可能来自联邦优化过程中的任何一方。在这种攻击中，客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题，并提出了一个算法，客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡。实证研究表明，如果有足够多的参与客户端，我们提出的程序可以保持客户端级别的差分隐私，只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
