FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP（德勤咨询有限责任公司）
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题，本文提出零信任聚合方法 FedBayes，利用贝叶斯统计评估客户端权重，从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
联邦学习（FL）致力于实现机器学习模型的协作训练，而无需集中收集客户的私人数据。与集中式训练不同，FL中跨客户端的本地数据集是非独立和同分布的（非IID）。此外，拥有数据的客户端可以任意退出训练过程。这些特征将显著降低训练性能。提出了一种基于拉格朗日编码计算（LCC）的丢包恢复安全联邦学习（DReS-FL）框架，以解决非IID和丢包问题。其关键思想是利用拉格朗日编码在客户端之间秘密共享私有数据集，以便每个客户端接收全局数据集的编码版本，并且在该数据集上的局部梯度计算是无偏的。为了在服务器上正确解码梯度，梯度函数必须是有限域中的多项式，因此我们构建多项式整数神经网络（PINNs）来实现我们的框架。理论分析表明，DReS-FL具有较好的客户端退出弹性，并为本地数据集提供了隐私保护。此外，我们的实验表明，DReS-FL一贯导致显着的性能增益超过基线方法。
2022-10-06 cs.CR cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University（杜克大学）
联邦学习使客户端能够协作学习共享的全局模型，而无需与云服务器共享其本地训练数据。然而，恶意客户端可以破坏全局模型，以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而，这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是，给定任何基础联邦学习算法，我们使用该算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时，我们在全局模型中进行多数投票。我们表明，我们的集成联邦学习与任何基础联邦学习算法是可证明的安全，对恶意客户端。具体来说，我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外，我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如，当1,000个客户端中有20个是恶意客户端时，我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
Differentially Private Federated Learning: A Client Level Perspective
SAP SE（思爱普股份公司）；ETH Zurich（苏黎世联邦理工学院）
联邦学习是隐私保护领域的一个新进展。在这种情况下，受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端，最终汇聚为一个联合代表模型，而无需显式地共享数据。然而，该协议容易受到差分攻击，这可能来自联邦优化过程中的任何一方。在这种攻击中，客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题，并提出了一个算法，客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡。实证研究表明，如果有足够多的参与客户端，我们提出的程序可以保持客户端级别的差分隐私，只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Scalable Federated Learning for Clients with Different Input Image Sizes and Numbers of Output Categories
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
针对联邦学习中客户端输入图像尺寸和输出类别数量异构的问题，提出ScalableFL方法，通过调整本地模型深度和宽度以适应客户端，并给出泛化差距新界，在图像分类和目标检测任务中验证了有效性。
2023-11-15 cs.CR cs.CV cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria（卡拉布里亚大学）
针对联邦学习中的恶意攻击和客户端漂移问题，提出异常客户端检测算法，通过移除异常客户端提升系统安全与效率，相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击，提出结合对抗学习与模型补丁的客户端防御机制，在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率，优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为，因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击，从而降低学习性能或实施有针对性的模型中毒攻击（也称为“攻击”）。后门攻击）。因此，及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中，我们提出了一个新的框架，强大的联邦学习，中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型，导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明，我们的解决方案确保了强大的联邦学习，是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）是一种分布式机器学习范式，允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私，其安全性可以通过诸如加性同态加密（HE）的密码学方法来加强。然而，FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因，并在各种数据集上检查FL的性能。为了解决统计异质性问题，我们提出了一种可插拔的系统级客户端选择方法Dubhe，它允许客户端主动参与训练，同时在HE的帮助下保护他们的隐私。实验结果表明，Dubhe算法在分类精度上与最优贪婪算法相当，而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University（计算机学院，香港理工大学）
针对对比联邦学习仍易受梯度攻击的隐私问题，本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性，为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
Correlation Aware Sparsified Mean Estimation Using Random Projection
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Rand-Proj-Spatial 估计器，通过 SRHT 随机投影将客户端向量编码到低维子空间，更高效地利用跨客户端相关性信息，在分布式均值估计中优于 Rand-$k$-Spatial 及其他稀疏化方法。
2023-10-29 cs.DC cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
Peking University（北京大学）；Renmin University of China（中国人民大学）；Shanghai AI Lab（上海人工智能实验室）；Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）
联邦学习已经成为一种广泛使用的框架，它允许在保护本地数据隐私的条件下，在分散的本地数据集上学习全局模型。然而，当训练样本不是独立同分布（非独立同分布）时，联邦学习面临严重的优化困难。在本文中，我们指出，客户抽样的做法起着决定性的作用，在上述优化困难。我们发现，负客户端采样将导致合并的数据分布的当前采样的客户端严重不一致的所有可用的客户端，并进一步使聚合梯度不可靠。为了解决这个问题，我们提出了一种新的学习率自适应机制，自适应调整服务器学习率的聚合梯度在每一轮，根据合并数据分布的一致性，当前采样的客户端和所有可用的客户端。具体而言，通过理论推导，找到了一个与最优服务器学习率正相关、能有效反映样本客户端合并数据分布的有意义且鲁棒的指标，并将其用于服务器学习率自适应。在多个图像和文本分类任务上的大量实验验证了该方法的有效性。
2023-01-25 cs.AI cs.CR cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
联邦学习（FL）是一种分布式机器学习范例，其中数据分布在客户端之间，这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重，可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL，其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而，这些作品要么完全忽略了数据不平衡的问题，要么假设客户端的权重是先验已知的服务器，而在实践中，它很可能是由客户端自己向服务器报告的权重，因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法，并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析，我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Anomaly Detection via Federated Learning
Deloitte & Touche LLP（德勤华永会计师事务所（特殊普通合伙））；Persistent Systems Limited（Persistent系统有限公司）
机器学习通过结合分类器和自动编码器来破译正常和异常行为，帮助推进异常检测领域。此外，联邦学习提供了一种使用多个客户端数据训练全局模型的方法，而无需客户端直接共享其数据。本文提出了一种新的异常检测器，通过联邦学习来检测客户端服务器上的恶意网络活动。在我们的实验中，我们在联邦学习框架中使用带有分类器的自动编码器来确定网络活动是良性的还是恶意的。通过使用我们新的最小-最大标量和采样技术，称为FedSam，我们确定联邦学习允许全局模型从每个客户端的数据中学习，反过来，为每个客户端提供一种方法来提高其入侵检测系统对网络攻击的防御能力。
2022-10-12 cs.AI cs.CR cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs（埃森哲实验室）；INRIA Sophia-Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；INRIA Paris（巴黎国立计算机与自动化研究所）；DIENS - PSL（巴黎文理研究大学计算机科学系）
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题，提出SIFU方法，适用于凸与非凸优化，无需额外客户端计算成本，提供正式遗忘质量保证，并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
ABC-FL: Anomalous and Benign client Classification in Federated Learning
Sungkyunkwan University（成均馆大学）
联邦学习是一种分布式机器学习框架，设计用于数据隐私保护，即，本地数据在整个训练和测试过程中保持私有。联邦学习越来越受欢迎，因为它允许人们在保护隐私的同时使用机器学习技术。然而，它继承了深度学习技术中提出的漏洞和不确定性。例如，联邦学习特别容易受到数据投毒攻击，由于其分布式特性和无法访问原始数据，这些攻击可能会降低其性能和完整性。此外，由于非独立和/或相同分布（非IID）数据，正确识别恶意客户端非常困难。真实世界的数据可能是复杂和多样的，使得它们在没有对原始数据的直接存取的情况下很难与恶意数据区分开来。先前的研究集中在检测恶意客户端，而仅将具有IID数据的客户端视为良性。在这项研究中，我们提出了一种方法，从良性客户端检测和分类异常客户端时，良性的非IID数据。我们提出的方法利用特征降维，动态聚类和基于余弦相似性的裁剪。实验结果表明，该方法不仅可以对恶意客户端进行分类，而且可以从整个过程中消除恶意客户端的负面影响。我们的研究结果可以用于未来的研究，以有效地消除异常客户端时，建立一个模型与不同的数据。
2022-12-01 cs.AI cs.CR cs.DC
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）
我们研究的问题，估计在一个中央服务器的平均分布在几个节点（每个节点一个向量）的一组向量。当向量是高维的时，发送整个向量的通信成本可能是禁止的，并且它们可能必须使用稀疏化技术。虽然大多数关于稀疏平均估计的现有工作对数据向量的特性是不可知的，但是在诸如联邦学习的许多实际应用中，数据向量中可能存在空间相关性（由不同节点发送的向量中的相似性）或时间相关性（由单个节点在算法的不同迭代中发送的数据中的相似性）。我们通过简单地修改服务器使用的解码方法来估计均值，从而利用这些相关性。我们提供了对所产生的估计误差的分析以及PCA，K-Means和Logistic回归的实验，这些实验表明我们的估计器始终优于更复杂和昂贵的稀疏化方法。
2021-10-14 cs.LG stat.ML
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
数据异构的联邦学习（FL）系统存在两个重要的收敛误差来源：1）在客户端执行多个局部优化步骤导致的客户端漂移误差; 2）只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现，其中，只有前者在文献中得到了显着的关注。为了弥补这一点，我们提出了FedVARP，一种新的方差减少算法应用在服务器上，消除了错误，由于部分客户端的参与。为此，服务器只需在内存中维护每个客户端的最新更新，并在每一轮中使用这些更新作为非参与客户端的代理更新。此外，为了减轻在服务器上的内存需求，我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同，FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验，我们表明，FedVARP优于国家的最先进的方法，和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Client Selection in Federated Learning: Principles, Challenges, and Opportunities
Bank of Jiangsu（江苏银行）；Fudan University（复旦大学）；Shandong University（山东大学）；Ohio State University（俄亥俄州立大学）；University of California, Davis（加州大学戴维斯分校）
本文系统综述了联邦学习中客户端选择这一新兴领域的最新进展、挑战与机遇，旨在解决客户端异构性问题并帮助从业者与研究者更好地理解和应用相关机制。
2023-07-26 cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin（柏林技术大学）
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法，以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University（厦门大学信息学院福建省智慧城市感知与计算重点实验室）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果，但其性能可能会受到间歇性客户端可用性的阻碍，这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战，我们提出了一个名为Federated Graph-based Sampling（FedGS）的框架，以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先，我们使用数据分布依赖图（3DG）对客户端的数据相关性进行建模，该图有助于将采样的客户端数据彼此分开，这在理论上可以提高最佳模型更新的近似值。其次，受样本客户数据分布距离较远的约束，进一步最小化样本客户被抽样次数的方差，以减小长期偏差。为了验证FedGS的有效性，我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势，使一个公平的客户端采样方案，并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FedPCD: Priority-Constrained Federated Aggregation
American University of Sharjah（沙迦美国大学）；Massachusetts Institute of Technology（麻省理工学院）
FedPCD是一种优先级约束的联邦优化框架，通过分离全局优化目标与客户端保护，在异质联邦学习基准中实现更高全局准确率、更优最差客户端准确率及更快收敛，性能优于现有最优基线。
2026-10-12 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS（拉合尔管理科学大学）
联邦学习（FL）是一种分布式学习技术，它以隐私保护的方式在分布式数据上训练共享模型。不幸的是，FL的性能下降时，有（i）在计算和内存资源（系统异构性）和（ii）非IID数据分布在客户端（统计异构性）方面的客户端特性的变化。例如，在FL方案中，慢客户端会被丢弃，例如Federated Averaging（FedAvg），这不仅限制了整体学习，而且会使结果偏向于快客户端。我们提出FedPrune，一个系统，通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做，慢客户端可以快速训练一个小模型并参与FL，从而提高测试的准确性和公平性。通过使用中心极限定理的见解，FedPrune采用了一种新的聚合技术，该技术在非IID数据上实现了强大的性能。实验结果表明，与联邦平均算法相比，Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis（孟菲斯大学）
本文提出FRECA方法，利用FedTruth框架估计全局模型真实更新，平衡客户端贡献并过滤恶意影响，实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
Federated Mutual Learning
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Huazhong University of Science and Technology（华中科技大学）
联邦学习（FL）支持在分散数据上协作训练深度学习模型。然而，有三种类型的异质性在FL设置带来了独特的挑战，规范的联邦学习算法（FedAvg）。首先，由于数据的非IID性，全局共享模型可能比仅在其私有数据上训练的局部模型性能更差;其次，中心服务器和客户端的目标可能不同，其中中心服务器寻求通用模型，而客户端追求个性化模型，并且客户端可能运行不同的任务;第三，客户端可能需要针对各种场景和任务设计其定制模型;在这项工作中，我们提出了一种新的联邦学习范式，命名为联邦相互学习（FML），处理这三个异质性。FML允许客户协同训练通用模型和独立训练个性化模型，并设计他们的私人定制模型。因此，数据的非IID性不再是一个错误，而是一个可以更好地为客户提供个性化服务的功能。实验结果表明，在典型的FL环境下，FML可以获得比替代方案更好的性能，客户端可以受益于不同的模型和任务的FML。
2020-09-17 cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Adversarial Client Detection via Non-parametric Subspace Monitoring in the Internet of Federated Things
Arizona State University（亚利桑那州立大学）；University of Florida（佛罗里达大学）；Clemson University（克莱姆森大学）
针对联邦物联网中联邦学习易遭对抗攻击的安全问题，提出非参数方法FedRR，利用传输参数更新的低秩特征检测对抗客户端，可在无攻击场景下控制误报率，经MNIST数字识别实验验证有效。
2023-10-02 cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性（即，数据分布在客户端之间可能不同）。为了解决这个问题，许多联邦学习方法都是针对个性化的联邦学习，为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法，但实验设置（例如，比较方法、数据集和客户端设置）彼此不同，并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准（即，非个性化）联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试，评价每种方法的特点。我们的实验研究表明：（1）不存在冠军方法，（2）大数据异构性通常会导致高准确度的预测，以及（3）具有微调的标准联邦学习方法（例如FedAvg）通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench，供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana（瑞士大学）；INRAE Paris（巴黎国家农业研究院）
针对联邦学习中客户端演化行为难以解释的问题，提出联邦行为平面（FBPs）方法实现客户端行为的分析可视化，基于其识别的模式设计Federated Behavioural Shields聚合技术，防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine（加州大学尔湾分校）
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法，以低通信成本处理客户端数据异构性，并证明每个客户端享有次线性遗憾，实验验证其优于现有方法。
2023-11-09 cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London（伦敦帝国理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对联邦学习客户端参与问题，提出基于控制论的确定性方法FedBack，通过积分反馈控制器动态调整参与率，实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电气与电子工程学院）
本文提出FRAMP框架，通过生成客户端特定模型实现个性化和资源适应的联邦学习，提升泛化能力和适应性。
2026-04-13 cs.LG
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University（厦门大学）；Western University（韦仕敦大学）
我们研究了无线网络中多个联邦学习（FL）服务的数据质量感知的动态客户端选择问题，每个客户端提供动态数据集用于同时训练多个FL服务，每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法，在避免动作冲突的同时，优化联合客户选择和支付动作。仿真结果表明，我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
Maximizing Global Model Appeal in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
联邦学习通常考虑在边缘客户端使用本地数据协作训练全局模型。客户可能有自己的个人要求，例如具有最小的训练损失阈值，他们希望全局模型能够满足这些要求。然而，由于客户端的异质性，全局模型可能无法满足每个客户端的要求，并且只有一小部分人可能会发现全局模型具有吸引力。在这项工作中，我们探讨的问题，全球模式缺乏吸引力的客户端，由于无法满足当地的要求。我们提出了MaxFL，旨在最大限度地增加发现全球模式吸引力的客户数量。我们表明，具有较高的全局模型吸引力对于保持足够的客户端进行训练非常重要，并且可以直接提高可见和不可见客户端的测试准确性。我们为MaxFL提供了收敛保证，并表明MaxFL实现了$22$ - $40\%$和$18$ - $50\%$测试精度分别为培训客户端和看不见的客户端的改进，相比广泛的FL建模方法，包括那些解决数据异构性，旨在激励客户端，并学习个性化或公平的模型。
2023-02-04 cs.LG
