FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP（德勤咨询有限责任公司）
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题，本文提出零信任聚合方法 FedBayes，利用贝叶斯统计评估客户端权重，从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
联邦学习（FL）致力于实现机器学习模型的协作训练，而无需集中收集客户的私人数据。与集中式训练不同，FL中跨客户端的本地数据集是非独立和同分布的（非IID）。此外，拥有数据的客户端可以任意退出训练过程。这些特征将显著降低训练性能。提出了一种基于拉格朗日编码计算（LCC）的丢包恢复安全联邦学习（DReS-FL）框架，以解决非IID和丢包问题。其关键思想是利用拉格朗日编码在客户端之间秘密共享私有数据集，以便每个客户端接收全局数据集的编码版本，并且在该数据集上的局部梯度计算是无偏的。为了在服务器上正确解码梯度，梯度函数必须是有限域中的多项式，因此我们构建多项式整数神经网络（PINNs）来实现我们的框架。理论分析表明，DReS-FL具有较好的客户端退出弹性，并为本地数据集提供了隐私保护。此外，我们的实验表明，DReS-FL一贯导致显着的性能增益超过基线方法。
2022-10-06 cs.CR cs.LG
Blockchain-based Secure Client Selection in Federated Learning
University of Florida（佛罗里达大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
尽管联邦学习（FL）在大规模分布式学习中具有巨大的潜力，但由于客户端训练的本地模型暴露于中央服务器，当前系统仍然受到一些隐私问题的影响。因此，FL的安全聚合协议已经被开发出来，以隐藏服务器的本地模型。然而，我们表明，通过操纵客户端的选择过程中，服务器可以绕过安全聚合学习受害者客户端的本地模型，表明安全聚合本身是不够的隐私保护。为了解决这个问题，我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性，我们提出的协议强制随机选择客户端，使服务器无法自行控制选择过程。我们目前的安全证明表明，我们的协议是安全的，对这种攻击。此外，我们在类似以太坊的区块链上进行了几次实验，以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University（杜克大学）
联邦学习使客户端能够协作学习共享的全局模型，而无需与云服务器共享其本地训练数据。然而，恶意客户端可以破坏全局模型，以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而，这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是，给定任何基础联邦学习算法，我们使用该算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时，我们在全局模型中进行多数投票。我们表明，我们的集成联邦学习与任何基础联邦学习算法是可证明的安全，对恶意客户端。具体来说，我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外，我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如，当1,000个客户端中有20个是恶意客户端时，我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
Differentially Private Federated Learning: A Client Level Perspective
SAP SE（思爱普股份公司）；ETH Zurich（苏黎世联邦理工学院）
联邦学习是隐私保护领域的一个新进展。在这种情况下，受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端，最终汇聚为一个联合代表模型，而无需显式地共享数据。然而，该协议容易受到差分攻击，这可能来自联邦优化过程中的任何一方。在这种攻击中，客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题，并提出了一个算法，客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡。实证研究表明，如果有足够多的参与客户端，我们提出的程序可以保持客户端级别的差分隐私，只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Scalable Federated Learning for Clients with Different Input Image Sizes and Numbers of Output Categories
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
针对联邦学习中客户端输入图像尺寸和输出类别数量异构的问题，提出ScalableFL方法，通过调整本地模型深度和宽度以适应客户端，并给出泛化差距新界，在图像分类和目标检测任务中验证了有效性。
2023-11-15 cs.CR cs.CV cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria（卡拉布里亚大学）
针对联邦学习中的恶意攻击和客户端漂移问题，提出异常客户端检测算法，通过移除异常客户端提升系统安全与效率，相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击，提出结合对抗学习与模型补丁的客户端防御机制，在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率，优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习作为一种分布式机器学习方法越来越受欢迎，可用于部署依赖AI的物联网应用程序，同时保护客户端数据隐私和安全。由于客户端的差异性，单一的全局模型不一定能在所有客户端上表现良好，因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而，大多数个性化的联邦学习研究都集中在数据异构性上，而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构，这对于每个客户端的个体模型和本地数据分布要求都不方便，也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络（GANs）的联邦学习方法，允许每个客户端设计自己的模型独立参与联邦学习训练，而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中，所提出的方法优于现有的方法在平均测试精度的42%时，客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为，因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击，从而降低学习性能或实施有针对性的模型中毒攻击（也称为“攻击”）。后门攻击）。因此，及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中，我们提出了一个新的框架，强大的联邦学习，中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型，导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明，我们的解决方案确保了强大的联邦学习，是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）是一种分布式机器学习范式，允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私，其安全性可以通过诸如加性同态加密（HE）的密码学方法来加强。然而，FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因，并在各种数据集上检查FL的性能。为了解决统计异质性问题，我们提出了一种可插拔的系统级客户端选择方法Dubhe，它允许客户端主动参与训练，同时在HE的帮助下保护他们的隐私。实验结果表明，Dubhe算法在分类精度上与最优贪婪算法相当，而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University（计算机学院，香港理工大学）
针对对比联邦学习仍易受梯度攻击的隐私问题，本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性，为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
Peking University（北京大学）；Renmin University of China（中国人民大学）；Shanghai AI Lab（上海人工智能实验室）；Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）
联邦学习已经成为一种广泛使用的框架，它允许在保护本地数据隐私的条件下，在分散的本地数据集上学习全局模型。然而，当训练样本不是独立同分布（非独立同分布）时，联邦学习面临严重的优化困难。在本文中，我们指出，客户抽样的做法起着决定性的作用，在上述优化困难。我们发现，负客户端采样将导致合并的数据分布的当前采样的客户端严重不一致的所有可用的客户端，并进一步使聚合梯度不可靠。为了解决这个问题，我们提出了一种新的学习率自适应机制，自适应调整服务器学习率的聚合梯度在每一轮，根据合并数据分布的一致性，当前采样的客户端和所有可用的客户端。具体而言，通过理论推导，找到了一个与最优服务器学习率正相关、能有效反映样本客户端合并数据分布的有意义且鲁棒的指标，并将其用于服务器学习率自适应。在多个图像和文本分类任务上的大量实验验证了该方法的有效性。
2023-01-25 cs.AI cs.CR cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Federated Continual Learning with Weighted Inter-client Transfer
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
人们对持续学习和联邦学习的兴趣激增，这两种学习在现实世界的深度神经网络中都很重要。然而，对于每个客户端从私人本地数据流中学习一系列任务的场景，人们几乎没有进行过研究。这种联合持续学习的问题对持续学习提出了新的挑战，例如利用来自其他客户端的知识，同时防止不相关知识的干扰。为了解决这些问题，我们提出了一种新的联邦持续学习框架，联邦加权客户端间传输（FedWeIT），它将网络权重分解为全局联邦参数和稀疏的任务特定参数，每个客户端从其他客户端接收选择性的知识，通过采取加权组合的任务特定参数。FedWeIT最大限度地减少了不兼容任务之间的干扰，并允许在学习过程中跨客户进行积极的知识转移。我们验证了我们的FedWeIT对现有的联邦学习和持续学习方法在不同程度的任务相似性的客户端，我们的模型显着优于他们的通信成本大幅降低。代码可在www.example.com上获得
2021-06-14 cs.LG stat.ML
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
联邦学习（FL）是一种分布式机器学习范例，其中数据分布在客户端之间，这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重，可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL，其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而，这些作品要么完全忽略了数据不平衡的问题，要么假设客户端的权重是先验已知的服务器，而在实践中，它很可能是由客户端自己向服务器报告的权重，因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法，并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析，我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Anomaly Detection via Federated Learning
Deloitte & Touche LLP（德勤华永会计师事务所（特殊普通合伙））；Persistent Systems Limited（Persistent系统有限公司）
机器学习通过结合分类器和自动编码器来破译正常和异常行为，帮助推进异常检测领域。此外，联邦学习提供了一种使用多个客户端数据训练全局模型的方法，而无需客户端直接共享其数据。本文提出了一种新的异常检测器，通过联邦学习来检测客户端服务器上的恶意网络活动。在我们的实验中，我们在联邦学习框架中使用带有分类器的自动编码器来确定网络活动是良性的还是恶意的。通过使用我们新的最小-最大标量和采样技术，称为FedSam，我们确定联邦学习允许全局模型从每个客户端的数据中学习，反过来，为每个客户端提供一种方法来提高其入侵检测系统对网络攻击的防御能力。
2022-10-12 cs.AI cs.CR cs.LG
Federated Client Selection under Partial Visibility: A POMDP Approach with Spatio-Temporal Attention
Dept. of Electronic Engineering, BNRist, Tsinghua University（电子工程系，北京理工大学，清华大学）；Dept. of Electronic and Computer Engineering, HKUST（电子与计算机工程系，香港科技大学）
本文提出一种基于POMDP的强化学习框架，通过整合历史全局模型和客户端身份嵌入，解决部分可见性下的联邦学习客户端选择问题，实验验证其在异构和部分可见场景下的有效性。
2026-07-02 cs.LG
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization
Yale University（耶鲁大学）
联邦学习已经被广泛研究，并且是边缘设备中隐私保护分布式学习的流行方法。相应地，持续学习是一个新兴的领域，旨在学习多个任务顺序。然而，很少有人注意到联邦聚合在持续学习系统中执行时出现的额外挑战。我们确定\textit{client drift}的主要弱点之一，出现香草联邦平均时，在这样的系统中，特别是因为每个客户端可以独立地有不同的任务顺序。我们概述了执行联邦持续学习（FCL）的框架，通过使用NetTailor作为候选人的持续学习的方法，并显示客户端漂移的问题的程度。我们表明，自适应联邦优化可以减少客户端漂移的不利影响，并展示其在CIFAR100，MiniImagenet和Decathlon基准测试中的有效性。此外，我们还提供了一个实证分析，强调了不同超参数之间的相互作用，如客户端和服务器学习率，本地训练迭代次数和通信回合。最后，我们评估了我们的框架的有用特性的联邦学习系统，如可扩展性，鲁棒性的偏斜客户端的数据分布，和掉队。
2022-03-24 cs.AI cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs（埃森哲实验室）；INRIA Sophia-Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；INRIA Paris（巴黎国立计算机与自动化研究所）；DIENS - PSL（巴黎文理研究大学计算机科学系）
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题，提出SIFU方法，适用于凸与非凸优化，无需额外客户端计算成本，提供正式遗忘质量保证，并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On the Convergence of Federated Averaging with Cyclic Client Participation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；HKUST（香港科技大学）
联邦平均（Federated Averaging，FedAvg）及其变体是联邦学习（Federated Learning，FL）中最流行的优化算法。以前的FedAvg收敛分析要么假设完全的客户端参与，要么假设部分客户端参与，其中客户端可以被统一采样。然而，在实际的跨设备FL系统中，在给定时间，只有满足本地标准（例如电池状态、网络连接和最大参与频率要求（以确保隐私））的客户端的子集可用于训练。因此，客户端可用性遵循自然的循环模式。我们提供（据我们所知）的第一个理论框架来分析FedAvg与循环客户端参与的收敛与几个不同的客户端优化器，如GD，SGD和洗牌SGD。我们的分析发现，循环的客户端参与可以实现更快的渐近收敛速度比香草FedAvg与均匀的客户端参与在适当的条件下，客户端采样协议的设计提供了有价值的见解。
2023-02-06 cs.DC cs.LG
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Benchmarking Algorithms for Federated Domain Generalization
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对现有联邦域泛化评估的局限，该研究提出可调控客户端数量与异质性、含数据集难度指标的基准方法，评估14类相关方法后发现多场景下仍存显著性能差距，并开源可扩展基准代码。
2024-04-10 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
ABC-FL: Anomalous and Benign client Classification in Federated Learning
Sungkyunkwan University（成均馆大学）
联邦学习是一种分布式机器学习框架，设计用于数据隐私保护，即，本地数据在整个训练和测试过程中保持私有。联邦学习越来越受欢迎，因为它允许人们在保护隐私的同时使用机器学习技术。然而，它继承了深度学习技术中提出的漏洞和不确定性。例如，联邦学习特别容易受到数据投毒攻击，由于其分布式特性和无法访问原始数据，这些攻击可能会降低其性能和完整性。此外，由于非独立和/或相同分布（非IID）数据，正确识别恶意客户端非常困难。真实世界的数据可能是复杂和多样的，使得它们在没有对原始数据的直接存取的情况下很难与恶意数据区分开来。先前的研究集中在检测恶意客户端，而仅将具有IID数据的客户端视为良性。在这项研究中，我们提出了一种方法，从良性客户端检测和分类异常客户端时，良性的非IID数据。我们提出的方法利用特征降维，动态聚类和基于余弦相似性的裁剪。实验结果表明，该方法不仅可以对恶意客户端进行分类，而且可以从整个过程中消除恶意客户端的负面影响。我们的研究结果可以用于未来的研究，以有效地消除异常客户端时，建立一个模型与不同的数据。
2022-12-01 cs.AI cs.CR cs.DC
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin（柏林技术大学）
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法，以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University（卡内基梅隆大学）
联邦学习是一种分布式优化范例，它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性，包括数据异构性、通信和计算限制以及部分客户端参与。然而，他们假设客户的参与是无偏见的，客户是随机选择的，或者是按照数据大小的比例选择的。在本文中，我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析，并量化选择偏见如何影响收敛速度。我们发现，偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力，我们提出了选择的力量，一个通信和计算效率的客户端选择框架，可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明，权力的选择策略收敛到3 $\times$更快，并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana（瑞士大学）；INRAE Paris（巴黎国家农业研究院）
针对联邦学习中客户端演化行为难以解释的问题，提出联邦行为平面（FBPs）方法实现客户端行为的分析可视化，基于其识别的模式设计Federated Behavioural Shields聚合技术，防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
数据异构的联邦学习（FL）系统存在两个重要的收敛误差来源：1）在客户端执行多个局部优化步骤导致的客户端漂移误差; 2）只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现，其中，只有前者在文献中得到了显着的关注。为了弥补这一点，我们提出了FedVARP，一种新的方差减少算法应用在服务器上，消除了错误，由于部分客户端的参与。为此，服务器只需在内存中维护每个客户端的最新更新，并在每一轮中使用这些更新作为非参与客户端的代理更新。此外，为了减轻在服务器上的内存需求，我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同，FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验，我们表明，FedVARP优于国家的最先进的方法，和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；School of Computer Science and Technology, Tianjin University（计算机科学与技术学院，天津大学）
ILoRA通过正交初始化、拼接分解聚合和秩感知优化，解决异构客户端聚合中的初始化不稳定性、秩不兼容和客户端漂移问题，提升联邦学习的准确率和收敛稳定性。
2025-11-20 cs.LG
Client Selection in Federated Learning: Principles, Challenges, and Opportunities
Bank of Jiangsu（江苏银行）；Fudan University（复旦大学）；Shandong University（山东大学）；Ohio State University（俄亥俄州立大学）；University of California, Davis（加州大学戴维斯分校）
本文系统综述了联邦学习中客户端选择这一新兴领域的最新进展、挑战与机遇，旨在解决客户端异构性问题并帮助从业者与研究者更好地理解和应用相关机制。
2023-07-26 cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London（伦敦帝国理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对联邦学习客户端参与问题，提出基于控制论的确定性方法FedBack，通过积分反馈控制器动态调整参与率，实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University（厦门大学信息学院福建省智慧城市感知与计算重点实验室）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果，但其性能可能会受到间歇性客户端可用性的阻碍，这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战，我们提出了一个名为Federated Graph-based Sampling（FedGS）的框架，以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先，我们使用数据分布依赖图（3DG）对客户端的数据相关性进行建模，该图有助于将采样的客户端数据彼此分开，这在理论上可以提高最佳模型更新的近似值。其次，受样本客户数据分布距离较远的约束，进一步最小化样本客户被抽样次数的方差，以减小长期偏差。为了验证FedGS的有效性，我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势，使一个公平的客户端采样方案，并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FedPCD: Priority-Constrained Federated Aggregation
American University of Sharjah（沙迦美国大学）；Massachusetts Institute of Technology（麻省理工学院）
FedPCD是一种优先级约束的联邦优化框架，通过分离全局优化目标与客户端保护，在异质联邦学习基准中实现更高全局准确率、更优最差客户端准确率及更快收敛，性能优于现有最优基线。
2026-10-12 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS（拉合尔管理科学大学）
联邦学习（FL）是一种分布式学习技术，它以隐私保护的方式在分布式数据上训练共享模型。不幸的是，FL的性能下降时，有（i）在计算和内存资源（系统异构性）和（ii）非IID数据分布在客户端（统计异构性）方面的客户端特性的变化。例如，在FL方案中，慢客户端会被丢弃，例如Federated Averaging（FedAvg），这不仅限制了整体学习，而且会使结果偏向于快客户端。我们提出FedPrune，一个系统，通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做，慢客户端可以快速训练一个小模型并参与FL，从而提高测试的准确性和公平性。通过使用中心极限定理的见解，FedPrune采用了一种新的聚合技术，该技术在非IID数据上实现了强大的性能。实验结果表明，与联邦平均算法相比，Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis（孟菲斯大学）
本文提出FRECA方法，利用FedTruth框架估计全局模型真实更新，平衡客户端贡献并过滤恶意影响，实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
