Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning
Concordia University（康考迪亚大学）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
本文针对联邦学习中客户端数据异质性导致的灾难性遗忘问题，提出通过逐客户端重新加权softmax logits来修改交叉熵目标，保护客户端标签集之外的类别表征，实验表明该方法能有效缓解遗忘并提升标准联邦学习算法性能。
2023-04-11 cs.AI cs.LG
Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）
该研究针对联邦学习中不完美数据集引发的问题，提出隐私保护的客户端贡献评分方法，实验验证了评估效果。
2026-08-04 cs.AI cs.LG
Online Decentralized Federated Multi-task Learning With Trustworthiness in Cyber-Physical Systems
School of Computing University of Glasgow（计算学院格拉斯哥大学）
针对在线去中心化联邦学习场景下的数据异质性与拜占庭客户端占多数的容错难题，提出一种利用信息物理特性分配本地模型信任概率的多任务学习算法，可兼顾模型个性化与容错性，性能接近无拜占庭客户端的理想水平。
2025-08-31 cs.AI cs.LG
Communication-Efficient Federated Learning with Accelerated Client Gradient
Seoul National University（首尔大学）；IPAI, Seoul National University（首尔大学IPAI）
本文提出一种带有前瞻梯度的通信高效联邦学习框架，通过广播超调全局模型并正则化局部更新，在低客户端参与率下显著提升收敛稳定性、准确率与通信效率。
2024-04-01 cs.AI cs.LG
Client Recruitment for Federated Learning in ICU Length of Stay Prediction
KU Leuven（鲁汶大学）；STADIUS Center for Dynamical Systems（STADIUS动力系统中心）；Signal Processing and Data Analytics（信号处理与数据分析（机构））
本研究针对联邦学习在医疗数据分散、隐私受限场景下的应用痛点，提出仅基于客户端输出分布与样本量的招募方法，在ICU住院时长预测任务中实现性能提升与训练加速。
2023-04-28 cs.AI cs.LG
Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；Accenture Labs（埃森哲实验室）
研究了联邦学习中服务器和客户端之间通信的优化问题。当前FL中的采样方法在服务器-客户端通信和训练稳定性方面要么是有偏差的，要么是非最优的。为了克服这个问题，我们引入了\textit{clustered sampling}用于客户端选择。我们证明，聚类抽样导致更好的客户端的代表性和降低方差的客户端随机聚集的权重FL。与我们的理论相一致，我们提供了两种不同的聚类方法，使客户端聚集的基础上1）样本大小，和2）模型的相似性。通过在非iid和不平衡场景下的一系列实验，我们证明了与标准采样方法相比，通过聚类采样的模型聚合始终导致更好的训练收敛性和可变性。我们的方法不需要在客户端进行任何额外的操作，并且可以无缝集成到标准FL实现中。最后，聚类采样与用于隐私增强的现有方法和技术兼容，并且通过模型压缩用于通信减少。
2021-05-21 cs.AI cs.LG
UPFL: Unsupervised Personalized Federated Learning towards New Clients
East China Normal University（华东师范大学）；Ant Group（蚂蚁集团）
针对联邦模型部署后未标记新客户端加入的挑战，提出无监督个性化联邦学习方法FedTTA，通过代理正则化、基于熵的早停及知识蒸馏损失优化模型适应并解决设备异质性，实验证明其有效性。
2023-07-29 cs.AI cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习（FL）促进了多个客户端之间的协作，以学习个性化模型，而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性，即，不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而，潜在的参与者可能仍然不愿意个性化模型，因为它们可能无法很好地工作。在这种情况下，客户端选择使用全局模型。为了避免不切实际的假设，我们引入个性化率，衡量的客户端愿意训练个性化模型的分数，到联邦设置，并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型，同时允许在全局模型表现更好时采用全局模型。我们表明，DyPFL中的算法管道保证了良好的收敛性能，使其在广泛的条件下优于其他个性化方法，包括异质性，客户端数量，局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Cumulative Utility Parity for Fair Federated Learning under Intermittent Client Participation
Department of Computer Science and Technology, University of Cambridge, Cambridge, United Kingdom（计算机科学与技术系，剑桥大学，剑桥，英国）
本文提出累积效用公平性，通过评估客户端长期收益来提升联邦学习中的公平性，实验显示其在保持性能的同时改善了长期表示公平性。
2026-02-14 cs.AI cs.LG
Detecting Atypical Clients in Federated Learning via Representation-Level Divergence
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）
本文提出了一种轻量级的几何信号来量化客户端与全局模型之间的功能偏差，以检测联邦学习中的非典型客户端，通过评估输入空间的激活诱导分区变化来区分稳定但异质的客户端与显著偏离全局范式的客户端。
2026-05-21 cs.AI cs.LG
Utilizing Free Clients in Federated Learning for Focused Model Enhancement
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对优先级联邦学习中需筛选适配非优先级客户端的问题，提出FedALIGN算法，基于损失相似度选择客户端以互利协作，经收敛分析和实验验证，其收敛速度与测试准确率均优于基线。
2023-10-06 cs.AI cs.LG
Fast Heterogeneous Federated Learning with Hybrid Client Selection
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）；The Hong Kong Polytechnic University（香港理工大学）
在联邦学习（FL）的研究中，客户端选择策略被广泛用于解决通信效率问题。然而，从随机选择的非代表性子集聚集的模型更新的大方差直接减慢FL收敛。我们提出了一种新的基于聚类的客户端选择方案，通过降低方差来加速FL收敛。设计了简单有效的方案来提高聚类效果，控制聚类效果的波动，从而生成具有一定代表性的抽样客户子集。理论上，我们证明了该方案在方差减少方面的改进。我们还提出了更严格的收敛保证所提出的方法由于方差减少。实验结果证实了我们的计划相比，替代品的超额效率。
2022-08-16 cs.AI cs.LG
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）
本文提出FilFL框架，通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练，以优化联邦学习中的客户端参与，提升模型泛化能力、学习效率与收敛速度，实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India（IBM印度研究院）
联邦学习（FL）的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中，每个客户端的数据都是私有的，不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注，但在外语教学过程中，如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择（FRCS）。由于服务器对每个客户端拥有的数据的性质没有明确的控制，因此在FL设置中选择相关客户端的问题非常复杂。在本文中，我们解决重要的和相关的FRCS问题，即，选择具有相关数据的客户端，检测拥有与特定目标标签相关的数据的客户端，以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题，并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此，我们提出了一个合作的游戏，涉及到客户端共享的梯度。使用这个游戏，我们计算Shapley值的客户端，然后提出基于Shapley值的联邦平均（S-FedAvg）算法，使服务器选择相关的客户端具有高概率。事实证明，S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后，我们对图像分类和语音识别任务进行了全面的实证分析，以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
CCVA-FL: Cross-Client Variations Adaptive Federated Learning for Medical Imaging
针对医学成像联邦学习中跨客户端数据差异与标注有限的问题，提出CCVA-FL方法，通过公共特征空间转换、目标客户端选择及DiT生成合成图像等策略，有效提升模型性能且保护隐私。
2025-08-25 cs.AI cs.CV cs.LG
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架，在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA（计算机科学系，马萨诸塞大学波士顿分校）
针对联邦子模最大化中恶意客户端共享虚假信息的问题，本文提出鲁棒的RobustFSM方案，并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法，提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University（成均馆大学）
客户贡献评估，也称为数据估值，是联邦学习（FL）中客户选择和激励分配的关键方法。然而，由于原始数据的可访问性的限制，只有有限的信息，如每个客户端的本地权重和本地数据大小是开放的，以量化客户端的贡献。利用现有信息的数据大小，我们引入了一种经验评估方法，称为联邦客户贡献评估通过准确性近似（FedCCEA）。该方法建立了准确度近似模型（AAM），以样本数据量为输入，估计模拟测试的准确度，提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势：（1）支持客户端的数据大小选择，（2）无论客户端数量如何，都有可行的评估时间，以及（3）在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比，以前的方法，通过几个实验：客户端的贡献分布，客户端删除，部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击，提出结合对抗学习与模型补丁的客户端防御机制，在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率，优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning
Delft University of Technology（代尔夫特理工大学）
Shapley值通常用于衡量和激励客户参与联邦学习。在本文中，我们通过理论和模拟表明，Shapley值低估了一种常见类型的客户端的贡献：小牛。Mavericks是数据分布和数据量不同的客户端，可以是某些类型数据的唯一所有者。在正确的时刻选择正确的客户端对于联邦学习减少收敛时间和提高准确性非常重要。我们提出了FedEMD，一个自适应的客户端选择策略的基础上Wasserstein距离的本地和全球数据分布。由于FedEMD调整了选择概率，使得当模型受益于稀有类的改进时优选选择Mavericks，因此它始终确保在存在不同类型的Mavericks时的快速收敛。与现有的策略相比，包括基于Shapley值的策略，FedEMD将神经网络分类器的收敛性提高了至少26.9%，用于FedAvg聚合。
2021-06-20 cs.AI cs.CY cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients
Taikang Center for Life and Medical Sciences（泰康生命与医学科学中心）
本文提出RAHFL框架，通过多样性增强监督对比学习和非对称异构联邦学习策略，解决模型异构与数据损坏客户端下的鲁棒联邦学习问题。
2025-03-12 cs.AI cs.CV cs.LG
A General Theory for Client Sampling in Federated Learning
Inria Sophia Antipolis（索菲亚·安提波利斯国家信息与自动化研究所）；Accenture Labs（埃森哲实验室）
虽然客户端采样是当前最先进的联邦学习（FL）方法的核心操作，但该过程对FL的收敛和速度的影响仍有待研究。在这项工作中，我们提供了一个通用的理论框架来量化客户端的抽样方案和客户端的异质性对联邦优化的影响。首先，我们提供了一个统一的理论基础，以前报道的抽样方案的实验结果之间的关系FL收敛和聚集权重的方差。其次，我们首次证明了FL收敛的质量也受到聚合权重之间的协方差的影响。我们的理论是一般的，并在这里适用于多项分布（MD）和均匀抽样，两个默认的无偏客户端抽样方案的FL，并通过一系列的实验证明在非iid和不平衡的情况下。我们的研究结果表明，MD抽样应作为默认的抽样方案，由于在学习过程中的数据比率的变化的弹性，而均匀抽样是优越的，只有在特殊情况下，当客户端有相同的数据量。
2022-06-14 cs.AI cs.DC cs.LG
Fairness-Aware Client Selection for Federated Learning
Nanyang Technological University (NTU)（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学联合研究院）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）
针对联邦学习客户端选择中性能与公平难以平衡的问题，提出基于Lyapunov优化的FairFedCS方法，联合多维度动态调整选择概率，实验验证其在公平性和准确率上均优于现有前沿方法。
2023-07-20 cs.AI cs.DC cs.LG
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
Peking University（北京大学）；Renmin University of China（中国人民大学）；Shanghai AI Lab（上海人工智能实验室）；Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）
联邦学习已经成为一种广泛使用的框架，它允许在保护本地数据隐私的条件下，在分散的本地数据集上学习全局模型。然而，当训练样本不是独立同分布（非独立同分布）时，联邦学习面临严重的优化困难。在本文中，我们指出，客户抽样的做法起着决定性的作用，在上述优化困难。我们发现，负客户端采样将导致合并的数据分布的当前采样的客户端严重不一致的所有可用的客户端，并进一步使聚合梯度不可靠。为了解决这个问题，我们提出了一种新的学习率自适应机制，自适应调整服务器学习率的聚合梯度在每一轮，根据合并数据分布的一致性，当前采样的客户端和所有可用的客户端。具体而言，通过理论推导，找到了一个与最优服务器学习率正相关、能有效反映样本客户端合并数据分布的有意义且鲁棒的指标，并将其用于服务器学习率自适应。在多个图像和文本分类任务上的大量实验验证了该方法的有效性。
2023-01-25 cs.AI cs.CR cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Fair Federated Medical Image Segmentation via Client Contribution Estimation
The Chinese University of Hong Kong（香港中文大学）；NVIDIA（英伟达）
如何保证公平性是联邦学习的一个重要课题。最近的研究调查了如何根据客户的贡献（合作公平性）来奖励客户，以及如何在客户之间实现一致的绩效（绩效公平性）。尽管在这两个方面都取得了进展，但我们认为，为了吸引和激励更多不同的客户加入FL，以获得高质量的全球模式，将它们放在一起考虑至关重要。在这项工作中，我们提出了一种新的方法来同时优化这两种类型的公平性。具体来说，我们建议在梯度和数据空间中估计客户端的贡献。在梯度空间中，我们监控每个客户端相对于其他客户端的梯度方向差异。在数据空间中，我们使用辅助模型来度量客户端数据的预测误差。基于这种贡献估计，我们提出了一种FL方法，通过贡献估计的联邦训练（FedCE），即，使用估计作为全局模型聚合权重。我们从理论上分析了我们的方法，并在两个真实世界的医疗数据集上进行了经验评估。我们的方法的有效性已被验证与显着的性能改进，更好的协作公平性，更好的性能公平性，以及全面的分析研究。
2023-03-29 cs.AI cs.CV cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Anomaly Detection via Federated Learning
Deloitte & Touche LLP（德勤华永会计师事务所（特殊普通合伙））；Persistent Systems Limited（Persistent系统有限公司）
机器学习通过结合分类器和自动编码器来破译正常和异常行为，帮助推进异常检测领域。此外，联邦学习提供了一种使用多个客户端数据训练全局模型的方法，而无需客户端直接共享其数据。本文提出了一种新的异常检测器，通过联邦学习来检测客户端服务器上的恶意网络活动。在我们的实验中，我们在联邦学习框架中使用带有分类器的自动编码器来确定网络活动是良性的还是恶意的。通过使用我们新的最小-最大标量和采样技术，称为FedSam，我们确定联邦学习允许全局模型从每个客户端的数据中学习，反过来，为每个客户端提供一种方法来提高其入侵检测系统对网络攻击的防御能力。
2022-10-12 cs.AI cs.CR cs.LG
Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data
University of Oxford（牛津大学）
本文针对半监督联邦学习中标注与未标注客户端目标函数不一致的瓶颈，提出隔离联邦学习IsoFed，通过隔离聚合与局部自监督预训练避免简单平均，并在MedMNIST多模态医学影像数据上验证其有效性。
2023-10-28 cs.AI cs.CV cs.LG
Cross-Silo Federated Learning: Challenges and Opportunities
联邦学习（FL）是一种新兴技术，它能够从多个客户端训练机器学习模型，同时保持数据的分布式和私有性。根据参与的客户端和模型训练规模，联邦学习可以分为两种类型：跨设备FL，其中客户端通常是移动设备，客户端数量可以达到数百万的规模;跨竖井FL，其中客户端是组织或公司，客户端数量通常很小（例如，在一百以内）。虽然现有的研究主要集中在跨设备FL，本文旨在提供一个概述的跨筒仓FL。更具体地说，我们首先讨论跨筒仓FL的应用程序，并概述其主要挑战。然后，我们提供了一个系统的概述，现有的方法，在跨筒仓FL的挑战，通过专注于他们的连接和差异，跨设备FL。最后，我们讨论了未来的方向和开放的问题，值得研究的努力，从社会。
2022-06-26 cs.AI cs.GT cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs（埃森哲实验室）；INRIA Sophia-Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；INRIA Paris（巴黎国立计算机与自动化研究所）；DIENS - PSL（巴黎文理研究大学计算机科学系）
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题，提出SIFU方法，适用于凸与非凸优化，无需额外客户端计算成本，提供正式遗忘质量保证，并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
ABC-FL: Anomalous and Benign client Classification in Federated Learning
Sungkyunkwan University（成均馆大学）
联邦学习是一种分布式机器学习框架，设计用于数据隐私保护，即，本地数据在整个训练和测试过程中保持私有。联邦学习越来越受欢迎，因为它允许人们在保护隐私的同时使用机器学习技术。然而，它继承了深度学习技术中提出的漏洞和不确定性。例如，联邦学习特别容易受到数据投毒攻击，由于其分布式特性和无法访问原始数据，这些攻击可能会降低其性能和完整性。此外，由于非独立和/或相同分布（非IID）数据，正确识别恶意客户端非常困难。真实世界的数据可能是复杂和多样的，使得它们在没有对原始数据的直接存取的情况下很难与恶意数据区分开来。先前的研究集中在检测恶意客户端，而仅将具有IID数据的客户端视为良性。在这项研究中，我们提出了一种方法，从良性客户端检测和分类异常客户端时，良性的非IID数据。我们提出的方法利用特征降维，动态聚类和基于余弦相似性的裁剪。实验结果表明，该方法不仅可以对恶意客户端进行分类，而且可以从整个过程中消除恶意客户端的负面影响。我们的研究结果可以用于未来的研究，以有效地消除异常客户端时，建立一个模型与不同的数据。
2022-12-01 cs.AI cs.CR cs.DC
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Federated Noisy Client Learning
University of Macau（澳门大学）；Hong Kong Baptist University（香港浸会大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
联邦学习（FL）根据多个本地客户端协作训练共享的全局模型，同时保持训练数据分散，以保护数据隐私。然而，标准FL方法忽略了嘈杂的客户端问题，这可能会损害共享模型的整体性能。我们首先调查FL中嘈杂客户端引起的关键问题，并根据不同层学习的表示来量化嘈杂客户端的负面影响。我们有以下两个关键观察结果：（1）嘈杂的客户端可能严重影响FL中全局模型的收敛性和性能，以及（2）嘈杂的客户端可能会在全局模型的较深层中引起比前几层更大的偏差。基于上述观察，我们提出了Fed-NCL，一个框架，进行鲁棒的联邦学习与嘈杂的客户端。具体地说，Fed-NCL首先通过估计数据质量和模型分歧来识别噪声客户端。然后，鲁棒分层聚合提出了自适应聚合每个客户端的本地模型，以处理噪声客户端造成的数据异构性。我们进一步对噪声客户端执行标签校正，以提高全局模型的泛化能力。在各种数据集上的实验结果表明，我们的算法提高了不同的国家的最先进的系统与嘈杂的客户端的性能。我们的代码可在https://github.com/TKH666/Fed-NCL上获得
2022-12-01 cs.AI cs.CV cs.DC
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces
UC San Diego（加州大学圣地亚哥分校）；Czech Technical University（捷克技术大学）；UCF（中佛罗里达大学）
通过将客户分组到集群中，分布式联邦学习（FL）已被证明可以产生有希望的结果。这在不同的客户端组在其本地数据分布方面存在显著差异的情况下尤其有效。现有的集群FL算法本质上是试图将具有相似分布的客户端分组在一起，以便同一集群中的客户端可以利用彼此的数据来更好地执行联邦学习。然而，现有的聚类FL算法试图在训练期间间接地学习这些分布相似性，这可能非常耗时，因为可能需要多轮联邦学习，直到聚类的形成稳定为止。在本文中，我们提出了一种新的方法来联邦学习，直接旨在通过分析客户端数据子空间之间的主要角度，有效地识别客户端之间的分布相似性。每个客户端以单次方式对其本地数据应用截断奇异值分解（SVD）步骤，以导出一小组主向量，从而提供简洁地捕获底层分布的主要特征的签名。将这一小组主向量提供给服务器，使得服务器可以直接识别客户端之间的分布相似性以形成集群。这是通过比较由这些主向量跨越的客户端数据子空间之间的主角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，解决了广泛的数据异构性问题，超越了简单形式的非IID，如标签偏斜。我们的聚类FL方法还可以保证非凸目标的收敛性。我们的代码可在https://github.com/MMorafah/PACFL上获得。
2022-09-21 cs.AI cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University（杜克大学）
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而，这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中，我们提出了第一个基于假客户端的模型中毒攻击，称为MPAF。具体来说，我们假设攻击者将假客户端注入联邦学习系统，并在训练期间将精心制作的假本地模型更新发送到云服务器，这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标，我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说，在每一轮联邦学习中，假客户端都会制作指向基础模型的假本地模型更新，并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明，MPAF可以显着降低测试精度的全球模型，即使采用经典的防御和范数裁剪，突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana（瑞士大学）；INRAE Paris（巴黎国家农业研究院）
针对联邦学习中客户端演化行为难以解释的问题，提出联邦行为平面（FBPs）方法实现客户端行为的分析可视化，基于其识别的模式设计Federated Behavioural Shields聚合技术，防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
数据异构的联邦学习（FL）系统存在两个重要的收敛误差来源：1）在客户端执行多个局部优化步骤导致的客户端漂移误差; 2）只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现，其中，只有前者在文献中得到了显着的关注。为了弥补这一点，我们提出了FedVARP，一种新的方差减少算法应用在服务器上，消除了错误，由于部分客户端的参与。为此，服务器只需在内存中维护每个客户端的最新更新，并在每一轮中使用这些更新作为非参与客户端的代理更新。此外，为了减轻在服务器上的内存需求，我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同，FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验，我们表明，FedVARP优于国家的最先进的方法，和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Study of the performance and scalability of federated learning for medical imaging with intermittent clients
Instituto de Física de Cantabria (IFCA), CSIC-UC（坎塔布里亚物理研究所（IFCA），西班牙国家研究委员会-坎塔布里亚大学）
联邦学习是一种数据分散隐私保护技术，用于以安全的方式执行机器或深度学习。在本文中，我们提出了关于联邦学习的理论方面，例如聚合运算符的呈现，不同类型的联邦学习，以及与客户端数据分布相关的问题，以及对客户端数量变化的用例的详尽分析。具体而言，提出了一个医学图像分析的用例，使用从开放数据存储库获得的胸部X射线图像。除了与隐私相关的优势外，还将研究与经典情况（集中式方法）相比预测的改进（在准确性，损失和曲线下面积方面）和执行时间的减少。将从以不平衡的方式选择的训练数据模拟不同的客户端。考虑三个或十个客户端的结果被暴露出来，并在它们之间进行比较，并与集中的情况进行比较。间歇性客户端相关的两个不同的问题进行了讨论，连同两种方法来遵循他们每个人。具体而言，这类问题可能会发生，因为在真实场景中，一些客户端可能会离开培训，而其他客户端可能会进入培训，另一方面是因为客户端技术或连接问题。最后，改进和未来的工作在该领域提出了建议。
2022-11-03 cs.AI cs.CV cs.LG
