Federated Continual Learning to Detect Accounting Anomalies in Financial Auditing
University of St.Gallen（圣加仑大学）；Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
《国际审计准则》要求审计员对财务报表不存在重大错报收集合理保证。与此同时，持续保证的一个核心目标是对数字会计分录进行实时评估。最近，在人工智能进步的推动下，深度学习技术已经出现在财务审计中，以检查大量的会计数据。然而，在分散和动态环境中学习高度适应性的审计模型仍然具有挑战性。它需要研究多个客户端和多个时间段上的数据分布偏移。在这项工作中，我们提出了一个联邦持续学习框架，使审计师学习审计模型从分散的客户不断。我们评估框架的能力，以检测会计异常的组织活动的常见情况。我们的实证结果，使用真实世界的数据集和联合联邦持续学习策略，证明了学习模型的能力，以检测异常的数据分布偏移的审计设置。
2022-10-26 cs.LG
Asynchronous Federated Continual Learning
University of Padova（帕多瓦大学）
针对联邦学习中客户端异步且无序获取任务数据的现实问题，提出异步联邦持续学习设置（AFCL），并设计基于原型学习、表示损失、分形预训练与改进聚合策略的 FedSpace 方法，有效解决了多客户端异步持续学习任务。
2023-04-07 cs.CV cs.LG
Federated Continual Learning via Knowledge Fusion: A Survey
Nanyang Technological University（南洋理工大学）；JD iCity, JD Technology（京东科技京东智城）；JD Intelligent Cities Research & Institute of Artificial Intelligence, Southwest Jiaotong University（西南交通大学京东智慧城市研究院与人工智能研究所）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
本文综述通过知识融合实现的联邦持续学习，提出“时空灾难性遗忘”问题，并基于FedAvg评估其影响，同时将现有方法归入同步与异步框架，按知识融合机制分类并展望未来方向。
2023-12-27 cs.AI cs.LG
FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Software Engineering, TongJi University（同济大学软件工程学院）
本文提出FPPL框架，通过协同学习原型增强的轻量级提示，无需重放即可在非独立同分布的联邦环境中缓解灾难性遗忘，实现高效且鲁棒的持续学习。
2024-12-24 cs.CV cs.LG
Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual Learning
Michigan Technological University（密歇根理工大学）；University of Houston（休斯顿大学）
针对无重放联邦持续学习中的灾难性遗忘，提出基于提示学习的Fed-CPrompt，通过异步提示学习和对比持续损失处理异步任务与异构数据，实现通信高效的最优性能。
2023-09-05 cs.AI cs.CV cs.LG
Exploring the Efficacy of Federated-Continual Learning Nodes with Attention-Based Classifier for Robust Web Phishing Detection: An Empirical Investigation
School of Computer Science and Engineering（计算机科学与工程学院）；Vellore Institute of Technology（韦洛尔理工学院）
本文提出联邦-持续学习混合范式与带残差连接的注意力分类器，用于鲁棒网络钓鱼检测，在LwF策略下取得0.93准确率、0.90精确率、0.96召回率和0.93 F1分数，优于传统方法。
2024-06-16 cs.AI cs.LG
Parameterizing Federated Continual Learning for Reproducible Research
Delft University of Technology（代尔夫特理工大学）
针对联邦学习在异构环境和任务演变下的挑战，提出首个完全可配置的联邦持续学习框架 Freddie，通过容器化技术实现大规模部署，并验证了其在复杂场景下的有效性。
2024-06-04 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno（内华达大学拉斯维加斯分校）
提出Fed-pilot框架，通过背包优化选择LoRA模块子集，并采用动态补偿聚合规则，解决异构客户端内存约束下的联邦微调问题，实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
FedAlign: Federated Domain Generalization with Cross-Client Feature Alignment
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对联邦学习中的域泛化挑战，提出FedAlign框架，通过跨客户端特征扩展与双阶段对齐模块增加特征多样性并促进域不变性，在保护隐私且低开销下提升对未见域的泛化能力。
2025-01-26 cs.AI cs.CV cs.DC
Federated Continual Learning for Edge-AI: A Comprehensive Survey
University of Exeter（埃克塞特大学）
本文首次系统综述了面向边缘人工智能的联邦持续学习，按类别、域和任务持续学习三类方法梳理代表性工作，并展望算法-硬件协同设计及与基础模型结合等未来方向。
2024-11-20 cs.AI cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
Abnormal Client Behavior Detection in Federated Learning
HKUST（香港科技大学）；WeBank（微众银行）
在联邦学习系统中，客户端是自治的，因为它们的行为不完全由服务器控制。因此，客户端可能有意或无意地偏离联邦模型训练的规定过程，导致异常行为，例如变成恶意攻击者或故障客户端。因此，及时发现这些异常客户端对于尽量减少其不利影响至关重要。在这项工作中，我们建议在服务器端检测异常客户端。特别是，我们生成模型权重向量的低维代理，并使用它们来执行异常检测。我们通过FEMNIST数据集上的图像分类模型训练实验来评估我们的解决方案。实验结果表明，所提出的基于检测的方法显着优于传统的基于防御的方法。
2019-12-06 cs.LG stat.ML
Welfare and Fairness Dynamics in Federated Learning: A Client Selection Perspective
University of Minnesota（明尼苏达大学）
联邦学习（FL）是一种隐私保护学习技术，其使得分布式计算设备能够跨数据孤岛协作地训练共享学习模型。现有的FL工作主要集中在设计先进的FL算法，以提高模型的性能。然而，客户的经济考虑因素，如公平和激励，尚未得到充分探讨。如果没有这些考虑，自我激励的客户可能会失去兴趣并离开联合会。为了解决这个问题，我们设计了一个新的激励机制，包括客户选择过程，以消除低质量的客户和资金转移过程，以确保公平的奖励分配。实验结果表明，该激励机制能有效地提高联盟的持续时间和公平性。
2023-02-17 cs.LG stat.ML
Active Federated Learning
University of Michigan（密歇根大学）；Facebook（脸书）
联邦学习允许在不集中客户端数据的情况下训练群体级模型，方法是将全局模型传输到客户端，在本地计算梯度，然后对梯度进行平均。下载模型和上传梯度会使用客户端的带宽，因此最大限度地减少这些传输成本非常重要。每个客户端上的数据都是高度可变的，因此对不同客户端进行培训的好处可能会有很大差异。为了利用这一点，我们提出了主动联邦学习，在每一轮中，客户端不是随机选择的，而是以当前模型和客户端数据为条件的概率来最大化效率。我们提出了一个便宜，简单和直观的采样方案，它减少了20-70%的训练迭代次数，同时保持相同的模型精度，并在某些条件下模仿众所周知的reservation技术。
2019-09-27 cs.LG stat.ML
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning
KAIST（韩国科学技术院）；AITRICS
虽然现有的联邦学习方法大多要求客户端具有完全标记的数据来进行训练，但在现实环境中，在客户端获得的数据通常没有任何附带的标签。这种标签的不足可能是由于高的标签成本，或由于需要专家知识而难以注释。因此，在每个客户端的私有数据可能是部分标记，或完全未标记的标记数据是只在服务器上可用，这导致我们一个新的实际联邦学习问题，即联邦半监督学习（FSSL）。在这项工作中，我们研究了两个基本的情况下，FSSL的标记数据的位置的基础上。第一个场景考虑的是传统的情况，其中客户端具有标记和未标记的数据（客户端标记），第二个场景考虑的是更具挑战性的情况，其中标记的数据仅在服务器上可用（服务器标记）。然后，我们提出了一种新的方法来解决这些问题，我们称之为联邦匹配（FedMatch）。FedMatch改进了联邦学习和半监督学习方法的简单组合，具有新的客户端间一致性损失和对标记和未标记数据进行不相交学习的参数分解。通过在两种不同场景下对我们的方法进行广泛的实验验证，我们表明我们的方法优于局部半监督学习和基线，后者天真地将联邦学习与半监督学习结合起来。该代码可在https://github.com/wyjeong/FedMatch上获得。
2021-03-29 cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习（FL）是一种在分布在大量可能异构的客户端（如移动电话和物联网设备）上的私有数据上训练机器学习模型的方法。在这项工作中，我们提出了一个新的联邦学习框架命名为HeteroFL，以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练，仍然产生一个单一的全局推理模型。第一次，我们的方法挑战了现有工作的基本假设，即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练，并进行了广泛的实证评估，包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明，自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Continual Local Training for Better Initialization of Federated Models
Tsinghua University（清华大学）；BNRist（北京国家研究院（BNRist））；Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室）
联邦学习（FL）是指在由智能边缘设备组成的分散系统中直接训练机器学习模型而不传输原始数据的学习范式，这避免了沉重的通信成本和隐私问题。在这种情况下，给定典型的异构数据分布，流行的FL算法\emph{Federated Averaging}（FedAvg）遭受权重发散，因此不能实现全局模型（表示为FL中的\emph{initial performance}）相比，集中式方法的竞争力的性能。在本文中，我们提出了本地持续培训策略来解决这个问题。重要性权重在中央服务器上的小代理数据集上进行评估，然后用于约束本地训练。通过这个附加项，我们减轻了权重发散，并不断将不同本地客户端的知识整合到全局模型中，从而确保更好的泛化能力。不同FL设置的实验表明，我们的方法显着提高了联邦模型的初始性能与一些额外的通信成本。
2020-05-26 cs.LG stat.ML
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University（卡内基梅隆大学）
联邦学习是一种分布式优化范例，它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性，包括数据异构性、通信和计算限制以及部分客户端参与。然而，他们假设客户的参与是无偏见的，客户是随机选择的，或者是按照数据大小的比例选择的。在本文中，我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析，并量化选择偏见如何影响收敛速度。我们发现，偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力，我们提出了选择的力量，一个通信和计算效率的客户端选择框架，可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明，权力的选择策略收敛到3 $\times$更快，并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
Differentially Private Federated Learning: A Client Level Perspective
SAP SE（思爱普股份公司）；ETH Zurich（苏黎世联邦理工学院）
联邦学习是隐私保护领域的一个新进展。在这种情况下，受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端，最终汇聚为一个联合代表模型，而无需显式地共享数据。然而，该协议容易受到差分攻击，这可能来自联邦优化过程中的任何一方。在这种攻击中，客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题，并提出了一个算法，客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡。实证研究表明，如果有足够多的参与客户端，我们提出的程序可以保持客户端级别的差分隐私，只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
异构边缘网络上的通信是联邦学习（FL）中的一个基本瓶颈，限制了模型容量和用户参与。为了解决这个问题，我们引入了两种新的策略来降低通信成本：（1）在服务器到客户端发送的全局模型上使用有损压缩;以及（2）联合丢弃，它允许用户在全局模型的较小子集上有效地本地训练，并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明，这些策略，结合现有的压缩方法的客户端到服务器的通信，共同提供了一个$14\times$减少服务器到客户端的通信，一个$1.7\times$减少本地计算，和一个$28\times$减少上传通信，所有没有降低最终模型的质量。因此，我们全面降低了FL对客户端设备资源的影响，允许训练更高容量的模型，并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习作为一种分布式机器学习方法越来越受欢迎，可用于部署依赖AI的物联网应用程序，同时保护客户端数据隐私和安全。由于客户端的差异性，单一的全局模型不一定能在所有客户端上表现良好，因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而，大多数个性化的联邦学习研究都集中在数据异构性上，而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构，这对于每个客户端的个体模型和本地数据分布要求都不方便，也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络（GANs）的联邦学习方法，允许每个客户端设计自己的模型独立参与联邦学习训练，而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中，所提出的方法优于现有的方法在平均测试精度的42%时，客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为，因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击，从而降低学习性能或实施有针对性的模型中毒攻击（也称为“攻击”）。后门攻击）。因此，及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中，我们提出了一个新的框架，强大的联邦学习，中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型，导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明，我们的解决方案确保了强大的联邦学习，是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Bayesian Federated Learning for Continual Training
DEIB and DIG, Politecnico di Milano（米兰理工学院DEIB和DIG部门）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出一种持续贝叶斯联邦学习框架，利用SGLD顺序更新模型，以雷达人体感知数据验证其在动态环境下保留知识并适应数据分布变化的能力。
2025-04-21 cs.AI cs.LG stat.ML
Towards Fair Federated Learning with Zero-Shot Data Augmentation
Duke University（杜克大学）；Samsung（三星）；State University of New York at Buffalo（纽约州立大学布法罗分校）
联邦学习已经成为一种重要的分布式学习范式，其中服务器从许多客户端训练的模型中聚合全局模型，而不能访问客户端数据。虽然人们认识到，客户端本地数据的统计异质性会导致全局模型收敛较慢，但很少有人认识到，它也会导致有偏见的联合全局模型，在客户端之间具有很高的准确性差异。在这项工作中，我们的目标是提供联邦学习计划，提高公平性。为了应对这一挑战，我们提出了一种新的联邦学习系统，该系统在代表性不足的数据上采用zero-shot数据增强，以减轻统计异质性，并鼓励联邦网络中的客户端实现更均匀的准确性性能。我们研究了该方案的两个变体，Fed-ZDAC（在客户端具有zero-shot数据增强的联邦学习）和Fed-ZDAS（在服务器端具有zero-shot数据增强的联邦学习）。一组数据集上的实验结果表明，我们的方法在同时提高测试精度和公平性的有效性。
2021-04-27 cs.CV cs.LG stat.ML
Personalized Federated Learning with First Order Model Optimization
Stanford University（斯坦福大学）；NVIDIA（英伟达）
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型，但一个模型可能并不总是适合所有参与的客户端。在这里，我们提出了一种替代方案，每个客户端只与其他相关客户端联合，以获得每个客户端特定目标的更强大的模型。为了实现这种个性化，而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值，我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识，并允许每个客户端针对感兴趣的任意目标分布进行优化，从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置，数据集和本地数据异构性的程度。我们的方法优于现有的替代方案，同时还为个性化FL提供了新功能，例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Continual Horizontal Federated Learning for Heterogeneous Data
NEC Corporation（日本电气股份有限公司）
联邦学习是一种很有前途的机器学习技术，它使多个客户端能够协作构建模型，而无需向彼此透露原始数据。在各种类型的联邦学习方法中，水平联邦学习（HFL）是研究得最好的类别，并处理同质特征空间。然而，在异构特征空间的情况下，HFL仅使用共同的特征，而不使用客户端特定的特征。在本文中，我们提出了一种HFL方法，使用神经网络命名为连续水平联邦学习（CHFL），一个持续学习的方法来提高HFL的性能，利用每个客户端的独特功能。CHFL将网络分为两列，分别对应于共同特征和独特特征。它通过vanilla HFL使用共同特征来联合训练第一列，并通过使用独特特征并通过横向连接利用第一列的知识来本地训练第二列，而不会干扰其联合训练。我们在各种真实世界数据集上进行实验，并表明CHFL大大优于仅使用共同特征的vanilla HFL和使用每个特征的所有特征的本地学习。客户有。
2022-11-14 cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
联邦学习（FL）是一种分布式机器学习范例，其中数据分布在客户端之间，这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重，可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL，其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而，这些作品要么完全忽略了数据不平衡的问题，要么假设客户端的权重是先验已知的服务器，而在实践中，它很可能是由客户端自己向服务器报告的权重，因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法，并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析，我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
FedRewind: Rewinding Continual Model Exchange for Decentralized Federated Learning
University of Catania（卡塔尼亚大学）
本文提出FedRewind，一种受持续学习启发的去中心化联邦学习方法，通过节点间周期性回退模型进行有限迭代交换，有效缓解数据分布偏移，在多项基准测试中超越标准方法并成功应对时空数据偏移的联邦持续学习任务。
2024-11-14 cs.LG
Federated Client Selection under Partial Visibility: A POMDP Approach with Spatio-Temporal Attention
Dept. of Electronic Engineering, BNRist, Tsinghua University（电子工程系，北京理工大学，清华大学）；Dept. of Electronic and Computer Engineering, HKUST（电子与计算机工程系，香港科技大学）
本文提出一种基于POMDP的强化学习框架，通过整合历史全局模型和客户端身份嵌入，解决部分可见性下的联邦学习客户端选择问题，实验验证其在异构和部分可见场景下的有效性。
2026-07-02 cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs（埃森哲实验室）；INRIA Sophia-Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；INRIA Paris（巴黎国立计算机与自动化研究所）；DIENS - PSL（巴黎文理研究大学计算机科学系）
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题，提出SIFU方法，适用于凸与非凸优化，无需额外客户端计算成本，提供正式遗忘质量保证，并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On the Convergence of Federated Averaging with Cyclic Client Participation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；HKUST（香港科技大学）
联邦平均（Federated Averaging，FedAvg）及其变体是联邦学习（Federated Learning，FL）中最流行的优化算法。以前的FedAvg收敛分析要么假设完全的客户端参与，要么假设部分客户端参与，其中客户端可以被统一采样。然而，在实际的跨设备FL系统中，在给定时间，只有满足本地标准（例如电池状态、网络连接和最大参与频率要求（以确保隐私））的客户端的子集可用于训练。因此，客户端可用性遵循自然的循环模式。我们提供（据我们所知）的第一个理论框架来分析FedAvg与循环客户端参与的收敛与几个不同的客户端优化器，如GD，SGD和洗牌SGD。我们的分析发现，循环的客户端参与可以实现更快的渐近收敛速度比香草FedAvg与均匀的客户端参与在适当的条件下，客户端采样协议的设计提供了有价值的见解。
2023-02-06 cs.DC cs.LG
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Federated Minimax Optimization with Client Heterogeneity
Carnegie Mellon University（卡内基梅隆大学）
随着GANs等现代应用的出现，极大极小优化的兴趣激增，它本质上比简单的最小化更具挑战性。驻留在多个边缘设备或\textit{clients}上的训练数据加剧了这种困难，特别是当这些客户端可以具有异构数据集和本地计算能力时。我们提出了一个通用的联邦极大极小优化框架，它包含了这样的设置和几个现有的方法，如本地SGDA。我们表明，天真的聚集异构本地进展的结果优化不匹配的目标函数-以前在标准联邦最小化观察到的现象。为了解决这个问题，我们建议通过连续通信回合之间进行的本地步骤的数量来规范化客户端更新。我们分析了所提出的算法的收敛性的非凸-凹和非凸-非凹函数的类和特征的异构客户端数据，部分客户端的参与，和异构本地计算的影响。我们的分析工作在更一般的假设下，客户端内的噪音和客户端间的异质性比迄今为止考虑在文献中。对于所有考虑的函数类，我们显着改善现有的计算和通信复杂性的结果。实验结果支持我们的理论主张。
2023-02-09 cs.DC cs.LG math.OC
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
Personalized Federated Learning with Attention-based Client Selection
University of Virginia（弗吉尼亚大学）
提出FedACS算法，利用注意力机制选择相似数据分布的客户端，缓解非独立同分布和数据稀缺问题，提升个性化联邦学习性能。
2023-12-23 cs.IT cs.LG eess.SP
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin（柏林技术大学）
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法，以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University（杜克大学）
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而，这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中，我们提出了第一个基于假客户端的模型中毒攻击，称为MPAF。具体来说，我们假设攻击者将假客户端注入联邦学习系统，并在训练期间将精心制作的假本地模型更新发送到云服务器，这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标，我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说，在每一轮联邦学习中，假客户端都会制作指向基础模型的假本地模型更新，并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明，MPAF可以显着降低测试精度的全球模型，即使采用经典的防御和范数裁剪，突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana（瑞士大学）；INRAE Paris（巴黎国家农业研究院）
针对联邦学习中客户端演化行为难以解释的问题，提出联邦行为平面（FBPs）方法实现客户端行为的分析可视化，基于其识别的模式设计Federated Behavioural Shields聚合技术，防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
