LEAF: A Benchmark for Federated Settings
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Determined AI
现代联合网络，例如由可穿戴设备、移动电话或自动驾驶汽车组成的网络，每天都会生成大量数据。这些丰富的数据可以帮助学习模型，从而改善每个设备上的用户体验。然而，联邦数据的规模和异构性给联邦学习、元学习和多任务学习等研究领域带来了新的挑战。随着机器学习社区开始应对这些挑战，我们正处于一个关键时刻，以确保这些领域的发展以现实的基准为基础。为此，我们提出了LEAF，一个用于在联邦环境中学习的模块化基准测试框架。LEAF包括一套开源联邦数据集、一个严格的评估框架和一组参考实现，所有这些都旨在捕捉实际联邦环境的障碍和复杂性。
2019-12-09 cs.LG stat.ML
FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling
Department of Computer Science（计算机科学系）；City University of Hong Kong（香港城市大学）；Hong Kong SAR, China（香港特别行政区，中国）
针对联邦学习动态剪枝中贪婪调整、拓扑不稳定等问题，提出基于组合汤普森采样的FedRTS框架，通过概率决策增强鲁棒性，在异构数据和部分参与下实现最优性能并降低通信成本。
2025-10-16 cs.AI cs.LG
Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
针对联邦学习中的复杂投毒攻击，本文提出基于强化学习的自适应聚合方法AdaAggRL，通过分布学习与MMD相似性计算，自适应确定聚合权重，在四个真实数据集上显著优于现有防御方法。
2024-12-15 cs.CR cs.LG
What Do We Mean by Generalization in Federated Learning?
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
联邦学习数据来自分布的分布：客户端来自元分布，其数据来自本地数据分布。因此，联邦学习中的泛化研究应该将来自看不见的客户端数据的性能差距（样本外差距）与来自看不见的客户端分布的性能差距（参与差距）分开。在这项工作中，我们提出了一个框架来解开这些性能差距。使用这个框架，我们观察并解释了自然和合成联邦数据集之间的行为差异，表明数据集合成策略对于联邦学习中泛化的真实模拟非常重要。我们提出了一种语义合成策略，使逼真的模拟没有自然分区的数据。根据我们的发现，我们呼吁社区对未来的联邦学习工作提出建议。
2022-03-16 cs.DC cs.LG stat.ML
Dynamic Scheduling for Over-the-Air Federated Edge Learning with Energy Constraints
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Imperial College London（伦敦帝国学院）
机器学习和无线通信技术正在共同促进智能边缘，其中联邦边缘学习（FEEL）是一种有前途的训练框架。由于FEEL中涉及的无线设备在通信带宽、计算能力和电池容量方面资源有限，因此仔细调度它们以优化训练性能是很重要的。在这项工作中，我们考虑了一个空中FEEL系统与模拟梯度聚合，并提出了一个能量感知的动态设备调度算法，以优化训练性能的设备的能量约束下，其中包括通信能量的梯度聚合和计算能量的本地训练。计算能量的考虑使得动态调度具有挑战性，因为设备在本地训练之前被调度，但是用于空中聚合的通信能量取决于本地梯度的l2范数，其在本地训练之后是已知的。因此，我们将估计方法纳入调度来预测梯度范数。考虑到估计误差，我们描述了所提出的算法和其离线对应的性能差距。实验结果表明，在局部数据分布高度不均衡的情况下，在满足能量约束的前提下，该算法在CIFAR-10数据集上的准确率较近视基准提高了4.9%.
2021-05-31 cs.IT cs.LG math.IT
Anomaly Detection through Unsupervised Federated Learning
Scuola Normale Superiore Pisa（比萨高等师范学校）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
联邦学习（FL）被证明是利用分布式资源的最有前途的范例之一，使一组客户端能够协作训练机器学习模型，同时保持数据分散。对该主题的兴趣爆炸式增长导致了几个核心方面的快速发展，如通信效率，处理非IID数据，隐私和安全功能。然而，大多数FL作品只处理有监督的任务，假设客户的训练集是标记的。为了利用分布式边缘设备上的大量未标记数据，在本文中，我们的目标是通过解决分散设置中的异常检测问题，将FL范式扩展到无监督任务。特别是，我们提出了一种新的方法，其中，通过预处理阶段，客户端被分组为社区，每个社区具有相似的多数（即，内点）模式。随后，每个客户端社区训练相同的异常检测模型（即，自动编码器）。然后共享生成的模型，并使用它来检测加入相应联邦流程的同一团体的客户机中的异常。实验表明，我们的方法是强大的，它可以检测社区符合理想的划分，其中具有相同的内层模式的客户端组是已知的。此外，性能显着优于那些客户端训练模型只在本地数据和可比的联邦模型的理想社区的划分。
2022-09-09 cs.LG
Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges
Virginia Tech（弗吉尼亚理工学院）
在无线通信社区中，人们越来越有兴趣用基于数据驱动的机器学习（ML）的解决方案来补充传统的基于模型的设计方法。虽然传统的ML方法依赖于在中央实体中具有数据和处理头的假设，但这在无线通信应用中并不总是可行的，因为私有数据的不可访问性和将原始数据传输到中央ML处理器所需的大的通信开销。因此，将数据保存在生成位置的分散式ML方法更具吸引力。由于其隐私保护的性质，联邦学习与许多无线应用特别相关，特别是在第五代（5G）网络的背景下。在这篇文章中，我们提供了一个方便的介绍联邦学习的一般思想，讨论了在5G网络中的几个可能的应用，并描述了关键的技术挑战和开放的问题，为未来的研究联邦学习的背景下，无线通信。
2020-05-03 cs.LG eess.SP stat.ML
RIFLES: Resource-effIcient Federated LEarning via Scheduling
University of Warwick（沃里克大学）；University of Leeds（利兹大学）
该研究针对联邦学习现有客户端选择策略短视导致的效率问题，将序列选择归约为NP完全的调度问题，提出结合CNN-LSTM可用性预测的自适应启发式选择方法RIFLES，在多项指标上较现有技术提升10%-50%。
2025-05-19 cs.LG
FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出FedLLM-Bench，一个包含8种训练方法、4个数据集和6项评估指标的大语言模型联邦学习现实基准，覆盖指令微调与偏好对齐，客户端规模达38至747，旨在提供实用测试平台并促进公平比较。
2024-06-07 cs.AI cs.CL cs.DC
FedLab: A Flexible Federated Learning Framework
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；University of Electronic Science and Technology of China（电子科技大学）
联邦学习（Federated learning，FL）是一个机器学习领域，研究人员试图在不违反隐私保护法规的情况下促进多方之间的模型学习过程。在外语优化和沟通相关的研究方面，已经投入了相当大的努力。在这项工作中，我们介绍了\texttt{FedLab}，一个轻量级的开源框架FL模拟。\texttt{FedLab}的设计重点是FL算法的有效性和通信效率。此外，\texttt{FedLab}在不同的部署场景中是可伸缩的。我们希望\texttt{FedLab}能够提供灵活的API和可靠的基线实现，并减轻FL社区研究人员实施新方法的负担。
2022-04-22 cs.AI cs.LG
Bayes' capacity as a measure for reconstruction attacks in federated learning
EPFL（洛桑联邦理工学院）；Macquarie University（麦考瑞大学）；INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；UNSW（新南威尔士大学）
该研究针对联邦学习中重构攻击的隐私威胁，用定量信息流框架形式化威胁模型，证明贝叶斯容量是DP-SGD信息泄露的紧上界，并验证了其在对比抗攻击机制效果中的作用。
2024-06-19 cs.AI cs.CR cs.IT
FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning
Alibaba Group（阿里巴巴集团）
联邦学习（FL）的惊人发展使计算机视觉和自然语言处理领域的各种任务受益匪浅，而TFF和FATE等现有框架使其在现实世界的应用中易于部署。然而，尽管图数据普遍存在，但联邦图学习（FGL）由于其独特的特征和要求而尚未得到很好的支持。FGL相关框架的缺乏增加了实现可重复研究和在现实世界应用中部署的努力。基于这种强烈的需求，本文首先讨论了创建一个易于使用的FGL包所面临的挑战，并相应地给出了我们实现的FGL包FederatedScope-GNN（FS-G），它提供了（1）模块化和表达FGL算法的统一视图;（2）全面的DataZoo和ModelZoo，以实现开箱即用的FGL功能;（3）高效的模型自动调整组件;以及（4）现成的隐私攻击和防御能力。我们通过大量的实验验证了FS-G的有效性，同时为社区获得了许多关于FGL的有价值的见解。此外，我们采用FS-G服务于FGL应用程序在现实世界的电子商务场景，其中所取得的改进表明巨大的潜在商业利益。我们在https://github.com/alibaba/FederatedScope上公开发布FS-G，作为FederatedScope的子模块，以促进FGL的研究，并实现广泛的应用，否则由于缺乏专用软件包而无法实现。
2022-08-01 cs.LG
Privacy-Preserving Generation Fraud Detection for Distributed Photovoltaic Systems: A Solar Irradiance-Fused Federated Learning Framework
School of Computer Science and Technology, University of Electronic Science and Technology of China（电子科技大学计算机科学与技术学院）；Department of Data Science and AI, Faculty of IT, Monash University（墨尔本大学信息技术学院数据科学与人工智能系）；Monash Energy Institute, Monash University（墨尔本大学莫纳什能源研究所）；Shenzhen Institute for Advanced Study of UESTC（电子科技大学深圳研究院）
本文提出了一种基于联邦学习的隐私保护分布式光伏系统发电欺诈检测框架，通过融合太阳能辐照度数据和天气数据，利用共注意机制检测关键异常，有效解决了光伏发电欺诈检测中的间歇性和不确定性问题，并在真实世界数据集上验证了方法的有效性。
2026-05-16 cs.CE cs.LG
Intrinisic Gradient Compression for Federated Learning
Oxford University（牛津大学）；Harvard University（哈佛大学）
联邦学习是一个快速发展的研究领域，它使大量客户能够在私人持有的数据上联合训练机器学习模型。更广泛地采用联邦学习的最大障碍之一是从客户端发送模型更新和向客户端发送模型更新的通信成本，这一点由于许多这些设备都受到带宽限制而变得更加突出。在本文中，我们的目标是解决这个问题，通过优化网络在其完整的参数空间的子空间，一个想法被称为内在维度在机器学习理论界。我们使用的内在维度和梯度压缩的概念之间的对应关系，以获得一个家庭的低带宽的优化算法，我们称之为内在梯度压缩算法。具体来说，我们提出了三种算法在这个家庭中使用不同级别的上传和下载带宽在各种联邦设置，以及理论上的保证，他们的性能。最后，在包含多达100 M参数的模型的大规模联邦学习实验中，我们表明，与当前最先进的梯度压缩方法相比，我们的算法表现非常好。
2021-12-05 cs.DC cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称，以提高指标，如准确性，公平性和健壮性，在联邦网络。然而，尽管在这一领域已经做了大量的工作，但仍然不清楚：（1）哪些个性化技术在各种设置中最有效，以及（2）个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题，我们提出了Motley，一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成，以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法，在基准上建立基线。这些初步结果突出了现有方法的优点和缺点，并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法，以推进个性化和异构感知联邦学习的发展，以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
AdaFGL: A New Paradigm for Federated Node Classification with Topology Heterogeneity
Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
针对联邦图学习中多客户端子图拓扑同配或异配不一致的问题，提出两步解耦的个性化AdaFGL范式，并在12个基准上显著优于现有方法。
2024-01-22 cs.AI cs.DB cs.LG
Cross-Silo Federated Learning: Challenges and Opportunities
联邦学习（FL）是一种新兴技术，它能够从多个客户端训练机器学习模型，同时保持数据的分布式和私有性。根据参与的客户端和模型训练规模，联邦学习可以分为两种类型：跨设备FL，其中客户端通常是移动设备，客户端数量可以达到数百万的规模;跨竖井FL，其中客户端是组织或公司，客户端数量通常很小（例如，在一百以内）。虽然现有的研究主要集中在跨设备FL，本文旨在提供一个概述的跨筒仓FL。更具体地说，我们首先讨论跨筒仓FL的应用程序，并概述其主要挑战。然后，我们提供了一个系统的概述，现有的方法，在跨筒仓FL的挑战，通过专注于他们的连接和差异，跨设备FL。最后，我们讨论了未来的方向和开放的问题，值得研究的努力，从社会。
2022-06-26 cs.AI cs.GT cs.LG
NeurIPS 2023 Competition: Privacy Preserving Federated Learning Document VQA
University of Helsinki（赫尔辛基大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨中心）；INRIA（法国国家信息与自动化技术研究所）；Yooz；Carnegie Mellon University（卡内基梅隆大学）；NTT（日本NTT公司）；Institute of Science Tokyo（东京科学研究所）；Department of Computer Science（计算机科学系）；Mphasis AI & Applied Tech Lab at Ashoka, Ashoka University（阿什oka大学人工智能与应用技术实验室）；Koita Centre for Digital Health - Ashoka (KCDH-A)（阿什oka数字健康中心（KCDH-A））；Trivedi School of Biosciences, Ashoka University（阿什oka大学Trivedi生物科学学院）
PFL-DocVQA竞赛以发票处理为场景，探索联邦学习中兼顾通信效率与差分隐私的文档视觉问答方法，为隐私联邦学习提供了测试平台和实践建议。
2025-06-03 cs.CR cs.CV cs.LG
Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning
University of Sheffield（谢菲尔德大学）
硬件和数据的异构性是联邦学习（FL）在异构环境下运行的一个众所周知的问题。最近，使用知识蒸馏（KD）训练的定制大小的客户端模型已经成为应对异构性挑战的可行策略。然而，以前在这个方向上的努力是针对客户端模型调优，而不是他们对全球模型的知识聚合的影响。尽管全球模型的性能是FL系统的主要目标，在异构环境下的客户端模型受到了更多的关注。在这里，我们提供了更多关于训练自定义客户端模型的方法如何影响全局模型的见解，这对于任何FL应用程序都是必不可少的。我们表明，全球模型可以充分利用KD的强度与异构数据。在实证观察的推动下，我们进一步提出了一种新的方法，将KD和学习而不忘记（LwoF）相结合，以产生改进的个性化模型。我们将异构FL与同构FL的强大FedAvg配对，在实际的部署场景中删除客户端。
2022-11-13 cs.LG
Learning to Collaborate Over Graphs: A Selective Federated Multi-Task Learning Approach
Centre for Wireless Communications (CWC), University of Oulu, Finland（无线通信中心（CWC），奥卢大学，芬兰）
本研究提出一种选择性联邦多任务学习方法，通过特征锚点、动态图正则化和社区检测实现高效个性化客户端协作，在异构数据集上性能优于现有基线，且兼具计算通信效率与公平性。
2025-06-11 cs.AI cs.DC cs.LG
GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting
East China Normal University（华东师范大学）
联邦学习（FL）已经成为一个事实上的机器学习领域，并受到了社会各界迅速增长的研究兴趣。然而，由于数据的异质性和部分参与所导致的灾难性遗忘对外语学习提出了独特的挑战，这对外语学习的性能是不利的。为了解决这些问题，我们提出了一种新的FL方法（即GradMA），它从持续学习的灵感，同时纠正服务器端和工人端的更新方向，以及充分利用服务器的丰富的计算和内存资源。此外，我们制定了一个内存减少策略，使GradMA，以适应FL与大规模的工人。然后，我们分析了GradMA的收敛性理论下的光滑非凸设置，并表明其收敛速度达到一个线性的速度w.r.t增加采样的活跃工人的数量。最后，我们在各种图像分类任务上的大量实验表明，与SOTA基线相比，GradMA在准确性和通信效率方面实现了显着的性能提升。
2023-03-15 cs.CV cs.LG
When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity
University of Gujrat（瓜尔杰特大学）
研究发现，在极端联邦异质性下，基础模型先验可能加剧最差客户端的差异，通过实验对比文本分类中TextCNN与DistilBERT+LoRA的表现，揭示FM公平性悖论。
2026-09-22 cs.LG
On Bridging Generic and Personalized Federated Learning for Image Classification
The Ohio State University（俄亥俄州立大学）
联邦学习是有前途的，因为它有能力与多个客户端协作训练模型，而无需访问他们的数据，但当客户端的数据分布彼此不同时，它就很容易受到攻击。这种分歧进一步导致了一个困境：“我们应该优先考虑学习模型的通用性能（供将来在服务器上使用）还是其个性化性能（针对每个客户端）？“这两个看似相互竞争的目标使社区分裂，专注于其中一个或另一个，但在本文中，我们表明有可能同时实现这两个目标。具体来说，我们提出了一个新的联邦学习框架，明确地将模型的双重职责与两个预测任务相结合。一方面，我们引入了一个家庭的损失，是强大的不相同的类分布，使客户端训练一个通用的预测与一致的目标在他们之间。另一方面，我们制定个性化的预测作为一个轻量级的自适应模块，学习，以尽量减少每个客户端的经验风险的通用预测。有了这个双损失，双预测器框架，我们将其命名为联邦鲁棒解耦（Federated Robust Decoupling，Fed-RoD），学习模型可以同时实现最先进的通用和个性化性能，基本上桥接了这两个任务。
2022-07-11 cs.AI cs.LG
A Federated Learning Scheme for Neuro-developmental Disorders: Multi-Aspect ASD Detection
Lebanese American University（黎巴嫩美国大学）；Zayed University（扎耶德大学）；New York University（纽约大学）
自闭症谱系障碍（ASD）是一种神经发育综合征，由出生前胚胎大脑的改变引起。除了特定的行为特征外，这种疾病还通过特殊的社会限制和重复行为来区分患者。因此，这可能会恶化他们与其他人的社会行为，以及他们在社区内的整体互动。此外，医学研究已经证明，ASD也会影响患者的面部特征，使该综合征可以从个人面部的独特标志中识别出来。鉴于此，作为我们工作背后的动机，我们提出了一种新的隐私保护联邦学习方案，根据行为和面部特征预测特定个体的ASD，通过面部特征提取嵌入两种数据特征的合并过程，同时尊重患者数据隐私。在联邦机器学习模型上训练行为和面部图像数据后，取得了令人鼓舞的结果，在联邦学习环境中根据行为特征预测ASD的准确率为70%，并且在给定患者面部图像的情况下预测ASD的准确率达到62%。然后，我们在我们的合并数据（行为和面部）上测试了常规和联邦ML的行为，其中常规逻辑回归模型的准确率为65%，联邦学习模型的准确率为63%。
2022-10-31 cs.DC cs.LG eess.IV
Performance Optimization for Federated Person Re-identification via Benchmark Analysis
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
联邦学习是一种保护隐私的机器学习技术，它可以在分散的客户端之间学习共享模型。它可以减轻个人重新识别的隐私问题，这是一项重要的计算机视觉任务。在这项工作中，我们实现了联邦学习的人重新识别（FedReID），并优化其性能受统计异质性在现实世界中的情况。我们首先构建了一个新的基准测试来研究FedReID的性能。该基准测试包括（1）9个数据集，这些数据集具有来自不同域的不同卷，以模拟现实中的异构情况，（2）两个联邦场景，以及（3）FedReID的增强联邦算法。基准测试分析表明，以数据集联合场景为代表的客户端-边缘-云架构比FedReID中的客户端-服务器架构具有更好的性能。它还揭示了FedReID在现实场景下的瓶颈，包括模型聚合中权重不平衡导致的大数据集性能不佳以及收敛方面的挑战。然后提出了两种优化方法：（1）针对权重不均衡的问题，提出了一种新的方法，根据每轮训练中客户端模型变化的规模动态改变权重;（2）为了便于收敛，采用知识蒸馏方法，利用公共数据集上客户端模型生成的知识对服务器端模型进行精炼。实验结果表明，我们的策略可以实现更好的收敛性能优越的所有数据集。我们相信，我们的工作将激励社区进一步探索联邦学习在现实世界场景中的更多计算机视觉任务上的实现。
2020-10-09 cs.CV cs.DC cs.LG
Federated Fairness Analytics: Quantifying Fairness in Federated Learning
University of Bristol（布里斯托尔大学）
针对联邦学习中公平性定义与量化指标缺失的问题，提出包含四类概念及对应新指标的联邦公平性分析方法，实验验证其可助力从业者获取不同粒度的系统公平性洞察，相关工作已开源。
2024-08-15 cs.AI cs.DC cs.GT
Dynamic Fusion based Federated Learning for COVID-19 Detection
China University of Petroleum (East China)（中国石油大学（华东））；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Southern University of Science and Technology（南方科技大学）
医学诊断图像分析（例如，使用机器学习进行CT扫描或X光检查是检测COVID-19感染的有效且准确的方法。然而，出于对患者隐私的考虑，通常不允许在医疗机构之间共享诊断图像。这导致用于训练图像分类模型的数据集不足的问题。联邦学习是一种新兴的隐私保护机器学习范式，它基于接收到的由客户端训练的本地模型的更新来产生无偏的全局模型，而无需交换客户端的本地数据。然而，联邦学习的默认设置引入了传输模型更新的巨大通信成本，并且在客户端数据异构性严重时难以保证模型性能。为了提高通信效率和模型性能，本文提出了一种新的基于动态融合的联邦学习方法，用于医学诊断图像分析以检测COVID-19感染。首先，我们设计了一个基于动态融合的联邦学习系统的架构来分析医学诊断图像。此外，我们提出了一种动态融合方法，动态地决定参与客户端根据其本地模型的性能和调度模型融合-基于参与客户端的训练时间。此外，我们总结了一类用于COVID-19检测的医学诊断图像数据集，可供机器学习社区用于图像分析。评估结果表明，该方法是可行的，在模型性能、通信效率和容错能力等方面均优于联邦学习的默认设置。
2020-10-26 cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India（IBM印度研究院）
联邦学习（FL）的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中，每个客户端的数据都是私有的，不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注，但在外语教学过程中，如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择（FRCS）。由于服务器对每个客户端拥有的数据的性质没有明确的控制，因此在FL设置中选择相关客户端的问题非常复杂。在本文中，我们解决重要的和相关的FRCS问题，即，选择具有相关数据的客户端，检测拥有与特定目标标签相关的数据的客户端，以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题，并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此，我们提出了一个合作的游戏，涉及到客户端共享的梯度。使用这个游戏，我们计算Shapley值的客户端，然后提出基于Shapley值的联邦平均（S-FedAvg）算法，使服务器选择相关的客户端具有高概率。事实证明，S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后，我们对图像分类和语音识别任务进行了全面的实证分析，以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
在联邦学习中，多个客户端设备联合学习机器学习模型：每个客户端设备维护其本地训练数据集的本地模型，而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法，这些方法被声称对拜占庭式故障具有鲁棒性（例如，系统故障、对抗性操纵）。在这项工作中，我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备，并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数，使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题，并将我们的攻击，最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明，我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率，这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击，以抵御我们的本地模型中毒攻击。我们的评估结果表明，在某些情况下，一种防御可以有效地防御我们的攻击，但在其他情况下，防御不够有效，突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
PAGE: Equilibrate Personalization and Generalization in Federated Learning
Xidian University（西安电子科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Guelph（圭尔夫大学）
本文提出基于博弈论的联邦学习算法PAGE，将联邦学习重塑为客户端与服务器的合作竞争博弈，并利用强化学习求解均衡，同时提升全局与本地预测精度，在四个数据集上分别最高提升35.20%和39.91%。
2023-10-13 cs.LG
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，局部SGD算法在分布式学习领域得到了广泛的研究，以克服分布式学习中的通信瓶颈问题。然而，本地SGD的优越性，minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD（Bias-Variance Reduced Local SGD，BVR-L-SGD）。从理论上讲，我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性，并建议随机选取一个局部模型，而不是在工人同步时取其平均值。理论上，在局部目标的异质性较小的情况下，我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性，特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下，突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果，并给出了经验证据的优越性，我们的方法。
2021-06-14 cs.LG math.OC
Federated Learning in Chemical Engineering: A Tutorial on a Framework for Privacy-Preserving Collaboration Across Distributed Data Sources
SVKM's Dwarkadas J. Sanghvi College of Engineering（SVKM's 德瓦卡达斯·J.桑格维工程学院）；Davidson School of Chemical Engineering, Purdue University（普渡大学戴维森化学工程学院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
本研究为化学工程界提供联邦学习（FL）的易懂入门教程，基于Flower等框架构建实践工具，探讨其在化工相关任务的应用，通过实验证明FL在保护隐私的同时维持或提升模型性能，并展望了未来挑战。
2025-02-12 cs.DC cs.LG cs.NE
Over-the-Air Federated Learning with Retransmissions (Extended Version)
随着无线设备计算能力的不断提高，以及用户和设备生成的数据达到前所未有的水平，新的分布式机器学习（ML）方法应运而生。在无线网络中，联邦学习（FL）由于其通信效率和处理非IID数据问题的能力而受到特别关注。FL训练可以通过称为空中计算（AirComp）的无线通信方法来加速，该方法利用同时上行链路传输的干扰来有效地聚合模型更新。然而，由于AirComp利用模拟通信，因此其引入不可避免的估计误差。在本文中，我们研究了这种估计误差对FL收敛的影响，并提出了重传作为一种方法，以提高FL收敛资源受限的无线网络。首先，我们推导出静态信道上重传的最优AirComp功率控制方案。然后，我们研究了具有重传的空中FL的性能，并找到了FL损失函数的两个上界。最后，我们提出了一种启发式方法来选择最佳的重传次数，可以在训练ML模型之前计算。数值结果表明，重传的引入可以提高ML性能，而不会在通信或计算方面产生额外的成本。此外，我们提供了我们的启发式的模拟结果表明，它可以正确地识别不同的无线网络设置和机器学习问题的最佳重传次数。
2021-11-19 cs.LG eess.SP
Federated learning for secure development of AI models for Parkinson's disease detection using speech from different languages
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；University of Antioquia（安蒂奥基亚大学）；Czech Technical University in Prague（布拉格捷克理工大学）
针对帕金森病语音检测跨机构数据共享的隐私难题，本研究采用联邦学习利用三种语言的真实语音语料训练模型，其准确率优于本地模型且接近集中训练模型，可在保护隐私的前提下提升机构协作效率与患者预后。
2023-08-21 cs.AI cs.LG eess.AS
Secure & Private Federated Neuroimaging
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Stevens Neuroimaging and Informatics Institute（史蒂文斯神经影像与信息学研究所）
针对生物医学数据联合分析的安全隐私难题，提出具备强安全隐私性的联邦学习架构MetisFL，在异构联邦环境下的神经影像任务中验证了其性能。
2023-08-28 cs.CR cs.CV cs.DC
Towards Ubiquitous AI in 6G with Federated Learning
Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）；University of Arizona（亚利桑那大学）
随着5G蜂窝系统在全球范围内的积极部署，研究界已经开始探索下一代的新技术进步，即，6G。人们普遍认为，6G将建立在无处不在的人工智能的新愿景之上，这是一种超灵活的架构，将类似人类的智能带入网络系统的各个方面。尽管前景广阔，但预计无处不在的基于人工智能的6G将面临一些新的挑战。尽管已经进行了许多尝试将AI应用于无线网络，但这些尝试尚未在实际系统中大规模实施。关键挑战之一是难以在大量异构设备上实现分布式AI。联邦学习（FL）是一种新兴的分布式AI解决方案，可在异构和潜在的超大规模网络中实现数据驱动的AI解决方案。虽然它仍处于发展的早期阶段，但FL启发的架构已被认为是实现6G中无处不在的AI的最有前途的解决方案之一。在本文中，我们确定了推动6G和AI融合的要求。我们提出了一种基于FL的网络架构，并讨论了其解决6G中预期的一些新挑战的潜力。最后讨论了FL使能6G的未来发展趋势和关键研究问题。
2020-04-26 cs.LG cs.NI eess.SP
Can One Safety Loop Guard Them All? Agentic Guard Rails for Federated Computing
Division of Cancer Registry of Norway, Norwegian Institute of Public Health, Oslo, Norway（挪威癌症登记处，挪威公共卫生研究所，奥斯陆）；Department of Physics and Technology, The Arctic University of Norway, Tromsø, Norway（挪威极地大学物理与技术系）
提出面向隐私保护联邦计算的双层框架Guardian-FC，通过DSL插件和智能体AI控制平面将安全护栏与隐私机制解耦，实现跨密码学与统计后端的统一安全执行与可审计性。
2025-06-24 cs.CR cs.DC cs.LG
Blockchain-Federated-Learning and Deep Learning Models for COVID-19 detection using CT Imaging
University of Electronic Science and Technology of China（电子科技大学）
随着全球COVID-19病例的增加，需要一种有效的方法来诊断COVID-19患者。诊断COVID-19患者的主要问题是检测试剂盒的短缺和可靠性，由于病毒的快速传播，医疗从业者面临着识别阳性病例的困难。第二个现实问题是在全球医院之间共享数据，同时考虑到组织的隐私问题。构建协作模型和保护隐私是训练全局深度学习模型的主要问题。本文提出了一个框架，该框架从不同的来源（各种医院）收集少量数据，并使用基于区块链的联邦学习来训练全局深度学习模型。区块链技术验证数据，联邦学习在全球范围内训练模型，同时保护组织的隐私。首先，我们提出了一种数据规范化技术，处理数据的异质性，因为数据是从不同的医院收集的不同种类的CT扫描仪。其次，我们使用基于胶囊网络的分割和分类来检测COVID-19患者。第三，我们设计了一种方法，该方法可以使用具有联邦学习的区块链技术协同训练全局模型，同时保护隐私。此外，我们收集了真实的COVID-19患者数据，这些数据对研究界开放。所提出的框架可以利用最新的数据，提高了计算机断层扫描（CT）图像的识别。最后，我们的结果证明了检测COVID-19患者的更好性能。
2020-12-08 cs.CV cs.LG eess.IV
A Practical Recipe for Federated Learning Under Statistical Heterogeneity Experimental Design
University of California San Diego（加州大学圣地亚哥分校）
本研究针对联邦学习实验设置不一致问题，首次全面分析了FL特定实验变量对性能的影响，并发布了开源库FedZoo-Bench（含22种SOTA方法）以提供实验设计指导。
2023-07-28 cs.AI cs.LG
Federated learning and next generation wireless communications: A survey on bidirectional relationship
Thompson Rivers University（汤普森河大学）；University of Luxembourg（卢森堡大学）
为了满足下一代无线通信网络的高度异构性要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线资源管理。传统的机器学习采用完全集中式架构，其中整个训练数据在一个节点处收集，例如，云服务器，这大大增加了通信开销，也引起了严重的隐私问题。为此，最近提出了一种称为联邦学习（FL）的分布式机器学习范式。在FL中，每个参与的边缘设备通过使用其自己的训练数据来训练其本地模型。然后，经由无线信道，本地训练的模型的权重或参数被发送到中央PS，中央PS聚合它们并更新全局模型。一方面，FL对优化无线通信网络资源起着重要作用，另一方面，无线通信又是FL的关键，FL与无线通信之间存在着“双向”关系。虽然FL是一个新兴的概念，许多出版物已经发表在FL及其应用领域的下一代无线网络。然而，我们注意到，没有一个作品强调FL和无线通信之间的双向关系。因此，本调查文件的目的是弥合这一差距，在文献中提供了一个及时和全面的讨论FL和无线通信之间的相互依存关系。
2022-01-10 cs.LG eess.SP
MAS: Towards Resource-Efficient Federated Multiple-Task Learning
Nanyang Technological University（南洋理工大学）；Sony AI（索尼人工智能）；SenseTime Research（商汤科技研究院）
针对多联邦学习任务同时运行易导致边缘设备资源过载的问题，提出MAS（合并与拆分）方法，通过任务合并训练再按亲和度拆分续训的方式，在提升性能的同时将训练时间减半、能耗降低40%。
2023-07-21 cs.CV cs.DC cs.LG
TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment
Politecnico di Milano（米兰理工大学）
本文提出TIFeD，一种基于纯整数运算和直接反馈对齐的微型联邦学习算法，支持全网络与单层两种训练模式，使资源极度受限设备能够参与分布式模型训练。
2024-11-25 cs.AI cs.LG
Fed-Equilibrium Framework for Topological Pareto Control in Robust and Fair Clinical Federated Learning
提出Fed-Equilibrium框架，通过两阶段梯度控制实现拓扑均衡，解决临床联邦学习中的知识主导问题，在跨国模拟中兼顾鲁棒性与公平性，使少数节点达到深度收敛。
2026-09-14 cs.DC cs.LG
Towards Heterogeneity-Aware and Energy-Efficient Topology Optimization for Decentralized Federated Learning in Edge Environment
School of Engineering, Swinburne University of Technology（工程学院，斯威本科技大学）；School of Computer Science and Technology, Tongji University（计算机科学与技术学院，同济大学）；State Key Lab for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Computer Science and Artificial Intelligence, Wuhan University of Technology（计算机科学与人工智能学院，武汉科技大学）；School of Cyber Science and Engineering, Wuhan University（网络科学与工程学院，武汉大学）；CSIRO Data61
针对边缘环境中去中心化联邦学习面临的资源与数据异构性及高能耗问题，提出Hat-DFed框架，通过将拓扑构建表述为NP难的双重优化问题，设计两阶段算法动态构建通信拓扑并结合重要性感知聚合机制，在最大化模型性能的同时最小化能耗。
2025-08-01 cs.AI cs.LG
Federated Learning Priorities Under the European Union Artificial Intelligence Act
Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；IBM T.J. Watson Research Center（IBM TJ·沃森研究中心）；Flower Labs；University of Bayreuth（拜罗伊特大学）；University of Toronto（多伦多大学）
本文通过跨学科分析欧盟AI法案对联邦学习的影响，指出该法规将推动联邦学习成为合规机器学习系统的关键组件，并建议FL社区重新调整研究重点以应对数据治理、隐私保护及能效挑战。
2024-02-05 cs.AI cs.CY cs.DC
Non-Federated Multi-Task Split Learning for Heterogeneous Sources
The Ohio State University（俄亥俄州立大学）
本文提出多任务分割学习（MTSL）框架，通过结合分割学习与分布式架构优势，将异构性作为可利用属性，理论分析与实验表明其在训练速度、通信成本及鲁棒性上优于联邦学习。
2024-05-31 cs.DC cs.LG
Towards the efficacy of federated prediction for epidemics on networks
DS Information Technology Co., Ltd.（DS信息技术有限公司）；The First Research Institute of Telecommunications Technology Co., Ltd.（电信技术第一研究院有限公司）；Wuhan Yangtze Communications Industry Group Co., Ltd.（武汉长江通信产业集团股份有限公司）
提出基于联邦学习的节点级网络流行病预测框架，比较 LSTM 与 STGAT，并通过航空网络实验评估客户端配置等因素对预测效能的影响。
2024-12-03 cs.DC cs.LG cs.SI
The Tags Are Alright: Robust Large-Scale RFID Clone Detection Through Federated Data-Augmented Radio Fingerprinting
Sapienza University（罗马大学）；Northeastern University（东北大学）
数以百万计的RFID标签在全球范围内广泛使用，以低廉的价格识别各种各样的日常使用对象。RFID的关键问题之一是标签不能使用高能耗的加密技术。出于这个原因，无线电指纹识别（RFP）是一种引人注目的方法，它利用标签无线电路中的独特缺陷来实现大规模RFID克隆检测。然而，最近的工作揭示了时变信道条件可以显著降低RFP过程的准确性。我们提出了第一个大规模的调查RFP的RFID标签与动态信道条件。具体来说，我们执行一个大规模的数据汇集活动的测试平台组成的200个现成的相同的RFID标签和软件定义的无线电（SDR）标签阅读器。我们在无线配置中收集不同标签读取器距离的数据。为了模拟植入式RFID标签，我们还在标签和读取器之间插入两种不同的猪肉来收集数据。我们使用这个丰富的数据集在各种信道条件下训练和测试几个基于卷积神经网络（CNN）的分类器。我们的调查表明，在不同的信道条件下的训练和测试大大降低了分类器的准确性。为此，我们提出了一种新的训练框架，基于联邦机器学习（FML）和数据增强（DAG），以提高准确性。大量的实验结果表明，（i）我们的FML方法提高了高达48%的准确性;（ii）我们的DA方法提高了高达31%的FML性能。据我们所知，这是第一篇通过实验证明FML和DA在大型器械人群中有效性的论文。我们正在与研究社区分享我们完全标记的200 GB RFID波形数据集，我们的全部代码和训练模型。
2021-05-08 cs.LG cs.NI
Group privacy for personalized federated learning
Scuola Normale Superiore（比萨高等师范学校）；INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；Scuola Superiore Sant’Anna（圣安娜高等学校）
联邦学习（FL）是一种协作式机器学习，其中参与的对等体/客户端在本地处理其数据，仅共享对协作模型的更新。这使得能够构建隐私感知的分布式机器学习模型等。目标是通过最小化由一组客户端本地存储的数据集集合的成本函数来优化统计模型的参数。这个过程暴露给客户端两个问题：隐私信息的泄漏和缺乏个性化的模型。另一方面，随着最近各种数据分析技术的进步，人们对参与客户端的隐私侵犯的担忧激增。为了缓解这种情况，差分隐私及其变体作为提供正式隐私保证的标准。通常，客户端代表非常异构的社区，并持有非常多样化的数据。因此，与FL社区最近关注的为代表其多样性的用户构建个性化模型框架相一致，保护客户的敏感和个人信息免受潜在威胁也至关重要。为了实现这一目标，我们考虑$d$ -隐私，也被称为度量隐私，这是本地差分隐私的变体，使用基于度量的混淆技术，保留了原始数据的拓扑分布。为了解决保护客户隐私和允许个性化模型训练以增强系统的公平性和实用性的问题，我们提出了一种利用$d$的一些关键属性来提供组隐私保证的方法。隐私，使个性化模型的框架下的FL。我们提供了理论的适用性和实验验证的真实数据集上说明的工作，我们的方法
2022-09-04 cs.AI cs.CR cs.LG
Clustered FedStack: Intermediate Global Models with Bayesian Information Criterion
University of Southern Queensland（南昆士兰大学）；Wuhan University of Technology（武汉理工大学）；Queensland University of Technology（昆士兰科技大学）
针对联邦学习中本地数据非独立同分布、标签不平衡的问题，提出基于FedStack的Clustered FedStack框架，结合三种聚类机制与BIC确定聚类数，性能优于基线模型，并用周期性学习率评估收敛性。
2023-10-14 cs.AI cs.LG
Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning
Beijing Jiaotong University（北京交通大学）；INRIA（法国国家信息与自动化研究所）；Tianjin University（天津大学）；University of Notre Dame（圣母大学）
本文针对个性化联邦学习提出隐蔽后门攻击方法PFedBA，通过优化触发器生成将后门任务与主任务对齐，在10种先进PFL算法上击败6种现有防御，揭示了PFL的深层安全脆弱性。
2024-06-10 cs.CR cs.LG
Unlearning Clients, Features and Samples in Vertical Federated Learning
Umeå University（于默奥大学）；Ericsson Research（爱立信研究公司）
本文提出VFU-KD和VFU-GA两种方法，分别基于知识蒸馏和梯度上升，实现纵向联邦学习中的客户端、特征和样本遗忘，并通过成员推断攻击验证有效性，在多个数据集上性能优于或接近重训练方法。
2025-01-23 cs.AI cs.LG
