Personalized Federated Learning through Local Memorization
Inria（法国国家信息与自动化研究所）；Accenture Labs（埃森哲实验室）
联邦学习允许客户协作学习统计模型，同时保持数据本地化。联邦学习最初用于训练一个唯一的全局模型，以服务于所有客户端，但这种方法可能是次优的客户端的本地数据分布是异构的。为了解决这个限制，最近的个性化联邦学习方法训练为每个客户端一个单独的模型，同时仍然利用其他客户端可用的知识。在这项工作中，我们利用深度神经网络的能力从非表格数据中提取高质量的向量表示（嵌入），例如，图像和文本，提出了一种基于本地记忆的个性化机制。通过基于由全局模型提供的共享表示用局部$k$ -最近邻（kNN）模型内插集体训练的全局模型来获得个性化。我们为二进制分类的情况下所提出的方法提供了泛化范围，并且我们在一组联邦数据集上表明，这种方法比最先进的方法具有更高的准确性和公平性。
2022-06-17 cs.LG stat.ML
Federated Optimization in Heterogeneous Networks
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Facebook AI（Facebook人工智能）；Determined AI
联邦学习是一种分布式学习范式，它与传统的分布式优化有两个关键的区别：（1）网络中每个设备上的系统特性的显著变化（系统异构性），以及（2）网络上的非相同分布数据（统计异构性）。在这项工作中，我们引入了一个框架，FedProx，以解决联邦网络中的异构性。FedProx可以被看作是FedAvg的推广和重新参数化，FedAvg是当前最先进的联邦学习方法。虽然这种重新参数化只对方法本身进行了微小的修改，但这些修改在理论和实践中都有重要的影响。从理论上讲，我们为我们的框架提供了收敛保证，当学习来自不同分布（统计异质性）的数据时，同时通过允许每个参与设备执行可变量的工作（系统异质性）来遵守设备级系统约束。实际上，我们证明了FedProx允许在一套真实的联邦数据集上比FedAvg更强大的收敛。特别是，在高度异构的环境中，FedProx相对于FedAvg表现出更稳定和更准确的收敛行为-平均将绝对测试准确性提高了22%。
2020-04-21 cs.LG stat.ML
Towards Fair Federated Learning with Zero-Shot Data Augmentation
Duke University（杜克大学）；Samsung（三星）；State University of New York at Buffalo（纽约州立大学布法罗分校）
联邦学习已经成为一种重要的分布式学习范式，其中服务器从许多客户端训练的模型中聚合全局模型，而不能访问客户端数据。虽然人们认识到，客户端本地数据的统计异质性会导致全局模型收敛较慢，但很少有人认识到，它也会导致有偏见的联合全局模型，在客户端之间具有很高的准确性差异。在这项工作中，我们的目标是提供联邦学习计划，提高公平性。为了应对这一挑战，我们提出了一种新的联邦学习系统，该系统在代表性不足的数据上采用zero-shot数据增强，以减轻统计异质性，并鼓励联邦网络中的客户端实现更均匀的准确性性能。我们研究了该方案的两个变体，Fed-ZDAC（在客户端具有zero-shot数据增强的联邦学习）和Fed-ZDAS（在服务器端具有zero-shot数据增强的联邦学习）。一组数据集上的实验结果表明，我们的方法在同时提高测试精度和公平性的有效性。
2021-04-27 cs.CV cs.LG stat.ML
Federated Learning with Fair Averaging
Xiamen University（厦门大学）；University of Melbourne（墨尔本大学）
公平性已成为联邦学习（FL）中的一个关键问题。在这项工作中，我们确定了FL不公平的原因-冲突的梯度与幅度的巨大差异。为了解决这个问题，我们提出了联邦公平平均（FedFV）算法，以减轻客户端之间的潜在冲突之前，平均其梯度。我们首先使用余弦相似度来检测梯度冲突，然后通过修改梯度的方向和幅度来迭代地消除这种冲突。我们进一步展示了FedFV的理论基础，以减轻冲突的梯度问题，并收敛到帕累托平稳的解决方案。在一组联邦数据集上进行的大量实验证实，FedFV在公平性、准确性和效率方面优于最先进的方法。源代码可在https://github.com/WwZzz/easyFL上获得。
2021-06-16 cs.LG
Evaluation Framework For Large-scale Federated Learning
Zhejiang University（浙江大学）
联邦学习被提出作为机器学习设置，以使分布式边缘设备（如手机）能够协作学习共享的预测模型，同时将所有训练数据保持在设备上，这不仅可以充分利用分布在数百万个节点上的数据来训练良好的模型，而且还可以保护数据隐私。然而，上述情景中的学习提出了新的挑战。事实上，大量不可靠设备上的数据很可能是非IID（相同且独立分布）的，这可能会使联邦学习训练的模型的性能不稳定。在本文中，我们介绍了一个框架设计的大规模联邦学习，其中包括数据集的生成方法和模块化的评估框架。首先，我们构建了一套开源的非IID数据集，提供了三个方面，包括协变量偏移，先验概率偏移，概念偏移，这是在现实世界的假设为基础。此外，我们还设计了包括网络节点数、数据集大小、通信轮数和通信资源等在内的严格的评估指标。最后，我们提出了一个面向大规模联邦学习研究的开源基准。
2020-03-12 cs.DC cs.LG stat.ML
Leveraging Learning Metrics for Improved Federated Learning
University of Toronto（多伦多大学）
本文首次将有效秩（ER）学习度量引入联邦学习，提出基于该度量的聚合方法，并通过超越联邦平均基线验证其有效性，同时开发了依赖有效秩的新型权重聚合方案。
2023-09-01 cs.AI cs.LG
The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset
Georgia Institute of Technology（佐治亚理工学院）
联邦学习是一种适合在分散数据上训练模型的算法，但对中央“服务器”节点的要求是一个瓶颈。在本文中，我们首先介绍了分散式联邦学习（DFL）的概念。然后，我们在不同的设置上进行各种实验，例如改变模型聚合频率，从独立同分布（IID）数据集分区切换到部分全局共享的非IID分区，在客户端之间使用不同的优化方法，以及将模型分解为部分共享的片段。所有实验都在MNIST手写数字数据集上运行。我们观察到，这些改变的训练程序通常是健壮的，尽管不是最佳的。当模型权重之间的方差太大时，我们也观察到训练失败。开源实验代码可通过GitHub \footnote{Code was uploaded at \url{https://github.com/zhzhang2018/DecentralizedFL}}访问。
2021-08-07 cs.LG
Revocable Federated Learning: A Benchmark of Federated Forest
Xidian University（西安电子科技大学）；Fuzhou University（福州大学）；Data 61, CSIRO（联邦科学与工业研究组织数据61所）；Zhejiang University（浙江大学）
学习联邦由多个参与者组成，这些参与者使用联邦学习技术来协作训练机器学习模型，而不直接揭示本地数据。然而，现有的联邦学习框架存在一个严重的缺陷，即使某个参与者被撤销，其数据仍然被训练好的模型记住。在公司层面的合作中，允许剩下的公司使用包含被撤销公司记忆的训练模型显然是不可接受的，因为这可能导致巨大的利益冲突。为此，本文重点讨论了联邦学习的参与者撤销问题，并设计了一个可撤销的联邦随机森林（RF）框架RevFRF，进一步阐述了可撤销的联邦学习的概念。在RevFRF中，我们首先定义了一个可扩展的联邦RF要解决的安全问题。然后，设计了一套基于同态加密的安全协议，用于联邦射频的构建、预测和撤销。通过理论分析和实验，证明了该协议能够安全有效地实现RF的协同训练，并确保训练RF中被撤销参与者的记忆被安全删除。
2019-11-08 cs.CR cs.LG
H-FedSN: Personalized Sparse Networks for Efficient and Accurate Hierarchical Federated Learning for IoT Applications
University of Virginia（弗吉尼亚大学）；University of Southern California（南加利福尼亚大学）
针对物联网分层联邦学习的通信低效等问题，提出带二值掩码与贝叶斯聚合的H-FedSN，可降通信成本最多477倍且保持高准确率，适配物联网部署。
2026-09-01 cs.LG
Scatterbrained: A flexible and expandable pattern for decentralized machine learning
Johns Hopkins Applied Physics Laboratory（约翰斯·霍普金斯应用物理实验室）；University of Pennsylvania（宾夕法尼亚大学）
联合机器学习是一种用于在多个设备之间训练模型而无需在它们之间交换数据的技术。由于数据对于每个计算节点都是本地的，因此联邦学习非常适合数据受到严格控制的领域（如医学）或带宽受限的领域。这种方法的一个缺点是，大多数联邦学习工具依赖于中央服务器来执行工作负载委托并生成单个共享模型。在这里，我们提出了一个灵活的框架来分散联邦学习模式，并提供了一个与PyTorch兼容的开源参考实现。
2021-12-14 cs.LG
LDP-Fed: Federated Learning with Local Differential Privacy
Georgia Institute of Technology（佐治亚理工学院）
本文提出了LDP-Fed，一种新的联邦学习系统，使用本地差分隐私（LDP）的正式隐私保证。现有的LDP协议主要是为了在收集单个数值或分类值时确保数据隐私，例如Web访问日志中的点击计数。然而，在联邦学习中，模型参数更新是从每个参与者迭代收集的，并且由具有高精度（小数点后10位数）的高维连续值组成，使得现有的LDP协议不适用。为了解决这一挑战，在LDP-Fed，我们设计和开发两种新的方法。首先，LDP-Fed的LDP模块为大规模神经网络在多个个体参与者的私有数据集上的联邦训练中重复收集模型训练参数提供了正式的差分隐私保证。其次，LDP-Fed实现了一套选择和过滤技术，用于干扰和与参数服务器共享选择参数更新。我们验证了我们的系统部署了一个浓缩的LDP协议，在公共数据上训练深度神经网络。我们比较了这个版本的LDP-Fed（CLDP-Fed）与其他最先进的方法在模型准确性、隐私保护和系统功能方面的差异。
2020-06-05 cs.CR cs.LG stat.ML
MUFFLe: Efficient Model Update Compression via Generalized Deduplication for Federated Learning
Innovation Foundation Denmark（丹麦创新基金会）
提出MUFFLe方案，将广义去重（GD）集成到FedAvg中，通过去重更新向量中的重复模式实现固定速率、可变计数的压缩，在IID MNIST上以38 MB累积上行通信达到92.93%目标精度。
2026-06-15 cs.LG
Federated Learning under Distributed Concept Drift
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Apple（苹果公司）
分布式概念漂移下的联邦学习是一个尚未被探索的领域。虽然概念漂移本身是一个很好的研究现象，它提出了特殊的挑战，外语，因为漂移出现交错的时间和空间（跨客户端）。据我们所知，这项工作是第一个明确研究数据异质性的两个维度。我们首先证明，以前的解决方案，漂移适应，使用一个单一的全球模型是不适合交错漂移，需要多个模型的解决方案。我们确定的漂移自适应问题作为一个随时间变化的聚类问题，我们提出了两个新的聚类算法的反应漂移的基础上本地漂移检测和层次聚类。实证评估表明，我们的解决方案实现了显着更高的准确性比现有的基线，并与理想化的算法与甲骨文知识的地面真理聚类的客户端的概念，在每个时间步。
2023-02-28 cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称，以提高指标，如准确性，公平性和健壮性，在联邦网络。然而，尽管在这一领域已经做了大量的工作，但仍然不清楚：（1）哪些个性化技术在各种设置中最有效，以及（2）个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题，我们提出了Motley，一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成，以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法，在基准上建立基线。这些初步结果突出了现有方法的优点和缺点，并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法，以推进个性化和异构感知联邦学习的发展，以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
ByzFL: Research Framework for Robust Federated Learning
Universitat Politècnica de Catalunya (UPC)（巴塞罗那技术大学）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Sorbonne Université, Université Paris Cité, CNRS（索邦大学、巴黎cité大学、国家科学研究中心）；Université de Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家科学研究中心、IRISA）
本文提出了ByzFL，一个用于开发和基准测试鲁棒联邦学习算法的开源Python库，提供统一的框架、多种攻击与聚合器实现及配置工具，促进可重复研究与快速原型设计。
2025-05-30 cs.LG
Towards Effective Device-Aware Federated Learning
Polytechnic University of Bari（巴里理工大学）
随着社交网络、智能手机、医疗或金融应用程序产生的大量信息，人们对这些数据在用户个人隐私和数据安全方面的敏感性提出了猜测。为了解决上述问题，最近提出了联邦学习（FL）作为一种手段，以使数据和计算资源分布在大量节点（客户端）上，其中中央协调服务器仅聚合本地计算的更新而不知道原始数据。在这项工作中，我们通过在几个维度上推进该领域的最新技术来扩展FL框架：（i）与仅依赖于单一标准的原始FedAvg方法不同（即，本地数据集大小），一套域和客户端特定的标准构成计算每个本地客户端的贡献的基础，（ii）通过利用在信息检索领域中使用的优先级感知聚合运算符以优先化的方式计算每个设备的多标准贡献，以及（iii）提出了一种通过具有回溯的局部搜索策略在线调整聚合算子参数的机制。在公开数据集上进行的大量实验表明，与标准FedAvg基线相比，所提出的方法具有优点。
2019-08-20 cs.DC cs.LG stat.ML
Prioritized Multi-Criteria Federated Learning
Politecnico di Bari（巴里理工大学）
在机器学习场景中，当模型必须使用来自服务用户的私人数据进行训练时，隐私是一个至关重要的问题，例如推荐系统，基于位置的移动服务，提供下一个单词预测的移动电话文本消息服务，或面部图像分类系统。主要问题是，数据通常由第三方收集、传输和处理。这些交易违反了GDPR等新法规。此外，用户通常不愿意共享私人数据，例如他们访问的位置，他们写的短信或他们与第三方拍摄的照片。另一方面，用户欣赏基于他们的行为和偏好的服务。为了解决这些问题，最近提出了联邦学习（FL），作为一种基于分布在大量客户端上的私有数据集构建ML模型的方法，同时防止数据泄漏。要求用户联盟在他们的私有数据上训练相同的全局模型，而中央协调服务器接收客户端本地计算的更新并将它们聚合以获得更好的全局模型，而不需要使用客户端的实际数据。在这项工作中，我们通过在FL的聚合步骤中推进最先进的方法来扩展FL方法，我们认为这对于构建高质量的全球模型至关重要。具体来说，我们提出了一种方法，考虑到一套客户端的具体标准，构成的基础上分配一个分数给每个客户端的基础上，由服务提供商定义的标准的优先级。在两个公开数据集上的大量实验表明，与标准FL基线相比，所提出的方法具有优点。
2020-07-17 cs.LG stat.ML
OpenFed: A Comprehensive and Versatile Open-Source Federated Learning Framework
Meituan（美团）；Bytedance Inc.（字节跳动公司）；Tsinghua University（清华大学）；University of Macau（澳门大学）；State Key Lab of Computer Science, ISCAS（中国科学院软件研究所计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出开源端到端联邦学习框架OpenFed，通过提供易于实现和公平评估的环境及即插即用功能，消除现有痛点，降低研究与下游用户的入门门槛。
2023-04-03 cs.CR cs.LG
SplitAVG: A heterogeneity-aware federated deep learning method for medical imaging
Stanford University（斯坦福大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马丁诺斯生物医学成像中心）；Massachusetts General Hospital（马萨诸塞州综合医院）
联邦学习是一种新兴的研究范式，用于在不共享患者数据的情况下协作训练深度学习模型。然而，来自不同机构的数据通常是异构的，这可能会降低使用联邦学习训练的模型的性能。在这项研究中，我们提出了一种新的异质性感知的联邦学习方法，SplitAVG，以克服性能下降的数据异质性在联邦学习。与以前需要复杂的启发式训练或超参数调整的联邦方法不同，我们的SplitAVG利用简单的网络分割和特征映射拼接策略来鼓励联邦模型训练目标数据分布的无偏估计器。我们将SplitAVG与七种最先进的联邦学习方法进行了比较，使用集中托管的训练数据作为合成和真实世界联邦数据集的基线。我们发现，使用所有比较联邦学习方法训练的模型的性能随着数据异构程度的增加而显着下降。相比之下，SplitAVG方法在所有异质设置下实现了与基线方法相当的结果，即在高度异质的数据分区上，它分别在糖尿病视网膜病变二元分类数据集和骨龄预测数据集中实现了由基线获得的96.2%的准确度和110.4%的平均绝对误差。我们得出结论，SplitAVG方法可以有效地克服跨机构的数据分布的可变性的性能下降。实验结果还表明，SplitAVG可以适应不同的基础网络，并推广到各种类型的医学成像任务。
2022-04-10 cs.LG eess.IV
Explainable Federated Learning for U.S. State-Level Financial Distress Modeling
Rensselaer Polytechnic Institute（拉特格斯理工学院）
首次将联邦学习（FL）应用于美国国家金融能力研究，提出可解释框架，在不集中敏感数据的情况下预测州级金融困境，整合可解释AI技术识别全球和局部预测因子，为金融预警提供合规蓝图。
2025-10-28 cs.LG q-fin.ST
Analyzing Federated Learning through an Adversarial Lens
Princeton University（普林斯顿大学）；I.B.M T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习将模型训练分布在众多代理之间，这些代理在隐私问题的指导下，使用其本地数据执行训练，但仅共享模型参数更新，以便在服务器上进行迭代聚合。在这项工作中，我们探讨了模型中毒攻击对联邦学习的威胁，这种攻击是由一个单一的、非合谋的恶意代理发起的，其对抗性目标是使模型对一组具有高置信度的选定输入进行错误分类。我们探索了一些策略来进行这种攻击，从简单的提升恶意代理的更新，以克服其他代理的更新的影响。为了提高攻击的隐蔽性，我们提出了一种交替最小化策略，该策略交替优化训练损失和对抗目标。我们跟进使用参数估计的良性代理的更新，以提高攻击的成功。最后，我们使用一套可解释性技术来生成良性和恶意模型的模型决策的视觉解释，并表明这些解释几乎在视觉上无法区分。我们的研究结果表明，即使是一个高度受限的对手可以进行模型中毒攻击，同时保持隐形，从而突出了联邦学习设置的脆弱性和需要制定有效的防御策略。
2019-11-25 cs.AI cs.CR cs.LG
AdaFed: Fair Federated Learning via Adaptive Common Descent Direction
University of Waterloo（滑铁卢大学）
本文提出AdaFed方法，通过基于本地梯度和损失值自适应调整服务器的公共下降方向，确保所有客户端损失下降且较大损失客户端下降更快，有效解决联邦学习中的模型不公平问题。
2024-01-10 cs.AI cs.LG
Demystifying the Effects of Non-Independence in Federated Learning
Institute of Information Systems（信息系统研究所）
联邦学习（FL）使统计模型能够在用户生成的数据上构建，而不会影响数据安全和用户隐私。出于这个原因，FL非常适合从数据丰富且高度私有化的移动设备上进行设备学习。受移动设备的时间可用性的约束，只有一个子集的设备是可访问的，以参与由训练和聚合组成的迭代协议。在这项研究中，我们采取了一个步骤，更好地了解块循环采样所产生的非独立数据分布的影响。通过对视觉分类进行广泛的实验，我们测量了块循环采样（独立和与非平衡块分布相结合）的影响。具体来说，我们从准确性，公平性和收敛速度的角度来衡量块循环采样引起的变化。实验结果表明，鲁棒性循环两块结构，例如，因为时区的关系。相比之下，依赖于多块结构绘制数据样本会显著降低性能和收敛速度，最高可达26%。此外，我们发现，这种性能退化进一步加剧了不平衡的块分布的点，不能再充分补偿更高的通信和更频繁的同步。
2021-03-20 cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出 HypeMeFed 框架，通过多出口网络与超网络权重生成结合低秩分解，在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
FedBC: Calibrating Global and Local Models via Federated Learning Beyond Consensus
University of Maryland, College Park（马里兰大学帕克分校）；University of British Columbia（不列颠哥伦比亚大学）；JP Morgan Chase AI Research（摩根大通人工智能研究院）；Amazon（亚马逊）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
在这项工作中，我们通过基于多标准优化的框架（我们将其视为约束程序）定量校准了联邦学习中全局和局部模型的性能。设备的目标是其局部目标，它寻求在满足量化局部和全局模型之间的接近度的非线性约束的同时使其最小化。通过考虑这个问题的拉格朗日松弛，我们开发了一种新的原始-对偶方法称为超越共识的联邦学习（\texttt{FedBC}）。从理论上讲，我们建立\texttt{FedBC}收敛到一个一阶稳定点的速率相匹配的国家的最先进的，一个额外的误差项，这取决于一个公差参数引入标量化的多准则制定。最后，我们证明了\texttt{FedBC}在一系列数据集（合成，MNIST，CIFAR-10，莎士比亚）中平衡了全局和局部模型测试精度指标，实现了具有最先进水平的竞争性能。
2023-02-01 cs.DC cs.LG math.OC
FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings
Owkin, Inc（Owkin公司）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；EPFL（洛桑联邦理工学院）；FedML, Inc.（FedML公司）；University of Southern California（南加州大学）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；University Hospital Bonn（波恩大学医院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）
针对医疗领域跨筒仓联邦学习现实数据集匮乏的问题，研究团队推出含7个带自然划分医疗数据集、配基线代码的FLamby套件，还完成标准FL算法基准测试，助力相关算法研究与结果复现。
2023-05-05 cs.CV cs.LG
Beyond Passive Aggregation: Active Auditing and Topology-Aware Defense in Decentralized Federated Learning
Yunnan Key Laboratory of Statistical Modeling and Data Analysis（云南统计模型与数据研究所）；Yunnan University（云南大学）
本文提出主动审计和拓扑感知防御框架，通过动态模型和新型审计指标检测隐蔽后门，提升去中心化联邦学习的鲁棒性。
2026-03-19 cs.LG stat.ME
Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning
Department of Mathematical Sciences, Politecnico di Torino（波兰理工学院数学科学系）；Istituto Nazionale di Fisica Nucleare, Sezione di Torino（意大利国家核物理研究所托斯卡纳分部）；Tynk S.R.L.（Tynk公司）；Laboratoire de Physique de l’Ecole Normale Supérieure, ENS Université PSL（巴黎高等科学研究院物理实验室）；CNRS, Sorbonne Université, Université de Paris（法国国家科学研究中心、索邦大学、巴黎大学）
WAFFLE通过小波散射变换和傅里叶变换在联邦学习中实现恶意客户端的离线检测，提升检测准确性和分类性能。
2025-10-10 cs.LG
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.（谷歌公司）
联邦学习（FL）支持从分散的隐私敏感数据中学习，对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL，其中包括一个额外的损失计算在协调服务器（同时保持FL的私人数据限制）。有许多好处。例如，可以利用附加的数据中心数据来联合地从集中式（数据中心）和分散式（联合）训练数据学习，并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算（例如，嵌入正则化）到服务器，大大减少了通信和客户端计算负载。对于这些和其他混合FL用例，我们提出了三种算法：并行训练，单向梯度转移和双向梯度转移。我们国家的收敛范围，并给予直觉，适合特定的混合FL问题。最后，我们进行了广泛的实验上的三个任务，表明混合FL可以混合训练数据，以实现预言的准确性上的推理分布，并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints
Adelaide University（阿德莱德大学）；Central China Normal University（中央中国师范大学）；Harbin Institute of Technology（哈尔滨工程大学）
本文提出FediLoRA，一种轻量级的联邦LoRA聚合框架，旨在解决联邦学习中异构环境下的缺失模态问题，通过联合简单平均和结构化编辑提升全局和个性化模型性能，实现在多个通用领域和医疗领域基准数据集上的强大表现。
2026-10-27 cs.AI cs.LG
FedScale: Benchmarking Model and System Performance of Federated Learning at Scale
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
我们提出FedScale，一个联邦学习（FL）基准测试套件，具有真实的数据集和可扩展的运行时，以实现可重复的FL研究。FedScale数据集涵盖了广泛的关键FL任务，从图像分类和目标检测到语言建模和语音识别。每个数据集都有一个统一的评估协议，使用真实世界的数据分割和评估指标。为了重现真实的FL行为，FedScale包含一个可伸缩和可扩展的运行时。它提供高级API来实现FL算法，在不同的硬件和软件后端中大规模部署它们，并大规模评估它们，所有这些都需要最少的开发人员工作。我们将两者结合起来，进行系统的基准测试实验，并强调FL中异质性感知协同优化的潜在机会。FedScale是开源的，并由来自http://fedscale.ai的不同机构的贡献者积极维护。我们欢迎来自社区的反馈和贡献。
2022-06-18 cs.AI cs.DC cs.LG
Differentially Private Federated $k$-Means Clustering with Server-Side Data
Institute of Science；CNRS \& Universit\'e Paris Cité, Paris, France
针对分布式数据下传统聚类因隐私问题无法适用的难题，提出兼具完全联邦与差分隐私特性的FedDP-KMeans算法，利用服务端数据解决初始化难题，结合联邦DP-Lloyds算法在多基准任务上取得优异结果并给出理论界。
2025-06-11 cs.CR cs.LG
FLAIM: AIM-based Synthetic Data Generation in the Federated Setting
University of Warwick（华威大学）；Meta AI
本文针对联邦场景下的表格合成数据生成问题，基于集中式方法 AIM 提出 DistAIM 和增强型 FLAIM，通过维护异质性私有代理，在降低通信开销的同时提升合成数据效用。
2024-07-28 cs.CR cs.LG
Federated Multilingual Models for Medical Transcript Analysis
Microsoft Corporation（微软公司）
联邦学习（FL）是一种新颖的机器学习方法，它允许模型训练器通过在多个分散的数据源上训练模型来访问更多的数据样本，同时数据访问约束已经到位。这样的训练模型可以实现比在单个数据源上训练时更高的性能。作为FL承诺的一部分，任何训练数据都不会传输到任何中央位置，确保敏感数据保持本地和私密。这些特性使FL非常适合医疗保健中的大规模应用，其中各种合规性约束限制了数据的处理，处理和存储方式。尽管联邦学习有明显的好处，但本地数据分布的异质性带来了巨大的挑战，这种挑战在多语言数据提供者的情况下更加明显。在本文中，我们提出了一个联邦学习系统，用于训练一个大规模的多语言模型，适用于微调下游任务，如医疗实体标记。我们的工作代表了第一批这样的生产规模系统之一，能够在多个高度异构的数据提供者之间进行培训，并实现通过使用公共数据的中央培训无法实现的准确性水平。最后，我们证明了全局模型的性能可以通过局部执行的训练步骤进一步提高。
2022-11-04 cs.CL cs.LG
Training a Tokenizer for Free with Private Federated Learning
Cornell Tech（康奈尔科技校区）；Apple（苹果公司）
具有差分隐私的联邦学习，即私有联邦学习（PFL），使得可以在分布在用户设备上的私有数据上训练模型而不损害隐私。PFL对于诸如神经网络之类的模型是有效的，这些模型具有固定数量的参数，因此具有固定维度的梯度向量。这样的模型包括神经网络语言模型，但不包括本文的主题--标记器。训练分词器需要来自无限词汇表的单词的频率，并且用于查找无限词汇表的现有方法需要单独的隐私预算。一种解决方法是根据公开可用的数据对标记器进行训练。然而，在本文中，我们首先表明，与访问用户数据的违反隐私的“oracle”令牌化器相比，在不匹配的数据上训练的令牌化器会导致更差的模型性能，困惑度增加了20%。我们还表明，子词tokenizers更适合联邦上下文比字级的，因为他们可以编码新的单词，虽然每个单词有更多的令牌。其次，我们提出了一种新的方法来获得一个标记器，而不使用任何额外的隐私预算。在语言模型的私有联邦学习过程中，我们从模型中采样，在采样序列上训练新的标记器，并更新模型嵌入。然后，我们继续进行私有联邦学习，并获得“oracle”标记器的1%以内的性能。由于此过程仅间接地在私有数据上训练令牌化器，因此我们可以使用差分隐私的“后处理保证”，从而不使用额外的隐私预算。
2022-03-15 cs.CL cs.CR cs.LG
Computation and Communication Efficient Lightweighting Vertical Federated Learning for Smart Building IoT
Peng Cheng Laboratory（鹏城实验室）
针对智能建筑物联网设备资源有限、现有水平联邦学习技术无法直接应用于垂直联邦学习的问题，提出轻量化垂直联邦学习框架，通过优化特征模型复杂度和压缩特征嵌入提升效率，并推导收敛界，实验验证其性能与资源效率。
2025-04-14 cs.DC cs.LG
Application of federated learning techniques for arrhythmia classification using 12-lead ECG signals
Sapienza University（罗马大学）
本研究采用联邦学习隐私保护方法，基于12导联ECG信号训练深度神经网络和长短期记忆模型进行心律失常分类，在IID和非IID数据上均达到与集中式学习相当的性能，且具有复杂度低、训练快、适合云边架构的优势。
2024-01-05 cs.LG
Federated Learning for Time-Series Healthcare Sensing with Incomplete Modalities
KAIST（韩国科学技术院）
针对医疗传感多模态时间序列数据的联邦学习中完整模态假设不现实、现有不完整模态方法扩展性差的问题，提出高效FLISM算法，通过模态不变表示学习等三项技术，实现不完整模态下高精度且高效的联邦训练。
2024-11-27 cs.LG
Data Valuation for Vertical Federated Learning: A Model-free and Privacy-preserving Method
Shanghai University of Finance and Economics（上海财经大学）；Peking University（北京大学）；Beihang University（北京航空航天大学）；University of Delaware（特拉华大学）
针对垂直联邦学习中缺乏有效且安全的数据价值评估工具的问题，提出了一种保护隐私且无需模型的估值方法FedValue，包含MShapley-CMI指标和联邦计算方法，实验验证了其有效性与实用性。
2024-01-04 cs.AI cs.LG
Improving accuracy and convergence of federated learning edge computing methods for generalized DER forecasting applications in power grid
Massachusetts Institute of Technology（麻省理工学院）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）
本文提出开发更准确、收敛更快且通信需求更低的联邦学习方法，用于预测现代低碳电网中的分布式能源资源（DER），通过分层迭代聚类、时间序列全局模型及电力领域知识构建通用框架，支持异构客户端和多种DER类型。
2024-10-13 cs.AI cs.DC cs.LG
Prototype-guided Bilateral Alignment Multimodal Federated Learning
Hong Kong Baptist University（香港浸会大学）；Sun Yat-Sen University（中山大学）
针对多模态联邦学习中模型异构与模态不平衡问题，提出MFedPBA框架，通过特征级投影编码器对齐和决策级熵加权logit原型聚合，显著优于现有基线。
2026-10-01 cs.AI cs.LG
Adaptive Federated Learning via Dynamical System Model
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对异构联邦学习中超参数调优成本高、收敛难的问题，提出将联邦学习建模为动力系统的自适应方法，通过单个全局超参数动态调控客户端与服务器的学习率和动量，实现更优收敛且无需繁琐调参。
2025-10-05 cs.LG cs.SY eess.SY
Differential Privacy Personalized Federated Learning Based on Dynamically Sparsified Client Updates
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；No.208 Research Institute of China Ordnance Industries（中国兵器工业第二〇八研究所）
针对差分隐私个性化联邦学习中个性化不足及隐私与性能平衡欠佳的问题，提出DP-pFedDSU方法，通过重参数化和自适应范数动态稀疏化客户端更新，有效减少噪声并提升模型性能。
2025-04-27 cs.CR cs.LG
Exploring Lightweight Federated Learning for Distributed Load Forecasting
Trinity College Dublin（都柏林圣三一学院）
本文提出用于分布式负荷预测的轻量级联邦学习方法，以全连接DNN在保护电表数据隐私的同时达到可比精度，并在Arduino Uno上实现低资源与低能耗部署。
2024-04-04 cs.LG cs.SY eess.SY
Loss-Guided Model Sharing and Local Learning Correction in Decentralized Federated Learning for Crop Disease Classification
INSA CVL, Université d’Orléans, PRISME Laboratory, EA 4229（INSA CVL，奥尔良大学，PRISME实验室，EA 4229）；INSA CVL, Université d’Orléans, LIFO Laboratory, EA 4229（INSA CVL，奥尔良大学，LIFO实验室，EA 4229）；Université d’Orléans, INSA CVL, PRISME Laboratory, EA 4229（奥尔良大学，INSA CVL，PRISME实验室，EA 4229）
本文提出一种基于验证损失引导模型共享和局部学习校正的去中心化联邦学习框架，利用PlantVillage数据集和三种深度学习架构进行实验，结果表明该方法显著提升了作物病害分类的准确率、收敛速度及在异构数据环境中的鲁棒性。
2025-05-29 cs.LG
Practical Validity Conditions for Byzantine-Tolerant Federated Learning
Aalto University（奥卢大学）；Technical University Berlin（柏林技术大学）；German Research Foundation（德国研究基金会）
本文提出最小包围球有效性条件及其放松形式c-MEB有效性，为联邦学习提供更实用的有效性保障，适用于多数客户端诚实的情况，并与传统有效性条件建立联系。
2026-05-15 cs.LG
AMI-FML: A Privacy-Preserving Federated Machine Learning Framework for AMI
New Mexico State University（新墨西哥州立大学）
基于机器学习（ML）的智能电表数据分析对于高级计量基础设施（AMI）中的能源管理和需求响应应用非常有前途。为AMI开发分布式ML应用程序的一个关键挑战是保护用户隐私，同时允许终端用户积极参与。本文解决了这一挑战，并提出了一个隐私保护的联邦学习框架，在AMI的ML应用程序。我们将每个智能电表视为托管ML应用程序的联合边缘设备，该ML应用程序定期与中央聚合器或数据集中器交换信息。ML模型权重被传输到聚合器以保护隐私，而不是传输智能电表感测到的原始数据。聚合器处理这些参数，以设计一个强大的ML模型，可以在每个边缘设备上替换。我们还讨论了增强隐私和提高通信效率的策略，同时共享ML模型参数，适用于AMI中相对较慢的网络连接。我们展示了一个用例联邦ML（FML）应用程序，提高短期负荷预测（STLF）的建议框架。我们使用长短期记忆（LSTM）递归神经网络（RNN）模型进行STLF。在我们的架构中，我们假设有一个聚合器连接到一组智能电表。聚合器使用从联合智能仪表接收的学习模型梯度来生成聚合的、鲁棒的RNN模型，该模型提高了个体和聚合的STLF的预测准确性。我们的研究结果表明，使用FML，预测精度提高，同时保护最终用户的数据隐私。
2021-12-15 cs.LG cs.SY eess.SY
Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering
Pennsylvania State University（宾夕法尼亚州立大学）；Dartmouth College（达特茅斯学院）
研究联邦语言模型中隐私敏感数据泄露问题，发现中间轮次模型快照及恶意参与者篡改选择性权重会加剧泄露，提出无梯度攻击方法，提升了成员推理召回率和私有数据重建率，还给出客户端防御隐私风险的技术建议。
2026-07-21 cs.CR cs.LG
Federated Learning for ICD Classification with Lightweight Models and Pretrained Embeddings
EuroMov Digital Health in Motion, Univ. Montpellier, IMT Mines Ales（EuroMov数字健康运动、蒙彼利埃大学、IMT Mines Ales）
本文研究了使用MIMIC-IV数据集中的临床笔记进行多标签ICD代码分类的联邦学习可行性与性能，提出了一种结合冻结文本嵌入和简单多层感知机分类器的轻量级可扩展流程，展示了在分布式医疗环境中隐私保护和部署高效的替代方案。
2026-05-19 cs.CL cs.IR cs.LG
Client Recruitment for Federated Learning in ICU Length of Stay Prediction
KU Leuven（鲁汶大学）；STADIUS Center for Dynamical Systems（STADIUS动力系统中心）；Signal Processing and Data Analytics（信号处理与数据分析（机构））
本研究针对联邦学习在医疗数据分散、隐私受限场景下的应用痛点，提出仅基于客户端输出分布与样本量的招募方法，在ICU住院时长预测任务中实现性能提升与训练加速。
2023-04-28 cs.AI cs.LG
Self-Play Enhancement via Advantage-Weighted Refinement in Online Federated LLM Fine-Tuning
Purdue University（普渡大学）；Yonsei University（延世大学）；University at Buffalo-SUNY（布法罗大学-苏尼扬大学）
本文提出SPEAR算法，通过反馈引导的自我扮演循环生成对比对，利用标准最大似然和置信度加权不似然训练，在无需昂贵组生成和真实上下文的情况下实现高效的在线联邦LLM微调。
2026-09-29 cs.LG
Federated Block-Term Tensor Regression for decentralised data analysis in healthcare
KU Leuven（鲁汶大学）
本文提出联邦块项张量回归 FBTTR，在保护隐私的去中心化医疗场景中协作建模，并在 ECoG 手指解码和心脏病预测任务上优于对比方法。
2024-12-02 cs.LG
BAFFLE: A Baseline of Backpropagation-Free Federated Learning
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Tencent Inc.（腾讯公司）；Sea AI Lab
BAFFLE提出无反向传播联邦学习，用前向过程估计梯度，降低客户端计算与存储开销，增强隐私与硬件兼容性，实验验证其有效。
2024-07-21 cs.AI cs.CR cs.DC
A Federated Learning-based Industrial Health Prognostics for Heterogeneous Edge Devices using Matched Feature Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）前沿人工智能研究中心）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）
针对边缘设备数据异构性挑战，提出一种基于特征相似度匹配参数聚合的联邦学习工业健康预测模型，通过选择性平均相似神经元保留本地特征，在电池和发动机数据上显著提升了预测精度。
2023-05-18 cs.AI cs.LG
