FedAvg for HAR: Exploring the Tradeoff Between Personalized and Generalization Accuracy
IEEE（电气和电子工程师协会）
研究联邦学习中模型个性化与泛化能力的权衡，设计实现多种测试场景，将FedAvg算法用于人类活动识别领域进行实验，呈现结果以了解权衡情况。
2026-07-07 cs.AI cs.LG
From Centralized to Decentralized Federated Learning: Theoretical Insights, Privacy Preservation, and Robustness Challenges
Aalborg University（奥尔堡大学）；IP Paris（巴黎理工学院）；University of Luxembourg（卢森堡大学）
本文从训练协议（分离聚合与联合优化）的新视角系统综述集中式与去中心化联邦学习，揭示其在模型效用、隐私和鲁棒性上的差异，并指出基于分布式优化的DFL方向尚未充分探索。
2025-03-10 cs.AI cs.DC cs.LG
White-box Inference Attacks against Centralized Machine Learning and Federated Learning
Donghua University（东华大学）
随着信息科学技术的发展，各行各业产生了海量的数据，机器学习被广泛应用于大数据的分析。但如果机器学习应用的客户隐私无法得到保障，则会对用户个人隐私信息和服务提供商造成安全威胁和损失。因此，机器学习的隐私保护问题受到广泛关注。对于集中式机器学习模型，我们评估了不同神经网络层、梯度、梯度范数和微调模型对先验知识下成员推理攻击性能的影响;对于联邦学习模型，我们讨论了攻击者在目标模型中的位置及其攻击模式。结果表明，集中式机器学习模型在各方面都表现出更严重的成员信息泄露，攻击者在中心参数服务器上作为参与者进行的攻击准确率明显高于本地推理攻击。
2022-12-15 cs.CR cs.LG
A Hybrid Architecture for Federated and Centralized Learning
Duzce University（杜兹大学）；University of Luxembourg（卢森堡大学）；Koc University（科奇大学）；University of Hertfordshire（赫特福德大学）
许多机器学习任务依赖于集中式学习（CL），这需要将本地数据集从客户端传输到参数服务器（PS），从而带来巨大的通信开销。为了克服这一点，联邦学习（FL）被认为是一种有前途的工具，其中客户端只向PS发送模型更新，而不是整个数据集。然而，FL要求客户端提供强大的计算资源。在实践中，并非所有客户端都具有足够的计算资源来参与训练。为了解决这种常见的情况，我们提出了一种更有效的方法，称为混合联邦和集中式学习（HFCL），其中只有具有足够资源的客户端使用FL，而其余的客户端将其数据集发送到PS，PS代表它们计算模型。然后，在PS处聚合模型参数。为了提高数据集传输的效率，我们提出了两种不同的技术：i）增加每个客户端的计算量和ii）顺序数据传输。值得注意的是，HFCL框架优于FL，当只有一半的客户端执行FL时，学习准确性提高了20%，同时通信开销比CL少50%，因为所有客户端都在学习过程中与他们的数据集合作。
2022-06-01 cs.IT cs.LG eess.SP
Federated Learning Architectures: A Performance Evaluation with Crop Yield Prediction Application
Department of Computer Science Mahishadal Raj College, Mahishadal, West Bengal, 721628, India；Distributed Systems (CLOUDS) Laboratory, \ of Computing；Information Systems, The University of Melbourne, Victoria, 3052, Australia
本文评估了集中式和分布式联邦学习架构在作物产量预测中的性能，发现集中式架构在响应时间上优于传统云方案，且两种架构均实现了超过97%的预测准确率。
2024-08-06 cs.LG
Centralized vs. Federated Learning for Educational Data Mining: A Comparative Study on Student Performance Prediction with SAEB Microdata
本研究针对巴西教育数据的隐私合规问题，对比联邦学习FedProx算法与集中式XGBoost模型在SAEB超200万条学生数据上的成绩预测效果，发现联邦模型以微小性能损失实现隐私保护，为合规构建教育协作预测模型提供可行方案。
2025-08-27 cs.CY cs.LG
Hybrid Federated and Centralized Learning
Koc University（科克大学）；United States CCDC Army Research Laboratory（美国CCDC陆军研究实验室）
许多机器学习（ML）任务都集中在集中式学习（CL）上，这需要将本地数据集从客户端传输到参数服务器（PS），从而导致巨大的通信开销。联邦学习（FL）通过允许客户端仅将模型更新而不是整个数据集发送到PS来克服这个问题。通过这种方式，FL将学习带到边缘级别，其中客户端需要强大的计算资源。由于边缘设备的计算能力不同，这一要求可能并不总是得到满足。我们通过一种新的混合联邦和集中式学习（HFCL）框架来解决这个问题，通过利用客户端的计算能力来有效地训练学习模型。在HFCL中，只有拥有足够资源的客户端使用FL;其余客户端通过将其本地数据集传输到PS来诉诸CL。这允许所有客户端在学习过程中进行协作，而不管其计算资源如何。我们还提出了一个顺序的数据传输方法与HFCL（HFCL-SDT），以减少训练时间。所提出的HFCL框架在学习精度（通信开销）方面优于先前提出的基于非混合FL（CL）的方案，因为所有客户端都在学习过程中与其数据集合作，而不管其计算资源如何。
2021-02-15 cs.DC cs.IT cs.LG
Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning
University of Sydney（悉尼大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文探讨了集中式与去中心化联邦学习的泛化与稳定性差距，证明在平滑非凸目标下集中式泛化更优且部分参与最佳，并指出去中心化需满足拓扑条件以防性能崩溃，实验验证了理论分析。
2024-10-12 cs.LG math.OC
A Differentially Private Federated Proximal Optimization Framework for Customer Churn Prediction in Heterogeneous Federated Telecom Networks
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；University of New England（新英格兰大学）；Ulster University（阿尔斯特大学）
针对电信异构数据下客户流失预测的隐私问题，提出DP-FedProx差分隐私联邦近端优化框架，在公开数据集上以略降精度实现与集中式相当的预测性能，并兼顾隐私保护。
2026-09-14 cs.LG
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.（谷歌公司）
联邦学习（FL）支持从分散的隐私敏感数据中学习，对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL，其中包括一个额外的损失计算在协调服务器（同时保持FL的私人数据限制）。有许多好处。例如，可以利用附加的数据中心数据来联合地从集中式（数据中心）和分散式（联合）训练数据学习，并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算（例如，嵌入正则化）到服务器，大大减少了通信和客户端计算负载。对于这些和其他混合FL用例，我们提出了三种算法：并行训练，单向梯度转移和双向梯度转移。我们国家的收敛范围，并给予直觉，适合特定的混合FL问题。最后，我们进行了广泛的实验上的三个任务，表明混合FL可以混合训练数据，以实现预言的准确性上的推理分布，并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
Byzantine-Robust Aggregation for Securing Decentralized Federated Learning
atlanTTic Research Center – ICLAB – Universidade de Vigo（atlanTTic研究中心 – ICLAB – 维戈大学）
提出WFAgg算法，通过多过滤器识别和缓解拜占庭攻击，增强去中心化联邦学习的安全性，在多种攻击场景下优于现有集中式方案。
2026-06-26 cs.AI cs.LG
Improved Modelling of Federated Datasets using Mixtures-of-Dirichlet-Multinomials
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Apple（苹果公司）
针对联邦学习训练慢导致调优受限的问题，提出一种完全联邦的Dirichlet-Multinomial混合模型算法，高效学习真实客户端分布以划分集中式代理数据，显著提升了服务器端训练模拟的准确性。
2024-06-04 cs.DC cs.LG
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Accelerated Federated Learning with Decoupled Adaptive Optimization
Auburn University（奥本大学）；Sony AI（索尼人工智能）；Baidu Research（百度研究院）；University of Oregon（俄勒冈大学）
联邦学习（FL）框架使边缘客户端能够协作学习共享的推理模型，同时保持客户端上训练数据的隐私。近年来，已有许多学者致力于推广集中式自适应优化方法，如SGDM、Adam、AdaGrad等，用于改进收敛性和准确性的联合设置。然而，在联邦环境中，关于在哪里以及如何设计和利用自适应优化方法的理论原则仍然缺乏。本文从常微分方程动力学的角度出发，提出了一种新的FL自适应优化方法。首先，建立一个分析框架来建立联邦优化方法与相应集中式优化器的ODE分解之间的联系。其次，基于这个分析框架，动量解耦自适应优化方法，FedDA，充分利用全局动量的每一个局部迭代，加快训练收敛。最后，在训练过程的最后，利用整批梯度来模拟集中式优化，以确保收敛性并克服自适应优化方法可能导致的不一致性。
2022-07-14 cs.LG
Second-Order Guarantees in Federated Learning
School of Engineering, \' E cole Polytechnique F\' e d\' e rale de Lausanne
联邦学习是一个有用的框架，用于在考虑异构性、保密性和隐私性的实际情况下从分布式数据进行集中式学习。联邦架构经常部署在深度学习环境中，这通常会引起非凸优化问题。然而，大多数现有的分析要么局限于凸损失函数，要么只建立一阶平稳性，尽管已知一阶平稳的鞍点在深度学习中构成瓶颈。我们利用最近的结果在集中和分散设置的随机梯度算法的二阶最优性，并建立二阶保证一类联邦学习算法。
2020-12-02 cs.LG cs.MA eess.SP
From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
该研究将差分隐私机器学习建模为噪声不动点迭代，并据此为集中式、联邦式和完全去中心化学习提出隐私 ADMM 算法，证明其隐私放大与线性收敛效用保证。
2023-07-12 cs.CR cs.DC cs.LG
Early prediction of the risk of ICU mortality with Deep Federated Learning
Stockholm University（斯德哥尔摩大学）
本研究评估深度联邦学习在早期预测ICU死亡风险中的能力，比较显示其性能与集中式方法相当且显著优于本地方法，为隐私保护下的跨医院ICU死亡预测提供可行解决方案。
2022-12-05 cs.AI cs.LG
Federated Learning for Distributed CNC Tool Wear Prediction
Maastricht University（马斯特里赫特大学）
本文针对分布式CNC加工中数据分布与共享限制的问题，采用联邦学习框架训练刀具磨损预测模型，其性能接近集中式学习且显著优于本地模型，为分布式CNC制造提供了协作式预测方案。
2026-09-24 cs.AI cs.LG
SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加利福尼亚大学）
联邦学习（FL）正在将ML训练生态系统从集中式云环境转变为边缘设备上的分布式训练，以加强数据隐私。FL中一个重要但很少研究的挑战是边缘的标签缺陷。与集中式训练相比，这个问题在FL中更加突出，因为FL用户通常不愿意标记他们的私人数据。此外，由于边缘设备上数据的异构性，开发个性化模型至关重要。在本文中，我们提出了自我监督的联邦学习（SSFL），一个统一的自我监督和个性化的联邦学习框架，以及一系列的算法在这个框架下，努力解决这些挑战。首先，在SSFL框架下，我们证明了标准FedAvg算法与最近在集中式自监督学习（如SimSiam网络）中的突破是兼容的。此外，为了处理该框架中边缘设备的数据异构性，我们创新了一系列算法，将现有的监督个性化算法扩展到自监督学习的设置中。我们进一步提出了一种新的个性化联邦自监督学习算法Per-SSFL，它通过仔细调节数据的局部和全局表示之间的距离来平衡个性化和共识。为了提供一个全面的比较分析，所有提出的算法，我们还开发了一个分布式的训练系统和相关的评估协议的SSFL。我们的研究结果表明，监督学习和无监督学习在外语学习中的评价准确率差距很小，而且是合理的。性能比较表明，基于表示正则化的个性化方法能够优于其他变体。
2021-10-06 cs.AI cs.LG
Exploring Federated Learning for Thermal Urban Feature Segmentation -- A Comparison of Centralized and Decentralized Approaches
Scientific Computing Center (SCC), Karlsruhe Institute of Technology (KIT)（科学计算中心（SCC），卡尔斯鲁厄理工学院（KIT））；Institute for Industrial Production (IIP), Karlsruhe Institute of Technology (KIT)（工业生产研究所（IIP），卡尔斯鲁厄理工学院（KIT））；Instituto de Física de Cantabria (IFCA), CSIC-UC（坎塔布里物理研究所（IFCA），CSIC-UC）
本文研究了联邦学习在基于无人机热成像的城市特征分割任务中的实际应用，比较了集中式与去中心化方法在准确率、训练时间、通信开销和能耗等指标上的表现，为FL在真实场景中的部署提供了参考。
2025-11-04 cs.AI cs.LG
Principled Federated Random Forests for Heterogeneous Data
Inria（法国国家信息与自动化研究所）；PreMeDICaL（预医学实验室）；Inserm（法国国家医学研究院）；University of Montpellier（蒙彼利埃大学）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎城市大学）；CNRS（国家科学研究中心）；LPSM（巴黎高等师范学院）
本文提出FedForest，一种适用于水平分割数据的联邦随机森林算法，能自然处理客户端数据异质性，通过聚合精心选择的客户端统计信息近似集中算法的分裂过程，并实现非参数化个性化。
2026-05-07 cs.LG stat.ML
Edge-cloud Collaborative Learning with Federated and Centralized Features
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；The University of Utah（犹他大学）
本文提出边缘-云协同知识迁移框架ECCT，通过双向共享特征嵌入和预测logits，解决联邦学习中云服务器仅做模型聚合的局限，在增强个性化、支持模型异构和异步训练的同时减轻通信负担，并在公开与工业数据集上验证了有效性。
2023-04-12 cs.IR cs.LG
Overcoming the Challenges of Batch Normalization in Federated Learning
EPFL（洛桑联邦理工学院）；Sorbonne Université（索邦大学）；Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、法国国立高等工程技术学校雷恩分校）
本文提出联邦批归一化（FBN），解决联邦学习中批归一化因外部协变量偏移和统计不一致而失效的问题，恢复其训练加速与精度提升优势，并增强鲁棒性以抵御错误统计和对抗攻击。
2024-05-23 cs.LG
Improving Fairness via Federated Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近，已经提出了许多算法来从分散数据中学习公平分类器。然而，许多理论和算法问题仍然是开放的。首先，联邦学习是否必要，即，我们是否可以简单地训练当地公平的分类人员并将其汇总？在这项工作中，我们首先提出了一个新的理论框架，我们证明了联邦学习可以严格提高模型公平性相比，这样的非联邦算法。然后，我们从理论上和经验表明，基于FedAvg的公平学习算法的性能权衡严格比集中式数据训练的公平分类器差。为了弥合这一差距，我们提出了FedFB，一个私人公平的学习算法分散的数据。关键思想是修改FedAvg协议，使其能够有效地模仿集中式公平学习。我们的实验结果表明，FedFB显著优于现有方法，有时与集中训练模型的性能相匹配。
2022-12-07 cs.LG
Better Methods and Theory for Federated Learning: Compression, Client Selection and Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
联邦学习（FL）是涉及多个客户端的新兴机器学习范例，例如，移动电话设备，具有协作解决由中央服务器协调的机器学习问题的激励。FL是由Konečnet al.和McMahan et al.在2016年提出的，作为传统集中式机器学习的一种可行的隐私保护替代方案，因为通过构造，训练数据点是分散的，并且永远不会由客户端传输到中央服务器。因此，FL在一定程度上减轻了与集中式数据汇集相关的隐私风险。不幸的是，FL的优化面临着集中式优化通常不需要处理的几个特定问题。在这篇论文中，我们确定了这些挑战中的一些，并提出了新的方法和算法来解决这些问题，最终目标是使实际的FL解决方案支持数学上严格的保证。
2022-07-01 cs.LG stat.ML
Fairness-aware Agnostic Federated Learning
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
联邦学习是一种新兴的框架，它使用分布在多个设备上的训练数据构建集中式机器学习模型。以往关于联邦学习的研究主要集中在隐私保护和降低通信成本方面。然而，如何在联邦学习中实现公平性，特别是当测试数据分布与训练分布不同甚至未知时，还没有得到充分的探索和挑战。在集中式模型上引入简单的公平性约束，无法在未知测试数据上实现模型公平性。在本文中，我们开发了一个公平意识的不可知的联邦学习框架（AgnosticFair），以应对未知的测试分布的挑战。我们使用核重权函数在损失函数和公平性约束中为每个训练样本分配一个重权值。因此，基于AgnosticFair构建的集中式模型能够在未知测试数据上实现高精度和公平性的保证。此外，所建立的模型可以直接应用于本地站点，因为它保证了本地数据分布的公平性。据我们所知，这是实现联邦学习公平性的第一项工作。在两个真实数据集上的实验结果表明，在数据转移场景下，该方法在效用和公平性方面都是有效的。
2020-10-10 cs.CY cs.LG
On Vessel Location Forecasting and the Effect of Federated Learning
University of Piraeus（比雷埃夫斯大学）；Kpler（Kpler公司）；University of the Aegean（爱琴海大学）
本文针对船舶位置预测（VLF）问题，提出了基于LSTM神经网络的集中式Nautilus和联邦式FedNautilus两种解决方案，验证了集中式方法的优越性并分析了联邦学习与集中式方法的优缺点。
2024-05-30 cs.LG
Multi-objective Evolutionary Federated Learning
University of Surrey（萨里大学）
联邦学习是一种新兴的技术，用于防止私人信息的泄漏。与需要从用户收集数据并将其集中存储在云服务器上的集中式学习不同，联邦学习可以在数据分布在用户设备上的同时学习全局模型。然而，与传统的集中式方法相比，联邦设置消耗了大量的客户端通信资源，这是更新全局模型所不可或缺的，并阻碍了该技术的广泛应用。在本文中，我们的目标是使用多目标进化算法优化联邦学习中的神经网络模型的结构，同时最小化通信成本和全局模型测试误差。一种用于编码网络连接性的可扩展方法适用于联邦学习，以提高进化深度神经网络的效率。在多层感知器和卷积神经网络上的实验结果表明，所提出的优化方法能够找到优化的神经网络模型，与标准的全连接神经网络相比，不仅能够显著降低通信开销，而且能够提高联邦学习的学习性能.
2019-06-08 cs.AI cs.LG stat.ML
FLICU: A Federated Learning Workflow for Intensive Care Unit Mortality Prediction
Stockholm University（斯德哥尔摩大学）；Getinge（洁定）；QRIOS IT
尽管机器学习（ML）可以被视为改善临床决策以支持改善药物计划、临床程序、诊断或药物处方的有前途的工具，但它仍然受到医疗保健数据访问的限制。医疗保健数据是敏感的，需要严格的隐私实践，并且通常存储在数据孤岛中，这使得传统的机器学习具有挑战性。联邦学习可以通过在数据孤岛上训练机器学习模型来抵消这些限制，同时保持敏感数据的本地化。本研究提出了一种用于ICU死亡率预测的联邦学习工作流程。因此，通过将联邦学习引入预测ICU死亡率的二进制分类问题，研究了联邦学习作为集中式机器学习和局部机器学习的替代方案的适用性。我们从MIMIC-III数据库中提取多变量时间序列数据（实验室值和生命体征），并对四种深度顺序分类器（FRNN，LSTM，GRU和1DCNN）的预测性能进行基准测试，这些分类器改变了患者病史窗口长度（8小时，16小时，24小时，48小时）和FL客户端数量（2，4，8）。实验表明，集中式机器学习和联邦学习在AUPRC和F1分数方面是相当的。此外，联邦方法显示出优于本地机器学习的性能。因此，当医院之间无法共享敏感患者数据时，联邦方法可以被视为集中式机器学习的有效且保护隐私的替代方案，用于对ICU死亡率进行分类。
2022-05-30 cs.LG
Privacy-preserving federated prediction of pain intensity change based on multi-center survey data
University of Hamburg（汉堡大学）；University Medical Center Hamburg-Eppendorf（汉堡-埃彭多夫大学医学中心）；University of Southern Denmark（南丹麦大学）；Næstved-Slagelse-Ringsted Hospitals（奈斯特韦兹-斯拉厄尔瑟-灵斯泰兹医院）
针对多中心医疗调查数据难集中、隐私风险高的问题，本研究提出隐私保护联邦学习方法，在两个数据集上验证其模型性能接近或优于集中式模型、显著优于本地模型，可在保护隐私的同时构建高质量预后模型。
2024-09-12 cs.LG
FedER: Federated Learning through Experience Replay and Privacy-Preserving Data Synthesis
University of Catania（卡塔尼亚大学）；University of Turin（都灵大学）
在医学领域，多中心合作往往是寻求通过利用患者和临床数据的异质性产生更普遍的结果。然而，最近的隐私法规阻碍了共享数据的可能性，从而阻碍了提出支持诊断和预后的基于机器学习的解决方案。联邦学习（FL）旨在通过将基于AI的解决方案带给数据所有者并仅共享本地AI模型或其中需要聚合的部分来避开这一限制。然而，大多数现有的联邦学习解决方案仍处于起步阶段，并显示出几个缺点，从缺乏一个可靠和有效的聚合方案，能够保留本地学习到弱隐私保护的知识，因为真实数据可能会从模型更新重建。此外，这些方法中的大多数，特别是那些处理医疗数据的方法，依赖于集中式分布式学习策略，这带来了鲁棒性，可扩展性和信任问题。在本文中，我们提出了一种联邦和分散的学习策略FedER，该策略利用经验重放和生成对抗概念，有效地整合了本地节点的特征，提供了能够在多个数据集上推广的模型，同时保持隐私。FedER在两个任务上进行了测试-结核病和黑色素瘤分类-使用多个数据集来模拟现实的非i.i.d.医疗数据场景。结果表明，我们的方法实现了与标准（非联邦）学习相当的性能，并且在其集中式（因此更有利）制定中显着优于最先进的联邦方法。代码可在www.example.com上获得
2023-02-22 cs.AI cs.LG
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法，相对于被动和主动推理攻击者，并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击，以跟踪其训练数据记录。我们表明，一个简单的扩展已知的黑盒攻击的白盒设置（通过分析激活函数的输出）是无效的。因此，我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法，该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后，我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型，证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中，对抗性参与者如何成功地对其他参与者进行主动成员推理攻击，即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Network Anomaly Detection Using Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
由于网络流量的准确性和异构性，异常事件的检测具有挑战性。全局服务器上的计算负载在效率、准确性和可扩展性方面是一个重大挑战。我们的主要动机是引入一个强大的和可扩展的框架，使有效的网络异常检测。我们解决的问题，利用联邦学习，其中多个参与者训练一个全球性的模型联合网络异常检测的可扩展性和效率。与集中式训练架构不同，联邦学习不要求参与者将其训练数据上传到服务器，从而防止攻击者利用训练数据。此外，大多数先前的工作都集中在传统的集中式机器学习，使得联邦机器学习在网络异常检测中探索不足。因此，我们提出了一个深度神经网络框架，可以在中低端设备上工作，检测网络异常，同时检查来自特定IP地址的请求是否是恶意的。与多个传统的集中式机器学习模型相比，深度神经联邦模型减少了训练时间开销。所提出的方法比基线机器学习技术在UNSW-NB 15数据集上的性能更好，通过实验进行测量，准确率为97.21%，计算时间更快。
2023-03-13 cs.DC cs.LG
IBM Federated Learning: an Enterprise Framework White Paper V0.1
IBM Research（IBM研究院）
联邦学习（FL）是一种进行机器学习的方法，由于隐私、机密性或数据量的原因，无需将训练数据集中在单个位置。然而，解决联邦机器学习问题提出了集中式机器学习之外的问题。这些问题包括建立各方之间的通信基础设施，协调学习过程，整合各方成果，了解不同参与方的训练数据集的特点，处理数据异质性，以及在没有验证数据集的情况下进行操作。IBM联邦学习为联邦学习提供基础设施和协调。数据科学家可以基于现有的集中式机器学习模型设计和运行联邦学习作业，并可以提供有关如何运行联合的高级说明。该框架既适用于深度神经网络，也适用于最常见的机器学习库的“传统”方法。{ \proj }使数据科学家能够将其范围从集中式机器学习扩展到联合式，从而在一开始就最小化学习曲线，同时还提供部署到不同计算环境和设计自定义融合算法的灵活性。
2020-07-22 cs.CR cs.DC cs.LG
Federated Learning: A Signal Processing Perspective
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Princeton University（普林斯顿大学）
深度学习的巨大成功很大程度上归功于数据的可用性。数据样本通常在边缘设备上获取，例如智能手机，车辆和传感器，并且在某些情况下由于隐私考虑而无法共享。联合学习是一种新兴的机器学习范式，用于在多个边缘设备上训练模型，这些边缘设备保存本地数据集，而无需显式交换数据。以联邦方式学习不同于传统的集中式机器学习，并提出了几个核心的独特挑战和要求，这些挑战和要求与信号处理和通信领域研究的经典问题密切相关。因此，来自这些领域的专用方案预计将在联合学习的成功以及深度学习从集中式服务器领域向移动边缘设备的过渡中发挥重要作用。在本文中，我们为联邦学习提供了一个统一的系统框架，它封装并突出了使用信号处理工具自然处理的主要挑战。我们从信号处理的角度提出了联邦学习范式的一个公式，并调查了一组解决其独特挑战的候选方法。我们进一步提供了设计和适应信号处理和通信方法的指导方针，以促进大规模的联邦学习。
2021-08-23 cs.LG eess.SP
Federated generative event models for tokenized electronic health records
University of Chicago（芝加哥大学）；Northwestern University Feinberg School of Medicine（西北大学费恩伯格医学院）
本研究评估了面向分词电子健康记录的联邦生成事件模型（GEMs），其跨站点性能优于LightGBM，联邦学习（FedAvg、FedAvgM）表现接近集中式训练，为解决电子健康记录模型的数据孤岛问题提供了可行方案。
2026-08-05 cs.CY cs.LG
Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach
IIT Bombay（印度理工学院孟买分校）
物联网（IoT）在智能城市、医疗保健、供应链和交通运输等各个领域的关键作用使其成为恶意攻击的目标。过去在这方面的工作集中在集中式入侵检测系统（IDS），假设存在一个中央实体来执行数据分析和识别威胁。然而，这样的IDS可能并不总是可行的，主要是由于跨多个源的数据传播和在中央节点处的收集可能是昂贵的。此外，早期的工作主要集中在提高真阳性率（TPR），而忽略了假阳性率（FPR），这对于避免系统不必要的停机时间也是至关重要的。在本文中，我们首先提出了一种基于混合集成模型的入侵检测系统架构，命名为PHEC，它提供了改进的性能相比，国家的最先进的架构。然后，我们将此模型调整为联邦学习框架，该框架执行本地训练并仅聚合模型参数。接下来，我们提出了集中式和联邦设置中的噪声容忍PHEC，以解决标签噪声问题。所提出的想法使用分类器，使用加权凸代理损失函数。KNN分类器对噪声数据的自然鲁棒性也用于所提出的架构。在四个来自各种安全攻击的基准数据集上的实验结果表明，我们的模型在噪声和干净数据上保持低FPR的同时实现了高TPR。此外，他们还证明了混合集成模型在联邦设置中的性能接近于集中式设置。
2021-06-25 cs.AI cs.CR cs.LG
Get Rid Of Your Trail: Remotely Erasing Backdoors in Federated Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）；École nationale supérieure d’informatique（国立高等计算机学院）
本文面向联邦学习中的攻击者，提出基于机器遗忘的远程后门擦除方法，在保持模型性能、避免无关信息过度遗忘的同时隐蔽消除最先进攻击注入的后门。
2023-04-20 cs.CR cs.LG
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro（IEETA/DETI实验室，阿维罗大学）
本文提出基于PySyft的联邦随机森林框架，通过加权平均、增量学习和本地评估，在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization
Pillar of Information Systems Technology and Design（信息系统技术与设计学院）；School of Information Science and Engineering（信息科学与工程学院）；School of Cyber Science and Engineering（网络安全科学与工程学院）；National Mobile Communications Research Laboratory（国家移动通信研究实验室）；School of Electronic and Optical Engineering（电子与光学工程学院）；School of Electronics, Electrical Engineering and Computer Science (EEECS)（电子、电气工程与计算机科学学院）；Data61, CSIRO（Data61，CSIRO）；Department of Electronics Engineering（电子工程系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对FedAdam上行通信开销三倍于FedSGD的问题，本文提出FedAdam-SSM算法，通过共享稀疏掩码同时稀疏化模型参数与矩估计更新，并从理论上优化掩码以缓解性能下降，实验表明其在收敛速度和测试准确率上均显著优于稀疏及量化FedAdam基线。
2025-09-19 cs.DC cs.LG
A Survey on Federated Unlearning: Challenges and Opportunities
本文系统综述了联邦遗忘研究，梳理自2020年以来的方法分类、威胁模型与实验设置，揭示集中式遗忘方法难以直接迁移到联邦场景的独特挑战，并为未来研究提供方向。
2025-04-07 cs.AI cs.DC cs.LG
A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data
University of Dhaka（达卡大学）
针对联邦学习在非独立同分布数据上的精度与效率权衡问题，提出集中式和半集中式神经网络联邦学习系统，在五个基准数据集上取得满意性能。
2023-11-16 cs.AI cs.DC cs.LG
Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning
University of Tokyo（东京大学）
隐私敏感数据存储在自动驾驶汽车、智能设备或传感器节点中，这些设备可以四处移动，并相互进行机会性接触。在许多研究中，这些节点之间的联邦主要是在具有集中式机制的联邦学习的背景下讨论的。然而，由于多供应商问题，这些节点不希望为此目的依赖于由第三方运营的特定服务器。在本文中，我们提出了一个无线ad hoc联邦学习（WAFL）-一个完全分布式的合作机器学习组织的节点物理附近。WAFL可以从存储在本地分布式节点中的非IID数据集开发通用模型，通过机会性节点到节点接触来交换和聚合它们。在我们对各种机会网络进行的基于基准的评估中，WAFL的准确率为94.8-96.3%，高于自我训练的84.7%。我们的所有评估结果表明，WAFL可以训练和收敛的模型参数从高度分区的非IID数据集在机会网络没有任何集中的机制。
2022-10-07 cs.AI cs.LG cs.NI
Federated learning with class imbalance reduction
ShanghaiTech University（上海科技大学）；Shanghai Advanced Research Institute, Chinese Academy of Sciences (CAS)（中国科学院上海高等研究院）
联邦学习（FL）是一种很有前途的技术，其使得大量边缘计算设备能够协作地训练全局学习模型。由于隐私问题，设备上的原始数据无法用于集中式服务器。受频谱限制和计算能力的约束，只有一部分设备可以参与训练并将训练后的模型传输到集中式服务器进行聚合。由于本地数据分布在所有设备之间的差异，类不平衡问题随着不利的客户端选择而出现，导致全局模型收敛速度缓慢。在本文中，估计方案的目的是揭示类分布的原始数据的意识。在此基础上，提出了一种面向最小类别不平衡的设备选择算法，从而提高了全局模型的收敛性能。仿真结果验证了该算法的有效性。
2020-11-23 cs.AI cs.DC cs.LG
Learning Federated Representations and Recommendations with Limited Negatives
Google Research（谷歌研究院）；Google（谷歌）
深度检索模型广泛用于学习实体表示和推荐。联邦学习提供了一种保护隐私的方式来训练这些模型，而不需要集中用户数据。然而，由于客户端上的非IID（独立同分布）训练数据，联邦深度检索模型的性能通常比集中式模型差得多，这是联邦学习的固有属性，限制了可用于训练的负面影响。我们证明，这个问题是不同的，从通常研究的客户端漂移问题。这项工作提出了批量不敏感的损失，以减轻非IID负面问题的联合电影推荐。我们探索了各种技术，并发现批量不敏感的损失可以有效地提高联邦深度检索模型的性能，将联邦模型的相对召回率提高到93.15%，并将其与集中式模型之间的召回率相对差距从27.22% - 43.14%减少到0.53% -2.42%。我们还开源了我们的代码框架，以加速联邦深度检索模型的进一步研究和应用。
2021-11-02 cs.DC cs.LG
FedWalk: Communication Efficient Federated Unsupervised Node Embedding with Differential Privacy
Shanghai Jiao Tong University（上海交通大学）
节点嵌入旨在将复杂图中的节点映射到低维表示中。现实世界中的大规模图和标记的困难激发了无监督节点嵌入问题的广泛研究。尽管如此，以前的努力大多是在一个集中的设置，其中一个完整的图是给定的。随着人们对数据隐私意识的不断增强，只知道一个顶点及其邻居的数据持有者要求更大的隐私保护。在本文中，我们介绍了FedWalk，一个基于随机行走的无监督节点嵌入算法，它在这样一个节点级可见性图中运行，原始图信息保留在本地。FedWalk旨在提供具有数据隐私保护和高通信效率的集中式竞争图形表示功能。FedWalk实例化了流行的联邦范例，并包含三个模块。我们首先设计了一个层次聚类树（HCT）的构造器来提取每个节点的结构特征。动态时间规整算法无缝地处理不同节点之间的结构异质性。在此基础上，设计了一个随机游走发生器，其中序列编码器用于保护隐私，两跳邻居预测器用于节省通信开销。然后，生成的随机游走用于基于SkipGram模型更新节点嵌入。在两个大型图上进行的大量实验表明，Fed-Walk与集中式节点嵌入算法相比具有竞争力的代表性，仅损失了1.8%的Micro-F1分数和4.4%的Marco-F1分数，同时减少了约6.7次每次行走的设备间通信。
2022-06-01 cs.CR cs.DC cs.LG
BAFFLE : Blockchain Based Aggregator Free Federated Learning
School of Industrial and Systems Engineering Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）；TieSet Inc.（TieSet公司(或TieSet Inc.)）
联邦学习（FL）的一个关键方面是需要一个集中式聚合器来维护和更新全局模型。然而，在许多情况下，由于许多操作限制，编排集中式聚合器可能是不可行的。在本文中，我们介绍了BAFFLE，这是一个无聚合器，区块链驱动的FL环境，本质上是分散的。BAFFLE利用智能合约（SC）来协调FL中的回合划分、模型聚合和更新任务。BAFFLE通过将全局参数空间分解为不同的块，然后采用得分和出价策略来提高计算性能。为了表征BAFFLE的性能，我们在私有以太坊网络上进行了实验，并使用集中式和聚合器驱动的方法作为我们的基准。我们表明，与基于聚合器的方法的直接适应相比，BAFFLE显着降低了区块链上FL的天然气成本。我们的研究结果还表明，BAFFLE实现了高的可扩展性和计算效率，同时提供类似的精度作为基准方法。
2020-10-18 cs.CR cs.DC cs.LG
Fedstellar: A Platform for Decentralized Federated Learning
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；Armasuisse Science and Technology（阿马苏斯科技公司）
本文提出Fedstellar平台，扩展自p2pfl库，支持在异构物理或虚拟设备联邦中以去中心化、半去中心化和中心化方式训练联邦学习模型，并在网络攻击检测及MNIST、CIFAR-10分类任务中验证了其性能与效率优势。
2024-04-08 cs.AI cs.DC cs.LG
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China（中国科学技术大学）
针对多中心医疗数据的隐私和分布式特性，提出基于联邦学习的分布式协作建模方法，实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Aalborg University（奥尔堡大学）；University of Twente（特温特大学）；Netherlands Defence Academy（荷兰国防学院）；Delft University of Technology（代尔夫特理工大学）
针对去中心化联邦学习是否更具隐私收益的争议，本文通过信息论分析证明分布式优化可使隐私损失不超过中心化FL，并以逻辑回归和深度神经网络案例验证复杂模型风险更低。
2024-11-30 cs.AI cs.IT cs.LG
FedST: Secure Federated Shapelet Transformation for Time Series Classification
Harbin Institute of Technology（哈尔滨工业大学）
本文提出FedST，一种在联邦学习下基于形状let的时间序列分类框架，通过安全且高效的协议与优化，实现了高准确率和三个数量级的加速。
2024-08-17 cs.DB cs.LG
FedCV: A Federated Learning Framework for Diverse Computer Vision Tasks
University of Southern California（南加州大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯AI Lab）
联邦学习（FL）是一种分布式学习范式，可以从边缘设备上的分散数据集学习全局或个性化模型。然而，在计算机视觉领域，由于缺乏统一的FL框架在不同任务中的探索，FL中的模型性能远远落后于集中训练。FL在高级计算机视觉任务中，如目标检测和图像分割中很少被有效地证明。为了弥合差距，促进FL的计算机视觉任务的发展，在这项工作中，我们提出了一个联邦学习库和基准测试框架，名为FedCV，评估FL的三个最具代表性的计算机视觉任务：图像分类，图像分割，和目标检测。我们提供非身份证。基准测试数据集、模型和各种参考FL算法。我们的基准研究表明，有多种挑战值得未来探索：集中式训练技巧可能不会直接应用于FL;非I.I.D.在不同的任务中，数据集实际上在一定程度上降低了模型的准确性;考虑到大量的参数和每个客户端的内存成本，提高联邦训练的系统效率是一项挑战。我们相信，这样的库和基准，以及可比较的评估设置，是必要的，以取得有意义的进展，在FL的计算机视觉任务。FedCV是公开的：https://github.com/FedML-AI/FedCV。
2021-11-22 cs.AI cs.CV cs.LG
OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国）；Shenzhen Research Institute of Big Data, Shenzhen, China（深圳大数据研究院，深圳，中国）；Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学计算机科学与工程系，深圳，中国）；Department of Electrical and Electronic Engineering, The University of Hong Kong, Hong Kong, China（香港大学电子与电气工程系，香港，中国）；Yinwang Intelligent Technology Co. Ltd., Shenzhen, China（云网智能科技有限公司，深圳，中国）
本文提出OmniISR框架，通过中间监督和正则化信号融合纯集中学习、纯联邦学习和混合集中-联邦学习训练模式，解决了集中学习和联邦学习之间的不兼容优化问题，并在理论上推导了收敛界、联邦漂移界、梯度对齐保证和逃逸时间界。
2026-05-19 cs.LG
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间科学与技术学院）
针对去中心化联邦学习中数据异构性导致的收敛慢与泛化差问题，提出基于Catalyst加速的DFedCata算法，结合Moreau包络与Nesterov外推提升性能，并从理论与实验验证了其有效性。
2024-10-09 cs.LG
