IBM Federated Learning: an Enterprise Framework White Paper V0.1
IBM Research（IBM研究院）
联邦学习（FL）是一种进行机器学习的方法，由于隐私、机密性或数据量的原因，无需将训练数据集中在单个位置。然而，解决联邦机器学习问题提出了集中式机器学习之外的问题。这些问题包括建立各方之间的通信基础设施，协调学习过程，整合各方成果，了解不同参与方的训练数据集的特点，处理数据异质性，以及在没有验证数据集的情况下进行操作。IBM联邦学习为联邦学习提供基础设施和协调。数据科学家可以基于现有的集中式机器学习模型设计和运行联邦学习作业，并可以提供有关如何运行联合的高级说明。该框架既适用于深度神经网络，也适用于最常见的机器学习库的“传统”方法。{ \proj }使数据科学家能够将其范围从集中式机器学习扩展到联合式，从而在一开始就最小化学习曲线，同时还提供部署到不同计算环境和设计自定义融合算法的灵活性。
2020-07-22 cs.CR cs.DC cs.LG
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）
联合机器学习使得资源受限的节点设备（例如，移动电话和IoT设备）学习共享模型，同时保持训练数据本地，可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而，不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击，这已经被证明是对大多数机器学习模型的巨大威胁。在本文中，我们试图探讨联邦机器学习的脆弱性。更具体地说，我们专注于攻击一个联邦多任务学习框架，这是一个联邦学习框架，通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划，是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习（AT2FL），该方法可以有效地推导出中毒数据的隐式梯度，并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究，考虑数据投毒攻击的问题，联邦学习。最后，在真实数据集上的实验结果表明，联邦多任务学习模型对投毒攻击非常敏感，无论攻击者是直接投毒目标节点，还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Federated Learning Versus Classical Machine Learning: A Convergence Comparison
Nagoya Institute of Technology（名古屋工业大学）
在过去的几十年里，机器学习已经彻底改变了大规模应用的数据处理。与此同时，趋势应用程序中越来越多的隐私威胁导致了对经典数据训练模型的重新设计。特别是，经典的机器学习涉及集中式数据训练，其中收集数据，整个训练过程在中央服务器上执行。尽管有显著的融合，但当与中央云服务器共享时，此培训涉及参与者数据的几个隐私威胁。为此，联邦学习在分布式数据训练中取得了显著的重要性。特别地，联邦学习允许参与者在本地数据上协作地训练本地模型，而不向中央云服务器泄露他们的敏感信息。在本文中，我们在两个公开可用的数据集，即逻辑回归-MNIST数据集和图像分类-CIFAR-10数据集上，对经典机器学习和联邦学习进行了收敛性比较。仿真结果表明，联邦学习在保持参与者匿名性的同时，在有限的通信轮数内实现了更高的收敛性。我们希望这项研究能够显示出它的好处，并帮助联邦学习得到广泛的实施。
2021-07-22 cs.DC cs.LG
Exploring Machine Learning Models for Federated Learning: A Review of Approaches, Performance, and Limitations
Data Science and Analytics Institute, University of Oklahoma（俄克拉荷马大学数据科学与分析学院）；School of Industrial and Systems Engineering, University of Oklahoma（俄克拉荷马大学工业与系统工程学院）；Isfahan University of Technology（伊斯法罕理工大学）
本文基于PRISMA指南系统综述了联邦学习框架下的多种机器学习算法及其应用，从机器学习视角为研究者提供全面概述并探讨未来方向。
2023-11-17 cs.AI cs.LG
Decision Models for Selecting Federated Learning Architecture Patterns
CSIRO Data61（联邦科学与工业研究组织数据61研究所）；University of New South Wales（新南威尔士大学）
针对联邦学习架构设计中模式选择难的问题，本文基于系统性文献综述提出一组将功能与非功能需求映射到模式并说明弊端的决策模型，经大厂架构验证可规范设计流程、明确设计依据。
2023-04-28 cs.LG cs.SE
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
A Systematic Literature Review on Federated Machine Learning: From A Software Engineering Perspective
CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
联邦学习是一种新兴的机器学习范例，其中客户端在本地训练模型并基于本地模型更新来制定全局模型。为了识别联邦学习的最新技术并探索如何开发联邦学习系统，我们从软件工程的角度进行了系统的文献综述，基于231项主要研究。我们的数据综合涵盖了联邦学习系统开发的生命周期，包括背景理解、需求分析、架构设计、实现和评估。我们强调并总结了结果中的发现，并确定了未来的趋势，以鼓励研究人员推进他们目前的工作。
2021-05-28 cs.DC cs.LG cs.SE
Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging
Imperial College London（帝国理工学院）
联合学习能够在许多参与者的情况下大规模训练协作机器学习模型，同时保护其数据集的隐私。标准的联邦学习技术容易受到拜占庭式故障、有偏见的本地数据集和中毒攻击的影响。在本文中，我们介绍了自适应联邦平均，一种新的算法，强大的联邦学习，旨在检测故障，攻击和不良更新的参与者提供的协作模型。我们提出了一个隐马尔可夫模型来建模和学习每个参与者在训练过程中提供的模型更新的质量。与现有的强大的联邦学习计划相比，我们提出了一个强大的聚合规则，在每次训练迭代中检测和丢弃坏的或恶意的局部模型更新。这包括阻止不需要的参与者的机制，这也提高了计算和通信效率。我们在4个真实数据集上的实验评估表明，我们的算法对错误，噪声和恶意参与者的鲁棒性明显更强，同时比其他最先进的强大联邦学习方法（如Multi-KRUM和坐标中值）在计算上更有效。
2019-09-11 cs.DC cs.LG stat.ML
FedGrad: Optimisation in Decentralised Machine Learning
CHARUSAT（查鲁萨特大学）
联邦学习是一种机器学习范例，我们的目标是以分布式方式训练机器学习模型。许多客户端/边缘设备相互协作，以便在中心上训练单个模型。客户端不会彼此共享自己的数据集，从而在同一设备上解耦计算和数据。在本文中，我们提出了另一种自适应联邦优化方法和其他一些想法领域的联邦学习。我们还使用这些方法进行了实验，并展示了联邦学习整体性能的提高。
2022-11-24 cs.AI cs.LG
Industrial Federated Learning -- Requirements and System Design
Siemens Corporate Technology（西门子企业技术部）；Vienna University of Technology（维也纳工业大学）
联邦学习（FL）是一种非常有前途的方法，可以通过在参与客户端之间交换知识而不泄露私人数据来改进分散的机器学习（ML）模型。尽管如此，FL仍然不是针对工业环境的强大的数据相似性，假设所有FL任务。这在机器类型、操作和环境条件变化的工业机器数据中很少出现。因此，我们引入了一个工业联邦学习（IFL）系统，支持知识交流不断评估和更新FL队列的学习任务，具有足够的数据相似性。这使得业务合作伙伴能够在常见的机器学习问题中进行最佳协作，防止负面知识转移，并确保相关边缘设备的资源优化。
2020-05-14 cs.AI cs.DC cs.LG
FLHub: a Federated Learning model sharing service
Chungnam National University（忠南国立大学）
随着Tensorflow和Pytorch等易于使用的深度学习库的流行，开发机器学习模型变得非常方便。由于集中式机器学习存在隐私问题，近年来，分布式计算框架下的联邦学习受到关注。在联邦学习中，中央服务器不会从客户端收集敏感和个人数据，而只是聚合模型参数。虽然联邦学习有助于保护隐私，但机器学习开发人员很难共享他们可以用于不同领域应用程序的模型。在本文中，我们提出了一个联邦学习模型共享服务命名为联邦学习中心（FLHub）。用户可以上传、下载和贡献其他开发人员开发的模型，类似于GitHub。我们证明了分叉模型可以比现有模型更快地完成训练，并且每个联邦轮的学习进展更快。
2022-02-14 cs.AI cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
White-box Inference Attacks against Centralized Machine Learning and Federated Learning
Donghua University（东华大学）
随着信息科学技术的发展，各行各业产生了海量的数据，机器学习被广泛应用于大数据的分析。但如果机器学习应用的客户隐私无法得到保障，则会对用户个人隐私信息和服务提供商造成安全威胁和损失。因此，机器学习的隐私保护问题受到广泛关注。对于集中式机器学习模型，我们评估了不同神经网络层、梯度、梯度范数和微调模型对先验知识下成员推理攻击性能的影响;对于联邦学习模型，我们讨论了攻击者在目标模型中的位置及其攻击模式。结果表明，集中式机器学习模型在各方面都表现出更严重的成员信息泄露，攻击者在中心参数服务器上作为参与者进行的攻击准确率明显高于本地推理攻击。
2022-12-15 cs.CR cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
QuantumFed: A Federated Learning Framework for Collaborative Quantum Training
College of William and Mary（威廉与玛丽学院）
随着量子计算和深度学习的快速发展，量子神经网络近年来引起了人们的极大关注。通过利用量子计算的能力，深度神经网络可以克服经典机器学习中的计算能力限制。然而，当多个量子机器希望使用每个机器上的本地数据来训练全局模型时，将数据复制到一个机器中并训练模型可能非常困难。因此，一个协作的量子神经网络框架是必要的。本文借鉴联邦学习的核心思想，提出了一个量子联邦学习框架QuantumFed，将多个量子节点与本地量子数据一起进行训练模式。我们的实验表明，我们的框架的可行性和鲁棒性。
2022-06-29 cs.DC cs.LG
FLICU: A Federated Learning Workflow for Intensive Care Unit Mortality Prediction
Stockholm University（斯德哥尔摩大学）；Getinge（洁定）；QRIOS IT
尽管机器学习（ML）可以被视为改善临床决策以支持改善药物计划、临床程序、诊断或药物处方的有前途的工具，但它仍然受到医疗保健数据访问的限制。医疗保健数据是敏感的，需要严格的隐私实践，并且通常存储在数据孤岛中，这使得传统的机器学习具有挑战性。联邦学习可以通过在数据孤岛上训练机器学习模型来抵消这些限制，同时保持敏感数据的本地化。本研究提出了一种用于ICU死亡率预测的联邦学习工作流程。因此，通过将联邦学习引入预测ICU死亡率的二进制分类问题，研究了联邦学习作为集中式机器学习和局部机器学习的替代方案的适用性。我们从MIMIC-III数据库中提取多变量时间序列数据（实验室值和生命体征），并对四种深度顺序分类器（FRNN，LSTM，GRU和1DCNN）的预测性能进行基准测试，这些分类器改变了患者病史窗口长度（8小时，16小时，24小时，48小时）和FL客户端数量（2，4，8）。实验表明，集中式机器学习和联邦学习在AUPRC和F1分数方面是相当的。此外，联邦方法显示出优于本地机器学习的性能。因此，当医院之间无法共享敏感患者数据时，联邦方法可以被视为集中式机器学习的有效且保护隐私的替代方案，用于对ICU死亡率进行分类。
2022-05-30 cs.LG
Privacy and Trust Redefined in Federated Machine Learning
Edinburgh Napier University（爱丁堡龙比亚大学）；Eight Bells LTD（八钟有限公司）
传统机器学习中的一个常见隐私问题是训练过程需要公开数据。在医疗记录等高度敏感数据的情况下，访问这些信息具有挑战性，并且通常被禁止。幸运的是，隐私保护技术已经开发出来，通过分配训练的计算并确保其所有者的数据隐私来克服这一障碍。将计算分配给多个参与实体引入了新的隐私复杂性和风险。在本文中，我们提出了一个隐私保护的分散工作流程，促进参与者之间的可信联邦学习。我们的概念验证定义了一个信任框架，该框架使用在超级账本项目Aries/Indy/Ursa下开发的分散身份技术进行实例化。只有拥有由适当机构颁发的可验证凭据的实体才能够建立安全的、经过认证的通信渠道，这些渠道被授权参与与心理健康数据相关的联邦学习工作流程。
2021-03-30 cs.CR cs.CY cs.DC
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning
University of Southern Queensland（南昆士兰大学）；Wuhan University of Technology（武汉理工大学）；Lingnan University（岭南大学）；University of Electronic Science and Technology of China（电子科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出FRAMU框架，将注意力机制、联邦强化学习、隐私保护与优化策略结合，以在单模态和多模态动态数据中实现安全高效的机器遗忘。
2024-02-02 cs.AI cs.CR cs.LG
Simeon -- Secure Federated Machine Learning Through Iterative Filtering
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
联邦学习使得全局机器学习模型能够由分布式的、相互不信任的学习代理协作地训练，这些学习代理希望维护其训练数据和其硬件的隐私。一个全局模型被分发给客户端，客户端执行训练，并提交他们新训练的模型，以聚合成一个更好的模型。然而，联邦学习系统容易受到恶意学习代理的干扰，这些恶意学习代理可能希望阻止训练或在最终的全局模型中引起有针对性的错误分类。已经出现了一类容忍拜占庭的聚合算法，提供了不同程度的鲁棒性来对抗这些攻击，通常需要注意的是，攻击者的数量受到训练之前已知的数量的限制。本文介绍了西蒙：一种新的聚合方法，应用基于信誉的迭代过滤技术，即使在存在可能表现出任意行为的攻击者的情况下也能实现鲁棒性。我们比较Simeon国家的最先进的聚合技术，并发现Simeon实现了相当或优越的鲁棒性，各种攻击。值得注意的是，我们表明，Simeon是容忍sybil攻击，其他算法没有，提出了我们的方法的一个关键优势。
2021-03-13 cs.CR cs.DC cs.LG
Data-Free Diversity-Based Ensemble Selection For One-Shot Federated Learning in Machine Learning Model Market
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
经过训练的机器学习模型的出现提出了机器学习模型市场的新概念，其中人们可以利用多个经过良好训练的模型的集体智能，以无数据的方式通过一次性联邦学习和集成学习来提高结果模型的性能。然而，选择市场上可用的模型进行集成学习是耗时的，因为使用所有模型并不总是最好的方法。因此，至关重要的是要有一个有效的合奏选择策略，可以找到一个很好的子集的基础模型的合奏。传统的集成选择技术不适用，因为我们无法访问联邦学习设置中各方的本地数据集。在本文中，我们提出了一种新的无数据的多样性为基础的方法称为DeDES解决集成选择问题的模型产生的一次联邦学习在实际应用中，如模型市场。实验结果表明，该方法在5个数据集和4种不同的模型结构下，在不同的数据划分策略下都能获得较好的性能和较高的效率。
2023-02-23 cs.AI cs.LG
BadFU: Backdoor Federated Learning through Adversarial Machine Unlearning
University of Newcastle（新castle大学）；Shanghai Jiao Tong University（上海交通大学）
BadFU首次揭示联邦遗忘中的后门攻击：恶意客户端利用后门与伪装样本正常训练，待请求遗忘伪装样本后使全局模型进入后门状态，暴露现有联邦遗忘机制的关键安全漏洞。
2025-08-21 cs.CR cs.LG
Federated Nearest Neighbor Machine Translation
Tencent AI Lab（腾讯人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
为了保护用户隐私并满足法律法规的要求，联邦学习（FL）引起了人们的极大关注。用传统FL算法训练神经机器翻译（NMT）模型（例如，FedAvg）通常依赖于基于多轮模型的交互。然而，由于巨大的通信开销和繁重的同步，对于机器翻译任务来说，它是不切实际的和低效的。在本文中，我们提出了一种新的联邦最近邻（FedNN）机器翻译框架，而不是多轮基于模型的交互，利用一轮基于记忆的交互，在不同的客户端之间共享知识，构建低开销的隐私保护系统。整个方法为在大规模可访问数据上训练的公共NMT模型配备了$k$ -最近邻（$$kNN）分类器，并将所有客户端中的私有文本数据构造的外部分类器集成在一起，形成最终的FL模型。在此过程中，引入了两阶段加密策略来实现隐私保护。大量的实验表明，FedNN显着降低计算和通信成本相比，FedAvg，同时保持有前途的性能在不同的FL设置。
2023-02-23 cs.AI cs.CL cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
SecureCut: Federated Gradient Boosting Decision Trees with Efficient Machine Unlearning
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
提出SecureCut框架，无需从头重训即可在垂直联邦学习场景下实现实例与特征级机器遗忘，兼顾隐私保证与模型性能。
2023-11-22 cs.CR cs.LG
Federated Learning with Personalization Layers
Adobe Research（奥多比研究院）；Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。这大大偏离了传统的机器学习，并且需要设计对各种异质性来源鲁棒的算法。具体而言，用户设备之间的数据统计异质性可能会严重降低传统机器学习应用（如使用深度学习进行个性化）的标准联邦平均的性能。本文提出了FedPer，一种用于深度前馈神经网络联邦训练的基础+个性化层方法，可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
Heterogeneity: An Open Challenge for Federated On-board Machine Learning
University of Luxembourg（卢森堡大学）；SnT（SnT研究院）；FSTM（FSTM学院）
本文针对跨运营商异构卫星协作的星载联邦学习场景，系统性梳理了系统异构性带来的各类挑战，概述了对应研究现状，为后续深入研究提供切入点。
2024-08-13 cs.DC cs.LG
Fedlearn-Algo: A flexible open-source privacy-preserving machine learning platform
JD Finance America Corporation（京东金融美国公司）
在本文中，我们提出了Fedlearn-Algo，一个开源的隐私保护机器学习平台。我们使用这个平台来展示我们在隐私保护机器学习算法方面的研究和开发成果。作为第一批新的FL算法实例，我们发布了垂直联邦核二进制分类模型和垂直联邦随机森林模型。在我们的实践中，它们已经被测试为比现有的垂直联邦学习模型更有效。除了新颖的FL算法示例外，我们还发布了机器通信模块。统一的数据传输接口支持在机器之间传输广泛使用的数据格式。我们将通过添加更多的功能模块和算法示例来维护这个平台。该代码可在https://github.com/fedlearnAI/fedlearn-algo上获得。
2021-07-30 cs.CR cs.DC cs.LG
Federated Learning over Harmonized Data Silos
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
针对联邦学习中各数据孤岛模式与格式不一致的挑战，提出结合数据协调与填补的端到端联邦学习与集成系统架构愿景，以促进数据管理与机器学习交叉领域研究。
2023-05-15 cs.AI cs.DC cs.LG
SGDE: Secure Generative Data Exchange for Cross-Silo Federated Learning
Politecnico di Milano（米兰理工大学）
GDPR等隐私监管法律将透明度和安全性作为数据处理算法的设计支柱。在这种背景下，联邦学习是隐私保护分布式机器学习最有影响力的框架之一，在许多自然语言处理和计算机视觉任务中取得了惊人的成果。一些联邦学习框架采用差分隐私来防止私有数据泄露给未经授权的方和恶意攻击者。然而，许多研究强调了标准联邦学习在中毒和推断方面的脆弱性，从而引发了对敏感数据潜在风险的担忧。为了解决这个问题，我们提出了SGDE，一个生成的数据交换协议，提高用户的安全性和机器学习性能的跨筒仓联邦。SGDE的核心是共享具有强差分隐私保证的数据生成器，这些数据生成器是在私有数据上训练的，而不是传递显式的梯度信息。这些生成器合成任意大量的数据，这些数据保留了私有样本的独特特征，但差异很大。在这项工作中，SGDE在图像和表格数据集上的跨筒仓联邦网络中进行测试，利用beta-变分自编码器作为数据生成器。从结果来看，SGDE的加入提高了任务的准确性和公平性，以及对联邦学习最有影响力的攻击的弹性。
2022-09-07 cs.AI cs.CR cs.DC
Network Anomaly Detection Using Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
由于网络流量的准确性和异构性，异常事件的检测具有挑战性。全局服务器上的计算负载在效率、准确性和可扩展性方面是一个重大挑战。我们的主要动机是引入一个强大的和可扩展的框架，使有效的网络异常检测。我们解决的问题，利用联邦学习，其中多个参与者训练一个全球性的模型联合网络异常检测的可扩展性和效率。与集中式训练架构不同，联邦学习不要求参与者将其训练数据上传到服务器，从而防止攻击者利用训练数据。此外，大多数先前的工作都集中在传统的集中式机器学习，使得联邦机器学习在网络异常检测中探索不足。因此，我们提出了一个深度神经网络框架，可以在中低端设备上工作，检测网络异常，同时检查来自特定IP地址的请求是否是恶意的。与多个传统的集中式机器学习模型相比，深度神经联邦模型减少了训练时间开销。所提出的方法比基线机器学习技术在UNSW-NB 15数据集上的性能更好，通过实验进行测量，准确率为97.21%，计算时间更快。
2023-03-13 cs.DC cs.LG
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Sustainable Federated Learning
University of California, Riverside（加利福尼亚大学河滨分校）；The Ohio State University（俄亥俄州立大学）
大规模无线网络对机器学习的潜在环境影响是未来智能生态系统可持续性的主要挑战。在本文中，我们介绍了联邦学习设置中的可持续机器学习，使用可从周围环境中收集能量的可充电设备。我们提出了一个实用的联邦学习框架，该框架利用间歇性能量到达进行训练，并具有可证明的收敛保证。我们的框架可以应用于网络环境中的各种机器学习设置，包括无线和边缘网络中的分布式和联邦学习。我们的实验表明，所提出的框架可以提供显着的性能改进的基准能量不可知的联邦学习设置。
2021-02-22 cs.IT cs.LG math.IT
Byzantine-Robust Clustered Federated Learning
Princeton University（普林斯顿大学）
针对多任务聚类联邦学习中的拜占庭攻击，本文基于 IFCA 融合逐坐标截断均值与中位数聚合，提出鲁棒迭代联邦聚类算法，并证明强凸损失下的收敛性。
2023-06-01 cs.DC cs.LG stat.ML
FLRA: A Reference Architecture for Federated Learning Systems
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of New South Wales（新南威尔士大学）
联邦学习是一种新兴的机器学习范例，它使多个设备能够在本地训练模型并制定全局模型，而无需共享客户端的本地数据。联邦学习系统可以被看作是一个大规模的分布式系统，涉及不同的组件和利益相关者，具有不同的需求和约束。因此，开发联邦学习系统需要软件系统设计思维和机器学习知识。尽管从机器学习的角度对联邦学习进行了大量的研究，但我们之前对该领域的系统文献回顾表明，联邦学习的软件架构设计明显缺乏考虑。在本文中，我们提出了FLRA，联邦学习系统的参考架构，它提供了一个模板设计的联邦学习为基础的解决方案。拟议的FLRA参考架构是基于对文献和现有工业实现中发现的联邦学习系统的现有模式的广泛审查。FLRA参考架构由一组架构模式组成，这些模式可以解决联邦学习架构中经常出现的设计问题。FLRA参考架构可以作为设计指南，帮助架构师和开发人员为他们的问题提供实用的解决方案，这些解决方案可以进一步定制。
2021-06-22 cs.DC cs.LG cs.SE
Federated Learning on Non-IID Data: A Survey
University of Surrey（萨里大学）
联邦学习是一种新兴的分布式机器学习框架，用于隐私保护。然而，在联邦学习中训练的模型通常比在标准集中式学习模式中训练的模型具有更差的性能，特别是当训练数据在本地设备上不是独立同分布（非IID）时。在本调查中，我们详细分析了非IID数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响。此外，还对联邦学习中非IID数据挑战的研究现状进行了综述，并对各种方法的优缺点进行了讨论。最后，在总结全文之前，我们提出了几个未来的研究方向。
2021-06-12 cs.DC cs.LG
Federated Learning: Opportunities and Challenges
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
联邦学习（FL）是Google在2016年首次提出的概念，其中多个设备在中央服务器的监督下协作学习机器学习模型，而无需共享其私人数据。这为医疗保健、金融等关键领域提供了充足的机会，在这些领域，将私人用户信息共享给其他组织或设备是有风险的。虽然FL似乎是一种很有前途的机器学习（ML）技术，可以保持本地数据的私密性，但它也容易受到其他ML模型的攻击。鉴于人们对外语领域的兴趣日益浓厚，本报告讨论了联邦学习的机遇和挑战。
2021-01-14 cs.DC cs.LG
Benchmarking Federated Machine Unlearning methods for Tabular Data
University of Birmingham（伯明翰大学）；University of Southampton（南安普顿大学）；AdviceRobo（阿德维克罗博公司）
本文针对表格数据在联邦学习环境下的机器遗忘方法进行基准测试，评估了微调和基于梯度等算法在保真度、可认证性和计算效率上的表现，发现树模型可认证性强而梯度方法计算效率高。
2025-04-01 cs.LG
WrapperFL: A Model Agnostic Plug-in for Industrial Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank Inc.（微众银行）
联邦学习作为一种保护隐私的协作式机器学习范式，受到了业界越来越多的关注。随着需求的巨大增长，出现了许多联邦学习平台，允许联邦参与者从头开始设置和构建联邦模型。然而，现有的平台具有高度侵入性，复杂性，并且难以与构建的机器学习模型集成。对于许多已经拥有成熟服务模型的现实世界企业来说，现有的联邦学习平台具有很高的进入门槛和开发成本。本文提出了一个简单而实用的联邦学习插件的启发集成学习，被称为WrapperFL，允许参与者建立/加入一个联邦系统与现有的模型以最小的成本。WrapperFL以即插即用的方式工作，只需连接到现有模型的输入和输出接口，无需重新开发，大大减少了人力和资源的开销。我们验证了我们提出的方法在异构数据分布和异构模型下的不同任务。实验结果表明，WrapperFL能够在实际环境下成功应用于广泛的应用，并以较低的代价通过联邦学习改进局部模型。
2022-08-03 cs.AI cs.DC cs.LG
Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对联邦学习中集中式机器遗忘存在的数据访问冲突与成本过高问题，提出基于模型解释的联邦遗忘方案，仅微调对需遗忘类别关键的模型通道，在降低成本的同时保证遗忘后模型性能。
2024-06-18 cs.CR cs.DC cs.LG
Architectural Patterns for the Design of Federated Learning Systems
CSIRO（联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
联邦学习已经受到学术界和工业界的快速增长的兴趣，以解决机器学习中的数据饥饿和隐私挑战。联邦学习系统可以被视为具有不同组件和利益相关者的大规模分布式系统，因为许多客户端设备参与联邦学习。设计一个联邦学习系统需要软件系统设计思维，而不需要机器学习知识。尽管人们从机器学习技术的角度对联邦学习进行了大量的研究，但在构建联邦学习系统时，软件体系结构设计的问题却被忽略了。因此，在本文中，我们提出了一个架构模式的集合，以处理联邦学习系统的设计挑战。在软件架构设计期间，架构模式为给定上下文中经常出现的问题提供了可重用的解决方案。所提出的模式是基于系统的文献综述的结果，包括三个客户端管理模式，四个模型管理模式，三个模型培训模式，和四个模型聚合模式。这些模式与联邦学习模型生命周期中的特定状态转换相关联，作为在联邦学习系统设计中有效使用模式的指导。
2021-06-18 cs.DC cs.LG cs.SE
Sky of Unlearning (SoUL): Rewiring Federated Machine Unlearning via Selective Pruning
Texas Tech University（德克萨斯理工大学）；The University of New Mexico（新墨西哥大学）
本文针对无人机互联网中的联邦学习安全问题，提出了联邦遗忘框架SoUL，通过设计选择性剪枝算法移除对遗忘影响大但对整体性能影响小的神经元，在保持模型准确率的同时有效消除不良数据影响并降低计算与通信开销。
2025-04-02 cs.AI cs.LG cs.MA
Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations
University of Tsukuba（筑波大学）
简化是机器学习管道中的常用元素，有助于从高维数据中提取重要特征。在这项工作中，我们探索了一种替代的联邦学习系统，该系统能够在监督学习任务之前集成分布式数据的降维表示，从而避免各方之间的模型共享。我们将这种方法在图像分类任务上的性能与三种替代框架进行了比较：集中式机器学习，个体机器学习和联邦平均，并分析了没有模型共享的联邦学习系统的潜在用例。我们的研究结果表明，我们的方法可以实现类似的准确性，联邦平均和性能优于联邦平均在小用户设置。
2020-11-13 cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning
University of Tokyo（东京大学）
隐私敏感数据存储在自动驾驶汽车、智能设备或传感器节点中，这些设备可以四处移动，并相互进行机会性接触。在许多研究中，这些节点之间的联邦主要是在具有集中式机制的联邦学习的背景下讨论的。然而，由于多供应商问题，这些节点不希望为此目的依赖于由第三方运营的特定服务器。在本文中，我们提出了一个无线ad hoc联邦学习（WAFL）-一个完全分布式的合作机器学习组织的节点物理附近。WAFL可以从存储在本地分布式节点中的非IID数据集开发通用模型，通过机会性节点到节点接触来交换和聚合它们。在我们对各种机会网络进行的基于基准的评估中，WAFL的准确率为94.8-96.3%，高于自我训练的84.7%。我们的所有评估结果表明，WAFL可以训练和收敛的模型参数从高度分区的非IID数据集在机会网络没有任何集中的机制。
2022-10-07 cs.AI cs.LG cs.NI
Aggregation Delayed Federated Learning
Northwestern University（西北大学）
联邦学习是一种分布式机器学习范例，其中多个数据所有者（客户端）协作训练一个机器学习模型，同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现，标准联邦算法（如FedAvg）在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架，并专注于改进服务器端或客户端的模型更新。在这项工作中，我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验，结果表明，该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
The Cost of Training Machine Learning Models over Distributed Data Sources
Centre Tecnològic de Telecomunicacions de Catalunya（加泰罗尼亚电信技术中心）；Nokia Bell-Labs（诺基亚贝尔实验室）
联邦学习是标准集中式学习范式最有吸引力的替代方案之一，它允许一组异构设备在不共享原始数据的情况下训练机器学习模型。然而，它需要一个中央服务器来协调学习过程，从而引入了潜在的可扩展性和安全问题。在文献中，已经提出了无服务器的联邦学习方法，如八卦联邦学习和支持区块链的联邦学习，以缓解这些问题。在这项工作中，我们提出了一个完整的概述，这三种技术提出了一个比较，根据一组完整的性能指标，包括模型的准确性，时间复杂度，通信开销，收敛时间和能源消耗。一个广泛的模拟活动允许绘制一个定量分析，同时考虑前馈和卷积神经网络模型。结果表明，gossip联邦学习和标准联邦解决方案能够达到相似的精度水平，其能耗受所采用的机器学习模型、软件库和所使用的硬件的影响。因此，支持区块链的联邦学习代表了一种可行的解决方案，可以实现更高安全级别的分散学习，但代价是额外的能源使用和数据共享。最后，我们确定了两个分散的联邦学习实现的开放问题，并提供了在这个新的研究领域的潜在扩展和可能的研究方向的见解。
2023-02-28 cs.LG
Loosely Coupled Federated Learning Over Generative Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Intelligent Automotive Solution BU（华为智能汽车解决方案BU）
联邦学习（FL）是为了在不上传私有数据的情况下实现不同客户端之间的协作机器学习而提出的。然而，由于模型聚合策略，现有的框架需要严格的模型同质性，限制了应用在更复杂的场景。此外，FL的模型和梯度传输的通信成本非常高。本文提出了松耦合联邦学习（LC-FL）框架，该框架以生成模型为传输媒介，实现低通信开销和异构联邦学习。LC-FL可以应用于客户端拥有不同类型机器学习模型的场景。在不同多方场景下的真实数据集上的实验证明了该方法的有效性。
2020-09-28 cs.DC cs.LG stat.ML
A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大利亚大学）
联邦学习是在隐私限制下实现不同组织间机器学习模型协同训练的一个研究热点。随着研究人员试图用不同的隐私保护方法支持更多的机器学习模型，开发系统和基础设施时需要简化各种联邦学习算法的开发。与PyTorch和TensorFlow等深度学习系统类似，联邦学习系统（FLS）同样重要，并面临来自有效性，效率和隐私等各个方面的挑战。在本调查中，我们对联邦学习系统进行了全面的综述。为了实现流畅的流程和指导未来的研究，我们介绍了联邦学习系统的定义和分析的系统组件。从数据分布、机器学习模型、隐私机制、通信结构、联邦规模和联邦动机六个方面对联邦学习系统进行了分类。正如我们的案例研究所示，分类可以帮助设计联邦学习系统。通过对现有的联邦学习系统进行系统总结，提出了联邦学习系统的设计要素、案例分析和未来的研究方向。
2021-12-05 cs.CR cs.DB cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）
近年来，随着越来越多的法规涉及用户的隐私敏感数据保护，对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据，一种革命性的分散式机器学习设置（称为联邦学习）使位于不同地理位置的多个客户端能够协作学习机器学习模型，同时将所有数据保存在设备上。然而，联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中，我们提出并研究了自适应联邦丢弃（AFD），一种新的技术，以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明，这种策略，结合现有的压缩方法，共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外，它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro（IEETA/DETI实验室，阿维罗大学）
本文提出基于PySyft的联邦随机森林框架，通过加权平均、增量学习和本地评估，在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
FedQAS: Privacy-aware machine reading comprehension with federated learning
Uppsala University, Sweden（瑞典乌普萨拉大学）；Scaleout Systems, Sweden（瑞典Scaleout Systems公司）；Department of Information Technology（信息技术系）；Division of Scientific Computing（科学计算部）
文本数据的机器阅读理解（MRC）是自然语言理解的一个重要任务。这是一个复杂的NLP问题，随着斯坦福问答数据集（SQuAD）和会话式问答（CoQA）的发布，许多研究正在进行中。它被认为是教计算机如何“理解”文本，然后能够使用深度学习回答有关文本的问题的努力。然而，到目前为止，关于私人文本数据和知识共享的大规模培训一直缺乏这个NLP任务。因此，我们提出了FedQAS，这是一个保护隐私的机器阅读系统，能够利用大规模的私有数据，而不需要将这些数据集集中在一个中心位置。该方法结合了Transformer模型和联邦学习技术。该系统使用FEDn框架开发，并作为概念验证联盟计划部署。FedQAS是灵活的，语言无关的，并允许直观的参与和执行本地模型训练。此外，我们提出了该系统的架构和实现，以及提供一个基于SQUAD数据集的参考评估，以展示它如何克服数据隐私问题，并在联邦学习环境中实现联盟成员之间的知识共享。
2022-02-09 cs.AI cs.CL cs.LG
Expressive variational quantum circuits provide inherent privacy in federated learning
JPMorgan Chase（摩根大通）；The University of Melbourne（墨尔本大学）
本文提出用富表达力编码映射与过参数化拟设构建变分量子电路联邦学习模型，借助高阶 Chebyshev 系统求解困难及攻击模型欠参数化，证明其可固有抵御梯度反演导致的数据泄漏。
2023-09-25 cs.CR cs.LG quant-ph
