Towards Efficient Communications in Federated Learning: A Contemporary Survey
在传统的分布式机器学习场景中,用户的隐私数据在客户端和中央服务器之间传输,这导致了显著的潜在隐私风险。为了平衡数据隐私和模型联合训练的问题,提出了一种具有隐私保护机制的分布式机器学习方法--联邦学习(FL),能够在不泄露原始数据的情况下实现多方协同计算。然而,在实践中,外语面临着各种具有挑战性的沟通问题。本文从传播效率、传播环境和传播资源分配三个方面对外语传播研究的发展进行了系统评价,旨在阐明这些传播问题之间的关系。首先,梳理了当前外语传播面临的挑战;其次,对外语传播相关论文进行了整理,并根据它们之间的逻辑关系描述了外语传播领域的总体发展趋势。最后,我们讨论了未来的研究方向,在FL通信。
2022-12-17 cs.DC
A Survey on Model-heterogeneous Federated Learning: Problems, Methods, and Prospects
本文针对传统联邦学习假设客户端模型结构一致、难以适配现实中设备计算能力异构的问题,综述了模型异构联邦学习的前沿方法、优缺点及开放挑战,是首份聚焦该方向的综述研究。
2024-11-02 cs.DC
From Distributed Machine Learning To Federated Learning: In The View Of Data Privacy And Security
联邦学习是分布式机器学习的改进版本,它进一步卸载了通常由中央服务器执行的操作。服务器变得更像是协调客户端协同工作的助手,而不是像传统DML那样微观管理员工。联邦学习的最大优势之一是它提供了额外的隐私和安全保证。联邦学习架构依赖于智能设备(如智能手机和物联网传感器),这些设备收集和处理自己的数据,因此敏感信息永远不必离开客户端设备。相反,客户端在本地训练子模型,并将加密的更新发送到中央服务器,以聚合到全局模型中。这些强大的隐私保证使联邦学习成为一个有吸引力的选择,在这个世界上,数据泄露和信息窃取是常见和严重的威胁。本调查概述了联邦学习在数据隐私和安全方面的前景和最新发展。我们确定了不同的机制,用于提供隐私和安全,如差分隐私,安全多方计算和安全聚合。我们还调查了当前的攻击模型,确定了脆弱性领域和对手用于渗透联邦系统的策略。调查最后讨论了在这一日益流行的学习模式中面临的挑战和未来工作的潜在方向。
2020-10-19 cs.DC
Asynchronous Federated Learning on Heterogeneous Devices: A Survey
本文综述异构设备上的异步联邦学习,围绕设备与数据异构性、隐私安全及应用分类总结现有方法,并指出挑战与未来方向。
2023-08-21 cs.DC
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami(迈阿密大学)
本文研究了联邦学习(FL)在一个经典的无线网络,其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络(WFLN)中,优化学习性能至关重要,这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽,因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试,以分配有限的无线资源,以优化FL,他们专注于在个别学习轮的问题,忽略了一个固有的,但关键的特点,联邦学习。本文带来了一个新的长期的视角,资源分配在WFLN,实现学习轮不仅是时间上相互依赖的,但也有不同的意义,对最终的学习成果。为此,我们首先设计数据驱动的实验,以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解,我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束,并开发了一种新的算法,只利用目前可用的无线信道信息,但可以实现长期的性能保证。进一步的实验表明,我们的算法在所需的时间客户端选择模式的结果,是适应不断变化的网络环境,远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
Client Selection and Bandwidth Allocation for Federated Learning: An Online Optimization Perspective
联邦学习(Federated Learning,FL)可以从客户端的局部数据集训练出全局模型,充分利用客户端的计算资源,在保护用户信息需求的前提下,对客户端进行更广泛、更高效的机器学习。现有的研究多集中在每轮资源受限的情况下优化FL的准确性,而在无线联邦学习中全面考虑延迟、准确性和能耗的研究较少。受此启发,在本文中,我们调查FL在无线网络中的客户端选择和带宽分配是两个关键因素,显着影响延迟,准确性和能源消耗的客户端。我们制定的优化问题作为一个混合整数的问题,这是最小化的时间和精度的成本内的长期能源约束的所有回合。为了解决这个优化问题,我们提出了Perround Energy Drift Plus Cost(PEDPC)算法,并在IID和NON-IID数据分布的延迟,准确性和能耗方面的仿真结果中验证了PEDPC算法的性能。
2022-05-10 cs.DC cs.NI
Federated Learning Meets Natural Language Processing: A Survey
Deakin University(迪肯大学)
联邦学习旨在从多个分散的边缘设备(例如手机)或服务器学习机器学习模型,而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而,大型深度神经和语言模型都是用大量数据训练的,这些数据通常位于服务器端。由于文本数据广泛来源于最终用户,在这项工作中,我们研究了最近的NLP模型和技术,使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战,包括算法挑战,系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后,我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Federated and Transfer Learning: A Survey on Adversaries and Defense Mechanisms
University of Windsor(温莎大学)
联邦学习的出现促进了机器学习模型之间的大规模数据交换,同时保持了隐私。尽管它的历史很短,但联邦学习正在迅速发展,使其更广泛地使用。该领域最重要的进步之一是将迁移学习纳入联邦学习,这克服了主要联邦学习的基本限制,特别是在安全性方面。本章从安全的角度对联邦学习和迁移学习的交叉点进行了全面的调查。本研究的主要目标是发现可能损害使用联邦和迁移学习的系统的隐私和性能的潜在漏洞和防御机制。
2022-07-05 cs.AI cs.CR cs.CV
Defense Strategies Toward Model Poisoning Attacks in Federated Learning: A Survey
分布式机器学习的进步可以增强未来的通信和网络。联邦学习(FL)的出现为分布式机器学习提供了一个有效的框架,但它仍然面临着许多安全挑战。其中,模型中毒攻击对FL的安全性和性能有着重要的影响。鉴于已经有许多研究专注于防御模型中毒攻击,有必要对现有工作进行调查,并提供见解,以启发未来的研究。在本文中,我们首先将模型中毒攻击的防御机制分为两类:局部模型更新的评估方法和全局模型的聚合方法。然后,我们详细分析了现有的一些防御策略。我们还讨论了一些潜在的挑战和未来的研究方向。据我们所知,我们是第一个调查模型中毒攻击在FL的防御方法。
2022-02-13 cs.CR cs.DC
A Theoretical Perspective on Differentially Private Federated Multi-task Learning
Ant Group(蚂蚁集团)
在大数据时代,通过数据共享来扩大数据量以提高模型性能的需求已变得越来越迫切。因此,有效的协作学习模式需要开发的隐私和实用性的关注。在这项工作中,我们提出了一种新的联邦多任务学习方法,有效的参数传输与差分隐私,以保护梯度在客户端级别。具体而言,网络的较低层在所有客户端之间共享以捕获可转移的特征表示,而网络的顶层是针对客户端个性化的特定任务。我们提出的算法自然解决了联邦网络中的统计异质性问题。据我们所知,我们是第一个为这样一个拟议的联邦算法提供隐私和效用保证的。在非凸、凸和强凸条件下,证明了Lipschitz光滑目标函数的收敛性。在不同数据集上的实验结果验证了该算法的有效性和理论研究结果的意义。
2020-11-14 cs.CR cs.DC cs.LG
Drift-Aware Federated Learning: A Causal Perspective
Fudan University(复旦大学);Shanghai Institute of Intelligent Electronics and Systems(上海智能电子与系统研究院)
本文从因果视角分析联邦学习中模型更新漂移与全局及局部优化器的关系,提出CAFE框架,通过特征校准、参数校准和历史信息利用,缓解对多数类别和频繁通信客户端的漂移,提升联邦学习性能。
2025-03-12 cs.DC cs.LG
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.(百度公司);Auburn University(奥本大学);University of Oregon(俄勒冈大学)
近年来,数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制,分布式数据和计算资源不能在不同地区或组织之间直接共享,以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法,可以协同训练机器学习模型,同时遵守法律法规,确保数据安全和数据隐私。在本文中,我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外,我们提出了分布式训练,数据通信,FL系统的安全性。最后,我们分析了它们的局限性,并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
Multi-objective methods in Federated Learning: A survey and taxonomy
SnT, University of Luxembourg(卢森堡大学SnT学院);FSTM/DCS, University of Luxembourg(卢森堡大学FSTM/DCS学院)
本文首次系统综述联邦学习中的多目标方法,提出分类法以整合公平性、效用与资源消耗等冲突目标,并指明开放挑战与未来方向。
2025-07-09 cs.DC cs.LG
On Knowledge Editing in Federated Learning: Perspectives, Challenges, and Future Directions
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);Alibaba Group(阿里巴巴集团)
本文综述联邦学习中的知识增补与移除,提出 Federated Editable Learning(FEL)统一范式,梳理现有方法、挑战及未来方向。
2023-06-02 cs.AI cs.DC cs.LG
Federated Learning in IoT: a Survey from a Resource-Constrained Perspective
本文从客户端和服务器双视角综述资源受限物联网环境下联邦学习的部署挑战与对应方案,按应用位置分类并评估效果,同时提出新的评估指标以支撑相关研究。
2023-08-25 cs.DC cs.LG
Querying over Federated SPARQL Endpoints ---A State of the Art Survey
在过去的几年里,越来越多的关联数据及其固有的分布式特性引起了整个研究界和从业者对数据搜索的极大关注。受传统分布式数据库研究成果的启发,介绍了在SPARQL端点上管理联邦的不同方法。SPARQL是RDF的标准化查询语言,RDF是链接数据部署中使用的默认数据模型,SPARQL端点是许多链接开放数据(LOD)存储库提供的流行访问机制。在本文中,我们首先概述了联邦框架的基础设施,然后继续与现有的SPARQL联邦框架的比较。最后,我们强调了现有框架的缺点,我们希望这有助于催生新的研究方向。
2013-06-07 cs.DB cs.DC
Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey
University of Calgary(卡尔加里大学);Michigan State University(密歇根州立大学)
本文系统综述了边缘计算中拓扑感知的联邦学习方法,分析了星形拓扑的局限及其他边缘网络拓扑的优劣,并总结了该领域面临的挑战与未来研究方向。
2024-06-17 cs.DC cs.LG
Bayesian Federated Learning: A Survey
University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学);University of New Castle(纽卡斯尔大学);University of Porto(波尔图大学);Nanyang Technological University(南洋理工大学);University of Minnesota(明尼苏达大学)
本文综述贝叶斯联邦学习,梳理其概念、与贝叶斯学习的关系及双重视角分类,比较各类方法优劣并指出局限与未来方向。
2023-04-26 cs.AI cs.DC cs.LG
Federated Learning Hyper-Parameter Tuning from a System Perspective
Shandong University(山东大学);Bank of Jiangsu(江苏银行);Fudan University(复旦大学);Ohio State University(俄亥俄州立大学);University of California, Davis(加州大学戴维斯分校)
联邦学习(FL)是一种分布式模型训练范式,它保护了客户端的数据隐私。它得到了学术界和工业界的极大关注。FL超参数(例如,所选择的客户端的数量和训练遍数)在计算时间、传输时间、计算负载和传输负载方面显著地影响训练开销。然而,目前手动选择FL超参数的做法给FL从业者带来了沉重的负担,因为应用程序具有不同的培训偏好。在本文中,我们提出了FedTune,一个自动FL超参数调整算法量身定制的应用程序的不同系统要求的FL训练。FedTune在FL训练过程中迭代调整FL超参数,可以轻松集成到现有的FL系统中。通过对FedTune在不同应用程序和FL聚合算法中的广泛评估,我们表明FedTune是轻量级和有效的,与使用固定FL超参数相比,系统开销减少了8.48%-26.75%。本文旨在帮助外语从业者设计高性能的外语培训解决方案。FedTune的源代码可以在https://github.com/DataSysTech/FedTune上找到。
2022-11-24 cs.DC cs.LG
A Comprehensive Survey On Client Selections in Federated Learning
College of Computing and Information Technology, University of Doha for Science and Technology(多哈科技大学计算与信息技术学院);Electrical Engineering, Qatar University(卡塔尔大学电气工程系)
本综述全面梳理联邦学习中的客户端选择技术,涵盖随机、性能感知和资源感知方法及安全应用,并指出动态异构网络中的开放挑战。
2023-11-12 cs.DC cs.LG
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University(斯坦福大学)
Federated Averaging(FedAvg),也称为Local SGD,是联邦学习(FL)中最流行的算法之一。尽管FedAvg简单且流行,但它的收敛速度至今尚未确定。即使在最简单的假设下(凸、光滑、齐次和有界协方差),最著名的上界和下界也不匹配,并且不清楚现有的分析是否捕获了算法的能力。在这项工作中,我们首先解决这个问题,通过提供一个下限FedAvg匹配现有的上限,这表明现有的FedAvg上限分析是不可改进的。此外,我们建立了一个在异构环境中的下限,几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性,但在三阶平滑的额外假设下,我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念,它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限,并直观地展示了如何从随机微分方程(SDD)的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
A Survey for Federated Learning Evaluations: Goals and Measures
Hong Kong University of Science and Technology(香港科技大学);Webank(微众银行);Peking University(北京大学)
本文综述了联邦学习评估的主要目标与指标,并介绍了开源平台FedEval,为FL算法在效用、效率和安全性方面提供标准化评估框架,同时讨论了挑战与未来方向。
2024-03-23 cs.CR cs.DC cs.LG
A Comprehensive Survey of Federated Transfer Learning: Challenges, Methods and Applications
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院)
本文综述联邦迁移学习,针对FL中的分布、系统异构、增量数据与标注稀缺等挑战,分类梳理FTL方法、解决方案、应用、场景设定、数据集及相关研究。
2024-03-03 cs.DC cs.LG
Decentralized Federated Learning: A Survey and Perspective
College of Engineering, Purdue University(普渡大学工程学院);Lehigh University(理海大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文系统综述了去中心化联邦学习(DFL),梳理其相对中心化联邦学习的架构优势、通信协议、网络拓扑及扩展变体,并探讨当前挑战与未来方向。
2024-05-04 cs.CY cs.DC cs.LG
FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning
Huazhong University of Science and Technology(华中科技大学);Chongqing University(重庆大学)
针对联邦学习面临的统计异质性、易受攻击及聚合脆弱性问题,提出FedAA方法,通过深度确定性策略梯度控制聚合权重、参数距离选客户端及验证集奖励机制,提升鲁棒性并保障公平性。
2024-12-12 cs.AI cs.DC cs.LG
A Survey on Participant Selection for Federated Learning in Mobile Networks
Macquarie University(麦考瑞大学);University of New South Wales(新南威尔士大学)
联邦学习(FL)是一种高效的分布式机器学习范式,其以隐私保护的方式使用私有数据集。FL的主要挑战是终端设备通常具有各种计算和通信能力,并且它们的训练数据不是独立同分布的(非IID)。由于移动网络中此类设备的有限通信带宽和不稳定可用性,在每一轮中只能选择一小部分终端设备(也称为FL过程中的参与者或客户端)。因此,利用有效的参与者选择方案来最大化FL的性能(包括最终模型精度和训练时间)是至关重要的。在本文中,我们提供了一个审查的参与者选择技术FL。首先,我们介绍FL和突出的主要挑战,在参与者选择。然后,我们回顾了现有的研究,并根据他们的解决方案进行分类。最后,我们提供了一些未来的方向,参与者选择FL的基础上,我们的国家在这个主题领域的最先进的分析。
2022-07-08 cs.DC cs.LG
Federated Continual Learning for Edge-AI: A Comprehensive Survey
University of Exeter(埃克塞特大学)
本文首次系统综述了面向边缘人工智能的联邦持续学习,按类别、域和任务持续学习三类方法梳理代表性工作,并展望算法-硬件协同设计及与基础模型结合等未来方向。
2024-11-20 cs.AI cs.DC cs.LG
A Survey on Federated Fine-tuning of Large Language Models
State Key Laboratory of IOTSC, University of Macau(物联网科学与技术国家重点实验室,澳门大学);University of Electronic Science and Technology of China(电子科技大学);The University of Hong Kong(香港大学);Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
本文综述了大型语言模型联邦微调的技术、挑战与应用,旨在为隐私保护AI的发展提供指导。
2026-02-24 cs.DC cs.LG
Towards Efficient Synchronous Federated Training: A Survey on System Optimization Strategies
the Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
对隐私保护的协作学习的需求日益增长,产生了一种新的计算范式,称为联邦学习(FL),其中客户端协作训练机器学习(ML)模型,而不会泄露其私有训练数据。在可接受的隐私保证水平下,FL的目标是最大限度地减少模型训练的准确时间。与数据中心的分布式ML相比,FL训练中实现短时间准确性存在四个明显的挑战,即缺乏优化信息,统计和系统效用之间的权衡,客户端异构性和大配置空间。在本文中,我们调查了最近的工作,在解决这些挑战,并提出他们以下的一个典型的培训工作流程,通过三个阶段:客户端选择,配置和报告。我们还审查了系统工作,包括旨在支持FL开发人员的测量研究和基准测试工具。
2022-05-30 cs.DC cs.LG cs.NI
Federated Learning for Healthcare Domain - Pipeline, Applications and Challenges
Saama AI Research(萨马人工智能研究院)
联邦学习是在分布于数据中心(如医院、临床研究实验室和移动设备)的数据集上开发机器学习模型,同时防止数据泄露的过程。本调查调查了医疗保健领域以前关于联邦学习的研究,涉及一系列用例和应用。我们的调查显示了从业者在联邦学习主题中应该意识到的挑战、方法和应用。本文旨在列出现有的研究,并列出医疗保健行业联邦学习的可能性。
2022-11-19 cs.AI cs.CR cs.DC
Threats and Defenses in Federated Learning Life Cycle: A Comprehensive Survey and Challenges
School of Artificial Intelligence and Computer Science, Nantong University(人工智能与计算机科学学院,南通大学);School of Electrical and Computer Engineering, The University of Sydney(电气与计算机工程学院,悉尼大学);University of St Andrews(圣安德鲁大学)
本文全面综述联邦学习生命周期中的威胁与防御框架,分析威胁与防御关系及策略权衡,总结研究瓶颈并展望未来方向,旨在推动可信联邦学习研究。
2024-07-11 cs.AI cs.DC
A Survey on Decentralized Federated Learning
Department of Computer, Control and Management Engineering, Sapienza University of Rome(罗马萨皮恩扎大学计算机、控制与管理工程系);Department of Computer Science, Sapienza University of Rome(罗马萨皮恩扎大学计算机科学系);Università della Svizzera Italiana(意大利瑞士大学)
本文综述了去中心化联邦学习的方法、架构及挑战,探讨了其拓扑依赖性、安全隐私权衡及未来研究方向。
2026-03-10 cs.CR cs.DC cs.LG
A Survey on Federated Learning and its Applications for Accelerating Industrial Internet of Things
联邦学习(FL)将协作智能带入没有集中训练数据的行业,以加速边缘计算层面的工业4.0进程。FL解决了企业希望在安全问题上使用数据智能的困境。为了进一步利用FL加速工业物联网的发展,本文从三个方面对已有的FL研究成果进行了总结:1)定义了FL的术语,并构建了适应不同场景的FL总体框架; 2)讨论了FL在数据划分、隐私保护、模型优化、局部模型传输、个性化、激励机制等基础研究方面的现状,3)从经济学角度探讨外语学习的影响。为了引起工业界和实践界的更多关注,提出了一种基于FL的制造范式,并展望了FL的未来研究方向和在工业4.0领域的应用前景。
2021-04-21 cs.AI cs.DC cs.LG
Linkage on Security, Privacy and Fairness in Federated Learning: New Balances and New Perspectives
City University of Macau(澳门城市大学);University of Technology Sydney(悉尼科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述梳理联邦学习中隐私、安全与公平问题,分析三者间复杂关联与权衡,并指出公平性可作为连接隐私与安全的桥梁及未来研究方向。
2024-06-16 cs.CR cs.DC cs.LG
Survey of Federated Learning Models for Spatial-Temporal Mobility Applications
National Institute of Applied Sciences(国立应用科学学院);CNRS(法国国家科学研究中心);Imperial College London(伦敦帝国学院);University of Washington(华盛顿大学)
本文综述了联邦学习在时空移动应用中的模型,涵盖人类移动预测、交通预测等任务,并讨论去中心化挑战与未来研究方向。
2024-02-08 cs.AI cs.DC cs.IR
Federated Learning via Consensus Mechanism on Heterogeneous Data: A New Perspective on Convergence
East China Normal University(华东师范大学)
本文提出FedCOME框架,通过在服务器端引入共识机制调整客户端梯度,确保每轮训练后各客户端风险下降,并设计客户端采样策略推广至部分参与场景,实验证明其在有效性、效率和公平性上优于现有方法。
2023-11-21 cs.DC cs.LG
Collaboration in Participant-Centric Federated Learning: A Game-Theoretical Perspective
Sun Yat-sen University(中山大学);University of California Davis(加州大学戴维斯分校)
联邦学习(FL)是一种很有前途的分布式框架,用于协作式人工智能模型训练,同时保护用户隐私。一个引导组件,吸引了显着的研究注意力是设计的激励机制,以刺激用户的合作在FL。大多数作品采用经纪人为中心的方法,以帮助中央运营商吸引参与者,并进一步获得一个训练有素的模型。很少有研究考虑在参与者之间建立以参与者为中心的合作,以追求他们共同利益的FL模型,这导致激励机制设计与以经纪人为中心的FL有很大的不同。为了协调自私和异质的参与者,我们提出了一个新的分析框架,用于激励以参与者为中心的FL的有效和高效的合作。具体来说,我们分别提出了贡献不经意FL(COFL)和贡献感知FL(CAFL)两种新型游戏模型,其中后者实现了最小贡献阈值机制。我们进一步分析了COFL和CAFL博弈的纳什均衡的唯一性和存在性,并设计了有效的算法来获得均衡解。广泛的性能评估表明,COFL中存在搭便车现象,通过采用优化的最小阈值CAFL模型,可以大大减轻这种现象。
2022-07-25 cs.AI cs.DC cs.GT
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology(香港科技大学)
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响,推导量化高斯机制的隐私预算,证明低比特量化可增强隐私保护,并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
Local Gradient Regulation Stabilizes Federated Learning under Client Heterogeneity
National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology(国家并行与分布式计算实验室,计算机科学与技术学院,国防科技大学)
本文提出通过调节局部梯度动态来稳定联邦学习,采用ECGR方法平衡对齐和错位梯度,提升异构数据下的收敛性能。
2026-01-07 cs.DC cs.LG
Information-Theoretic Perspective of Federated Learning
Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Monash University(莫纳什大学)
分布式机器学习的一种方法是在本地数据集上训练模型,并将这些模型聚合成单个更强大的模型。这种形式的并行化的一个流行实例是联邦学习,其中节点周期性地将其本地模型发送到协调器,该协调器聚合它们并将聚合重新分配回来以继续使用它进行训练。最常用的聚合形式是平均模型参数,例如,神经网络的权重。然而,由于神经网络的损失表面的非凸性,平均可能导致有害的影响,它仍然是一个悬而未决的问题,在何种条件下平均是有益的。在本文中,我们研究这个问题的信息论的角度来看:我们测量的互信息之间的表示和输入,以及表示和标签在本地模型,并将其与各自的信息中包含的平均模型的表示。我们的实证结果证实了之前关于神经网络平均的实际有用性的观察,即使局部数据集分布变化很大。此外,我们获得更多的见解的影响,聚合频率的信息流,从而对分布式学习的成功。这些见解将有助于改进当前的同步过程,并进一步了解模型聚合的效果。
2019-11-15 cs.DC cs.IT cs.LG
A Survey on Federated Unlearning: Challenges and Opportunities
本文系统综述了联邦遗忘研究,梳理自2020年以来的方法分类、威胁模型与实验设置,揭示集中式遗忘方法难以直接迁移到联邦场景的独特挑战,并为未来研究提供方向。
2025-04-07 cs.AI cs.DC cs.LG
When Federated Learning Meets Quantum Computing: Survey and Research Opportunities
Department of Computer Science and Engineering, BITS Pilani Dubai Campus(计算机科学与工程系,比斯帕尼迪拜校区);Department of Computer Science, Missouri University of Science and Technology(计算机科学系,密苏里科技大学)
本文调研了量子计算与联邦学习结合的新兴问题和解决方案,提出量子位利用效率和量子模型训练策略等新指标,探讨了量子计算在联邦学习中的应用及未来发展方向。
2025-11-14 cs.DC cs.ET cs.LG
A Survey on Secure and Private Federated Learning Using Blockchain: Theory and Application in Resource-constrained Computing
Florida International University(佛罗里达国际大学);Southern Illinois University(南伊利诺伊大学)
近年来,由于先进机器学习和人工智能的快速发展以及新兴的安全和隐私威胁,联邦学习(FL)得到了广泛的普及。FL可以从边缘设备的本地数据存储中高效地生成模型,而不会向任何实体泄露敏感数据。虽然这种模式部分缓解了用户敏感数据的隐私问题,但由于日益增长的网络威胁和隐私侵犯技术,FL过程的性能可能受到威胁并达到瓶颈。为了加快FL过程的扩散,FL环境的区块链集成引起了学术界和工业界人士的广泛关注。区块链具有去中心化、不变性、共识和透明性的特点,有可能防止安全和隐私威胁。然而,如果区块链机制需要昂贵的计算资源,那么资源受限的FL客户端就不能参与训练。考虑到这一点,本次调查的重点是审查在资源受限的FL环境中成功部署区块链的挑战、解决方案和未来方向。我们全面回顾了适合FL过程的变体区块链机制,并讨论了它们在有限资源预算下的权衡。此外,我们还广泛分析了在资源受限的FL环境中可能观察到的网络威胁,以及区块链如何在阻止这些网络攻击方面发挥关键作用。为此,我们强调了一些潜在的解决方案,以实现区块链和联邦学习的耦合,这些解决方案可以提供高水平的可靠性、数据隐私和分布式计算性能。
2023-03-24 cs.CR cs.DC cs.LG
FL-WBC: Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective
Duke University(杜克大学);Accenture(埃森哲)
联邦学习(FL)是一种流行的分布式学习框架,它通过中央服务器和边缘设备之间的迭代通信来训练全局模型。最近的工作表明,FL是容易受到模型中毒攻击。已经提出了几种基于服务器的防御方法(例如鲁棒聚合)来减轻此类攻击。然而,我们的经验表明,在非常强大的攻击下,这些防御方法无法保证FL的鲁棒性。更重要的是,我们观察到,只要全局模型被污染,即使没有后续的攻击,攻击对全局模型的影响也会保留在后续的轮次中。在这项工作中,我们提出了一个基于客户端的防御,命名为白血球联邦学习(FL-WBC),它可以减轻模型中毒攻击,已经污染了全局模型。FL-WBC的核心思想是识别对参数的长期攻击影响所在的参数空间,并在局部训练期间扰动该空间。此外,我们得到了一个认证的鲁棒性保证,对模型中毒攻击和收敛保证FedAvg后,应用我们的FL-WBC。我们在FasionMNIST和CIFAR10上进行实验,以评估对最先进的模型中毒攻击的防御。实验结果表明,该方法在5轮通信时间内有效地缓解了模型中毒攻击对全局模型的影响,且在IID和Non-IID设置下几乎没有精度下降.我们的防御也是对现有的基于服务器的鲁棒聚合方法的补充,可以进一步提高FL在极强攻击下的鲁棒性。
2021-10-26 cs.AI cs.CV cs.DC
Federated Learning Survey: A Multi-Level Taxonomy of Aggregation Techniques, Experimental Insights, and Future Frontiers
LabRi-SBA Laboratory, Algeria \& CESI LINEACT UR 7527 Strasbourg France;LabRi-SBA Laboratory Sidi Bel-Abbes Algeria;LabRi-SBA Laboratory, Algeria \& CESI LINEACT UR 7527;LabRi-SBA Laboratory
本文调研联邦学习的聚合技术,分析其异构性挑战与优化方法,通过混合方法分类并探讨未来研究方向。
2025-11-27 cs.DC cs.LG
On the Security and Privacy of Federated Learning: A Survey with Attacks, Defenses, Frameworks, Applications, and Future Directions
Department of Computer, Control and Management Engineering, Sapienza University of Rome(计算机、控制与管理工程系,罗马萨皮恩扎大学)
本文综述了200余篇联邦学习安全与隐私研究,系统分类攻击与防御机制,分析隐私、安全与性能的权衡及非IID数据影响,并指出未来研究方向。
2025-08-19 cs.AI cs.CR cs.DC
A Survey on Federated Analytics: Taxonomy, Enabling Techniques, Applications and Open Issues
本综述系统梳理了联邦分析(FA)的关键概念、分类体系、使能技术及多样化应用,并探讨了开放问题与未来方向,为隐私保护的分布式数据分析提供了全面理解。
2025-04-07 cs.CR cs.DC cs.ET
Federated Learning for Connected and Automated Vehicles: A Survey of Existing Approaches and Challenges
Purdue University(普渡大学)
本文综述了联邦学习在网联自动驾驶汽车中的应用,分析了集中式与去中心化框架、数据源与安全技术、具体应用及现有挑战,并展望了未来研究方向。
2023-11-11 cs.CR cs.DC cs.LG
Rethinking Byzantine Robustness in Federated Recommendation from Sparse Aggregation Perspective
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Bestpay(中国电信翼支付);Beihang University(北京航空航天大学);Sony AI(索尼人工智能)
本文针对联邦推荐特有的稀疏聚合机制,重新定义拜占庭鲁棒性,并提出按攻击者知识与能力分类的 Spattack 攻击族,证明少数恶意客户端即可阻止收敛并突破防御。
2025-01-08 cs.AI cs.CR cs.DC
Digital Ethics in Federated Learning
Purdue University(普渡大学)
本文探讨了以人为中心的物联网设备作为联邦学习客户端时引发的数字伦理问题,从客户端与服务器及集中式与去中心化视角分析了博弈动态、公平性、激励和连续性挑战及其解决方案,并展望了未来发展方向。
2023-10-19 cs.CY cs.DC cs.GT
A Survey on Federated Causal Discovery and Inference
School of Computer Science, Nanjing University of Posts and Telecommunications(南京邮电大学计算机学院);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学数据科学与人工智能系)
本文系统综述联邦因果发现与推断领域,通过多维分类法组织方法,并形式化二者作为统一联邦因果推理管道的互补阶段,最后指出开放挑战。
2026-06-24 cs.AI cs.DC cs.LG
Federated Learning Challenges and Opportunities: An Outlook
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
联邦学习(FL)已被开发为一个有前途的框架,以利用边缘设备的资源,增强客户的隐私,遵守法规,并降低开发成本。虽然已经开发了许多方法和应用程序的FL,实际FL系统的几个关键挑战仍然没有解决。本文对外语的发展进行了展望,归纳为外语的五个新兴方向,即算法基础、个性化、硬件和安全约束、终身学习和非标准数据。我们独特的观点得到了边缘设备大规模联邦系统的实际观察的支持。
2022-02-01 cs.AI cs.DC cs.LG
A New Theoretical Perspective on Data Heterogeneity in Federated Optimization
University of Utah(犹他大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
本文提出异构性驱动的伪Lipschitz假设,从新视角分析联邦优化中的数据异构性,证明FedAvg的收敛上界可显著降低,并在二次目标下优于小批量SGD。
2024-07-22 cs.DC cs.IT cs.LG