Decentralized Federated Averaging via Random Walk
针对去中心化联邦学习在异构数据下的收敛与掉队者问题,提出基于随机游走更新及量化的DFedRW,并从理论和实验上证明其收敛优势。
2025-08-29 cs.DC
Decentralized Healthcare Systems with Federated Learning and Blockchain
本文针对医疗数据因隐私限制难以共享的问题,回顾了整合区块链与联邦学习构建去中心化医疗系统以实现医疗记录安全共享的最新研究进展。
2023-06-24 cs.DC
BlockDFL: A Blockchain-based Fully Decentralized Peer-to-Peer Federated Learning Framework
针对P2P联邦学习中的投毒、泄露与高通信开销问题,提出基于区块链、PBFT投票、两层评分和梯度压缩的BlockDFL框架,在40%恶意节点下仍保持准确率。
2024-01-24 cs.DC
Topology-Dependent Privacy Bound For Decentralized Federated Learning
该研究聚焦去中心化联邦学习中未被充分探索的图拓扑隐私影响问题,提出基于“诚实组件”的严格隐私边界,证明网络抗攻击鲁棒性与隐私保障正相关,并通过两类网络与两种隐私攻击验证结论。
2023-12-13 cs.DC
DFedSat: Communication-Efficient and Robust Decentralized Federated Learning for LEO Satellite Constellations
本文提出面向低轨卫星星座的去中心化联邦学习框架DFedSat,通过轨道面内与跨轨道面自适应聚合及自补偿机制,在保证通信效率和鲁棒性的同时实现更快的收敛。
2024-07-08 cs.DC
Connectivity-Aware Semi-Decentralized Federated Learning over Time-Varying D2D Networks
该研究针对时变D2D集群的边缘网络场景,提出一种连接感知半去中心化联邦学习算法,通过调控D2S传输次数与收敛速率的权衡,显著降低了达到目标精度的总通信成本。
2023-07-20 cs.DC
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University(浙江大学理工学院);School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院)
联邦学习(FL)是一个快速发展的领域,已经提出了许多集中式和分散式的FL框架。然而,如何提高FL框架的通信性能,保持FL框架在恶意节点攻击下的安全性和鲁棒性,是当前FL框架面临的一大挑战。在本文中,我们提出了银河联邦学习框架(GFL),一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能,并提出了一种新的环形分散FL算法(RDFL)来提高分散FL的性能和带宽利用率。此外,GFL引入星际文件系统(IPFS)和区块链,进一步提升通信效率和FL安全性。实验结果表明,GFL在恶意节点和非独立同分布(Non-IID)数据集的数据投毒下,提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus
Sun Yat-sen University(中山大学);WeBank Co. Ltd.(微众银行股份有限公司)
联邦学习已被广泛研究并应用于各种场景。在移动计算场景中,联邦学习保护用户不暴露他们的私人数据,同时为各种真实世界的应用程序合作训练全局模型。然而,由于恶意客户端或中心服务器不断攻击全局模型或用户隐私数据,联邦学习的安全性越来越受到质疑。为了解决这些安全问题,我们提出了一种基于区块链的去中心化联邦学习框架,即,基于区块链的联邦学习框架与委员会共识(BFLC)。该框架使用区块链进行全局模型存储和本地模型更新交换。为了使拟议的BFLC,我们还设计了一个创新的委员会共识机制,它可以有效地减少共识计算量,减少恶意攻击。然后,我们讨论了BFLC的可扩展性,包括理论安全性、存储优化和激励措施。最后,我们使用真实世界的数据集进行实验,以验证BFLC框架的有效性。
2020-04-02 cs.DC cs.LG
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
ADF-LoRA通过交替低秩聚合提升去中心化联邦学习的稳定性与收敛速度,实现更高准确率。
2025-11-23 cs.DC cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
University of California, Berkeley(加州大学伯克利分校)
针对数据异构下的联邦极小极大优化,提出结合局部更新与梯度跟踪的去中心化算法 K-GT-Minimax,并证明其在 NC-SC 情形下具有更优通信效率和收敛率。
2024-05-07 cs.DC cs.LG stat.ML
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR,结合环形集群内的增量次梯度优化算法,有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
FLoBC: A Decentralized Blockchain-Based Federated Learning Framework
The American University in Cairo(开罗美国大学)
全球范围内数据的快速扩展需要更多的分布式解决方案,以便在更广泛的范围内应用机器学习。由此产生的分布式学习系统可以具有不同程度的集中化。在这项工作中,我们展示了我们的解决方案FLoBC,用于使用区块链技术构建一个通用的分散式联邦学习系统,适应任何与梯度下降优化兼容的机器学习模型。我们提出了我们的系统设计,包括两个分散的演员:训练器和验证器,以及我们的方法,以确保该系统的可靠和有效的操作。最后,我们利用FLoBC作为一个实验沙箱,比较和对比训练者与验证者的比例,奖惩政策和模型同步方案对整体系统性能的影响,最终通过例子表明,分散的联邦学习系统确实是一个可行的替代方案,以更集中的架构。
2022-10-07 cs.DC cs.LG cs.MA
Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
TAD-LoRA通过拓扑感知的交替LoRA方法,在去中心化联邦学习中稳定参数高效微调,提升不同通信拓扑下的性能。
2026-01-31 cs.DC cs.LG
Implicit Model Specialization through DAG-based Decentralized Federated Learning
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学);Charité – Universitätsmedizin Berlin(夏里特医学院)
联邦学习允许一组分布式客户端在私有数据上训练公共机器学习模型。模型更新的交换由中央实体或分散的方式(例如区块链)管理。然而,所有客户端的强泛化使得这些方法不适合非独立和同分布(非IID)数据。我们提出了一个统一的方法,分散和个性化的联邦学习,是基于有向无环图(DAG)的模型更新。客户端不是训练单个全局模型,而是专注于其本地数据,同时根据其各自数据的相似性使用来自其他客户端的模型更新。这种专门化隐含地出现在基于DAG的通信和模型更新的选择中。因此,我们实现了专门模型的发展,这些模型专注于数据的一个子集,因此比集中式或基于区块链的设置中的联邦学习更好地覆盖非IID数据。据我们所知,所提出的解决方案是第一个在完全分散的联邦学习中将个性化和中毒鲁棒性结合起来的解决方案。我们的评估表明,模型的专业化直接来自三个不同数据集上基于DAG的模型更新通信。此外,与联邦平均相比,我们显示了稳定的模型准确性和更小的客户端方差。
2021-11-03 cs.DC cs.LG
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University(清华大学);Syracuse University(雪城大学)
在本文中,我们研究了物联网(IoT)系统中的分散式联邦学习(DFL)问题,其中许多IoT客户端训练模型共同完成一项共同任务,而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成,即,模型更新和模型平均。然而,直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移,特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案,我们提出了分散式联合学习通过相互知识转移(Def-KT)算法,其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,所提出的Def-KT算法显著优于具有模型平均的基线DFL方法,即,Combo和FullAvg,特别是当训练数据在不同客户端之间不是独立和相同分布(非IID)时。
2021-05-12 cs.DC cs.LG
Towards Practical Overlay Networks for Decentralized Federated Learning
针对去中心化联邦学习缺乏可实际部署的覆盖网络构建与维护协议的问题,本文提出 FedLay,以去中心化方式构建并维护近随机正则拓扑,在真实数据集上实现更快收敛、更高准确率、低通信开销及节点动态容错。
2024-09-09 cs.DC cs.NI
Blockchain-based Federated Learning for Decentralized Energy Management Systems
Koç University(科奇大学)
本文全面分析了能源互联网领域结合区块链、智能合约与联邦学习的最先进解决方案,识别四种系统模型并探讨其在能源交易、微电网和电动汽车管理等领域的应用,同时指出了未来研究方向。
2023-06-23 cs.AI cs.DC
Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift
Google Inc.(谷歌公司)
以隐私为动机,联邦学习(FL)是一种越来越多使用的范例,其中学习在边缘设备上集体进行,每个设备都有一个用户生成的训练样本的缓存,这些样本仍然驻留在本地设备上。这些设备上训练样本在用户与他们的设备交互的过程期间被就地收集,并且因此高度反映推理数据分布的至少一部分。然而,分布偏移可能仍然存在;设备上的训练样本可能缺少预期在推断时遇到的一些数据输入。本文提出了一种减轻这种转变的方法:选择性地使用数据中心数据,与FL混合。通过混合分散(联邦)和集中(数据中心)数据,我们可以形成一个有效的训练数据分布,更好地匹配推理数据分布,从而产生更有用的模型,同时仍然满足FL施加的私有训练数据访问约束。
2021-11-23 cs.DC cs.LG
Graph Federated Learning Based on the Decentralized Framework
Southwest University(西南大学);University of Auckland(奥克兰大学)
针对图联邦学习经典客户端-服务器框架的单点故障、可扩展性差问题,提出引入去中心化框架、基于节点数据相似度确定置信度并线性加权聚合梯度的方法,性能优于FedAvg等现有方法。
2023-07-19 cs.DC cs.LG
Scheduling and Communication Schemes for Decentralized Federated Learning
Arab Academy for Science, Technology & Maritime Transport(阿拉伯科学、技术与海运学院);University of Vigo(维戈大学)
本文提出一种采用SGD算法的去中心化联邦学习(DFL)模型,并设计了三种调度策略用于客户端与并行服务器间的通信,实验证明这些策略对收敛速度和最终全局模型有显著影响。
2023-11-27 cs.DC cs.LG
Decentralized Federated Averaging
Federated averaging(FedAvg)是一种高效的分布式训练算法,适用于大量客户端。在FedAvg中,客户端将其数据保存在本地以进行隐私保护;中央参数服务器用于客户端之间的通信。该中央服务器将参数分发给每个客户端,并从客户端收集更新的参数。FedAvg主要是以集中的方式进行研究的,这需要在每次通信中服务器和客户端之间进行大量通信。此外,攻击中央服务器可以破坏整个系统的隐私。在本文中,我们研究了分散的FedAvg与动量(DFedAvgM),这是由一个无向图连接的客户端上实现的。在DFedAvgM中,所有客户端都使用动量执行随机梯度下降,并且仅与其邻居通信。为了进一步降低通信成本,我们还考虑了量化的DFedAvgM。我们证明了(量化)DFedAvgM的收敛性在平凡的假设下,收敛速度可以提高时,损失函数满足Pestan属性。最后,我们数值验证DFedAvgM的有效性。
2021-04-23 cs.DC stat.ML
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.(谷歌公司)
联邦学习(FL)支持从分散的隐私敏感数据中学习,对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL,其中包括一个额外的损失计算在协调服务器(同时保持FL的私人数据限制)。有许多好处。例如,可以利用附加的数据中心数据来联合地从集中式(数据中心)和分散式(联合)训练数据学习,并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算(例如,嵌入正则化)到服务器,大大减少了通信和客户端计算负载。对于这些和其他混合FL用例,我们提出了三种算法:并行训练,单向梯度转移和双向梯度转移。我们国家的收敛范围,并给予直觉,适合特定的混合FL问题。最后,我们进行了广泛的实验上的三个任务,表明混合FL可以混合训练数据,以实现预言的准确性上的推理分布,并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University(清华大学);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
对数据隐私和安全性的新担忧激发了联邦学习的提出,它允许节点只同步本地训练的模型,而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计,依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而,在现实世界的联邦学习场景中,节点之间的网络容量是高度均匀分布的,并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中,我们提出了一个模型段级分散联邦学习来解决这个问题。特别是,我们提出了一种分段的流言方法,它不仅充分利用了节点到节点的带宽,而且具有良好的训练收敛性。实验结果表明,与集中式联邦学习相比,即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning
Université Paris Dauphine-PSL, Tunis Campus(巴黎第九大学-PSL大学 突尼斯校区);École de technoogie supérieure (ÉTS) Montreal(高等技术学院(蒙特利尔ÉTS))
本文提出OCD-FL方案,通过系统性对等选择实现通信高效的去中心化联邦学习,在保持或提升性能的同时将能耗降低30%至80%。
2024-11-22 cs.DC cs.LG
Papaya: Federated Learning, but Fully Decentralized
UC Berkeley(加州大学伯克利分校)
联邦学习系统使用集中式服务器来聚合模型更新。这是带宽和资源重的约束,并且使系统暴露于隐私问题。相反,我们实现了一个对等学习系统中,节点训练自己的数据,并定期执行加权平均的参数与他们的同行根据一个学习的信任矩阵。到目前为止,我们已经创建了一个模型客户端框架,并一直在使用它来运行实验上提出的系统使用多个虚拟节点,在现实中存在于同一台计算机上。我们使用这个策略,如我们的提案的迭代1中所述,来证明具有共享参数的对等学习的概念。我们现在希望进行更多的实验,并建立一个更可部署的现实世界系统。
2023-03-10 cs.DC cs.LG
L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning
University of Oulu(奥卢大学)
本文提出了一种通信高效的分散式深度学习算法,即分层联邦组ADMM(L-FGADMM)。为了最小化经验风险,L-FGADMM中的每个工作者定期与两个邻居通信,其中针对其深层神经网络的不同层分别调整周期。一个约束优化问题,这种设置制定和解决使用随机版本的GADMM提出在我们以前的工作。数值计算表明,通过减少最大层的交换频率,L-FGADMM可以显着降低通信成本,而不会影响收敛速度。令人惊讶的是,尽管交换的信息和分散的操作较少,但间歇性地跳过L-FGADMM中的最大层共识会产生正则化效应,从而实现与联邦学习(FL)一样高的测试准确性,FL是一种借助中央实体实现整个层共识的基线方法。
2020-07-05 cs.DC cs.LG cs.NI
DID-eFed: Facilitating Federated Learning as a Service with Decentralized Identities
University of Stavanger(斯塔万格大学)
我们已经进入大数据时代,它被认为是人工智能应用蓬勃发展的“燃料”。欧盟《通用数据保护条例》(GDPR)的颁布引发了人们对大数据中个人隐私的担忧。联邦学习(FL)作为一种功能解决方案出现,可以帮助构建在多方之间共享的高性能模型,同时仍然符合用户隐私和数据机密性要求。虽然FL已经被深入研究并在实际应用中使用,但对于感兴趣的第三方来说,与其作为FLaaS(联邦学习即服务)的前景和应用相关的研究仍然有限。在本文中,我们提出了一个FLaaS系统:DID-eFed,其中FL由分散身份(DID)和智能合约提供便利。DID在我们的系统中实现了更灵活和可信的分散访问管理,而智能合约提供了一个无摩擦和更少出错的过程。我们特别描述了我们的DID-eFed在医院和研究机构之间实现FLaaS的场景。
2021-05-19 cs.CR cs.DC cs.LG
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
Purdue University(普渡大学);Yonsei University(延世大学);MIT(麻省理工学院);University at Buffalo (SUNY)(纽约州立大学布法罗分校)
本文提出去中心化偶发联邦学习框架DSpodFL,通过广义的偶发性概念统一建模异构且时变的局部梯度与聚合过程,并在温和假设下提供了凸与非凸模型的收敛性保证,实验证明其训练速度优于基线。
2025-03-06 cs.DC cs.LG
BotDetect: A Decentralized Federated Learning Framework for Detecting Financial Bots on the EVM Blockchains
本文提出一种基于智能合约编排的去中心化联邦学习框架,用于在EVM区块链上检测金融机器人,在保护隐私的同时实现高准确率检测。
2025-01-21 cs.CR cs.DC
Air-Plan: Query-Optimized Topology Selection for Over-the-Air Decentralized Federated Learning
ICLab(IC实验室);atlanTTic;University of Vigo(维戈大学)
研究空中去中心化联邦学习的通信拓扑选择问题,通过建立与分布式查询处理的等价关系,用隐私保护统计估计工作量,评估候选拓扑成本模型来选最优拓扑,实验表明效果良好。
2026-07-07 cs.DC cs.LG
Semi-Decentralized Federated Learning with Collaborative Relaying
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
我们提出了一个半分散的联邦学习算法,其中客户端协作中继他们的邻居的本地更新到一个中央参数服务器(PS)。在到PS的每一轮通信中,每个客户端计算来自其相邻客户端的更新的本地共识,并最终将其自己的更新和其相邻客户端的更新的加权平均值发送到PS。我们适当地优化这些平均权重,以确保在PS的全局更新是无偏的,并减少在PS的全局更新的方差,从而提高收敛速度。数值模拟证实了我们的理论主张,并展示了客户端和PS之间的间歇性连接设置,我们提出的算法与联邦平均算法相比,显示出更高的收敛速度和准确性。
2022-05-23 cs.DC cs.LG cs.MA
IPLS : A Framework for Decentralized Federated Learning
University Of Thessaly(塞萨利大学);HKUST(香港科技大学)
存储丰富、多维和隐私敏感用户数据的资源丰富的移动设备的激增激发了联邦学习(FL)的设计,这是一种机器学习(ML)范式,使移动设备能够在不共享数据的情况下生成ML模型。然而,大多数现有的FL框架依赖于集中的实体。在这项工作中,我们介绍了IPLS,一个完全分散的联邦学习框架,部分基于星际文件系统(IPFS)。通过使用IPLS并连接到相应的私有IPFS网络,任何一方都可以启动ML模型的训练过程,或者加入另一方已经开始的正在进行的训练过程。IPLS随着参与者的数量而扩展,对间歇性连接和动态参与者离开/到达具有鲁棒性,需要最少的资源,并保证训练模型的准确性快速收敛到集中式FL框架的准确性,准确性下降小于千分之一。
2021-01-06 cs.DC cs.LG cs.NI
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL, Switzerland(瑞士洛桑联邦理工学院)
本文提出AGRAF SGD统一框架,在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本,并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
Wireless Federated Learning (WFL) for 6G Networks -- Part I: Research Challenges and Future Trends
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
传统的机器学习技术以集中方式进行。近年来,无线终端设备产生的大量无线数据、隐私问题和不断增长的计算能力,导致了一种有前途的分布式解决方案的出现,称为无线联邦学习(WFL)。在这两部分的第一篇论文中,我们提出了WFL在第六代无线网络(6 G)中的应用,该网络被设想为一个集成的通信和计算平台。在分析了WFL的关键概念后,我们讨论了无线(或移动通信)环境对WFL的核心挑战。最后,我们揭示了WFL的未来发展方向,旨在将FL建设性地融入未来的无线网络。
2021-04-24 cs.DC cs.LG
Demo: A Practical Testbed for Decentralized Federated Learning on Physical Edge Devices
Communication Systems Group, Department of Informatics, University of Zurich UZH(苏黎世大学信息学院通信系统组);Cyber-Defence Campus, armasuisse Science & Technology(armasuisse科学与技术网络)
本文设计并部署基于 Raspberry Pi、Jetson Nano 与 NEBULA 的去中心化联邦学习物理测试平台,加入功耗监测以评估真实边缘部署,并通过多数据集实验揭示通信拓扑密度对模型性能的影响。
2025-05-12 cs.DC cs.LG
Enhanced Decentralized Federated Learning based on Consensus in Connected Vehicles
Inner Mongolia University of Technology(内蒙古工业大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);New Jersey Institute of Technology(新泽西理工学院)
互联车辆的高级研究最近瞄准了车辆到一切(V2X)网络与机器学习(ML)工具和分布式决策的集成。联邦学习(FL)正在作为一种新的范例出现,以在分布式系统(包括V2X网络中的车辆)中训练机器学习(ML)模型。不是共享和上传训练数据到服务器,模型参数(例如,神经网络的权重和偏置)由大量互连车辆应用,充当本地学习器。尽管有这些好处,但现有方法的局限性是集中式优化,其依赖于服务器来聚合和融合本地参数,导致单点故障的缺点和增加V2X网络规模的扩展问题。同时,在智能交通场景中,从车载传感器收集的数据是冗余的,这降低了聚合的性能。为了解决这些问题,我们探索了一种新的分散数据处理的想法,并引入了一个联邦学习框架,在网络车辆,C-DFL(基于共识的分散联邦学习),以解决联邦学习连接车辆和提高学习质量。大量的模拟已经实施,以评估C-DFL的性能,这表明C-DFL的性能优于传统的方法在所有情况下。
2022-09-22 cs.AI cs.DC cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee
Sun Yat-sen University(中山大学)
联邦学习允许多个参与者协作训练有效的模型,而不会暴露数据隐私。但这种分布式机器学习训练方法容易受到来自拜占庭客户端的攻击,通过修改模型或上传虚假梯度来干扰全局模型的训练。本文提出了一种新的无服务器联邦学习框架--基于委员会机制的联邦学习(CMFL),该框架在保证算法收敛的同时保证了算法的鲁棒性。在CMFL中,建立了一个委员会系统来筛选上传的本地梯度。委员会系统通过选择策略选择由当选成员评分的局部梯度进行聚集过程,并通过选举策略替换委员会成员。基于对模型性能和防御性的不同考虑,设计了两种相反的选择策略,以兼顾准确性和鲁棒性。实验结果表明,CMFL算法以分散的方式,比典型的联邦学习算法具有更快的收敛速度和更高的精度,同时比传统的拜占庭容错算法具有更好的鲁棒性。此外,我们从理论上分析和证明了CMFL在不同选举和选择策略下的收敛性,这与实验结果相吻合。
2022-09-08 cs.CR cs.DC cs.LG
CACTUS: Mask-Guided Semantic Clean-Label Backdoors in Decentralized Federated Learning
University of Zurich(苏黎世大学)
CACTUS针对去中心化联邦学习的后门植入问题,通过掩码引导的语义操作实现了高攻击成功率,可在多模态任务中通过联邦聚合传播后门。
2026-09-03 cs.DC cs.LG
Communication-Efficient Neural Tangent Kernels for Heterogeneous Decentralized Federated Learning
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China(民族语言智能分析与安全治理教育部重点实验室,中国民族大学)
提出SPARK方法,通过阶段退火软标签正则化器稳定动量加速的神经正切核更新,在异构去中心化联邦学习中实现约3倍收敛加速和高达70%的通信节省。
2026-06-16 cs.DC cs.LG
Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized Devices
UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学UM-SJTU联合学院);Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University(上海交通大学合作媒体创新中心);McMaster University(麦克马斯特大学)
本文提出首个节点级联邦图神经网络框架Lumos,通过树构造器和基于马尔可夫链蒙特卡洛的算法解决结构信息有限与度异构性导致的负载不平衡问题,在提升准确率的同时显著降低了通信成本和训练时间。
2024-02-17 cs.DC cs.LG
A Survey on Decentralized Federated Learning
Department of Computer, Control and Management Engineering, Sapienza University of Rome(罗马萨皮恩扎大学计算机、控制与管理工程系);Department of Computer Science, Sapienza University of Rome(罗马萨皮恩扎大学计算机科学系);Università della Svizzera Italiana(意大利瑞士大学)
本文综述了去中心化联邦学习的方法、架构及挑战,探讨了其拓扑依赖性、安全隐私权衡及未来研究方向。
2026-03-10 cs.CR cs.DC cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary(电气与软件工程系,卡尔加里大学);Department of Geomatics Engineering, University of Calgary(测绘工程系,卡尔加里大学)
针对联邦学习中客户端能量与可用预算受限问题,提出半去中心化客户端选择方法FedDeCAB,通过概率排序选客户端、离线时从近邻获取参数优化,在多场景下均有效。
2025-09-03 cs.DC cs.LG
Communication-Efficient Design for Quantized Decentralized Federated Learning
针对去中心化联邦学习(DFL)一跳通信导致信息交换效率低、通信轮次多的问题,提出基于Lloyd-Max算法的非均匀量化LM-DFL及双自适应DFL,在MNIST、CIFAR-10上验证可提升通信效率与量化性能。
2023-10-10 cs.DC eess.SP
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
School of Cyber Science & Engineering, Southeast University(东南大学网络空间科学与工程学院);Institute of Artificial Intelligence (TeleAI) of China Telecom(中国电信人工智能研究院);School of Mathematics, Southeast University(东南大学数学学院);Purple Mountain Laboratories(紫金山实验室)
针对分布式非凸复合联邦学习问题,提出DEPOSITUM算法,其通过梯度跟踪机制适配两类动量,支持多轮局部更新,理论上具低迭代复杂度,实验验证其有效性与竞争力。
2026-08-11 cs.DC cs.LG math.OC
Decentralized Federated Learning with Model Caching on Mobile Agents
New York University(纽约大学);Stony Brook University(石溪大学);New York Institute of Technology(纽约理工学院)
本文提出缓存去中心化联邦学习(Cached-DFL),通过在移动智能体上缓存并交换近期遇到的模型来应对通信机会零星的问题,理论分析缓存陈旧性对收敛的影响,并在车载网络实验中验证其显著优于无缓存的DFL。
2025-02-04 cs.DC cs.LG
Robust Decentralized Personalized Federated Learning via Prediction-Constrained Neighborhood Collaboration
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)
提出鲁棒去中心化个性化联邦学习方法R-DPFL,通过邻域方向估计和基于历史的更新趋势预测抵御拜占庭攻击,在CIFAR-10上优于现有基线。
2026-09-09 cs.CR cs.DC cs.LG
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
客户端到参数服务器(PS)的间歇性连接是联合边缘学习框架中的主要瓶颈。缺乏恒定的连接性会导致很大的泛化差距,特别是当客户端之间的本地数据分布表现出异质性时。为了克服客户端和中央PS之间的间歇性通信中断,我们引入了协作中继的概念,其中参与的客户端将其邻居的本地更新中继到PS,以提高与PS的连接性差的客户端的参与。我们提出了一个半分散的联邦学习框架,在每个通信回合中,每个客户端最初计算其相邻客户端更新的子集的本地共识,并最终将其自己的更新和其邻居的更新的加权平均值传输到PS。我们适当地优化这些局部共识权重,以确保PS的全局更新是无偏的,方差最小-从而提高收敛速度。对CIFAR-10数据集的数值评估表明,我们的协作中继方法优于基于联邦平均的基准,用于在不连续连接的网络上进行学习,例如当客户端通过毫米波信道进行通信时,间歇性阻塞。
2022-10-21 cs.DC cs.LG cs.MA
Decentralized Federated Anomaly Detection in Smart Grids: A P2P Gossip Approach
Centre for Cyber Resilience and Trust (CREST), Deakin University(网络弹性与信任中心(CREST),迪肯大学);Department of Computer Science & IT, Latrobe University(计算机科学与信息技术系,拉筹伯大学)
针对传统联邦学习依赖中心化聚合器及更新传输隐私泄露问题,本文提出基于Random Walk与Epidemic gossip协议的P2P去中心化异常检测方案,实验显示其检测准确率更优且训练时间改善35%。
2025-01-09 cs.AI cs.CR cs.DC