Balanced Overlay Networks (BON): Decentralized Load Balancing via Self-Organized Random Networks
我们提出了一种新的框架,称为平衡覆盖网络(BON),它提供了可扩展的,分散的负载均衡的分布式计算使用大规模池的异构计算机。基本上,BON将每个节点的可用计算资源信息编码在连接网络中节点的链路结构中。这种分布式编码是自组织的,每个节点通过随机游走采样管理其入度和本地连接。将传入作业分配给具有最多空闲资源的节点也通过经由短随机游走对节点进行采样来完成。大量的模拟表明,由此产生的高度动态和自组织的图结构可以有效地平衡整个大规模网络的计算负载。这些模拟涵盖了广泛的情况,包括可用计算资源的显著异质性和传入负载的高突发性。我们提供了分析结果,证明了BON的可扩展性,真正的大规模网络:特别是我们表明,在某些理想条件下,网络结构收敛到Erdos-Renyi(ER)随机图;我们的模拟结果,但是,表明该算法做得更好,结构似乎接近理想情况下的d-正则随机图。我们还将高负载的BON和著名的球仓随机负载均衡框架联系起来。
2006-01-16 cs.DC
EMO: Edge Model Overlays to Scale Model Size in Federated Learning
university campus(大学校园)
提出EMO框架,通过在设备与服务器间引入边缘模型覆盖和增强联邦学习(AFL)构建集成模型,解决联邦学习训练大模型时的计算与通信瓶颈,显著提升准确率并降低通信与训练开销。
2025-04-01 cs.DC cs.LG
Evaluation Framework for Centralized and Decentralized Aggregation Algorithm in Federated Systems
Maharashtra Institute of Technology - Art, Design and Technology University(马哈拉施特拉技术艺术设计与科技大学)
本文比较了集中式层次联邦学习与分布式聚合联邦学习及持续联邦学习架构,通过实验展示分布式方法在精度、召回率等指标上的优势,强调分布式聚合机制对协同训练的重要性。
2025-12-05 cs.DC
Decentralized Federated Learning Based on Committees and Blockchain
机器学习算法无疑是近年来最流行的算法之一,神经网络也展示了前所未有的精度。在日常生活中,不同的社区可能有不同的用户特征,这也意味着训练一个强模型需要不同社区的联合,因此隐私问题亟待解决。联邦学习是一种流行的隐私解决方案,每个社区不需要暴露特定的数据,只需要将子模型上传到协调服务器就可以训练更强大的模型。但是,联邦学习也存在一些问题,如协调服务器的安全性和公平性问题。这个问题的一个行之有效的解决方案是联邦学习的分散实现。本文应用区块链、共识算法等去中心化工具,设计了一个支持联盟环境下联邦学习去中心化运行的支持系统,涉及激励、安全、公平等问题的探索。最后,我们通过实验验证了我们的系统的性能,联邦学习的效果,和隐私保护的可用性。
2022-05-23 cs.DC
Semantica: Decentralized Search using a LLM-Guided Semantic Tree Overlay
本文提出 Semantica,利用 LLM 文档嵌入构建语义 trie 覆盖网络并支持克隆用户,实验表明其相似用户发现和相关文档检索显著优于现有方法。
2025-02-14 cs.DC cs.IR cs.NI
Decentralized Wireless Federated Learning with Differential Privacy
本文研究了无线物联网中的分散式联邦学习算法。传统的联邦学习参数服务器架构存在容错能力低、通信开销大、私有数据不可访问等问题。为了解决这些问题,我们提出了一种分布式无线联合学习算法DWFL。该算法工作在一个系统中,工人组织在一个对等和无服务器的方式,和工人交换他们的隐私保护数据的模拟传输方案通过无线信道并行。通过严格的分析,我们表明,DWFL满足$(ε,δ)$ -差分隐私和隐私预算每个工人规模为$\mathcal{O}(\frac{1}{\sqrt{N}})$,在正交传输方法中的恒定预算相比。此外,DWFL的收敛速度与具有中央参数服务器的最知名的集中式算法的$\mathcal{O}(\sqrt{\frac{1}{TN}})$相同。大量的实验表明,我们的算法DWFL也表现良好,在真实的设置。
2022-01-15 cs.DC
IPLS : A Framework for Decentralized Federated Learning
University Of Thessaly(塞萨利大学);HKUST(香港科技大学)
存储丰富、多维和隐私敏感用户数据的资源丰富的移动设备的激增激发了联邦学习(FL)的设计,这是一种机器学习(ML)范式,使移动设备能够在不共享数据的情况下生成ML模型。然而,大多数现有的FL框架依赖于集中的实体。在这项工作中,我们介绍了IPLS,一个完全分散的联邦学习框架,部分基于星际文件系统(IPFS)。通过使用IPLS并连接到相应的私有IPFS网络,任何一方都可以启动ML模型的训练过程,或者加入另一方已经开始的正在进行的训练过程。IPLS随着参与者的数量而扩展,对间歇性连接和动态参与者离开/到达具有鲁棒性,需要最少的资源,并保证训练模型的准确性快速收敛到集中式FL框架的准确性,准确性下降小于千分之一。
2021-01-06 cs.DC cs.LG cs.NI
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University(清华大学);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
对数据隐私和安全性的新担忧激发了联邦学习的提出,它允许节点只同步本地训练的模型,而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计,依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而,在现实世界的联邦学习场景中,节点之间的网络容量是高度均匀分布的,并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中,我们提出了一个模型段级分散联邦学习来解决这个问题。特别是,我们提出了一种分段的流言方法,它不仅充分利用了节点到节点的带宽,而且具有良好的训练收敛性。实验结果表明,与集中式联邦学习相比,即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Theoretical Analysis of Impact of Delayed Updates on Decentralized Federated Learning
针对去中心化联邦学习中的更新传输延迟问题,本文分析其对模型收敛的影响,给出可收敛的更新周期理论界,并提出复用最新延迟版本继续聚合的方法。
2023-11-02 cs.DC
L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning
University of Oulu(奥卢大学)
本文提出了一种通信高效的分散式深度学习算法,即分层联邦组ADMM(L-FGADMM)。为了最小化经验风险,L-FGADMM中的每个工作者定期与两个邻居通信,其中针对其深层神经网络的不同层分别调整周期。一个约束优化问题,这种设置制定和解决使用随机版本的GADMM提出在我们以前的工作。数值计算表明,通过减少最大层的交换频率,L-FGADMM可以显着降低通信成本,而不会影响收敛速度。令人惊讶的是,尽管交换的信息和分散的操作较少,但间歇性地跳过L-FGADMM中的最大层共识会产生正则化效应,从而实现与联邦学习(FL)一样高的测试准确性,FL是一种借助中央实体实现整个层共识的基线方法。
2020-07-05 cs.DC cs.LG cs.NI
Usable Agent Discovery for Decentralized AI Systems
Department of Computer Science(计算机科学系);University of Pisa(比萨大学);Institute of Information Science and Technologies(信息科学与技术研究所);National Research Council of Italy(意大利国家研究理事会);Institute of Informatics and Telematics(信息学与电信研究所)
本文研究了在双层 churn 情况下去中心化代理发现,比较了不同机制在路由效率、鲁棒性和服务准备度方面的表现。
2026-04-25 cs.AI cs.DC cs.MA
DFPL: Decentralized Federated Prototype Learning Across Heterogeneous Data Distributions
针对去中心化联邦学习因数据异构性性能下降的问题,提出嵌入区块链的DFPL框架,引入原型学习缓解异构性、减少通信参数,经理论收敛分析和四数据集实验验证,其在模型性能与通信效率上更优。
2025-10-02 cs.DC
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Tram-FL: Routing-based Model Training for Decentralized Federated Learning
School of Engineering, Tokyo Institute of Technology(东京工业大学工学院)
针对去中心化联邦学习中的高通信开销与 non-IID 数据问题,提出顺序传递全局模型并结合动态路由选择的 Tram-FL,在多个数据集上以更低通信成本取得优于基线的准确率。
2023-08-09 cs.DC cs.LG cs.NI
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University(浙江大学理工学院);School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院)
联邦学习(FL)是一个快速发展的领域,已经提出了许多集中式和分散式的FL框架。然而,如何提高FL框架的通信性能,保持FL框架在恶意节点攻击下的安全性和鲁棒性,是当前FL框架面临的一大挑战。在本文中,我们提出了银河联邦学习框架(GFL),一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能,并提出了一种新的环形分散FL算法(RDFL)来提高分散FL的性能和带宽利用率。此外,GFL引入星际文件系统(IPFS)和区块链,进一步提升通信效率和FL安全性。实验结果表明,GFL在恶意节点和非独立同分布(Non-IID)数据集的数据投毒下,提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
Megha: Decentralized Global Fair Scheduling for Federated Clusters
本文提出去中心化资源管理框架 Megha,通过集群逻辑分区和基于最终一致性的分布式全局调度器,在联邦集群中以数十毫秒级开销支持公平且满足放置约束的任务调度。
2022-11-10 cs.DC
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
SDFLMQ: A Semi-Decentralized Federated Learning Framework over MQTT
本文提出 SDFLMQ,一种基于 MQTT 发布/订阅机制的边缘半去中心化联邦学习框架,以支持聚类、负载均衡和高效聚合。
2025-03-17 cs.DC
Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
University of California, Berkeley(加州大学伯克利分校)
针对数据异构下的联邦极小极大优化,提出结合局部更新与梯度跟踪的去中心化算法 K-GT-Minimax,并证明其在 NC-SC 情形下具有更优通信效率和收敛率。
2024-05-07 cs.DC cs.LG stat.ML
Decentralized Federated Averaging via Random Walk
针对去中心化联邦学习在异构数据下的收敛与掉队者问题,提出基于随机游走更新及量化的DFedRW,并从理论和实验上证明其收敛优势。
2025-08-29 cs.DC
FLoBC: A Decentralized Blockchain-Based Federated Learning Framework
The American University in Cairo(开罗美国大学)
全球范围内数据的快速扩展需要更多的分布式解决方案,以便在更广泛的范围内应用机器学习。由此产生的分布式学习系统可以具有不同程度的集中化。在这项工作中,我们展示了我们的解决方案FLoBC,用于使用区块链技术构建一个通用的分散式联邦学习系统,适应任何与梯度下降优化兼容的机器学习模型。我们提出了我们的系统设计,包括两个分散的演员:训练器和验证器,以及我们的方法,以确保该系统的可靠和有效的操作。最后,我们利用FLoBC作为一个实验沙箱,比较和对比训练者与验证者的比例,奖惩政策和模型同步方案对整体系统性能的影响,最终通过例子表明,分散的联邦学习系统确实是一个可行的替代方案,以更集中的架构。
2022-10-07 cs.DC cs.LG cs.MA
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus
Sun Yat-sen University(中山大学);WeBank Co. Ltd.(微众银行股份有限公司)
联邦学习已被广泛研究并应用于各种场景。在移动计算场景中,联邦学习保护用户不暴露他们的私人数据,同时为各种真实世界的应用程序合作训练全局模型。然而,由于恶意客户端或中心服务器不断攻击全局模型或用户隐私数据,联邦学习的安全性越来越受到质疑。为了解决这些安全问题,我们提出了一种基于区块链的去中心化联邦学习框架,即,基于区块链的联邦学习框架与委员会共识(BFLC)。该框架使用区块链进行全局模型存储和本地模型更新交换。为了使拟议的BFLC,我们还设计了一个创新的委员会共识机制,它可以有效地减少共识计算量,减少恶意攻击。然后,我们讨论了BFLC的可扩展性,包括理论安全性、存储优化和激励措施。最后,我们使用真实世界的数据集进行实验,以验证BFLC框架的有效性。
2020-04-02 cs.DC cs.LG
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
ADF-LoRA通过交替低秩聚合提升去中心化联邦学习的稳定性与收敛速度,实现更高准确率。
2025-11-23 cs.DC cs.LG
Decentralized Healthcare Systems with Federated Learning and Blockchain
本文针对医疗数据因隐私限制难以共享的问题,回顾了整合区块链与联邦学习构建去中心化医疗系统以实现医疗记录安全共享的最新研究进展。
2023-06-24 cs.DC
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学);Microsoft(微软);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习是一个很有前途的框架,用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本,并且可以提高隐私性,因为分布式站点不必透露隐私敏感数据。在本文中,我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法(ADMM),并检查其隐私的弱点。与以前的工作,使用差分隐私或同态加密的隐私,我们开发了一个协议,控制参与者之间的通信,在每一轮的聚合,以尽量减少隐私泄漏。我们建立了隐私保证,以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式,灵感来自组合块设计理论。我们的安全聚合协议的基础上,这种新的组通信模式的设计,导致一个有效的算法,联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明,我们的算法执行的标准集中式联邦学习方法,同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR,结合环形集群内的增量次梯度优化算法,有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
BlockDFL: A Blockchain-based Fully Decentralized Peer-to-Peer Federated Learning Framework
针对P2P联邦学习中的投毒、泄露与高通信开销问题,提出基于区块链、PBFT投票、两层评分和梯度压缩的BlockDFL框架,在40%恶意节点下仍保持准确率。
2024-01-24 cs.DC
Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
TAD-LoRA通过拓扑感知的交替LoRA方法,在去中心化联邦学习中稳定参数高效微调,提升不同通信拓扑下的性能。
2026-01-31 cs.DC cs.LG
Implicit Model Specialization through DAG-based Decentralized Federated Learning
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学);Charité – Universitätsmedizin Berlin(夏里特医学院)
联邦学习允许一组分布式客户端在私有数据上训练公共机器学习模型。模型更新的交换由中央实体或分散的方式(例如区块链)管理。然而,所有客户端的强泛化使得这些方法不适合非独立和同分布(非IID)数据。我们提出了一个统一的方法,分散和个性化的联邦学习,是基于有向无环图(DAG)的模型更新。客户端不是训练单个全局模型,而是专注于其本地数据,同时根据其各自数据的相似性使用来自其他客户端的模型更新。这种专门化隐含地出现在基于DAG的通信和模型更新的选择中。因此,我们实现了专门模型的发展,这些模型专注于数据的一个子集,因此比集中式或基于区块链的设置中的联邦学习更好地覆盖非IID数据。据我们所知,所提出的解决方案是第一个在完全分散的联邦学习中将个性化和中毒鲁棒性结合起来的解决方案。我们的评估表明,模型的专业化直接来自三个不同数据集上基于DAG的模型更新通信。此外,与联邦平均相比,我们显示了稳定的模型准确性和更小的客户端方差。
2021-11-03 cs.DC cs.LG
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University(清华大学);Syracuse University(雪城大学)
在本文中,我们研究了物联网(IoT)系统中的分散式联邦学习(DFL)问题,其中许多IoT客户端训练模型共同完成一项共同任务,而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成,即,模型更新和模型平均。然而,直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移,特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案,我们提出了分散式联合学习通过相互知识转移(Def-KT)算法,其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,所提出的Def-KT算法显著优于具有模型平均的基线DFL方法,即,Combo和FullAvg,特别是当训练数据在不同客户端之间不是独立和相同分布(非IID)时。
2021-05-12 cs.DC cs.LG
ProFe: Communication-Efficient Decentralized Federated Learning via Distillation and Prototypes
University of Murcia(穆尔西亚大学);armasuisse Science & Technology(瑞士Armasuisse科学技术局);University of Zurich UZH(苏黎世大学)
本文提出ProFe算法,结合知识蒸馏、原型学习和量化,在去中心化联邦学习中降低通信成本约40-50%,同时保持或提升模型性能,但增加约20%训练时间。
2024-12-15 cs.AI cs.DC cs.LG
Blockchain-based Federated Learning for Decentralized Energy Management Systems
Koç University(科奇大学)
本文全面分析了能源互联网领域结合区块链、智能合约与联邦学习的最先进解决方案,识别四种系统模型并探讨其在能源交易、微电网和电动汽车管理等领域的应用,同时指出了未来研究方向。
2023-06-23 cs.AI cs.DC
Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift
Google Inc.(谷歌公司)
以隐私为动机,联邦学习(FL)是一种越来越多使用的范例,其中学习在边缘设备上集体进行,每个设备都有一个用户生成的训练样本的缓存,这些样本仍然驻留在本地设备上。这些设备上训练样本在用户与他们的设备交互的过程期间被就地收集,并且因此高度反映推理数据分布的至少一部分。然而,分布偏移可能仍然存在;设备上的训练样本可能缺少预期在推断时遇到的一些数据输入。本文提出了一种减轻这种转变的方法:选择性地使用数据中心数据,与FL混合。通过混合分散(联邦)和集中(数据中心)数据,我们可以形成一个有效的训练数据分布,更好地匹配推理数据分布,从而产生更有用的模型,同时仍然满足FL施加的私有训练数据访问约束。
2021-11-23 cs.DC cs.LG
Graph Federated Learning Based on the Decentralized Framework
Southwest University(西南大学);University of Auckland(奥克兰大学)
针对图联邦学习经典客户端-服务器框架的单点故障、可扩展性差问题,提出引入去中心化框架、基于节点数据相似度确定置信度并线性加权聚合梯度的方法,性能优于FedAvg等现有方法。
2023-07-19 cs.DC cs.LG
Topology-Dependent Privacy Bound For Decentralized Federated Learning
该研究聚焦去中心化联邦学习中未被充分探索的图拓扑隐私影响问题,提出基于“诚实组件”的严格隐私边界,证明网络抗攻击鲁棒性与隐私保障正相关,并通过两类网络与两种隐私攻击验证结论。
2023-12-13 cs.DC
Scheduling and Communication Schemes for Decentralized Federated Learning
Arab Academy for Science, Technology & Maritime Transport(阿拉伯科学、技术与海运学院);University of Vigo(维戈大学)
本文提出一种采用SGD算法的去中心化联邦学习(DFL)模型,并设计了三种调度策略用于客户端与并行服务器间的通信,实验证明这些策略对收敛速度和最终全局模型有显著影响。
2023-11-27 cs.DC cs.LG
DID-eFed: Facilitating Federated Learning as a Service with Decentralized Identities
University of Stavanger(斯塔万格大学)
我们已经进入大数据时代,它被认为是人工智能应用蓬勃发展的“燃料”。欧盟《通用数据保护条例》(GDPR)的颁布引发了人们对大数据中个人隐私的担忧。联邦学习(FL)作为一种功能解决方案出现,可以帮助构建在多方之间共享的高性能模型,同时仍然符合用户隐私和数据机密性要求。虽然FL已经被深入研究并在实际应用中使用,但对于感兴趣的第三方来说,与其作为FLaaS(联邦学习即服务)的前景和应用相关的研究仍然有限。在本文中,我们提出了一个FLaaS系统:DID-eFed,其中FL由分散身份(DID)和智能合约提供便利。DID在我们的系统中实现了更灵活和可信的分散访问管理,而智能合约提供了一个无摩擦和更少出错的过程。我们特别描述了我们的DID-eFed在医院和研究机构之间实现FLaaS的场景。
2021-05-19 cs.CR cs.DC cs.LG
DFedSat: Communication-Efficient and Robust Decentralized Federated Learning for LEO Satellite Constellations
本文提出面向低轨卫星星座的去中心化联邦学习框架DFedSat,通过轨道面内与跨轨道面自适应聚合及自补偿机制,在保证通信效率和鲁棒性的同时实现更快的收敛。
2024-07-08 cs.DC
Federated Spatial Reuse Optimization in Next-Generation Decentralized IEEE 802.11 WLANs
CTTC(加泰罗尼亚电信技术中心);Trinity College Dublin(都柏林圣三一学院);Imperial College London(伦敦帝国理工学院);New York University(纽约大学);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);Xiamen University(厦门大学);Universitat Pompeu Fabra(庞培法布拉大学)
随着无线标准的发展,引入了更复杂的功能来满足吞吐量、延迟、安全性和效率方面不断增长的要求。为了释放这些新功能的潜力,目前正在利用人工智能(AI)和机器学习(ML)从数据中导出模型和协议,而不是通过手工编程。在本文中,我们探讨了在下一代无线局域网(WLAN)中应用ML的可行性。更具体地说,我们专注于IEEE 802.11ax空间复用(SR)问题,并通过联邦学习(FL)模型预测其性能。本工作中概述的FL解决方案集是2021年国际电信联盟(ITU)AI for 5G挑战赛的一部分。
2022-06-07 cs.AI cs.DC cs.LG
Semi-Decentralized Federated Learning with Collaborative Relaying
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
我们提出了一个半分散的联邦学习算法,其中客户端协作中继他们的邻居的本地更新到一个中央参数服务器(PS)。在到PS的每一轮通信中,每个客户端计算来自其相邻客户端的更新的本地共识,并最终将其自己的更新和其相邻客户端的更新的加权平均值发送到PS。我们适当地优化这些平均权重,以确保在PS的全局更新是无偏的,并减少在PS的全局更新的方差,从而提高收敛速度。数值模拟证实了我们的理论主张,并展示了客户端和PS之间的间歇性连接设置,我们提出的算法与联邦平均算法相比,显示出更高的收敛速度和准确性。
2022-05-23 cs.DC cs.LG cs.MA
Decentralized Federated Averaging
Federated averaging(FedAvg)是一种高效的分布式训练算法,适用于大量客户端。在FedAvg中,客户端将其数据保存在本地以进行隐私保护;中央参数服务器用于客户端之间的通信。该中央服务器将参数分发给每个客户端,并从客户端收集更新的参数。FedAvg主要是以集中的方式进行研究的,这需要在每次通信中服务器和客户端之间进行大量通信。此外,攻击中央服务器可以破坏整个系统的隐私。在本文中,我们研究了分散的FedAvg与动量(DFedAvgM),这是由一个无向图连接的客户端上实现的。在DFedAvgM中,所有客户端都使用动量执行随机梯度下降,并且仅与其邻居通信。为了进一步降低通信成本,我们还考虑了量化的DFedAvgM。我们证明了(量化)DFedAvgM的收敛性在平凡的假设下,收敛速度可以提高时,损失函数满足Pestan属性。最后,我们数值验证DFedAvgM的有效性。
2021-04-23 cs.DC stat.ML
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.(谷歌公司)
联邦学习(FL)支持从分散的隐私敏感数据中学习,对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL,其中包括一个额外的损失计算在协调服务器(同时保持FL的私人数据限制)。有许多好处。例如,可以利用附加的数据中心数据来联合地从集中式(数据中心)和分散式(联合)训练数据学习,并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算(例如,嵌入正则化)到服务器,大大减少了通信和客户端计算负载。对于这些和其他混合FL用例,我们提出了三种算法:并行训练,单向梯度转移和双向梯度转移。我们国家的收敛范围,并给予直觉,适合特定的混合FL问题。最后,我们进行了广泛的实验上的三个任务,表明混合FL可以混合训练数据,以实现预言的准确性上的推理分布,并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
Decentralized Federated Learning: A Survey and Perspective
College of Engineering, Purdue University(普渡大学工程学院);Lehigh University(理海大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文系统综述了去中心化联邦学习(DFL),梳理其相对中心化联邦学习的架构优势、通信协议、网络拓扑及扩展变体,并探讨当前挑战与未来方向。
2024-05-04 cs.CY cs.DC cs.LG
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University(密歇根州立大学)
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现,发现其在非全连接网络中缺乏韧性,并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
Connectivity-Aware Semi-Decentralized Federated Learning over Time-Varying D2D Networks
该研究针对时变D2D集群的边缘网络场景,提出一种连接感知半去中心化联邦学习算法,通过调控D2S传输次数与收敛速率的权衡,显著降低了达到目标精度的总通信成本。
2023-07-20 cs.DC
Trade-offs in Decentralized Agentic AI Discovery Across the Compute Continuum
Department of Computer Science(计算机科学系);University of Pisa(比萨大学);Institute of Information Science and Technologies(信息科学与技术研究所);National Research Council of Italy(意大利国家研究理事会);Institute of Informatics and Telematics(信息学与电信研究所)
本文研究了在计算连续体上不同结构覆盖家族在代理发现中的权衡,比较了Chord、Pastry和Kademlia等索引子结构,在共享控制平面框架下分析其发现可靠性、启动行为和控制平面开销。
2026-05-12 cs.AI cs.DC
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL, Switzerland(瑞士洛桑联邦理工学院)
本文提出AGRAF SGD统一框架,在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本,并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning
Université Paris Dauphine-PSL, Tunis Campus(巴黎第九大学-PSL大学 突尼斯校区);École de technoogie supérieure (ÉTS) Montreal(高等技术学院(蒙特利尔ÉTS))
本文提出OCD-FL方案,通过系统性对等选择实现通信高效的去中心化联邦学习,在保持或提升性能的同时将能耗降低30%至80%。
2024-11-22 cs.DC cs.LG
Papaya: Federated Learning, but Fully Decentralized
UC Berkeley(加州大学伯克利分校)
联邦学习系统使用集中式服务器来聚合模型更新。这是带宽和资源重的约束,并且使系统暴露于隐私问题。相反,我们实现了一个对等学习系统中,节点训练自己的数据,并定期执行加权平均的参数与他们的同行根据一个学习的信任矩阵。到目前为止,我们已经创建了一个模型客户端框架,并一直在使用它来运行实验上提出的系统使用多个虚拟节点,在现实中存在于同一台计算机上。我们使用这个策略,如我们的提案的迭代1中所述,来证明具有共享参数的对等学习的概念。我们现在希望进行更多的实验,并建立一个更可部署的现实世界系统。
2023-03-10 cs.DC cs.LG
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
Purdue University(普渡大学);Yonsei University(延世大学);MIT(麻省理工学院);University at Buffalo (SUNY)(纽约州立大学布法罗分校)
本文提出去中心化偶发联邦学习框架DSpodFL,通过广义的偶发性概念统一建模异构且时变的局部梯度与聚合过程,并在温和假设下提供了凸与非凸模型的收敛性保证,实验证明其训练速度优于基线。
2025-03-06 cs.DC cs.LG
BotDetect: A Decentralized Federated Learning Framework for Detecting Financial Bots on the EVM Blockchains
本文提出一种基于智能合约编排的去中心化联邦学习框架,用于在EVM区块链上检测金融机器人,在保护隐私的同时实现高准确率检测。
2025-01-21 cs.CR cs.DC
Enhanced Decentralized Federated Learning based on Consensus in Connected Vehicles
Inner Mongolia University of Technology(内蒙古工业大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);New Jersey Institute of Technology(新泽西理工学院)
互联车辆的高级研究最近瞄准了车辆到一切(V2X)网络与机器学习(ML)工具和分布式决策的集成。联邦学习(FL)正在作为一种新的范例出现,以在分布式系统(包括V2X网络中的车辆)中训练机器学习(ML)模型。不是共享和上传训练数据到服务器,模型参数(例如,神经网络的权重和偏置)由大量互连车辆应用,充当本地学习器。尽管有这些好处,但现有方法的局限性是集中式优化,其依赖于服务器来聚合和融合本地参数,导致单点故障的缺点和增加V2X网络规模的扩展问题。同时,在智能交通场景中,从车载传感器收集的数据是冗余的,这降低了聚合的性能。为了解决这些问题,我们探索了一种新的分散数据处理的想法,并引入了一个联邦学习框架,在网络车辆,C-DFL(基于共识的分散联邦学习),以解决联邦学习连接车辆和提高学习质量。大量的模拟已经实施,以评估C-DFL的性能,这表明C-DFL的性能优于传统的方法在所有情况下。
2022-09-22 cs.AI cs.DC cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC