On the Benefits of Multiple Gossip Steps in Communication-Constrained Decentralized Optimization
University of Texas at Austin(得克萨斯大学奥斯汀分校);Amazon(亚马逊)
在分散式优化中,通常的算法实践是让节点将(局部)梯度下降迭代与gossip(即在网络上求平均)步骤交织。受大规模机器学习模型训练的启发,要求消息是本地参数的{ \em有损压缩}版本也越来越常见。在本文中,我们表明,在这样的压缩分散优化设置,有好处的后续梯度迭代之间的{ \em多}八卦步骤,即使这样做的成本是适当的占,例如通过降低压缩信息的精度。特别是,我们表明,具有$O(\log\frac{1}ε)$梯度迭代{具有恒定的步长} -和$O(\log\frac{1}ε)$八卦步骤之间的每对这些迭代-使收敛到$ε$内的最佳值的光滑的非凸目标满足Polyak-Jesojasiewicz条件。这一结果也适用于光滑强凸目标。据我们所知,这是第一个工作,得出收敛结果的非凸优化任意通信压缩。
2020-11-20 cs.DC cs.LG math.OC
Differential Privacy of Decentralized Learning: Centralized Rate Conditions and Nearly Tight Guarantees
Nokia Bell Labs(诺基亚贝尔实验室)
该研究分析了去中心化 gossip 平均算法在不同威胁模型下的差分隐私保证,证明其与高斯机制的隐私保证相似,并展示了去中心化隐私学习在强凸损失下的额外风险特性。
2026-10-28 cs.CR cs.DC cs.LG
Decentralized Stochastic Optimization and Gossip Algorithms with Compressed Communication
EPFL(洛桑联邦理工学院)
我们考虑分散随机优化的目标函数(例如,机器学习任务的数据样本)分布在$n$机器,只能与他们的邻居在一个固定的通信图。为了减少通信瓶颈,节点压缩(例如,压缩或稀疏化)它们的模型更新。我们涵盖了无偏和有偏压缩算子,质量表示为$ω\leq 1$($ω=1$表示没有压缩)。我们(i)提出了一种新的基于gossip的随机梯度下降算法,CHOCO-SGD,它以$\mathcal{O}\left(1/(nT) + 1/(T δ^2 ω)^2\right)$的速度收敛于强凸目标,其中$T$表示迭代次数,$δ$表示连通矩阵的特征间隙。尽管压缩质量和网络连接影响高阶项,但速率中的第一项$\mathcal{O}(1/(nT))$与具有精确通信的集中式基线相同。我们(ii)提出了一种新的八卦算法,CHOCO-GOSSIP,平均共识问题,收敛时间$\mathcal{O}(1/(δ^2ω) \log (1/ε))$的准确性$ε> 0$。这是(据我们所知)第一个支持$ω> 0$任意压缩消息的流言算法,并且仍然表现出线性收敛。我们(iii)在实验中表明,我们的算法都优于各自的国家的最先进的基线和CHOCO-SGD可以减少至少两个数量级的通信。
2019-02-01 cs.DC cs.DS cs.LG
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University(清华大学);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
对数据隐私和安全性的新担忧激发了联邦学习的提出,它允许节点只同步本地训练的模型,而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计,依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而,在现实世界的联邦学习场景中,节点之间的网络容量是高度均匀分布的,并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中,我们提出了一个模型段级分散联邦学习来解决这个问题。特别是,我们提出了一种分段的流言方法,它不仅充分利用了节点到节点的带宽,而且具有良好的训练收敛性。实验结果表明,与集中式联邦学习相比,即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA(法国国家信息与自动化研究所);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);MSR-INRIA Joint Centre(微软研究院-法国国家信息与自动化研究所联合中心)
在本文中,我们研究的问题,最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$,分散的加速算法,只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下,$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$,其中$γ$是图的谱间隙,$τ_{\max}$是最大通信延迟,并且$Δ_{\max}$是最大计算时间。因此,它与$SSDA$的速率匹配,当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数,得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法,其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知,它是第一个异步八卦算法,具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
RainCloud: Decentralized Coordination and Communication in Heterogeneous IoT Swarms
本文针对物联网系统向去中心化架构转变中的协调难题,提出基于蚁群优化的轻量级协调策略与语义通信方法,实现运行时自主任务分配,实验表明其扩展性优于Gossip策略。
2024-11-07 cs.DC
Vanishing Variance Problem in Fully Decentralized Neural-Network Systems
Delft University of Technology(代尔夫特理工大学);IBM Infrastructure(IBM基础设施部门)
针对完全去中心化gossip学习中模型平均引发的“方差消失”问题,提出方差校正模型平均算法,在任意拓扑和非IID数据下保留最优方差,使gossip学习收敛效率媲美联邦学习。
2024-06-18 cs.DC cs.LG
OPTIMUMP2P: Fast and Reliable Gossiping in P2P Networks
本研究针对libp2p现有gossip算法的性能与可靠性问题,提出结合随机线性网络编码的OPTIMUMP2P算法,经模拟和真实环境验证,其性能优于Gossipsub协议。
2025-09-05 cs.DC
Gossip Dual Averaging for Decentralized Optimization of Pairwise Functions
Magnet Team, INRIA Lille – Nord Europe(磁力团队、法国国家信息与自动化技术研究所里尔-北欧洲分部)
本文提出了一种基于 gossip 的双重平均算法,用于在分布式网络中优化配对函数,适用于排名、距离度量学习和图推断等应用,通过同步和异步设置解决优化问题,并展示了其在AUC最大化和度量学习中的实际应用。
2016-06-08 cs.AI cs.DC cs.LG
Decentralized Federated Anomaly Detection in Smart Grids: A P2P Gossip Approach
Centre for Cyber Resilience and Trust (CREST), Deakin University(网络弹性与信任中心(CREST),迪肯大学);Department of Computer Science & IT, Latrobe University(计算机科学与信息技术系,拉筹伯大学)
针对传统联邦学习依赖中心化聚合器及更新传输隐私泄露问题,本文提出基于Random Walk与Epidemic gossip协议的P2P去中心化异常检测方案,实验显示其检测准确率更优且训练时间改善35%。
2025-01-09 cs.AI cs.CR cs.DC
Revisiting Randomized Gossip Algorithms: General Framework, Convergence Rates and Novel Block and Accelerated Protocols
University of Edinburgh(爱丁堡大学);KAUST(卡塔尔科技大学);MIPT(莫斯科国立信息安全研究学院)
本文提出了一种新的随机广播算法分析和设计框架,用于解决平均共识问题。通过将经典随机迭代方法应用于特殊系统来解释网络结构,展示了其去中心化特性。该框架恢复了多种已知的广播算法作为特殊情况,并允许开发具有证明更快变体的方法。我们还提出了新的块和第一个可证明加速的随机广播协议,以及双随机广播算法。
2019-06-03 cs.DC cs.LG cs.MA
FedBGS: A Blockchain Approach to Segment Gossip Learning in Decentralized Systems
Department of Sciences and Methods for Engineering(科学与工程方法系);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
FedBGS是一种基于区块链的去中心化框架,通过分段 gossip 学习优化区块链使用,提升联邦学习中的隐私、安全和非 IID 数据处理能力。
2026-02-01 cs.AI cs.CR cs.DC
Decentralized Gossip Mutual Learning (GML) for automatic head and neck tumor segmentation
本文提出去中心化Gossip互学习框架GML,通过点对点通信和互学习优化各中心本地模型,在HECKTOR21头颈部肿瘤分割任务上相比集中池化训练、FedAvg和单独训练分别提升DSC 3.2%、4.6%和10.4%,并将通信开销降至FedAvg的16.67%。
2024-01-11 cs.DC cs.LG eess.IV
DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对现有去中心化学习算法通信成本高或收敛慢的问题,结合Gossip与随机游走思路提出基于local-SGD的异步DIGEST算法,支持单/多流模式,在iid与non-iid数据下均渐近收敛,多流版本在non-iid场景下性能优于基线。
2024-05-10 cs.DC cs.LG
Usable Agent Discovery for Decentralized AI Systems
Department of Computer Science(计算机科学系);University of Pisa(比萨大学);Institute of Information Science and Technologies(信息科学与技术研究所);National Research Council of Italy(意大利国家研究理事会);Institute of Informatics and Telematics(信息学与电信研究所)
本文研究了在双层 churn 情况下去中心化代理发现,比较了不同机制在路由效率、鲁棒性和服务准备度方面的表现。
2026-04-25 cs.AI cs.DC cs.MA
Greedy Gossip with Eavesdropping
McGill University(麦吉尔大学)
针对平均一致性问题的分布式计算,提出了一种新的随机化Gossip算法--带窃听的贪婪Gossip算法。在流言算法中,网络中的节点随机地与它们的邻居通信,并迭代地交换信息。算法简单,分散,使他们有吸引力的无线网络应用程序。一般来说,流言算法对不可靠的无线条件和时变的网络拓扑是鲁棒的。在本文中,我们介绍了GGE,并证明了贪婪的更新导致快速收敛。我们不要求节点有任何位置信息。相反,通过利用无线通信的广播性质,贪婪更新成为可能。在GGE的操作过程中,当一个节点决定八卦时,它不是随机选择一个邻居,而是做出贪婪的选择,选择与自己的值最不同的节点。为了做出这种选择,节点需要知道它们邻居的值。因此,我们假设所有的传输都是无线广播,节点通过窃听它们的通信来跟踪它们邻居的值。我们表明,GGE的收敛性是保证连接的网络拓扑结构。我们还研究了收敛速度,并说明,通过理论界和数值模拟,GGE始终优于随机八卦,并执行中等大小的随机几何图形拓扑的地理八卦。
2009-09-09 cs.AI cs.DC
A principled framework for the design and analysis of token algorithms
我们考虑一个分散的最优化问题,其中$n$节点协作,以优化一个全球目标函数只使用本地通信。虽然许多分散式算法专注于\emph{gossip}通信(成对平均),但我们考虑一种不同的方案,其中包含模型当前估计的“令牌”在网络上执行随机游动,并使用其所在节点的本地模型更新其模型。事实上,令牌算法通常受益于改进的通信效率和隐私保证。我们框架的令牌算法作为一个概念图上的随机八卦算法,这使我们能够证明一系列的收敛结果方差减少和加速令牌算法的完全图。我们还将这些结果扩展到多个令牌的情况下,通过扩展的概念图,并通过调整通信过程的一般图形。从令牌减少到研究良好的八卦算法导致许多令牌算法的紧利率,我们说明了他们的性能经验。
2022-05-30 cs.DC math.OC
GLow -- A Novel, Flower-Based Simulated Gossip Learning Strategy
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
针对去中心化学习模拟难题,提出基于 Flower 框架的 GLow 策略,支持自定义拓扑训练评估,在 MNIST 和 CIFAR10 上分别取得超 0.98 和 0.75 的准确率,性能媲美中心化与联邦方法。
2025-01-15 cs.AI cs.DC cs.LG
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
PEPPER: Empowering User-Centric Recommender Systems over Gossip Learning
INSA Lyon(里昂国立应用科学学院);LIRIS(里昂信息与图像研究所);Univ. Lille(里尔大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
提出基于八卦学习的去中心化推荐系统PEPPER,通过个性化节点采样和模型聚合提升用户中心推荐性能,收敛速度提升42%,性能指标提升达21%。
2022-08-09 cs.DC cs.IR cs.LG
Mining frequent items in unstructured P2P networks
大规模分散式系统,如P2P、传感器或物联网设备网络,正变得越来越普遍,需要强大的协议来解决数据分布和大量对等体属于网络所带来的挑战。本文研究了非结构化P2P网络中的频繁项挖掘问题。这个问题有实际的重要性,有许多有用的应用。我们设计了P2PSS,一个完全分散的,基于流言的协议,用于频繁项发现,利用节省空间的算法。我们正式证明的正确性和理论误差界。大量的实验结果清楚地表明,P2PSS提供了非常好的准确性和可扩展性,也存在高度动态的P2P网络与搅动。据我们所知,这是第一个gossip-为基础的分布式算法提供了强有力的理论保证,在非结构化P2P网络中的近似频繁项问题和发现频繁项的频率估计。
2018-10-16 cs.DC cs.DS
Delta Sum Learning: an approach for fast and global convergence in Gossip Learning
Ghent University - imec, IDLab(根特大学 - imec,IDLab)
Delta Sum Learning通过改进Gossip学习的聚合操作,实现更快的全局收敛和更低的准确率下降,适用于边缘计算环境。
2025-12-01 cs.AI cs.DC
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex;HSE University(俄罗斯国立高等经济学院);MIPT(莫斯科物理技术学院);University of Toronto(多伦多大学);Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练,可以通过专门的消息传递协议(如Ring All-Reduce)利用数百台计算机。但是,大规模运行这些协议需要可靠的高速网络,而这种网络仅在专用群集中可用。相比之下,许多现实世界的应用程序,如联邦学习和基于云的分布式训练,运行在不可靠的设备上,网络带宽不稳定。因此,这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中,我们提出了Moshpit All-Reduce -一种迭代平均协议,以指数方式收敛到全局平均值,从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示,与竞争性的基于流言的策略相比,ImageNet上ResNet-50训练的速度提高了1.3倍,使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Byzantine Fault-Tolerant Multi-Agent System for Healthcare: A Gossip Protocol Approach to Secure Medical Message Propagation
Nihir Chadderwala(独立研究者)
本文提出一种基于 gossip 协议的拜占庭容错多智能体系统,用于医疗领域,通过加密验证和共识协议保障信息安全与系统容错性。
2025-11-27 cs.AI cs.DC
Socially-Aware Distributed Hash Tables for Decentralized Online Social Networks
由于对集中式社交网络中的隐私和可扩展性问题的认识的增加,已经提出了许多分散式在线社交网络(DOSN)。这种分散的网络将处理和存储功能从服务提供商转移到最终用户。DOSN需要服务的个性化实现(即,搜索、信息传播、存储和发布/订阅)。然而,这些服务中的许多服务主要执行社交查询,其中OSN用户对访问他们的朋友的信息感兴趣。在我们的工作中,我们设计了一个社会意识的分布式哈希表(DHT)的有效实施的DOSNs。特别是,我们提出了一个基于八卦的算法,将用户在一个DHT,同时最大限度地提高他们之间的社会意识。通过一组实验,我们表明,我们的方法减少了查找延迟近30%,提高了近10%的通信可靠性,通过可信的联系人。
2015-09-23 cs.DC cs.SI
Muffliato: Peer-to-Peer Privacy Amplification for Decentralized Optimization and Averaging
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Inria Paris(法国国家信息与自动化研究所巴黎分部);PSL Research University(巴黎文理研究大学)
本文提出成对网络差分隐私及 Muffliato 方法,分析 gossip 平均并设计去中心化优化算法,证明隐私保证随图中节点距离放大。
2024-06-11 cs.CR cs.DC cs.LG
GRANITE : a Byzantine-Resilient Dynamic Gossip Learning Framework
CEA, List, Université Paris-Saclay Palaiseau(CEA、List、巴黎-萨克雷大学帕莱索分校);INRIA, INSA Lyon, CITI, UR3720(INRIA、里昂INSA、CITI、UR3720);LIRIS, INSA Lyon, CNRS Lyon(LIRIS、里昂INSA、里昂CNRS)
针对动态八卦学习中拜占庭节点通过毒化模型和操纵节点采样发起的双重攻击,提出GRANITE框架,通过累积节点标识知识并动态调整聚合阈值,实现鲁棒学习,理论证明拜占庭节点在局部邻域呈指数衰减,实验表明在30%拜占庭节点下精度接近非拜占庭场景,且通信成本降低9倍。
2026-06-01 cs.AI cs.DC cs.LG
Extending Gossip Algorithms to Distributed Estimation of U-Statistics
INRIA Lille - Nord Europe(INRIA里尔-北欧洲)
本文提出新的同步和异步随机 gossip 算法,用于在分布式网络中同时传播数据并维护局部的 U-统计量估计,证明了同步和异步情况下的收敛率分别为 O(1/t) 和 O(log t / t),并通过数值实验验证了算法的优越性。
2015-11-17 cs.DC cs.LG cs.SY
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
CoDeC: Communication-Efficient Decentralized Continual Learning
Purdue University(普渡大学)
边缘训练利用在不同位置生成的不断变化的数据。隐私问题禁止这种空间和时间分布数据的协同定位,因此设计训练算法至关重要,这些算法可以在分散的私有数据上实现有效的持续学习。分散式学习允许使用空间分布的数据进行无服务器培训。这种分布式学习的一个基本障碍是代理之间通信模型更新的高带宽成本。此外,现有的作品在这种训练模式下是不是天生适合学习的时间序列的任务,同时保留以前获得的知识。在这项工作中,我们提出了CoDeC,一种新的通信效率分散的持续学习算法,解决了这些挑战。我们减轻灾难性遗忘,而学习任务序列在分散的学习设置相结合的正交梯度投影与分散代理的流言平均。此外,CoDeC包括基于梯度子空间的新颖的无损通信压缩方案。我们将逐层梯度表示为这些梯度子空间的基向量的线性组合,并传递相关系数。我们从理论上分析了我们的算法的收敛速度,并通过大量的实验证明,CoDeC成功地学习分布式连续任务,最小的遗忘。所提出的压缩方案导致高达4.8倍的通信成本降低,以等性能作为完整的通信基线。
2023-03-27 cs.DC cs.LG cs.MA
Asynchrony and Acceleration in Gossip Algorithms
本文研究了分布在通信网络节点上的光滑强凸函数之和的极小化问题。关于该主题的先前工作要么集中在同步算法上,其可以被一些慢节点严重减慢(掉队者问题),要么考虑异步操作的模型(Boyd等人,2006),其中相邻节点在泊松点过程的时刻进行通信。我们有两个主要贡献。1)我们提出了CACDM(一种连续加速的坐标对偶方法),对于异步操作的泊松模型,我们证明了CACDM以Nesterov et Stich,2017的加速收敛速度收敛到最优。相比之下,以前提出的异步算法尚未被证明可以实现这样的加速率。虽然CACDM是基于离散更新,其收敛性的证明关键取决于一个连续的时间分析。2)我们介绍了一种新的通信方案的基础上损失的网络,这是可编程的完全异步和分散的方式,不像泊松模型的异步操作,不捕捉的基本方面的非瞬时通信和计算。在此损失网络模型下,我们建立了CDM(一个协调对偶方法)的收敛速度的拉普拉斯算子的特征间隙加权的局部有效延迟。我们相信这个特征间隙是异步优化收敛速度的根本瓶颈。最后,我们实证验证了CACDM享有加速收敛速度的损失网络模型中的Zerky。
2021-02-07 cs.DC cs.MA math.OC
Decentralized Collaborative Learning of Personalized Models over Networks
INRIA
本文研究了在协作对等网络中,如何通过与其他具有相似目标的代理通信来改进本地训练模型,提出两种异步 gossip 算法并基于 ADMM 实现去中心化算法。
2017-02-15 cs.AI cs.DC cs.LG
Fast Distributed Computation in Dynamic Networks via Random Walks
本文研究了动态网络中的高效分布式计算,其中网络拓扑结构的变化(任意)从一轮到一轮。我们的第一个贡献是一个严格的框架设计和分析的分布式随机游走算法在动态网络。然后,我们开发了一个快速的分布式随机游走算法,运行在$\tilde{O}(\sqrt{τΦ})$轮(具有高概率),其中$τ$是动态混合时间和$Φ$是网络的动态直径分别,并返回一个样本接近一个适当定义的静态分布的动态网络。我们还应用我们的快速随机游走算法设计快速分布式算法的两个关键问题,即,信息传播和分散计算的频谱特性在动态网络。我们的下一个贡献是一个快速的分布式算法的基本问题的信息传播(也称为八卦)在动态网络。在gossip中,或者更一般地,在$k$ -gossip中,存在最初存在于某些节点中的$k$信息(或令牌)片段,并且问题是将$k$令牌传播到所有节点。我们提出了一个基于随机游走的算法,运行在$\tilde{O}(\min\{n^{1/3}k^{2/3}(τΦ)^{1/3}, nk\})$轮(高概率)。据我们所知,这是第一个$o(nk)$时间全分布式令牌转发算法,它比之前最好的$O(nk)$轮分布式算法有所改进[Kuhn等人,STOC 2010],虽然在一个健忘的对手模型。我们的最后一个贡献是一个简单而快速的分布式算法估计的动态混合时间和相关的光谱特性的基础动态网络。
2012-05-24 cs.DC cs.DS
Decentralized Optimization in Time-Varying Networks with Arbitrary Delays
University of California, Irvine(加州大学欧文分校)
针对受任意通信延迟影响的时变有向网络,提出无需知道出度的 gossip 类去中心化算法 DT-GO,并证明其在凸与非凸目标上均达到集中式 SGD 的复杂度阶。
2024-10-01 cs.DC cs.LG cs.SY
Honeybee: Byzantine Tolerant Decentralized Peer Sampling with Verifiable Random Walks
Honeybee提出一种基于可验证随机游走和表一致性检查的去中心化节点采样算法,在存在大量拜占庭节点时仍能保证安全性,采样质量优于现有方法,适用于区块链网络的全节点和轻节点设计。
2025-04-24 cs.CR cs.DC cs.DS
Removing Data Heterogeneity Influence Enhances Network Topology Dependence of Decentralized SGD
DAMO Academy, Alibaba (US) Group(阿里巴巴(美国)集团达摩院);Kuwait University(科威特大学)
我们考虑分散随机优化问题,其中一个网络的$n$节点,每个拥有一个本地的成本函数,合作找到一个最小的全局平均成本。一个被广泛研究的分散算法是分散SGD(D-SGD),其中每个节点仅与其邻居求平均值。D-SGD在单次迭代通信中是有效的,但它对网络拓扑结构非常敏感。对于平滑目标函数,D-SGD的瞬态阶段(测量算法在实现线性加速阶段之前必须经历的迭代次数)分别为强凸和一般凸代价函数的$Ω(n/(1-β)^2)$和$Ω(n^3/(1-β)^4)$的量级,其中$1-β\in (0,1)$是一个拓扑相关量,对于大型稀疏网络接近$0$。因此,D-SGD在大型和稀疏网络中收敛缓慢。本文研究了D $^2$ /精确扩散算法的非渐近收敛性。通过消除节点之间的数据异质性的影响,D $^2$ /精确扩散被证明有一个增强的瞬态阶段,这是$\tildeΩ(n/(1-β))$和$Ω(n^3/(1-β)^2)$强,一般凸成本函数的顺序,分别。此外,当D $^2$ /精确扩散用梯度累积和多轮流言通信来实现时,其瞬态阶段可以进一步改进为分别针对强和一般凸代价函数的$\tildeΩ(1/(1-β)^{\frac{1}{2}})$和$\tildeΩ(n/(1-β))$。D $^2$ /精确扩散的这些确定结果具有最佳(即,最弱的)依赖于网络拓扑结构,以我们的知识相比,现有的分散式算法。我们还进行了数值模拟,以验证我们的理论。
2022-03-03 cs.DC cs.LG math.OC
DoCoM: Compressed Decentralized Optimization with Near-Optimal Sample Complexity
The Chinese University of Hong Kong(香港中文大学)
本文提出双重压缩动量辅助随机梯度跟踪算法DoCoM,通过压缩Gossip共识跟踪迭代与梯度并结合动量缩减方差,实现近最优样本复杂度,在非凸目标下收敛至近平稳解。
2023-07-31 cs.DC cs.DS cs.LG
Dynamic Topology Optimization for Non-IID Data in Decentralized Learning
Delft University of Technology(代尔夫特理工大学)
Morph通过动态拓扑优化提升非IID数据下去中心化学习的准确率和稳定性,实现更快收敛和更少通信轮次。
2026-02-03 cs.DC cs.LG
Adaptive Graph Pruning with Sudden-Events Evaluation for Traffic Prediction using Online Semi-Decentralized ST-GNNs
University of Zagreb, Faculty of Electrical Engineering and Computing(Zagreb大学电子工程与计算学院);RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(皇家理工学院)
本文提出了一种自适应剪枝算法和SEPA度量标准,用于在在线半去中心化设置中降低通信开销并提高交通预测对突发事件的响应能力。
2025-12-19 cs.AI cs.DC cs.LG
$\textbf{A}^2\textbf{CiD}^2$: Accelerating Asynchronous Communication in Decentralized Deep Learning
Concordia University(康考迪亚大学);Mila(米拉研究所);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心)
本文提出 $\ extbf{A}^2\ extbf{CiD}^2$,一种带连续局部动量的异步随机 gossip 优化算法,通过并行点对点平均减少空闲与通信成本,并在理论和 ImageNet 多拓扑实验中验证其加速效果。
2023-12-06 cs.AI cs.DC cs.LG
Route-and-Aggregate Decentralized Federated Learning Under Communication Errors
提出路由与聚合去中心化联邦学习策略,通过路由交换模型并自适应归一化聚合系数补偿通信错误,在10客户端网络中训练精度提升35%,并验证了与网络的协同作用。
2025-03-28 cs.DC cs.NI cs.SY
Semi-decentralized Training of Spatio-Temporal Graph Neural Networks for Traffic Prediction
University of Zagreb, Faculty of Electrical Engineering and Computing(Zagreb大学电气工程与计算学院);RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(皇家理工学院)
针对智能出行中大规模传感器网络实时交通预测的扩展性与可靠性挑战,本文探索半分散式训练ST-GNNs,通过云边缘节点分组子图训练与更新交换,在METR-LA和PeMS-BAY数据集上验证其性能与集中式相当,且更具可扩展性和容错性。
2025-05-22 cs.AI cs.DC cs.LG
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning
National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
针对去中心化联邦学习中的局部不一致与异构过拟合问题,提出 DFedADMM 及融合 SAM 的 DFedADMM-SAM,并给出非凸收敛率,实验验证其优于现有 SOTA 优化器。
2023-08-16 cs.DC cs.LG math.OC
Push-Pull Gradient Methods for Distributed Optimization in Networks
在本文中,我们专注于解决一个分布式凸优化问题的网络中,每个代理有自己的凸成本函数,目标是最小化的总代理的费用函数,同时遵守网络的连通性结构。为了最小化的费用函数的总和,我们考虑新的分布式基于梯度的方法,每个节点保持两个估计,即,最优决策变量的估计和代理的目标函数的平均梯度的估计。从智能体的角度来看,关于梯度的信息被推到邻居,而关于决策变量的信息则从邻居中提取,因此命名为“推拉梯度法“。该方法利用两种不同的图形代理之间的信息交换,因此,统一的算法与不同类型的分布式架构,包括分散式(对等),集中式(主从),和半集中式(领导者-追随者)架构。我们表明,所提出的算法和它们的许多变种在同步和异步随机八卦设置强凸和光滑的目标函数在网络上(可能与单向数据链路)线性收敛。特别地,在随机八卦设置下,“推拉”是有向图上的分布式优化的第一类算法。此外,我们数值评估我们提出的算法在这两种情况下,并表明,他们优于其他现有的线性收敛计划,特别是病态的问题和网络,是不平衡的。
2020-02-06 cs.DC cs.MA cs.SI
A Scalable State Sharing Protocol for Low-Resource Validator Nodes in Blockchain Networks
针对区块链全节点存储成本高的问题,提出一种分布式状态共享协议,通过节点间状态分布、Kademlia式路由及密码学证明降低验证节点存储需求,经以太坊数据分析验证了可行性并探讨了带宽优化方向。
2024-10-08 cs.DC
Distributed Saddle-Point Problems Under Similarity
Moscow Institute of Physics and Technology(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息传输问题研究所);Research Center for Trusted Artificial Intelligence(可信人工智能研究中心);MIPT(莫斯科物理技术学院);HSE University(高等经济大学);Yandex(扬德克斯);Purdue University(普渡大学)
本文研究了两类网络上的(强)凸-(强)凹鞍点问题(SPP)的求解方法--主/工(中心化)网络和网状(分散化)网络。由于统计数据相似性或其他原因,假设每个节点处的局部函数是相似的。我们建立一个相当一般的一类算法解决SPP的复杂性较低的界限。我们发现,一个给定的次优$ε>0$是实现在主/工人网络在$Ω\big(Δ\cdot δ/μ\cdot \log (1/\varepsilon)\big)$轮的通信,其中$δ>0$措施的相似程度的本地功能,$μ$是他们的强凸常数,和$Δ$是网络的直径。网状网络上的较低通信复杂度界限读作$Ω\big(1/{\sqrtρ} \cdot δ/μ\cdot\log (1/\varepsilon)\big)$,其中$ρ$是用于相邻节点之间的通信的流言矩阵的(归一化)本征间隙。然后,我们提出了算法匹配的下界在任何类型的网络(对数因子)。我们评估所提出的算法的有效性上一个强大的逻辑斯谛回归问题。
2022-08-22 cs.DC cs.LG math.OC
Social Learning in Multi Agent Multi Armed Bandits
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Bristol(布里斯托尔大学)
在本文中,我们介绍了一个分布式版本的经典随机多臂强盗(MAB)问题。我们的设置包括大量的代理$n$,协作和同时解决同一个实例的$K$武装MAB,以尽量减少平均累积遗憾超过所有代理。代理可以通过交换有限数量的比特的基于成对异步流言的协议在彼此\emph{only}之间通信和协作。在我们的模型中,每个点上的智能体决定(i)使用哪只手臂,(ii)是否使用,如果使用,(iii)与什么和谁通信。在我们的模型中,代理是分散的,即他们的行为只取决于他们过去观察到的历史。我们开发了一种新的算法,在该算法中,代理人,无论何时选择,通信只手臂ID,而不是样本,与另一个代理人选择统一和独立的随机。我们的算法实现的每个代理后悔缩放是$O \left( \frac{\lceil\frac{K}{n}\rceil+\log(n)}Δ \log(T) + \frac{\log^3(n) \log \log(n)}{Δ^2} \right)$。此外,我们算法中的任何代理在$T$的时间间隔内仅通信总共$Θ(\log(T))$次。我们将我们的结果与两个基准进行比较-一个是代理之间没有通信,另一个对应于完整的交互。我们表明,无论是理论上和经验,我们的算法经验显着减少每代理遗憾的情况下,当代理不合作和通信复杂性性相比,需要$T$通信尝试由代理在$T$手臂拉的完整的交互设置。
2019-11-05 cs.DC cs.LG cs.NI