Finite-time Convergent Gossiping
Gossip算法广泛应用于现代分布式系统中,其应用范围从传感器网络和对等网络到移动车辆网络和社交网络。大量的研究工作一直致力于分析和改善的渐近收敛速度的八卦算法。在这项工作中,我们研究有限时间收敛的确定性流言。我们表明,存在一个对称的八卦算法,收敛在有限时间内,当且仅当网络节点的数量是2的幂,而总是存在一个非对称的八卦算法与有限时间收敛,独立于节点的数量。对于$n=2^m$节点,我们证明了最快的收敛可以达到$nm=n\log_2 n$节点更新通过对称八卦。另一方面,在具有$0\leq r<2^m$的$n=2^m+r$节点之间的非对称流言下,至少需要$mn+2r$节点更新来实现有限时间收敛。它还表明,有限时间收敛八卦的存在往往对底层的相互作用图的结构要求很强。最后,我们将我们的结果应用于量子网络中的八卦算法,其目标是通过成对相互作用控制量子系统的状态。我们表明,有限时间收敛是永远不可能的,这样的系统。
2015-09-28 cs.DC
Searching in Unstructured Overlays Using Local Knowledge and Gossip
分析了P2P非结构化覆盖网络中分布式内容发现的一类传播算法。这些算法是一种混合的协议,采用本地知识的同行的邻居和八卦。通过调整八卦概率和深度k的k-邻域的节点的信息,我们得到不同的传播协议在文献中采用的非结构化P2P覆盖。所提供的分析和仿真结果证实,当适当配置,这些计划是一个可行的方法来建立有效的P2P资源发现在大规模的,动态的分布式系统。
2014-03-12 cs.DC cs.NI
Request-Based Gossiping without Deadlocks
分布式平均问题是指在一个分布式网络中,只使用相邻代理之间的通信来计算代理所拥有的一组数字的平均值的问题。闲话是一个众所周知的方法来解决这个问题,它试图通过允许每个代理在每个迭代步骤中与最多一个邻居交换信息来迭代地得出一个解决方案。设计一个能够实现这一点的闲聊协议是具有挑战性的,因为闲聊是一个固有的协作过程,除非采取谨慎的预防措施来确保它不会导致死锁。许多八卦协议是基于请求的,这意味着只要两个代理中的一个接受另一个提出的八卦请求,两个代理之间就会发生八卦。在本文中,我们提出了三个确定性的基于请求的协议。我们通过例子表明,第一个可以死锁。第二个是保证避免死锁,并需要更少的传输比标准的基于广播的分布式平均协议,通过利用本地排序的想法与代理的邻居队列的概念;该协议需要最简单的队列更新,这提供了一个深入了解本地排序和队列更新如何避免死锁。结果表明,第三个协议,它使用了一个稍微复杂的队列更新规则,可以导致显着更快的收敛速度,最坏的情况下提供的收敛速度。
2016-12-27 cs.DC math.OC
Differentially Private Distributed Computation via Public-Private Communication Networks
研究了在节点间通信的情况下,多主体计算中主体本地数据集具有差分隐私要求的问题。我们首先提出的网络配备了公私网络。私有网络是稀疏的,甚至不一定连接,在私有网络上的通信是加密的,并且与中间结点状态一起是安全的;公共网络是连接的,并且可以是密集的,在公共网络上的通信被允许是公共的。在这种情况下,我们提出了一个多八卦PPSC机制在私有网络中,在每一步中,随机选择的节点对更新他们的状态,以这样一种方式,他们与随机噪声洗牌,同时保持求和的一致性。我们表明,这种机制可以实现任何期望的差分隐私水平与任何规定的概率。接下来,我们将此机制嵌入到分布式计算过程中,并提出了三个基本的计算任务的隐私保证协议,其中一个自适应机制调整的噪音注入PPSC步骤的隐私保护的数量,并定期计算步骤的准确性保证。对于平均一致性,我们在公共网络上的平均共识算法进行本地计算之前,利用多个gossip PPSC机制进行隐私加密,提出了PPSC-Gossip平均共识算法。对于网络线性方程组和分布式凸优化问题,我们采用PPSC-Gossip平均共识算法,并在每一步计算中增加一个投影或梯度下降步骤,分别开发了两种分布式计算协议.考虑到任何隐私和准确性的要求,它表明,所有三个建议的协议可以计算其相应的问题与所需的计算精度,同时实现所需的差分隐私。
2021-01-05 cs.DC
Distributed Slicing in Dynamic Systems
对等(P2P)系统正在从特定于应用程序的体系结构转向面向服务的设计理念。这提出了有趣的问题,提供有用的P2P中间件服务,能够处理资源分配和管理在一个大规模的,异构的和不可靠的环境。已经提出了一种这样的服务,即切片服务,以允许将P2P网络自动划分成组(切片),这些组表示可控量的某个资源,并且在面对流失和其他故障时,这些组相对于该资源也是相对同质的。在这份报告中,我们提出了两个算法来解决分布式切片问题。第一种算法改进了现有的算法,该算法是基于一组均匀随机数的基于流言的排序。我们加快收敛通过启发式的八卦同行选择。第二种算法是基于一种不同的方法:统计近似的排序中的节点的排名。这两种算法的可扩展性、效率和对动态的弹性都依赖于它们基于流言的模型。我们目前的理论和实验结果证明这些算法的可行性。
2006-12-06 cs.DC
Eigenvector Computation and Community Detection in Asynchronous Gossip Models
我们给出了一个简单的分布式算法计算的邻接矩阵特征向量的通信图在异步八卦模型。我们展示了如何使用该算法给国家的最先进的异步社区发现算法时,通信图是从研究的随机块模型。我们的方法也适用于一个自然的随机通信的替代模型,其中一个社区内的节点比不同社区的节点更频繁地通信。我们的分析简化和推广以前的工作,锻造异步特征向量计算和Oja的算法流主成分分析之间的连接。我们希望我们的工作作为一个起点,建立进一步的连接之间的分析随机迭代法,如Oja的算法,并工作在异步和八卦型算法的分布式计算。
2018-04-28 cs.DC cs.DS
Dynamical Privacy in Distributed Computing -- Part II: PPSC Gossip Algorithms
The Australian National University(澳大利亚国立大学);Zhejiang University(浙江大学);The University of Sydney(悉尼大学)
本文研究了分布式计算协议中针对局部或全局动态窃听者的计算隐私风险,提出了一种隐私保护求和一致(PPSC)机制作为基于共识的分布式计算的通用隐私加密子程序,并展示了传统确定性和随机扩散算法可用于在给定网络上实现PPSC机制,通过证明在窃听者拥有完整网络知识的情况下无法从扩散基于PPSC机制的输出重建网络输入,并展示了PPSC机制可以在任意隐私水平下实现差分隐私。
2019-02-19 cs.DC cs.SY eess.SY
Convergence Rate Analysis for Periodic Gossip Algorithms in Wireless Sensor Networks
周期性的流言算法已经产生了很大的兴趣,由于他们的能力,计算全局统计数据,通过使用本地节点之间的成对通信。这些算法具有执行简单、对拓扑变化的鲁棒性和分布式等特点,非常适合无线传感器网络。然而,这些算法收敛到全局统计后,一定轮的成对通信。周期性流言算法面临的一个重大挑战是难以预测大规模网络的收敛速度。为了便于收敛速度的评估,我们研究了一维格型网络模型。在这种情况下,为了得到收敛速度的显式公式,我们必须得到扰动五对角矩阵的第二大特征值的封闭形式表达式。在我们的方法中,我们利用递归序列的理论推导出显式的特征值的表达式。与文献中的现有方法不同,这是一种直接方法,避免了正交多项式理论[18]。最后,我们推导了一维无线传感器网络中平均周期性流言算法的收敛速度的显式表达式。我们分析的收敛速度,考虑线性权重更新的方法,并调查的影响,八卦权重的收敛速度为不同数量的节点。此外,我们还研究了链路故障对平均周期八卦算法收敛速度的影响。
2018-08-14 cs.DC
Graph-based Gossiping for Communication Efficiency in Decentralized Federated Learning
针对去中心化联邦学习的通信低效问题,提出基于图的gossip机制,结合最小生成树与图着色优化通信,在真实硬件实验中验证了其相比朴素洪泛方法能大幅降低带宽占用与传输时间。
2025-06-12 cs.DC
Network Coded Gossip with Correlated Data
我们设计并分析了具有相关数据的网络的八卦算法。在这些网络中,要分发的数据、节点上已经可用的数据或两者都是相关的。该模型适用于各种现代网络,如传感器网络、对等网络和内容分发网络。虽然相关数据的编码方案已被广泛研究,但重点一直是表征静态无记忆网络中的速率区域。然而,在基于流言的方案中,节点通过根据一些底层通信模型连续地交换分组来在彼此之间通信。此设置的主要优点是停止时间--节点成功解码所需的时间。虽然Gossip方案是实用的,分布式的和可扩展的,但它们只针对不相关的数据进行了研究。我们希望通过提供技术来分析具有相关数据的(动态)网络中的网络编码八卦来缩小这一差距。我们给出了一个干净的框架不经意的网络模型,适用于众多的网络和通信场景,指定一个通用的设置为分布式相关数据,并给出严格的界限在这个广泛的情况下的网络编码协议的停止时间。
2012-02-08 cs.DC cs.DS cs.IT
Locality, Not Spectral Mixing, Governs Direct Propagation in Distributed Offline Dynamic Programming
研究分布式离线动态规划的通信复杂性,发现局部性而非谱混合是决定传播轮数的关键因素,直接传播在轮数上与理论下限相符,而基于 gossip 的方法则有额外的收敛率依赖。
2026-04-16 cs.DC
Self-Correcting Gossip Protocols
TU Wien(维也纳工业大学);CNRS, IRIT, University of Toulouse(法国国家科学研究中心、IRIT、图卢兹大学);ILLC, University of Amsterdam(阿姆斯特丹大学信息逻辑与计算中心);TU Berlin(柏林工业大学);IIT Delhi(德里印度理工学院)
研究存在错误的自校正 gossip 协议,提出动态认知逻辑,探讨如何在无中央协调者的情况下纠正传输错误,分析其对最优性的影响及与有限记忆和全信息协议的对比。
2026-05-07 cs.DC cs.LO
Multiscale Gossip for Efficient Decentralized Averaging in Wireless Packet Networks
本文描述和分析了一种用于解决无线传感器网络中分布式平均一致性问题的分层流言算法。网络被递归地划分为子网络。最初,最小规模的节点进行闲聊以计算局部平均值。然后,使用地理路由来实现没有直接连接的节点之间的流言,这些局部平均值逐渐融合到层次结构中,直到计算出全局平均值。我们表明,所提出的分层计划与$k$层次结构的水平是有竞争力的国家的最先进的随机八卦算法,在消息的复杂性,实现$ε$ -准确性后,$O\big(n \log \log n \log \frac{kn}ε \big)$消息的概率很高。我们分析的关键是网络递归划分的方式。我们发现,最佳的缩放定律时,规模$j$子网络包含$O(n^{(2/3)^j})$节点,然后在任何个人规模的消息复杂度是$O(n \log \frac{kn}ε)$,和总数量的层次结构中的规模增长缓慢,作为$Θ(\log \log n)$。分层结构的另一个重要结果是,消息交换的最长距离是$O(n^{1/3})$跳(在最高尺度下),而大多数消息(在较低尺度下)传播的距离较短。在使用链路级重传的网络中,这通过减少消息重传来减少拥塞和资源使用。仿真结果表明,该方案是更有效的消息比现有的国家的最先进的随机八卦算法的基础上平均沿路径。
2012-02-27 cs.DC
Gossip Learning with Linear Models on Fully Distributed Data
University of Szeged(塞格德大学);Hungarian Academy of Sciences(匈牙利科学院)
完全分布式数据上的机器学习是对等网络(P2P)应用中的一个重要问题。在这个模型中,我们在每个网络节点上都有一个数据记录,但由于隐私考虑,不可能移动原始数据。例如,用户简档、评级、历史或传感器读数可以表示这种情况。这个问题是困难的,因为不可能学习本地模型,系统模型几乎不能保证可靠性,但通信成本需要保持较低。在这里,我们提出了gossip学习,一种通用的方法,它基于多个模型在网络上并行随机游走,同时应用在线学习算法来改进自己,并通过集成学习方法进行组合。我们提出了一个实例,这种方法的情况下,分类与线性模型。我们的主要贡献是集成学习方法-通过网络中的模型的连续组合-实现了一个虚拟的加权投票机制在指数数量的模型,几乎没有额外的成本相比,独立的随机游走。我们从理论上证明了该方法的收敛性,并在基准数据集上进行了大量的实验。我们的实验分析表明,所提出的方法的性能和鲁棒性。
2012-06-06 cs.DC cs.LG
Distributed Slicing in Dynamic Systems
对等(P2P)系统正在从特定于应用程序的体系结构转向面向服务的设计理念。这提出了有趣的问题,在连接提供有用的P2P中间件服务,能够处理资源分配和管理在一个大规模的,异构的和不可靠的环境。已经提出了切片服务,以允许将P2P网络自动划分为表示可控量的某个资源并且相对于该资源也是相对同质的组(切片)。在本文中,我们提出了两个基于gossip算法来解决分布式切片问题。第一个算法加快了现有的算法排序一组均匀的随机数。第二个算法统计近似排序中节点的排名。这两种算法的可扩展性、效率和对动态的弹性都依赖于它们基于流言的模型。理论和实验证明了这些算法的可行性。
2007-12-26 cs.DC
Time- and Communication-Efficient Overlay Network Construction via Gossip
本文提出一种基于 Gossip 的分布式覆盖网络构建协议,可在 polylog n 轮内仅用 Õ(n) 条消息将任意连通图重构为常数度扩展图,并利用图草图实现时间与通信双重高效。
2023-11-28 cs.DC
Convergence and Applications of a Gossip-based Gauss-Newton Algorithm
University of California, Davis(加州大学戴维斯分校)
提出一种基于Gossip的分布式高斯-牛顿算法(GGN),适用于非凸目标问题,分析其收敛充分条件,数值实验表明性能接近集中式算法且在网络故障时性能优雅降级,优于其他分布式一阶方法。
2013-06-25 cs.DC cs.NA math.NA
Accelerating Gossip SGD with Periodic Global Averaging
Alibaba Group(阿里巴巴集团)
通信开销阻碍了大规模分布式训练的可扩展性。Gossip SGD,其中每个节点仅与其邻居平均,比流行的并行SGD更具通信效率。然而,其收敛速率与测量网络连通性的量$1-β$成正比。在使用$1-β\to 0$的大型稀疏网络上,Gossip SGD需要更多的迭代来收敛,这抵消了其通信优势。本文介绍了Gossip-PGA算法,它在GossipSGD算法的基础上增加了周期全局平均算法。其过渡阶段,即,对于非凸问题,达到渐近线性加速阶段所需的迭代从$Ω(β^4 n^3/(1-β)^4)$改进为$Ω(β^4 n^3 H^4)$。Gossip-PGA中网络拓扑的影响可以通过平均周期$H$来控制。其瞬态复杂度也优于具有$Ω(n^3 H^4)$阶的局部SGD。大规模图像分类(ResNet 50)和语言建模(BERT)训练的实验结果验证了我们的理论研究结果。
2021-05-19 cs.DC cs.LG
Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping
Duke University(杜克大学);KAUST(阿卜杜拉国王科技大学)
分布式学习已经成为扩展机器学习和满足日益增长的数据隐私需求的不可或缺的工具。虽然分散式学习方案对网络拓扑结构更鲁棒,但由于其竞争力较低,因此没有像集中式学习方案那样受到欢迎。在这项工作中,我们将这个问题归因于分散学习工作者之间缺乏同步,从经验和理论上都表明收敛速度与工作者之间的同步水平有关。基于这种动机,我们提出了一种新的分散式学习框架,该框架基于非线性闲聊(NGO),具有吸引人的有限时间共识属性,以实现更好的同步。我们仔细分析了它的收敛性,并讨论了它在现代分布式优化应用中的优点,如深度神经网络。我们对通信延迟和随机聊天如何影响学习的分析进一步使我们能够推导出适应异步和随机通信的实用变体。为了验证我们的建议的有效性,我们通过一系列广泛的测试,将NGO与竞争解决方案进行了比较,并报告了令人鼓舞的结果。
2021-11-13 cs.DC cs.LG
Extending Gossip Algorithms to Distributed Estimation of U-Statistics
INRIA Lille - Nord Europe(INRIA里尔-北欧洲)
本文提出新的同步和异步随机 gossip 算法,用于在分布式网络中同时传播数据并维护局部的 U-统计量估计,证明了同步和异步情况下的收敛率分别为 O(1/t) 和 O(log t / t),并通过数值实验验证了算法的优越性。
2015-11-17 cs.DC cs.LG cs.SY
Greedy Gossip with Eavesdropping
McGill University(麦吉尔大学)
针对平均一致性问题的分布式计算,提出了一种新的随机化Gossip算法--带窃听的贪婪Gossip算法。在流言算法中,网络中的节点随机地与它们的邻居通信,并迭代地交换信息。算法简单,分散,使他们有吸引力的无线网络应用程序。一般来说,流言算法对不可靠的无线条件和时变的网络拓扑是鲁棒的。在本文中,我们介绍了GGE,并证明了贪婪的更新导致快速收敛。我们不要求节点有任何位置信息。相反,通过利用无线通信的广播性质,贪婪更新成为可能。在GGE的操作过程中,当一个节点决定八卦时,它不是随机选择一个邻居,而是做出贪婪的选择,选择与自己的值最不同的节点。为了做出这种选择,节点需要知道它们邻居的值。因此,我们假设所有的传输都是无线广播,节点通过窃听它们的通信来跟踪它们邻居的值。我们表明,GGE的收敛性是保证连接的网络拓扑结构。我们还研究了收敛速度,并说明,通过理论界和数值模拟,GGE始终优于随机八卦,并执行中等大小的随机几何图形拓扑的地理八卦。
2009-09-09 cs.AI cs.DC
Accelerated Gossip in Networks of Given Dimension using Jacobi Polynomial Iterations
考虑一个由通信链路连接的代理网络,其中每个代理都有一个真实的值。流言问题在于估计以分布式方式在网络中扩散的值的平均值。我们开发了一种方法来解决的八卦问题,只依赖于网络的频谱维度,也就是说,在通信网络的设置,代理人生活的空间的维度。这与以前的工作,需要网络的频谱间隙作为一个参数,或遭受缓慢的混合。我们的方法显示了一个重要的改进,现有的算法在非渐近制度,即,当这些值在网络中远未完全混合时。我们的方法源于一个多项式为基础的观点八卦算法,以及一个近似的频谱测量的图与雅可比措施。我们展示了在各种图形上进行模拟的方法的强大功能,并在已知谱维的图形上进行性能保证,例如网格和随机渗流键。扩展这项工作的分布式拉普拉斯求解器进行了讨论。作为一个附带的结果,我们还使用多项式为基础的观点,以显示的消息传递算法的收敛性的八卦的Moallemi\& Van Roy的正则图。收敛速度的显式计算表明,消息传递有一个小的谱间隙图的收敛速度慢。
2019-06-11 cs.DC cs.MA stat.ML
Publish-Subscribe Systems via Gossip: a Study based on Complex Networks
本文分析了采用非结构化P2P覆盖网络来构建网络订阅系统。我们考虑一个非常简单的分布式通信协议,基于八卦和本地知识,每个节点有关于其邻居的订阅。特别地,在接收(或生成)新事件时,节点将其发送到订阅与该事件匹配的那些邻居。此外,该节点将该事件传播给其“不感兴趣”的邻居,使得该事件可以通过覆盖层传播。提供了一种数学分析,以估计接收事件的节点的数量,基于网络拓扑结构,用户的数量和八卦概率。将这些结果与通过模拟获得的结果进行比较。结果表明,即使当订阅者的数量代表一个非常小的(但不可忽略的)网络节点的一部分,通过调整八卦概率的事件可以渗透通过覆盖。因此,使用非结构化网络。与简单的传播协议相结合,代表了一种构建对等网络订阅应用程序的可行方法。
2012-06-20 cs.DC cs.NI
Paving the Way for Consensus: Convergence of Block Gossip Algorithms
Gossip协议是分布式计算中解决平均一致性问题的常用方法。我们证明了新的收敛保证各种这样的协议,包括路径,集团,和同步成对的八卦。这些都是通过利用这些协议和块随机Kaczmarz方法解决线性系之间的连接。此外,我们扩展现有的块随机Kaczmarz的收敛结果,允许更一般的选择块,秩亏系统,并提供更严格的收敛速度保证。我们进一步将这种分析应用于不一致的共识模型,并获得类似的保证。这些方法提供了一个广泛的实证分析各种合成网络。
2021-10-27 cs.DC cs.MA cs.SY
Information Spreading in Dynamic Networks under Oblivious Adversaries
我们研究了动态网络中的流言问题,由对手控制,可以任意修改网络从一个回合到另一个,只要网络总是连接的。在流言问题中,$n$令牌在$n$网络节点之间任意分布,并且目标是将所有的$n$令牌传播到每个节点。我们的重点是令牌转发算法,除了存储、复制和转发令牌之外,不以任何方式操作令牌。在任何静态网络中,Gossip都可以在线性时间内完成,但动态网络的一个基本开放问题是存在一个分布式协议,该协议可以做得比容易实现的$O(n^2)$回合边界好得多。在以前的工作中,它已被证明,在自适应对手,每个令牌转发算法需要$Ω(n^2/\log n)$轮。在本文中,我们研究了不经意的对手,这不同于自适应对手在一个关键的方面-他们是不经意的随机选择的协议。我们提出了一个$\tildeΩ(n^{3/2})$下界下不经意的对手的RANDDIFF,一个自然的算法,其中邻居交换令牌随机从他们的令牌集的差异均匀选择。我们还提出了一个$\tildeΩ(n^{4/3})$界下的一个更强的概念不经意的对手对称的知识为基础的算法。在积极的一面,我们提出了一个集中式的算法,完成八卦$\tilde{O}(n^{3/2})$轮。我们还显示了一个$\tilde{O}(n^{5/3})$上界的RANDDIFF在一个限制类的不经意的对手,我们称之为路径尊重。
2016-07-19 cs.DC
Tighter Worst-Case Bounds on Algebraic Gossip
Gossip,特别是网络编码的代数Gossip,作为一种快速、带宽有效、可靠和分布式的多消息广播或组播方式,最近引起了人们的关注。虽然算法是简单的,涉及排队的方法来研究他们的性能。在这个方向上的最新结果表明,均匀代数流言在O(Δ(D + k + log n))轮中传播k条消息,其中D是直径,n是网络的大小,Δ是最大度。在本文中,我们给出了一个更简单,简短和自包含的证明,这种最坏情况下的保证。我们的方法还允许将二次ΔD项减少到min{3 n,ΔD}。我们还表明,一个简单的循环路由方案也达到min{3 n,ΔD} + Δk轮,消除了随机化和编码。最后,我们将一个新的非均匀gossip算法与一个简单的路由方案相结合,得到了一个O(D + k + log^{O(1)})的gossip信息传播算法。这是阶最优的,只要D和k不都是多项式小的。
2012-05-31 cs.DC cs.DS cs.IT
Fast Distributed Computation in Dynamic Networks via Random Walks
本文研究了动态网络中的高效分布式计算,其中网络拓扑结构的变化(任意)从一轮到一轮。我们的第一个贡献是一个严格的框架设计和分析的分布式随机游走算法在动态网络。然后,我们开发了一个快速的分布式随机游走算法,运行在$\tilde{O}(\sqrt{τΦ})$轮(具有高概率),其中$τ$是动态混合时间和$Φ$是网络的动态直径分别,并返回一个样本接近一个适当定义的静态分布的动态网络。我们还应用我们的快速随机游走算法设计快速分布式算法的两个关键问题,即,信息传播和分散计算的频谱特性在动态网络。我们的下一个贡献是一个快速的分布式算法的基本问题的信息传播(也称为八卦)在动态网络。在gossip中,或者更一般地,在$k$ -gossip中,存在最初存在于某些节点中的$k$信息(或令牌)片段,并且问题是将$k$令牌传播到所有节点。我们提出了一个基于随机游走的算法,运行在$\tilde{O}(\min\{n^{1/3}k^{2/3}(τΦ)^{1/3}, nk\})$轮(高概率)。据我们所知,这是第一个$o(nk)$时间全分布式令牌转发算法,它比之前最好的$O(nk)$轮分布式算法有所改进[Kuhn等人,STOC 2010],虽然在一个健忘的对手模型。我们的最后一个贡献是一个简单而快速的分布式算法估计的动态混合时间和相关的光谱特性的基础动态网络。
2012-05-24 cs.DC cs.DS
Optimal Gossip-Based Aggregate Computation
我们提出了第一个可证明几乎最优的基于流言的聚合计算算法,是时间最优和消息最优的。给定一个$n$ -节点网络,我们的算法保证所有的节点都能计算公共的聚合(如Min,Max,Count,Sum,Average,Rank等)。在最佳$O(\log n)$时间内并使用$O(n \log \log n)$消息来计算它们的值。我们的结果改进了Kempe等人的算法。\cite{kempe}是时间最优的,但使用$O(n \log n)$消息,以及Kashyap等人的算法。\cite{efficient-gossip}使用$O(n \log \log n)$消息,但不是时间最优的(需要$O(\log n \log \log n)$时间)。此外,我们表明,我们的算法可以用来提高基于流言的聚合计算在稀疏通信网络,如对等网络。我们的算法的主要技术成分是一种技术,称为{ \em分布式随机排名(DRR)},可以在其他应用程序中也是有用的。DRR给出了一个有效的分布式过程划分成一个森林的(不相交)树的小尺寸的网络。我们的算法是非地址无关的。相比之下,我们显示了一个下界的$Ω(n\log n)$的消息复杂性的任何地址无关算法计算聚合。这表明,非地址不经意算法需要获得显着更好的消息复杂度。我们的下限保持不变,无论所用的轮数或消息大小如何。我们的下界是第一个非平凡的基于流言的聚合计算的下界,也给出了第一个正式的证明,…
2010-01-19 cs.CC cs.DC cs.DS
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Distributed P2P quantile tracking with relative value error
针对非结构化 P2P 网络中的分位数跟踪问题,提出基于 gossip 的去中心化 DUDDSketch 协议,并通过正确性证明与实验验证其可收敛至顺序算法结果。
2025-07-23 cs.DC
The Impact of Mobility on Gossip Algorithms
研究了网络中节点移动性对平均流言算法收敛时间的影响。结果表明,少量的完全移动的节点可以产生一个显着减少收敛时间。一种方法是开发用于推导收敛时间的下限合并节点根据其移动模式。这种方法是用来表明,如果代理有一维移动在同一方向上的收敛时间提高了最多一个常数。上界得到的收敛时间使用技术从理论的马尔可夫链,并表明,简单的移动模型可以显着加速八卦,只要移动路径显着重叠。仿真验证了不同的移动模式可以有显着不同的影响分布式算法的收敛性。
2011-06-21 cs.DC cs.IT cs.NI
Context-Aware Orchestration of Energy-Efficient Gossip Learning Schemes
University of Neuchatel(纳沙泰尔大学);The University of Adelaide(阿德莱德大学);Institute IMDEA Networks(IMDEA网络研究所);HES-SO Valais(瑞士瓦莱高等专业学院);University of Foggia(福贾大学)
本文提出上下文感知的优化Gossip学习(OGL)方案,通过DNN动态调整训练轮数和模型交换策略,在保持目标精度的同时最小化能耗,实验验证其在多种网络场景下的高效性。
2024-04-18 cs.AI cs.DC cs.NI
Optimal Gossip with Direct Addressing
流言算法通过让节点重复地向一些随机联系人转发信息来传播信息。就其本质而言,gossip算法倾向于分布式和容错。如果做得好,它们也可以是快速和有效的消息。八卦通信的常见模型是随机电话呼叫模型,其中在每个同步轮中,每个节点可以将信息推送到随机的其他节点或从随机的其他节点推送信息。例如,Karp等人[FOCS 2000]给出了该模型中的算法,该算法将消息传播到$Θ(\log n)$轮中的所有节点,同时平均每个节点仅发送$O(\log \log n)$消息。最近,Avin和Elsässer [DISC 2013],研究了随机电话呼叫模型与自然和常用的直接寻址假设。直接寻址允许节点直接联系其ID(例如,IP地址)之前已了解。他们表明,在这种设置下,可以“打破$\log n$障碍”,实现在$O(\sqrt{\log n})$轮中运行的gossip算法,尽管每个节点使用$O(\sqrt{\log n})$消息。我们研究了相同的模型,并给出了一个简单的八卦算法,传播一个消息在只有$O(\log \log n)$轮。我们还证明了一个匹配的$Ω(\log \log n)$下界,这表明,这个运行时间是最好的可能。特别是,我们表明,任何八卦算法以高概率至少$0.99 \log \log n$轮终止。最后,我们的算法可以调整为平均每个节点只发送$O(1)$消息,每个消息只有$O(\log n)$位。因此,我…
2014-02-12 cs.DC cs.DS
Analyzing Network Coding Gossip Made Easy
提出了一种新的基于随机线性网络编码(RLNC)的流言协议停止时间分析方法。我们的分析大大简化,扩展和加强以前的结果。我们分析RLNC八卦网络和通信模型,包括和统一的模型,以前在这种情况下使用的一般框架。我们表明,在大多数情况下,第一次,它收敛的信息理论上的最佳时间的概率很高。大多数停止时间的形式是O(k + T),其中k是要分发的消息的数量,T是传播一条消息所需的时间。这意味着RLNC八卦实现了“完美流水线”。我们的分析直接扩展到高度动态的网络,其中的拓扑结构可以在任何时候完全改变。即使网络动态是由一个完全自适应的对手控制的,知道完整的网络状态,这仍然是正确的。实际上,除了简单的O(kT)顺序洪泛协议之前没有已知的这样的设置。虽然RLNC流言在各种各样的网络中工作,但它的分析仍然是一样的,而且非常简单。这与更复杂的证明形成对比,这些证明是为了给各种特殊情况提供不太强的结果。
2010-10-04 cs.DC cs.DS cs.IT
Asynchronous Bayesian Learning over a Network
Oklahoma State University(俄克拉荷马州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
我们提出了一个实用的异步数据融合模型,网络代理进行分布式贝叶斯学习,而无需共享原始数据。我们的算法使用了一个基于流言的方法,对随机选择的代理采用未经调整的朗之万动态参数采样。我们还引入了一个事件触发机制,以进一步减少八卦代理之间的通信。这些机制大大减少了通信开销,并有助于避免分布式算法通常遇到的瓶颈。此外,通过该算法减少的链路利用率预计将增加对偶尔链路故障的弹性。我们建立了我们的算法的数学保证,并通过数值实验证明其有效性。
2022-11-16 cs.DC cs.LG
Local Thresholding on Distributed Hash Tables
我们提出了一个二叉路由树协议的分布式哈希表覆盖。使用这个协议,每个对等体可以独立地将消息路由到它的父节点和两个动态的后代节点,而不需要任何维护、全局上下文和同步。该协议,然后扩展到支持树的变化通知具有类似的效率。生成的树几乎是完全稠密和平衡的,如果分布式哈希表是对称Chord,则具有O(1)拉伸。我们使用树路由协议,以克服在对等网络系统中的本地阈值算法的实施的主要障碍-他们的要求,无循环路由。直接比较基于流言的算法和相应的局部阈值算法上的多数表决问题表明,后者获得优越的精度使用一小部分的通信开销。
2013-01-14 cs.DC
Asynchronous Gossip for Averaging and Spectral Ranking
IIT Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
本文提出两种 gossip 算法变体,一种用于异步随机逼近的平均收敛,另一种用于非负矩阵的 Perron-Frobenius 特征向量计算,均通过强化学习保证收敛。
2014-01-06 cs.DC cs.IT cs.SY
Structured Gossip: A Partition-Resilient DNS for Internet-Scale Dynamic Networks
Docyt;Tata Consultancy Services Limited(塔塔咨询服务公司)
结构化 gossip DNS 通过被动稳定机制,利用 DHT 指针表实现网络分区容忍性,将消息复杂度降低至 $O(n/\log n)$,并支持大规模节点部署。
2026-03-08 cs.DB cs.DC cs.DS
Decentralized Stochastic Optimization and Gossip Algorithms with Compressed Communication
EPFL(洛桑联邦理工学院)
我们考虑分散随机优化的目标函数(例如,机器学习任务的数据样本)分布在$n$机器,只能与他们的邻居在一个固定的通信图。为了减少通信瓶颈,节点压缩(例如,压缩或稀疏化)它们的模型更新。我们涵盖了无偏和有偏压缩算子,质量表示为$ω\leq 1$($ω=1$表示没有压缩)。我们(i)提出了一种新的基于gossip的随机梯度下降算法,CHOCO-SGD,它以$\mathcal{O}\left(1/(nT) + 1/(T δ^2 ω)^2\right)$的速度收敛于强凸目标,其中$T$表示迭代次数,$δ$表示连通矩阵的特征间隙。尽管压缩质量和网络连接影响高阶项,但速率中的第一项$\mathcal{O}(1/(nT))$与具有精确通信的集中式基线相同。我们(ii)提出了一种新的八卦算法,CHOCO-GOSSIP,平均共识问题,收敛时间$\mathcal{O}(1/(δ^2ω) \log (1/ε))$的准确性$ε> 0$。这是(据我们所知)第一个支持$ω> 0$任意压缩消息的流言算法,并且仍然表现出线性收敛。我们(iii)在实验中表明,我们的算法都优于各自的国家的最先进的基线和CHOCO-SGD可以减少至少两个数量级的通信。
2019-02-01 cs.DC cs.DS cs.LG
Distributed Data Summarization in Well-Connected Networks
我们研究分布式算法的数据摘要中的一些基本问题。给定一个$n$节点的通信图$G$,每个节点最初都可以持有一个值,我们专注于计算$\sum_{i=1}^N g(f_i)$,其中$f_i$是值$i$的出现次数,$g$是某个固定函数。这包括重要的统计数据,如不同元素的数量,频率矩和数据的经验熵。在CONGEST模型中,一个简单的自适应流下界表明,它需要$\tildeΩ(D+ n)$轮,其中$D$是图的直径,以准确计算其中的一些统计数据。然而,这些下限并不适用于良好连通的图。我们给出了一个算法,计算$\sum_{i=1}^{N} g(f_i)$准确地在$τ_G \cdot 2^{O(\sqrt{\log n})}$轮,其中$τ_G$是混合时间的$G$。这在计算$k$最频繁的元素中也有应用。我们证明了GOSSIP模型和CONGEST模型在良好连通图中具有很高的相似性。特别是,我们表明,GOSSIP模型的每一轮可以模拟几乎完美的$\tilde{O}(τ_G $轮的CONGEST模型。为此,我们开发了一种新的算法的GOSSIP模型,$1\pm ε$近似$p$ -th频率矩$F_p = \sum_{i=1}^N f_i^p$在$\tilde{O}(ε^{-2} n^{1-k/p})$轮,$p \geq2$,当不同的元素$F_0$的数量是最多$O\left(n^{1/(k-1)}\right)$。这个…
2019-08-06 cs.DC cs.DS
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University(清华大学);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
对数据隐私和安全性的新担忧激发了联邦学习的提出,它允许节点只同步本地训练的模型,而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计,依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而,在现实世界的联邦学习场景中,节点之间的网络容量是高度均匀分布的,并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中,我们提出了一个模型段级分散联邦学习来解决这个问题。特别是,我们提出了一种分段的流言方法,它不仅充分利用了节点到节点的带宽,而且具有良好的训练收敛性。实验结果表明,与集中式联邦学习相比,即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Information Spreading in Dynamic Networks
我们研究动态网络中的信息传播(也称为八卦)的基本问题。在gossip中,或者更一般地,在$k$ -gossip中,存在最初存在于某些节点中的$k$信息(或令牌)片段,并且问题是将$k$令牌传播到所有节点。目标是在尽可能少的分布式计算中完成任务。这个问题在动态网络中尤其具有挑战性,在动态网络中,网络拓扑可以从一轮到另一轮变化,并且可以由在线对手控制。本文的重点是令牌转发算法的功能,这些算法除了存储和转发令牌之外,不以任何方式操作令牌。我们首先考虑一个最坏情况的对抗模型,该模型首先由Kuhn、Lynch和Oshman~ \cite{kuhn+lo:dynamic}研究,其中每一轮的通信链路由对手选择,节点在广播消息之前不知道当前轮的邻居是谁。我们的主要结果是一个$Ω(nk/\log n)$下界的任何确定性令牌转发算法,以解决$k$ -流言所需的轮数。这解决了在~ \cite{kuhn+lo:dynamic}中提出的一个公开问题,改进了它们的$Ω(n \log k)$的下限,并将它们的$O(nk)$的上限匹配到对数因子内。接下来,我们表明,令牌转发算法可以实现次二次的时间在离线版本的问题,对手必须提交所有的拓扑结构的变化提前在计算的开始,并提出两个多项式时间离线令牌转发算法。我们的研究结果是朝着了解动态网络中令牌转发算法的能力和局限性迈出了一步。
2011-12-02 cs.DC
Investigating Sharding Advancements, Methodologies, and Adoption Potential in Hedera
针对区块链可扩展性挑战,本文研究分片技术在Hedera中的应用,分析现有分片技术的优劣后提出混合分片方案,通过本地与全局委员会划分及动态重配置提升跨分片交易效率与安全性,验证了其可行性与优势。
2025-09-23 cs.DC
Dependability in Aggregation by Averaging
聚合是现代分布式应用程序的重要构建块,允许确定有意义的属性(例如网络大小,总存储容量,平均负载,多数等)。用于指导系统的执行。然而,大多数现有的聚合算法表现出相关的可靠性问题时,在实际应用环境中使用的前景。本文揭示了基于迭代平均技术的聚集算法的一些可靠性问题,并给出了解决这些问题的一些方向。这类算法被认为是鲁棒的(当与常见的基于树的方法相比时),独立于所使用的路由拓扑,并在所有节点处提供聚合结果。然而,他们的鲁棒性受到强烈的挑战,他们的正确性往往妥协,当改变他们的工作环境的假设,以更现实的。这类算法的正确性依赖于基本不变式的维持,通常称为“质量守恒”。我们将认为,这个主要的不变量在实际设置中经常被打破,并且需要额外的机制和修改来维护它,从而导致算法性能的一些下降。特别是,我们讨论了三个代表性的算法Push-Sum协议,Push-Pull Gossip协议和分布式随机路由协议在异步和故障(消息丢失和节点崩溃)环境下的行为。更具体地说,我们提出并评估两个新版本的推拉八卦协议,解决其消息交织问题(即使在同步操作模式下证明)。
2010-11-30 cs.DC
Deterministic Fault-Tolerant Distributed Computing in Linear Time and Communication
本文针对同步完全网络中的共识、流言传播和检查点问题,开发了确定性容错分布式算法,在崩溃和认证拜占庭故障模型下实现了线性运行时间与通信量,并证明了性能下界以确保最优性。
2023-05-19 cs.DC cs.DS
Gossip Dual Averaging for Decentralized Optimization of Pairwise Functions
Magnet Team, INRIA Lille – Nord Europe(磁力团队、法国国家信息与自动化技术研究所里尔-北欧洲分部)
本文提出了一种基于 gossip 的双重平均算法,用于在分布式网络中优化配对函数,适用于排名、距离度量学习和图推断等应用,通过同步和异步设置解决优化问题,并展示了其在AUC最大化和度量学习中的实际应用。
2016-06-08 cs.AI cs.DC cs.LG
Contextual Chain: A Controlled Simulation Study of Context-Informed Gossip Scheduling for Post-Partition Recovery
SOBIN Institute LLC(SOBIN研究所有限公司)
本文提出一种轻量级账本协议,针对间歇性和噪声网络中的频繁分片问题,通过上下文认证和自适应同步提升恢复效率,实验表明同步策略是关键设计因素。
2026-08-27 cs.DC cs.NI
Discovery through Gossip
我们研究了动态网络中基于随机流言的过程,这些过程的动机是大规模分布式网络(如对等网络或社交网络)中的发现过程。对等网络中的一个研究得很好的问题是资源发现问题。在那里,节点(具有IP地址的主机)的目标是发现所有其他主机的IP地址。在社交网络中,节点(人)通过与邻居(朋友)交换联系人来发现新的节点。在这两种情况下,新节点的发现都会改变底层网络-新的边被添加到网络中-并且该过程在改变的网络中继续。严格分析这种动态(随机)过程与连续的自我变化的拓扑结构仍然是一个具有挑战性的问题,具有明显的应用。本文研究和分析了两种基于流言的自然发现过程。在推送过程中,每个节点重复地选择两个随机邻居并使它们接触(即,将它们的互信息“推”给彼此)。在拉发现过程中,每个节点重复地从随机邻居请求或“拉”随机联系。这两个过程都是轻量级的,本地的,并且由于它们的随机性而自然健壮。我们的主要结果是这两个随机过程收敛所需的时间几乎紧的分析。我们证明了在任何无向n节点图中,这两个过程都需要O(n log^2 n)轮以高概率将每个节点连接到所有其他节点,而Omega(n log n)是一个下界。在有向情况下,我们给出了强连通有向图的O(n^2 log n)上界和Omega(n^2)下界。我们克服的一个关键技术挑战是分析一个随机过程,这个过程本身会导致一个不断变化的网络,从而导致每一轮都有复杂的依赖关系。
2012-02-09 cs.DC cs.DM cs.DS
A Gossip Algorithm based Clock Synchronization Scheme for Smart Grid Applications
Florida International University(佛罗里达国际大学);Electricity Generation Company of Bangladesh(孟加拉国发电公司);Independent University, Dhaka, Bangladesh(达卡独立大学)
本文提出一种基于 gossip 算法的时钟同步方法,用于智能电网中高精度时间同步需求,适用于带宽受限的密集网络环境,通过不同网络拓扑测试验证了其性能。
2017-07-25 cs.DC cs.SY eess.SY
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex;HSE University(俄罗斯国立高等经济学院);MIPT(莫斯科物理技术学院);University of Toronto(多伦多大学);Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练,可以通过专门的消息传递协议(如Ring All-Reduce)利用数百台计算机。但是,大规模运行这些协议需要可靠的高速网络,而这种网络仅在专用群集中可用。相比之下,许多现实世界的应用程序,如联邦学习和基于云的分布式训练,运行在不可靠的设备上,网络带宽不稳定。因此,这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中,我们提出了Moshpit All-Reduce -一种迭代平均协议,以指数方式收敛到全局平均值,从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示,与竞争性的基于流言的策略相比,ImageNet上ResNet-50训练的速度提高了1.3倍,使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
Security policies for distributed systems
安全策略将安全属性指定为最大信息流。由交互进程组成的分布式系统通过拒绝不直接交换消息的进程之间的直接信息流来隐式地定义不传递安全策略。我们表明,隐式定义的安全策略在分布式系统中执行,提供的过程中运行分离,并可能在一个技术平台上的进程通信被限制到指定的消息路径的系统。此外,我们建议进一步限制允许的信息流,通过添加过滤器功能,用于控制哪些消息可以在进程之间传输,我们证明了本地检查过滤器功能足以确保全球安全策略。总而言之,全局不可传递的安全策略是建立通过本地验证条件的分布式系统的(可信)进程。此外,安全策略可以在确保划分的分布式集成平台上安全地实现。我们说明了我们的结果与智能电网的案例研究,在那里我们使用CTL模型检验放电的本地验证条件下考虑的每个过程。
2013-10-14 cs.CR cs.DC
Push-Pull Gradient Methods for Distributed Optimization in Networks
在本文中,我们专注于解决一个分布式凸优化问题的网络中,每个代理有自己的凸成本函数,目标是最小化的总代理的费用函数,同时遵守网络的连通性结构。为了最小化的费用函数的总和,我们考虑新的分布式基于梯度的方法,每个节点保持两个估计,即,最优决策变量的估计和代理的目标函数的平均梯度的估计。从智能体的角度来看,关于梯度的信息被推到邻居,而关于决策变量的信息则从邻居中提取,因此命名为“推拉梯度法“。该方法利用两种不同的图形代理之间的信息交换,因此,统一的算法与不同类型的分布式架构,包括分散式(对等),集中式(主从),和半集中式(领导者-追随者)架构。我们表明,所提出的算法和它们的许多变种在同步和异步随机八卦设置强凸和光滑的目标函数在网络上(可能与单向数据链路)线性收敛。特别地,在随机八卦设置下,“推拉”是有向图上的分布式优化的第一类算法。此外,我们数值评估我们提出的算法在这两种情况下,并表明,他们优于其他现有的线性收敛计划,特别是病态的问题和网络,是不平衡的。
2020-02-06 cs.DC cs.MA cs.SI
Mining frequent items in unstructured P2P networks
大规模分散式系统,如P2P、传感器或物联网设备网络,正变得越来越普遍,需要强大的协议来解决数据分布和大量对等体属于网络所带来的挑战。本文研究了非结构化P2P网络中的频繁项挖掘问题。这个问题有实际的重要性,有许多有用的应用。我们设计了P2PSS,一个完全分散的,基于流言的协议,用于频繁项发现,利用节省空间的算法。我们正式证明的正确性和理论误差界。大量的实验结果清楚地表明,P2PSS提供了非常好的准确性和可扩展性,也存在高度动态的P2P网络与搅动。据我们所知,这是第一个gossip-为基础的分布式算法提供了强有力的理论保证,在非结构化P2P网络中的近似频繁项问题和发现频繁项的频率估计。
2018-10-16 cs.DC cs.DS
Distributed Localization and Tracking of Mobile Networks Including Noncooperative Objects - Extended Version
我们提出了一个贝叶斯方法的分布式顺序定位的移动网络组成的合作代理和非合作对象。我们的方法提供了一个一致的合作自定位(CS)和分布式跟踪(DT)的组合。使用代理和对象之间以及代理之间的测量来定位和跟踪多个移动代理和对象。对于分布式操作和低复杂度,我们结合了基于粒子的信念传播的共识或八卦计划。通过底层因子图的CS和DT部分之间的概率信息传递来实现高定位精度。仿真结果表明,显着改善代理自定位和对象定位性能相比,单独的CS和DT,和非常好的缩放性能相对于代理和对象的数量。
2015-12-31 cs.DC cs.IT math.IT