Distributed Average Consensus Over Noisy Communication Links in Directed Graphs
受弹性、可伸缩性和即插即用操作需求的推动,分布式决策变得越来越普遍。在多智能体系统中达成共识的问题是分布式决策的核心。在这篇文章中,我们研究了在有向多智能体网络中,当通信链路被噪声破坏时,实现平均共识的问题。我们提出了一个算法,每个代理更新其估计的基础上的本地混合的信息,并增加其加权无噪声的初始信息,其更新在每次迭代。我们证明,适当设计的权重的代理实现共识下添加剂的通信噪声。我们建立,当通信链路是无噪声的,所提出的算法以几何速度走向共识。在通信噪声下,我们证明了代理估计几乎肯定会达到共识值。我们提出了数值实验,以证实所提出的算法在不同的噪声实现和各种算法参数的有效性。
2022-11-11 cs.DC cs.MA cs.SY
Projected Push-Pull For Distributed Constrained Optimization Over Time-Varying Directed Graphs (extended version)
针对时变有向图下的分布式约束优化问题,提出结合投影梯度下降与惰性更新的投影推拉算法,证明其几何收敛性并推导步长界,通过数值实验验证有效性。
2023-10-10 cs.DC cs.MA math.OC
Exact Leader Estimation: A New Approach for Distributed Differentiation
本文提出无需知晓领导者身份的分布式微分新策略,借鉴Levant微分器结构,有限时间内获任意m阶导数,考虑采样通信与噪声并推导精度界,数值验证有效性。
2025-02-13 cs.MA cs.SY eess.SY
Delay-Tolerant Augmented-Consensus-based Distributed Directed Optimization
Semnan University(塞姆南大学);Aalto University(阿尔托大学);Oregon State University(俄勒冈州立大学)
针对多智能体网络通信时延影响分布式优化收敛的问题,提出一种可处理强连通有向网络下有界固定异构时延的增广共识优化算法,通过理论证明收敛性并经仿真验证其性能。
2025-10-03 cs.MA cs.SI cs.SY
Variance Analysis of Randomized Consensus in Switching Directed Networks
本文研究了切换有向随机网络上分布式共识算法的渐近性质。更具体地说,我们专注于共识算法在独立和同分布,有向Erdos-Renyi随机图,每个代理可以与任何其他代理与一些外部指定的概率$p$。虽然它是众所周知的,共识算法在Erdos-Renyi随机网络的结果在网络上的渐近协议,渐近共识值的分布的分析表征仍然是一个悬而未决的问题。在本文中,我们提供的渐近随机共识值的均值和方差的封闭形式的表达式,在网络的大小和通信的概率$p$。我们还提供了数值模拟来说明我们的结果。
2009-10-20 cs.DC cs.MA cs.NI
Gradient-Consensus: Linearly Convergent Distributed Optimization Algorithm over Directed Graphs
在这篇文章中,我们提出了一种新的方法,优化然后同意最小化的总和$ f = \sum_{i=1}^n f_i(x)$凸目标函数在有向图。优化然后同意方法在分布式优化框架中将优化步骤和共识步骤合并。优化然后同意的关键动机是保证在分布式优化算法的每次迭代期间代理的估计之间的分歧保持在任何先验指定的公差下;现有算法不提供在许多实际场景中所需的这样的保证。在这种方法中,每个代理在每次迭代期间保持对最优解的估计,并利用其局部可用的梯度信息以及有限时间近似共识协议来向最优解移动(因此称为一致性共识算法)。我们建立了所提出的算法具有全局R-线性收敛速度,如果聚合函数$f$是强凸和Lipschitz可微。在放松的$f_i$是凸的和Lipschitz可微的假设下,我们还证明了目标函数误差残差以Q-线性速率减小(就梯度计算步骤的数量而言),直到它达到一个小值,这可以使用有限时间近似共识协议上指定的容差值来管理;当$f_i$不一定是强凸函数时,文献中没有现有的方法具有如此强的收敛保证。与传统算法的$O(k)$相比,改进的算法在满足约束条件和更好收敛性的保证方面的通信开销是$O(k\log k)$迭代次数。此外,我们数值评估所提出的算法的性能,通过解决分布式逻辑回归问题。
2021-05-26 cs.MA cs.SY eess.SY
Variance reduced stochastic optimization over directed graphs with row and column stochastic weights
本文提出了一种一阶分布式随机最优化算法--AB-SAGA,用于极小化分布在任意有向图上的光滑强凸函数的有限和。AB-SAGA使用节点级方差减少来消除由随机梯度引起的不确定性,并随后采用网络级梯度跟踪来解决节点之间的数据不相似性。与现有的方法,使用非线性推和校正,以消除由定向通信所造成的不平衡,在AB-SAGA的共识更新是线性的,并使用行和列的随机权重。我们表明,对于一个恒定的步长,AB-SAGA线性收敛到全局最优。我们量化的基本图形使用一个明确的方向性常数和特征的制度,其中AB-SAGA实现了线性加速超过其集中的对应的有向性。数值实验表明,AB-SAGA的收敛性强凸和非凸问题。
2022-02-07 cs.MA math.OC stat.ML
Fast Distributed Optimization over Directed Graphs under Malicious Attacks using Trust
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
针对有向通信图下含恶意智能体的多智能体系统分布式优化问题,提出结合随机信任值、梯度跟踪与递增约束集的RP3算法,证明其收敛性并通过实验验证其抗攻击效果与几何收敛性能。
2024-07-09 cs.MA cs.RO cs.SY
Fixed-time consensus of multiple double-integrator systems under directed topologies: A motion-planning approach
Northwestern Polytechnical University(西北工业大学);University of California, Riverside(加州大学河滨分校);City University of Hong Kong(香港城市大学)
本文提出了一种基于运动规划的分布式固定时间算法,用于解决多智能体系统在有向拓扑下的固定时间一致性问题,首次在有向拓扑下实现双积分系统的固定时间一致性。
2016-05-31 cs.MA cs.SY eess.SY
Average Consensus in the Presence of Delays and Dynamically Changing Directed Graph Topologies
以分布式方式渐近收敛到全局平均值的经典方法通常假设给定多组分系统的相邻组分之间及时且可靠地交换信息。这些假设在实际设置中不一定有效,这是由于可能在不同时间影响传输的不同延迟以及底层互连拓扑的可能变化(例如,由于组件的移动性)。在这项工作中,我们提出的协议,以克服这些限制。我们首先考虑一个固定的互连拓扑结构(捕获的一个可能有向图),并提出了一个离散时间协议,可以达到渐近平均共识的分布式方式,尽管存在任意(但有界)的通信链路中的延迟。该协议要求每个组件知道其输出链路的数目(即,它向其发送信息的组件的数量)。随后,我们扩展的协议,也处理底层的互连拓扑结构的变化,并描述了各种相当宽松的条件下,修改后的协议允许组件达到渐近平均共识。所提出的算法是通过例子说明。
2013-02-22 cs.DC cs.MA
Distributed Decision Through Self-Synchronizing Sensor Networks in the Presence of Propagation Delays and Asymmetric Channels
在本文中,我们提出并分析了一种分布式算法,实现全局最优的决策,无论是估计或检测,通过线性耦合的积分器初始化与本地测量之间的自同步机制。我们建模的节点之间的相互作用作为一个有向图的权重(可能)依赖于无线电信道,我们提出特别注意的传播延迟发生在传感器之间的数据交换的效果,作为网络几何形状的函数。我们得到的必要和充分条件,建议的系统达成共识的全局最优决策统计。本文证明了一个重要结果:对于任意有界时滞条件,当且仅当有向图是拟强连通的,该算法以指数收敛速度达到一致性.我们提供了一个封闭的形式表达的全球共识,表明延迟的影响是,在一般情况下,在最后的决定中引入的偏见。最后,我们利用我们的封闭形式的表达式设计一个双步骤的共识机制,能够提供一个无偏的估计与最小的额外复杂性,而不需要知道或估计的信道参数。
2007-09-19 cs.DC cs.MA
Epistemic Protocols for Distributed Gossiping
Centrum Wiskunde Informatica(国家数学与计算机科学研究所);University of Liverpool(利物浦大学)
流言协议的目的是通过点对点或组通信的方式,达到所有代理都知道彼此秘密的情况。我们考虑分布式的八卦协议,表示通过认知逻辑。我们提供了这样的协议的操作语义,并建立了一个适当的框架来争论他们的正确性。然后,我们分析特定的协议,完全图和有向环。
2016-06-24 cs.AI cs.DC cs.LO
Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs
Tufts University(塔夫茨大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了Push-SAGA,一个分散的随机一阶方法有限和最小化的有向网络的节点。Push-SAGA结合了节点级方差缩减以消除随机梯度引起的不确定性,网络级梯度跟踪以解决数据的分布式性质,以及推和共识以解决有向通信链路的挑战。我们表明,Push-SAGA实现了线性收敛到光滑和强凸问题的精确解,因此是第一个线性收敛的随机算法在任意强连通有向图。我们还描述了制度,其中Push-SAGA实现了线性加速相比,其集中的对应,并实现了独立于网络的收敛速度。我们说明的行为和收敛性能的Push-SAGA的强凸和非凸问题的数值实验的帮助下。
2020-10-22 cs.DC cs.LG cs.MA
A Tutorial on Distributed (Non-Bayesian) Learning: Problem, Algorithms and Results
Arizona State University(亚利桑那州立大学);Boston University(波士顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们概述了分布式学习的一些结果,重点是最近提出的一系列算法,称为非贝叶斯社会学习。我们考虑分布式学习问题的不同方法及其在有限多个假设的情况下的算法解决方案。最初的集中式问题进行了讨论,然后由一个概括的分布式设置。收敛性和收敛速度的结果给出了渐近和有限时间制度。各种扩展进行了讨论,如处理定向时变网络,Nesterov的加速技术和连续集的假设。
2016-09-23 cs.LG cs.MA cs.SI
Quantized Decentralized Stochastic Learning over Directed Graphs
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
针对有向图上去中心化随机学习的通信瓶颈,提出基于push-sum的量化算法,在凸和非凸损失下保持与精确通信相同的收敛速率,并实现显著加速。
2024-12-19 cs.DC cs.LG cs.MA