Revisiting Randomized Gossip Algorithms: General Framework, Convergence Rates and Novel Block and Accelerated Protocols
University of Edinburgh（爱丁堡大学）；KAUST（卡塔尔科技大学）；MIPT（莫斯科国立信息安全研究学院）
本文提出了一种新的随机广播算法分析和设计框架，用于解决平均共识问题。通过将经典随机迭代方法应用于特殊系统来解释网络结构，展示了其去中心化特性。该框架恢复了多种已知的广播算法作为特殊情况，并允许开发具有证明更快变体的方法。我们还提出了新的块和第一个可证明加速的随机广播协议，以及双随机广播算法。
2019-06-03 cs.DC cs.LG cs.MA
Symmetrizing quantum dynamics beyond gossip-type algorithms
针对量子领域的平均共识问题，提出两种基于准局域制备对称纯态混合态的耗散工程改进方法，性能优于现有gossip型算法，可分别用于制备纯Dicke态和实现更强的单次测量共识，且均支持随机化与反馈实现。
2016-03-15 math.OC quant-ph
Privacy Preserving Randomized Gossip Algorithms
在这项工作中，我们提出了三种不同的随机八卦算法解决平均共识问题，同时保护存储在节点的初始私有值的信息。我们给出了所有方法的迭代复杂度界，并进行了大量的数值实验。
2017-06-23 math.OC
Random Pairwise Gossip on $CAT(κ)$ Metric Spaces
在传感器网络的背景下，流言算法是一种流行的，完善的技术，用于实现共识时，传感器数据被编码在线性空间。Gossip算法也有几个扩展到非线性数据空间。大多数这些扩展处理黎曼流形和使用黎曼梯度下降。相反，本文展示了一个非常简单的度量性质，不依赖于任何微分结构。这一性质强烈表明，八卦算法可以在比黎曼流形更广泛的家族中进行研究。事实证明，只要数据空间仅仅是一个$CAT(κ)$度量空间，就可以保证（局部）收敛。我们还研究了收敛速度在此设置和建立线性率的$CAT(0)$空间，和局部线性率的$CAT(κ)$空间与$κ> 0$。数值模拟上的几个tagri，与相应的状态空间，要么是黎曼流形-在正定矩阵共识的问题-或裸度量空间-在武器共识的问题-验证的结果。这表明，我们的度量方法不仅允许更简单和更一般的数学分析，而且还为超越黎曼设置的新类型的应用铺平了道路。
2014-05-16 math.OC
Gossiped and Quantized Online Multi-Kernel Learning
Center for Pervasive Communications & Computing（普适通信与计算中心）；University of California, Irvine（加州大学欧文分校）
针对非完全连通网络下的在线多核学习场景，提出带量化通信的gossip算法，证明其能达到次线性遗憾，并用真实数据集实验验证了结论。
2023-04-28 cs.LG eess.SP math.OC
Gossip and Distributed Kalman Filtering: Weak Consensus under Weak Detectability
针对传感器网络和网络中传感器之间的通信和观测同时发生的情况，提出了一种用于分布式卡尔曼滤波的流言交互式卡尔曼滤波器（GIKF）.传感器之间的通信是随机的;每个传感器偶尔会根据相应网络链路的可用性与邻居交换其过滤状态信息。我们证明了在弱分布可检测性条件下：1。GIKF误差过程保持随机有界，与随机过程动态的不稳定性无关;以及2.网络实现\emph{weak consensus}，即，在（均匀）随机选择的传感器处的条件估计误差协方差在分布上收敛到半正定矩阵空间上的唯一不变测度（与初始状态无关）。为了证明这些结果，我们将GIKF中每个节点的过滤状态（估计值和误差协方差）解释为具有局部相互作用的随机粒子。我们分析的误差过程的渐近性质，通过研究作为一个随机动力系统的相关切换（随机）Riccati方程，切换由一个非平稳马尔可夫链的网络图。
2010-04-02 cs.IT math.DS math.IT
Vector-Valued Gossip over $w$-Holonomic Networks
Coordinated Science Laboratory, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
研究向量值状态智能体闲聊网络的加权平均一致性问题，通过引入“w-完整性”概念，给出非齐次马尔可夫过程收敛条件及极限集刻画，刻画随机矩阵无穷乘积极限行为。
2026-07-21 cs.MA math.OC
Provably Accelerated Randomized Gossip Algorithms
The University of Edinburgh, UK（爱丁堡大学）；Facebook AI Research, Montreal（脸书人工智能研究）；KAUST, KSA（王国立科技大学）
本文提出了一种可证明加速的随机传话算法，用于解决平均一致性问题。该算法受到最近开发的加速随机Kaczmarz方法的启发，该方法是解决线性系统问题的流行方法。在每次传话迭代中，网络中的所有节点都会更新它们的值，但只有成对的节点交换私有信息。还展示了在流行无线传感器网络上的数值实验，展示了我们协议的优势。
2018-10-31 cs.DC cs.LG cs.MA
Constructing Stochastic Matrices for Weighted Averaging in Gossip Networks
针对八卦网络中加权平均问题，提出一种基于网络拓扑和权重构造局部随机矩阵的算法，确保过程收敛于有限极限集。
2025-02-27 cs.MA math.OC
Discontinuities and hysteresis in quantized average consensus
Politecnico di Torino（都灵理工大学）；University of Twente（特文特大学）；Sapienza Università di Roma（罗马第一大学）
针对通过均匀量化器通信的连续时间平均共识动力学，定义了Krasowskii意义下的解并证明收敛到“实际共识”，同时引入迟滞量化器以抑制抖振现象，并通过混合系统方法研究收敛性。
2011-03-14 cs.SY eess.SY math.OC
Distributed Event-Triggered Algorithms for Finite-Time Privacy-Preserving Quantized Average Consensus
在本文中，我们考虑的问题，隐私保护的平均共识问题时，节点之间的通信是量化的。更具体地说，我们考虑一种设置，其中网络中的一些节点是好奇的，但不是恶意的，它们试图根据它们在操作期间接收的数据来识别其他节点的初始状态（而不会以任何其他方式干扰计算），而网络中的一些节点希望确保它们的初始状态不能被好奇的节点准确地推断出来。我们提出了两个隐私保护的事件触发的量化平均共识算法，可以遵循任何节点希望保持其隐私，而不是透露它有助于平均计算的初始状态。网络中的每个节点（包括好奇节点）都被允许执行隐私保护算法或其底层的平均共识算法。在一定的拓扑条件下，这两种算法允许采用隐私保护协议的节点保持其初始量化状态的隐私，同时在有限步之后获得初始状态的精确平均值。
2021-02-12 cs.SY eess.SY math.OC
A Privacy Preserving Randomized Gossip Algorithm via Controlled Noise Insertion
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Google（谷歌公司）；University of Edinburgh（爱丁堡大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出一种通过受控噪声插入的随机Gossip算法，在解决平均一致性问题的同时保护节点初始私有值，并给出了迭代复杂度界限及广泛的数值实验验证。
2019-01-27 cs.DC cs.LG cs.MA
A New Perspective on Randomized Gossip Algorithms
在这篇短文中，我们提出了一种新的方法来设计和分析随机八卦算法，可用于解决平均共识问题。我们展示了如何随机块Kaczmarz（RBK）方法-一种解决线性系统的方法-作为八卦算法时，应用到一个特殊的系统编码的底层网络。著名的成对流言算法是一个特例。随后，我们揭示了一个隐藏的对偶随机八卦算法，与对偶迭代过程保持一组数字连接到边缘，而不是网络的节点。我们证明了RBK在块的大小上获得了超线性的加速比，并通过实验证明了这种效果。
2016-10-15 cs.DC cs.IT math.IT
Self-triggered Consensus of Multi-agent Systems with Quantized Relative State Measurements
本文针对无向图上的一阶连续时间多智能体系统，提出量化与自触发采样的联合设计方法，实现渐近一致性并保证事件间隔严格为正，采样时间由含Lambert W函数的迭代过程显式确定。
2023-10-14 cs.SY eess.SY math.OC
Finite Time Privacy Preserving Quantized Average Consensus with Transmission Stopping
由于其灵活性，电池供电或能量收集无线网络被用于各种应用。保护无线设备之间的数据传输是至关重要的，以便避免隐私敏感的用户数据泄漏。在本文中，我们专注于这样的场景，其中一些节点是好奇的（但不是恶意的），并试图识别一个（或多个）其他节点的初始状态，而一些节点的目标是保护其初始状态的隐私，从好奇的节点。提出了一种隐私保护的有限传输事件触发的量化平均一致性算法。它的操作适合于电池供电或能量收集无线网络，因为它保证（i）高效（量化）通信，以及（ii）传输停止（这允许保存可用能量）。此外，我们提出的拓扑条件下，该算法允许节点保护自己的隐私。我们的结论与我们的算法对其他算法在现有文献中的比较。
2022-07-17 cs.SY eess.SY math.OC
Continuous-time quantized consensus: convergence of Krasowskii solutions
Politecnico di Torino（都灵理工大学）
研究具有量化交互和时变有向拓扑的连续时间多智能体网络，利用Krasovskii解的概念证明在极限连通图存在全局可达节点时，系统在有限时间内达到量化精度内的一致，并给出时不变拓扑下的收敛时间上界。
2011-11-17 cs.SY eess.SY math.OC
A Riemannian gossip approach to decentralized matrix completion
Amazon Development Centre India（亚马逊印度开发中心）；The University of Electro-Communications（电气通信大学）
本文提出基于黎曼流形的新型 gossip 算法，用于低秩去中心化矩阵补全问题，实现局部矩阵补全和全局低秩因子的渐近一致性，具有可扩展性和并行性。
2016-05-23 cs.LG cs.NA math.NA
A Riemannian gossip approach to subspace learning on Grassmann manifold
The University of Electro-Communications（电气通信大学）
本文主要研究Grassmann流形上的子空间学习问题。在这种情况下，有趣的应用包括低秩矩阵完成和低维多元回归等。出于对隐私的关注，我们的目标是在分散的环境中解决这些问题，在这种环境中，多个代理只能访问（并解决）整个优化问题的一部分。代理相互通信以达成共识，即，通过流言协议达成一个共同的数量我们提出了一种新的成本函数的子空间学习的格拉斯曼流形上，这是一个加权和的几个子问题（每个解决的代理）和代理之间的通信成本。成本函数具有有限和结构。在所提出的建模方法中，不同的代理学习个别的局部子空间，但他们实现全局学习子空间的渐近共识。该方法具有可扩展性和并行性。数值实验表明，所提出的分散算法的各种矩阵完成和多元回归基准的有效性。
2018-02-28 cs.LG math.OC
Randomized Matrix Weighted Consensus
本文提出适用于无领导者和领导者—跟随者拓扑的随机矩阵加权一致性算法，证明期望一致性并给出 ε-收敛时间上界，且成功应用于方位网络定位与编队控制。
2024-02-07 cs.SY eess.SY math.OC
Robust Consensus in Distributed Networks using Total Variation
考虑一个连接网络的代理赋予本地费用函数代表私人目标。代理人试图找到一个协议的一些最小化的总成本，通过邻居之间的重复通信。网络上的平均共识，通常由八卦算法解决，是这个问题的一个特殊例子，对应于二次私人目标。关于中位数的共识，或者更一般的分位数，也是一个特殊的例子，因为有更多的共识问题。在本文中，我们表明，优化的总费用函数正则化的全变差条款有吸引力的性质。首先，它可以非常自然地以分布式方式完成，从而产生在数值模拟上有效的算法。其次，正则化成本的最优值也是初始总费用函数的最优值，其假设是简单的状态和易于验证的。最后，这些算法对不可靠的代理保持鲁棒性，这些代理不断在网络中注入一些假值。这是值得注意的，而不是这种情况，例如，八卦算法，完全由不可靠的代理人统治，如论文中所详述的。
2013-09-27 math.OC
Fast Quantized Average Consensus over Static and Dynamic Directed Graphs
在本文中，我们研究了分布式平均一致性问题的多智能体系统与有向通信链路，受到量化的信息流。具体来说，我们提出并分析了一种分布式平均算法，该算法专门使用量化值（即，在相邻代理之间存储、处理和交换的信息经受确定性统一量化）并且依赖于事件驱动更新（例如，以减少能量消耗、通信带宽、网络拥塞和/或处理器使用）。该算法的主要思想是每个节点（i）将其初始状态建模为两个量化分数，其分子等于节点的初始状态，并且子数等于1，并且（ii）随机发送一个分数，而另一个分数则保持存储。然后，每当它接收到一个或多个分数时，它就将它们的分子与它存储的分数的分子进行平均，然后将它们发送给随机选择的外邻居。我们的特点所提出的分布式算法的属性，并表明其执行，在任何静态和强连接的有向图，允许每个代理在有限的时间内达到一个固定的状态，等于（在一个量化水平）的平均初始状态。我们扩展了算法的操作，以实现有限时间收敛的存在下，一个动态的有向通信拓扑的一些连接条件。最后，我们提供的例子来说明所提出的算法的操作，性能和潜在的优势。我们比较国家的最先进的量化平均共识算法，并表明我们的算法的收敛速度显着优于大多数现有的协议。
2021-03-09 cs.SY eess.SY math.OC
Convergence Time of Quantized Metropolis Consensus Over Time-Varying Networks
研究在时间变化无向连通图上实现量化共识问题，提出具有快速收敛时间的协议，证明在时间变化网络中使用泊松过程激活边时，收敛时间至共识点集为O(n² log²n)。
2016-02-02 cs.DC cs.MA cs.SY
Distributed Optimization with Nesterov Momentum and Finite-Time Quantized Averaging over Directed Networks: Extended Version
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；KTH Royal Institute of Technology（皇家理工学院）
本文针对分布式优化中节点函数曲率差异导致的zigzag现象及通信带宽限制问题，提出QANM算法，结合Nesterov加速梯度下降与量化共识协议，实现线性收敛。
2026-10-27 cs.SY eess.SY math.OC
Average-Consensus Algorithms in a Deterministic Framework
The University of British Columbia（不列颠哥伦比亚大学）
针对有限规模多节点网络中的平均一致性问题，提出四种分布式算法，给出实现平均一致性的充要通信条件，并分析资源成本。
2011-06-15 cs.DC cs.SY eess.SY
Accelerated Gossip via Stochastic Heavy Ball Method
School of Mathematics, KAUST, Saudi Arabia（卡士塔大学数学学院，沙特阿拉伯）；The University of Edinburgh（爱丁堡大学）；The University of Edinburgh, United Kingdom（英国爱丁堡大学）；Edinburgh, Scotland, UK（苏格兰爱丁堡，英国）；MIPT, Russia（莫斯科国立信息安全大学，俄罗斯）
本文研究了随机重力球方法（SHB）作为随机 gossip 算法的应用，提出了一种新的解决平均共识问题的协议，并通过实验展示了其优势。
2018-09-23 cs.IT cs.LG cs.NA
Nonlinear consensus protocols with applications to quantized systems
本文研究了具有非线性一致性协议的多智能体系统，只有状态的非线性测量可用于代理。由于非线性控制器的可能不连续性，这些系统的解可以在Filippov意义下理解。在非线性函数单调递增且无任何连续约束的条件下，得到了定义在有向图和无向图上的系统的渐近稳定性.这些结果可应用于量子一致性，将已有的一些结果从无向图推广到有向图。
2017-04-10 math.OC
Nonlinear consensus protocols with applications to quantized systems
本文考虑了两类一般的非线性一致性协议，即具有非线性状态测量和状态通信的系统。系统的解决方案被理解为在Filippov的意义上处理非线性函数的可能的不连续性。对于每一种情况，我们证明了系统的渐近稳定性定义在有向图和无向图。然后，我们重新解释了一个特定类型的系统，即一般模型的结果，量化的一致性协议，其扩展了一些现有的结果（例如，[1，2]）从无向图到有向图。
2016-04-12 math.OC
Consensus and disagreement: the role of quantized behaviours in opinion dynamics
Politecnico di Torino（都灵理工大学）；University of Twente（特温特大学）
本文研究连续时间意见动态中连续意见与离散行为的相互作用，分析Carathéodory解的路径学问题，并通过Krasowskii解证明量化行为对共识的破坏作用，同时在特殊通信图结构下证明共识收敛。
2016-07-06 cs.SI cs.SY eess.SY
Decentralized Optimization via RC-ALADIN with Efficient Quantized Communication
针对有向图上的分散式共识优化问题，提出结合RC-ALADIN与有限时间量化协议的算法，实现线性收敛至最优解邻域，并具备通信高效性。
2025-08-08 cs.SY eess.SY math.OC
Decentralized Stochastic Optimization and Gossip Algorithms with Compressed Communication
EPFL（洛桑联邦理工学院）
我们考虑分散随机优化的目标函数（例如，机器学习任务的数据样本）分布在$n$机器，只能与他们的邻居在一个固定的通信图。为了减少通信瓶颈，节点压缩（例如，压缩或稀疏化）它们的模型更新。我们涵盖了无偏和有偏压缩算子，质量表示为$ω\leq 1$（$ω=1$表示没有压缩）。我们（i）提出了一种新的基于gossip的随机梯度下降算法，CHOCO-SGD，它以$\mathcal{O}\left(1/(nT) + 1/(T δ^2 ω)^2\right)$的速度收敛于强凸目标，其中$T$表示迭代次数，$δ$表示连通矩阵的特征间隙。尽管压缩质量和网络连接影响高阶项，但速率中的第一项$\mathcal{O}(1/(nT))$与具有精确通信的集中式基线相同。我们（ii）提出了一种新的八卦算法，CHOCO-GOSSIP，平均共识问题，收敛时间$\mathcal{O}(1/(δ^2ω) \log (1/ε))$的准确性$ε> 0$。这是（据我们所知）第一个支持$ω> 0$任意压缩消息的流言算法，并且仍然表现出线性收敛。我们（iii）在实验中表明，我们的算法都优于各自的国家的最先进的基线和CHOCO-SGD可以减少至少两个数量级的通信。
2019-02-01 cs.DC cs.DS cs.LG
Quantized Consensus ADMM for Multi-Agent Distributed Optimization
网络上的多智能体分布式优化仅使用局部计算和通信来最小化由局部凸函数的和形成的全局目标。我们开发和分析了一个量化的分布式算法的基础上的交替方向法的乘法器（ADMM）时，代理间的通信受到有限的容量和其他实际约束。虽然现有的量化ADMM方法只适用于二次局部目标，所提出的算法可以处理更一般的目标函数（可能是非光滑的），包括LASSO。在一定的凸性假设下，我们的算法收敛到一个共识内$\log_{1+η}Ω$迭代，其中$η>0$依赖于本地目标和网络拓扑结构，和$Ω$是一个多项式确定的量化分辨率，初始和最佳变量值之间的距离，本地目标函数和网络拓扑结构。一致性误差的紧上界也得到了不依赖于网络的大小。
2015-10-29 math.OC
Nonlinear Consensus for Distributed Optimization
分布式优化算法已经在文献中得到了广泛的研究，然而，大多数算法的基础是一个线性共识计划，即通过双随机阵从邻居平均变量。我们考虑一组时变和代理依赖的单调Lipschitz非线性变换的非线性共识计划，其中我们注意到的操作是一个子投影到共识平面，这已被确定通过随机逼近理论。对于提出的非线性共识方案，我们建立了与NEXT算法结合时的收敛性[Lorenzo and Scutari，2016]，并分析了与DGD算法结合时的收敛速度[Nedić and Ozdaglar，2009]。此外，我们表明，收敛仍然可以得到保证，即使列随机性放松的八卦的原始变量，然后再加上这与非线性变换表明，作为一个结果，可以选择任何点内的“收缩立方体壳”跨越邻居的变量在共识步骤。我们进行了数值模拟，以证明不同的一致性计划提出的文件可以优于传统的线性计划。
2023-03-13 math.OC
An Upper Bound on the Convergence Time for Quantized Consensus
本文分析了一类适用于任意网络的分布式量化一致性算法。在初始设置中，网络中的每个节点都具有整数值。节点在网络中交换它们当前的平均值估计，然后通过在异步时钟设置中的有限容量信道中与它们的邻居通信来更新它们的估计。最终，所有节点以量化的精度达成共识。我们从分布式二进制投票算法的一个特例开始分析，然后继续分析Kashyap等人提出的一般量化一致性算法的预期收敛时间。我们利用电网络、随机游动和马尔可夫链耦合的理论推导出一个O（N^3log N）任意大小为N的图上的预期收敛时间的上界，改进了二进制一致性算法的O（N^4logN）和量化一致性算法的O（N^5）的最新界。我们的结果是不依赖于图的拓扑结构。对星形网络、线形图、棒棒糖图和Erdös-Rényi随机图等特殊图进行了仿真，以验证分析的有效性。这项工作的应用负载平衡，自治代理，估计和检测，决策网络，对等系统的协调，等。
2013-05-17 cs.DC cs.PF math.OC
Decentralized Linearized Consensus ADMM with Efficient Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文针对分布式优化问题，提出将IC - ADMM与有限时间去中心化量化通信算法结合的新型去中心化优化算法，该算法在有向图运行，仅需量化局部信息，不依赖精确求解局部子问题，实验表明其在收敛速度和通信效率上优于现有方法。
2026-07-22 math.OC
Randomized Iterative Methods for Linear Systems: Momentum, Inexactness and Gossip
University of Edinburgh（爱丁堡大学）
在大数据时代，关键挑战之一是开发新的优化算法，这些算法可以容纳大量数据，同时满足所研究问题的约束和限制。解决最优化问题的需要在人类努力的所有定量领域都是普遍存在的，包括工业和科学。在过去的十年中，机器学习、计算机视觉、人工智能、信号处理和数据科学等领域的从业者对能够应对这些新的大规模问题的新方法的需求激增。在这篇论文中，我们将集中在设计，复杂性分析和有效的实现，这样的算法。特别是，我们感兴趣的随机迭代法的发展，解决大规模线性系，随机二次最优化问题，最佳逼近问题和二次最优化问题。论文的很大一部分也致力于发展有效的方法，以获得大规模网络的平均共识。
2019-09-26 cs.LG cs.NA math.NA
On the Convergence of Quantized Parallel Restarted SGD for Central Server Free Distributed Training
通信是分布式培训环境中的一个关键阶段。由于参数服务器（PS）经常遇到网络拥塞，最近的研究发现，没有一个集中式服务器的训练模式优于传统的基于服务器的模式在通信效率方面。然而，随着模型规模的不断增长，这些无服务器的范例也面临着大量的通信开销，严重恶化的分布式训练的性能。在本文中，我们专注于两个无服务器范例的通信效率，即，Ring All-Reduce（RAR）和gossip，通过提出量化并行重启随机梯度下降（QPRSGD），该算法允许在全局同步之前进行多个本地SGD更新，与量化协同以显著降低通信开销。根据同步模式和网络拓扑结构建立了累积误差的界，这是保证算法收敛性的必要条件。在这两种聚合模式下，算法实现了线性加速性能的本地更新的数量以及工人的数量。值得注意的是，该算法实现了收敛速度$O(1/\sqrt{NK^2M})$下的八卦范例，并优于所有现有的压缩方法，其中$N$是全球同步的次数，和$K$是本地更新的数量，而$M$是节点的数量。对各种机器学习模型的实证研究表明，与并行SGD相比，在低带宽网络中，通信开销减少了90%，收敛速度提高了18.6倍。
2020-12-16 math.OC
Adaptive Consensus with Exponential Decay
针对受非线性不确定性和量化通信影响的多智能体系统，提出融合并发学习的自适应一致性控制框架，实现一致性与参数估计的指数收敛，并在均匀量化下保证有界误差一致性。
2025-06-08 math.OC
Affine-coupled Distributed Optimization via Distributed Proximal Jacobian ADMM with Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Bologna（博洛尼亚大学）；KTH Royal Institute of Technology（皇家理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种结合集中式近端雅可比交替方向乘子法与有限级量化共识方案的分布式算法，用于解决受限通信带宽下的分布式资源分配优化问题，证明其在凸目标函数下具有亚线性收敛性。
2026-04-16 cs.SY eess.SY math.OC
Design and Analysis of Distributed Averaging with Quantized Communication
考虑一个网络，其节点具有一些初始值，并且期望设计一种基于邻居到邻居交互的算法，其最终目标是收敛到所有初始节点值的平均值或接近该平均值的某个值。这样的算法被称为一般的“分布式平均”，在本文中，我们的目标是研究性能的一个子类的确定性分布式平均算法，其中相邻节点（代理）之间的信息交换是均匀量化。通过这种量化，一般无法达到精确平均值的收敛，但收敛将接近于它的某个值，称为量化共识。利用李雅普诺夫稳定性分析，我们描述了所产生的非线性量化系统的收敛性。我们表明，在有限时间内，并取决于初始条件，该算法将导致所有的代理达到一个量化的共识，共识值是最大的量化值不大于大于他们的初始值的平均值，或将导致所有变量的循环在一个小的邻域周围的平均值。在后一种情况下，我们确定紧边界的大小的邻域，我们进一步表明，可以通过调整算法的参数，以分布式的方式使误差任意小。
2014-09-14 math.OC
Convergence Rate Estimates for Consensus over Random Graphs
具有随机交互的多智能体协调算法已经在多智能体系统文献中的各种设置中使用。在某些情况下，这些算法可以是随机的设计，如在一个八卦类算法，并在其他情况下，他们是随机的，由于外部因素，如在间歇性通信的情况下。针对这两种情况，我们提出了新的收敛速度估计的共识问题解决随机图。已建立的结果提供了渐近收敛，在这种情况下，我们提供了两种形式的收敛速率的估计。首先，我们估计二次李雅普诺夫函数随着时间的推移而减少，以限制代理人的分歧衰减的速度，其次，我们限制了距离协议点至少给定距离的概率。这两种估计都依赖于（近似地）计算随机图的拉普拉斯算子的期望矩阵指数的特征值，我们明确地根据网络的大小和边缘概率来计算，而不假设它们之间存在任何关系。仿真结果提供支持的理论发展。
2017-03-21 math.OC
Distributed Optimization with Quantized Gradient Descent
针对有向图、带宽受限的无约束分布式优化问题，提出结合梯度下降与有限时间分布式量化一致性的算法，并证明其以线性速率渐近收敛至最优解邻域。
2023-12-06 cs.SY eess.SY math.OC
Distributed and Decentralized Optimization Algorithms via Consensus ALADIN
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of Pittsburgh（匹兹堡大学）；KTH Royal Institute of Technology（皇家理工学院）；Digital Futures（数字未来）
本文研究了分布式共识优化问题，提出了一种基于增广拉格朗日法的交替方向不精确牛顿法（ALADIN）的扩展版本，即共识ALADIN（C-ALADIN），该方法通过中央协调器直接处理共识约束。我们开发了两种变体：一种是第一阶变体，另一种是利用Hessian近似器的第二阶变体，避免直接传输第二阶信息，同时保持快速局部收敛性。然后，我们开发了C-ALADIN的去中心化版本，该版本在有向图上运行，使用有限时间协调协议进行量化通信。对于两种版本，我们为凸问题建立了全局收敛性保证，为非凸问题建立了局部收敛性保证。在去中心化情况下，迭代收敛到由量化级别决定的最优解的邻域。数值结果表明，我们的方法在保持快速收敛的同时，显著减少了通信和计算成本，相比现有去中心化方法。
2026-05-20 cs.SY eess.SY math.OC
Almost sure convergence of a randomized algorithm for relative localization in sensor networks
Politecnico di Torino（都灵理工大学）；CNR-IEIIT, Politecnico di Torino（意大利国家研究委员会-信息与电气工程学院研究所，都灵理工大学）；Tokyo Institute of Technology（东京工业大学）
针对传感器网络相对定位问题，提出一种基于输入驱动共识动力学和成对gossip通信更新的随机化算法，证明状态时间平均几乎必然收敛到最小二乘解，且无需公共时钟，实现完全分布式异步计算。
2013-03-12 cs.SY eess.SY math.OC
Distributed Optimal Allocation with Quantized Communication and Privacy-Preserving Guarantees
在本文中，我们分析了在分布式和隐私保护的方式最优分配资源的问题。我们提出了一种新的分布式最优资源分配算法与隐私保护的保证，它运行在一个有向通信网络。我们的算法在有限时间内收敛，并允许每个节点处理和传输量化的消息。我们的算法采用分布式量化平均共识策略结合隐私保护机制。我们表明，该算法收敛于有限时间，我们证明，在特定条件下的网络拓扑，节点能够保持其初始状态的隐私。最后，为了说明结果，我们考虑一个例子，其中测试试剂盒需要按比例分配到一个地区的感染数量。结果表明，所提出的隐私保护的资源分配算法表现良好，在隐私保证适当的收敛速度。
2022-07-17 cs.SY eess.SY math.OC
Limited Rate Distributed Weight-Balancing and Average Consensus Over Digraphs
研究了固定有向图上的分布式量化权平衡和平均一致性问题。一个有向图的边的权是非负的，如果对于每个节点，它的输出边的权之和等于它的输入边的权之和，则它是权平衡的。本文提出并分析了第一个分布式算法，解决了重量平衡问题，只使用有限的速率和节点之间的简单通信（符合有向性质的图形边缘）。证明了格式的渐近收敛性，并给出了收敛速度分析。基于这一结果，提出了一种新的分布式算法，解决了平均共识问题的有向图，使用，在每次迭代中，有限速率的单工相邻节点之间的通信-一些位的权重平衡问题，其他的平均共识。所提出的量化一致性算法收敛到实数（即，对所有正整数$r$，几乎必然地和在$r$次平均意义下证明了（未量化）Agent的初始值.最后，数值结果验证了我们的理论研究结果。
2018-09-17 cs.DC cs.MA math.OC
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
Decentralized Optimization Over Slowly Time-Varying Graphs: Algorithms and Lower Bounds
针对缓慢时变网络上的去中心化凸优化，本文分别研究 Markov 随机变化与确定性变化图，提出随机情形的加速共识算法，并证明最坏情况下每轮仅改两条边也会使加速共识不可能。
2023-07-24 math.OC
Nested Distributed Gradient Methods with Adaptive Quantized Communication
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，其中通信可能是昂贵的总和。提出并分析了一类自适应量化通信的嵌套分布式梯度法（NEAR-DGD+Q）。我们展示了执行多个量化通信步骤对收敛速度收敛速率和收敛邻域大小的影响，并证明了随着一致步骤和自适应量化的数量增加，R-线性收敛到精确解。我们测试的性能的方法，以及一些实际的变种，二次函数，并显示多个量化的通信步骤的迭代/梯度评估，通信和成本方面的影响。
2019-08-26 math.OC
Distributed Parameter Estimation with Quantized Communication via Running Average
Nanyang Technological University（南洋理工大学）
本文提出一种两阶段算法，通过运行平均技术在分布式网络中实现集中样本均值估计，克服了传统共识算法的不足，提升了收敛速率和稳定性。
2015-07-24 cs.DC cs.MA cs.SY
Distributed Average Consensus with Bounded Quantizer and Unbounded Input
本文考虑分布式平均共识使用有限位有界量化器与可能的无界数据。在乘子的交替方向法（ADMM）框架下，我们开发了分布式平均算法，其中每个节点仅使用其邻居的局部信息和重复量化输出迭代更新。它示出，所有的代理变量收敛到相同的量化水平或循环后的数据平均有限的迭代。建立了一致值的误差界，其结果与使用无界舍入量化器的误差界相同，只要算法参数（即，ADMM步长）足够小。我们还分析了算法参数的影响，并提出了一个自适应的参数选择策略，只需要知道的代理的数量，以加快算法与一定的共识精度保证。最后，通过仿真验证了所提算法的有效性.
2017-08-20 math.OC
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
Finite rate distributed weight-balancing and average consensus over digraphs
本文提出了第一个分布式算法，解决了重量平衡问题，只使用有限的速率和节点之间的单工通信，符合有向性质的图边缘。证明了该算法以次线性速率收敛于权平衡解。分析建立在一个新的度量的启发位置系统表示，其特征在于在网络上的信息交换的动态，并在一个新的步长规则。在此基础上，提出了一种新的分布式算法，解决了平均共识问题的有向图，使用，在每个时隙，有限速率的单工通信相邻节点之间的权重平衡问题和其他的平均共识的一些位。收敛的建议量化共识算法的平均节点的未量化的初始值的建立，几乎肯定和矩母函数的错误，和一个次线性收敛速度被证明足够大的步长。数值结果验证了我们的理论研究结果。
2020-02-29 cs.DC cs.MA math.OC
Distributed Random Convex Programming via Constraints Consensus
本文讨论随机凸规划的分布式求解方法。RCP是具有（通常很大）N个随机提取约束的凸优化问题;它们出现在几个应用领域，特别是在不确定性不确定决策的背景下，参见[2]，[3]。我们在这里考虑一种设置，其中随机约束（场景）的实例不是由单个集中式处理单元保存，而是分布在网络的不同节点之间。每个节点只“看到”约束的一个小子集，并且可以与邻居通信。目标是使所有节点收敛到与集中式RCP问题相同的解。为此，我们开发了两种分布式算法，它们是约束一致性算法的变体[4]，[5]：积极约束一致性（ACC）算法和顶点约束一致性（VCC）算法。我们表明，ACC算法计算的整体最优解在有限的时间内，几乎肯定有界的通信在每次迭代。而VCC算法是专门为特殊情况下，其中的约束函数也是凸w.r.t.不确定的参数，它计算的解决方案，在一定数量的迭代由通信图的直径。我们进一步设计了一个变种的VCC算法，即量化顶点约束共识（qVCC），以应付处理器之间的通信带宽有界的情况下。我们讨论了几个应用所提出的分布式技术，包括估计，分类和随机模型预测控制，我们提出了一个数值分析的性能所提出的方法。作为一个补充的数值结果，我们表明，使用ACC算法的场景解决方案的并行计算显着优于其集中等效。
2012-07-26 math.OC
