Improving the communication in decentralized manifold optimization through single-step consensus and compression
针对去中心化流形优化的通信瓶颈问题，研究利用流形的光滑性与渐近1-利普希茨连续性，将多步共识简化为单步，结合通信压缩提出高效梯度算法，复杂度匹配欧氏空间结果，实验验证其优于现有方法。
2024-07-12 math.OC
On the Linear Convergence of the ADMM in Decentralized Consensus Optimization
在分散式共识优化中，连接的代理网络协作地最小化它们在公共决策变量上的局部目标函数的和，其中它们的信息交换在邻居之间受到限制。为此，可以首先获得问题的重新表述，然后应用乘子的交替方向法（ADMM）。该方法采用迭代计算在各个代理和邻居之间的信息交换。据观察，这种方法收敛迅速，被认为是强大的。本文对具有强凸局部目标函数的分散一致最优化问题建立了它的线性收敛速率。根据网络拓扑结构、局部目标函数的性质和算法参数，给出了算法的理论收敛速度。这一结果不仅是性能保证，也是加快ADMM收敛的指导方针。
2014-11-30 math.OC
Decentralized Event-Triggered Consensus of Linear Multi-agent Systems under Directed Graphs
针对具有一般线性动力学的多智能体系统的一致性问题，提出了一种事件触发控制方法。本文扩展了以前的工作，考虑代理商连接使用有向图。此外，这里所示的方法提供了保证正事件间时间间隔的渐近共识。这种事件触发控制方法也用于存在通信延迟的情况。对于通信延迟的情况下，我们还表明，代理实现共识渐近，对于每个代理，连续传输之间的时间间隔是下界的一个正常数。
2015-02-12 math.OC
Decentralized Control of Two Agents with Nested Accessible Information
在本文中，我们研究了一个分散的随机控制问题的两个代理，其中的第二个代理的记忆的一部分也可用于第一代理在每个实例的时间。我们推导出一个结构形式的最优控制策略，使我们能够限制其域的大小不随时间的推移。我们还提出了一个动态规划（DP）分解，可以利用我们的结果，以获得任意长的时间范围内的最优策略。由于获得最优控制策略，通过解决这个DP分解是计算密集型的，我们提出了潜在的决议形式的简化策略，通过对我们的模型施加额外的条件，和一个近似技术，可以用来实现我们的结果与有限的最优性损失。
2022-03-09 math.OC
A Decentralized Primal-Dual Framework for Non-convex Smooth Consensus Optimization
在这项工作中，我们介绍了ADAPD，$\textbf{A}$ $\textbf{D}$ ecentr $\textbf{A}$ lized $\textbf{P}$ rimal- $\textbf{D}$ ual算法框架解决非凸和光滑的共识最优化问题在网络上的分布式代理。建议的框架依赖于一个新的问题制定，elancialADMM型更新，每个代理首先不精确地解决了一个局部强凸子问题，其选择的任何方法，然后执行邻居通信更新一组对偶变量。我们提出了两种变体，允许一个单一的梯度步骤的原始更新或多个通信的双重更新，利用每次迭代的成本和迭代次数之间的权衡。当多个通信被执行时，ADAPD可以实现理论上最优的通信复杂度结果的非凸和光滑的共识问题。在几个应用程序（包括深度学习应用程序）上进行的数值实验证明了ADAPD优于几种常用的分散式方法。
2023-02-03 math.OC
Decentralized Inexact Cubic Newton Method with Consensus Procedure
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Trusted AI Research Center, RAS（俄罗斯科学院可信人工智能研究中心）；Innopolis University（因诺波利斯大学）
本文研究了去中心化的二次优化问题，提出了一种适用于凸优化的去中心化三次牛顿方法，并开发了能够准确跟踪共识和局部迭代不一致性的理论。该方法在L1梯度光滑性和L2Hessian Lipschitz连续性假设下，与精确三次牛顿方法具有相同的迭代复杂度，并通过额外的多项式对数通信轮次开销达到所需的共识精度。此外，还提出了适用于强凸目标的加速去中心化三次牛顿方法，其迭代复杂度与精确加速三次牛顿方法一致。最后，尽管通用方法需要交换完整的d×dHessian矩阵，但通过仅传输向量的方式实现了在高维情况下更实用的实现。
2026-05-21 math.OC
Decentralized Event-Triggered Consensus over Unreliable Communication Networks
本文研究了不可靠通信信道上分布式事件触发的一致性问题。通信是不可靠的，因为从一个代理到其邻居的广播信道可以丢弃事件触发的信息分组，其中发送代理不知道没有接收到分组，并且接收代理不知道所发送的分组。另外，成功到达其目的地的分组可能遭受时变通信延迟。在本文中，我们考虑了有向图，我们也放松了一致性的数据包丢失和延迟。放松一致性意味着由一个代理广播的数据包的延迟和丢失对于每个接收节点可以是不同的。我们表明，即使在这种具有挑战性的情况下，代理可以达到共识渐近，同时减少传输的测量建议的事件触发的共识协议的基础上。此外，获得了正的事件间时间，这保证了芝诺行为不会发生。
2015-11-24 math.OC
Decentralized Computation of Effective Resistances and Acceleration of Consensus Algorithms
将加权无向图中的一对节点之间的有效电阻定义为在第一个节点处注入单位电流并在第二个节点处提取单位电流时在它们之间感应的电势差，将边的权重视为边的电导值。有效电阻是求解线性系、马尔可夫链和连续时间平均网络等许多应用和领域中的一个关键量。我们开发了一个有效的线性收敛分布式算法计算有效电阻，并通过数值研究证明其性能。我们还将我们的算法应用于共识问题，其目标是以分布式方式计算节点值的平均值。我们发现，我们开发的分布式算法的有效电阻可以用来加速收敛的经典共识迭代相当大的一个因素取决于网络结构。
2017-08-23 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$（Nested Exact Alternating Recursion Distributed Gradient Descent）方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下，证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说，我们建立了以下两种情况下的收敛性结果：（1）当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时，它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Decentralized Linearized Consensus ADMM with Efficient Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文针对分布式优化问题，提出将IC - ADMM与有限时间去中心化量化通信算法结合的新型去中心化优化算法，该算法在有向图运行，仅需量化局部信息，不依赖精确求解局部子问题，实验表明其在收敛速度和通信效率上优于现有方法。
2026-07-22 math.OC
Guaranteeing Both Consensus and Optimality in Decentralized Nonconvex Optimization with Multiple Local Updates
Clemson University（克莱姆森大学）
本文提出完全去中心化算法MILE，通过周期系统表述和提升分析，首次在多次局部更新下的非凸优化中同时保证共识性与最优性，并达到O(1/T)收敛速率且通信内存开销最小。
2025-11-07 math.OC
Exact Decentralized Optimization via Explicit $\ell_1$ Consensus Penalties
Shenzhen Technology University（深圳理工大学）
DP²G通过显式ℓ₁惩罚实现精确去中心化优化，兼具快速收敛与高效通信，适用于复合目标。
2025-11-29 math.OC
Accelerated Consensus and Decentralized Optimization over Slowly Varying Networks
HSE University（高等经济大学）；Trusted AI Research Center RAS（俄罗斯科学院可信人工智能研究中心）；MIRAI；Innopolis University（伊诺波利斯大学）
针对缓慢时变网络，提出加窗切比雪夫方法WAVE，通过重启递推限制网络变化影响，实现与固定网络相同的加速共识与分布式优化收敛速率。
2026-09-29 math.OC
EXTRA: An Exact First-Order Algorithm for Decentralized Consensus Optimization
近年来，人们对多智能体网络中的一致性优化问题的求解越来越感兴趣。在本文中，我们开发了一个分散的算法的共识优化问题$$\min\limits_{x\in\mathbb{R}^p}~\bar{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n f_i(x),$$这是定义在一个连接的网络上的$n$代理，其中每个功能$f_i$是由代理$i$私人持有，并编码代理的数据和目标。所有的智能体必须合作寻找极小化器，而每个智能体只能与它的邻居通信。这种计算方案避免了数据融合中心或远距离通信，并为网络提供了更好的负载平衡。提出了一种新的分散式精确第一T阶算法（EXTRA）来求解一致性优化问题。“精确”意味着它可以收敛到精确解。EXTRA可以使用固定的大步长，{其独立于网络大小}，并且具有同步迭代。每个个体的局部变量$i$一致且一致地收敛到$\bar{f}$的精确极小值.与此相反，著名的分散梯度下降（DGD）方法必须使用递减步长，以收敛到一个精确的最小值。EXTRA和DGD具有相同的混合矩阵选择和相似的每次迭代复杂度。然而，EXTRA使用最后两次迭代的梯度，不像DGD只使用最后一次迭代的梯度。EXTRA在现有的一阶分散算法中具有最知名的收敛率。具体地说，如果$f_i$是凸的，并有Lipschitz连续梯度，EXTRA有遍历收敛速度$O(\frac{1}{k})$的一阶最优性残差。如…
2014-11-30 math.OC
Systematic Design of Decentralized Algorithms for Consensus Optimization
University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
本文提出了一种分离原理，用于系统化设计用于共识优化的去中心化算法。通过结合非去中心化的基础优化算法和去中心化的共识跟踪，该原理提供了在使用积分二次约束（IQCs）的自动收敛分析框架下的算法设计和分析的模块化。共识跟踪可以被纳入基于IQC的分析中，通过交替方向乘子法设计和分析去中心化算法来展示工作流程。
2019-03-04 cs.SY eess.SY math.OC
On the Convergence of Decentralized Stochastic Gradient-Tracking with Finite-Time Consensus
Imperial College London（帝国理工学院）
研究探讨了近似有限时间共识序列对去中心化优化算法收敛性的影响，揭示了近似误差与序列长度及问题参数之间的关系。
2026-02-15 eess.SP math.OC
Decentralized design of consensus protocols with minimal communication links based on directed spanning tree
College of Artificial Intelligence and Automation, Beijing University of Technology（北京工业大学人工智能与自动化学院）；Engineering Research Center of Digital Community, Ministry of Education（教育部数字社区工程研究中心）
本文提出基于有向生成树的去中心化共识协议设计方法，通过线性变换和最小通信链路实现多智能体系统的共识问题转化与稳定控制，验证了去中心化设计的有效性。
2026-03-17 cs.SY eess.SY math.OC
Adaptive Consensus: A network pruning approach for decentralized optimization
针对分布式优化中通信瓶颈问题，提出自适应随机通信高效框架，通过跟踪不一致误差并选择关键边减少通信，给出AC与AC-GT算法，具备理论收敛保证且实验验证有效。
2023-09-06 math.OC stat.ML
On the Sample Complexity of Decentralized Linear Quadratic Regulator with Partially Nested Information Structure
University of Notre Dame（圣母大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了部分嵌套信息结构下分散状态反馈线性二次型控制器在系统模型未知时的控制策略设计问题。我们提出了一个基于模型的学习解决方案，它包括两个步骤。首先，我们估计未知的系统模型从一个单一的系统轨迹的有限长度，使用最小二乘估计。接下来，基于估计的系统模型，我们设计了一个控制策略，满足所需的信息结构。我们表明，我们的控制策略和最优分散控制策略（使用系统模型的准确知识设计）的次优差距与系统模型的估计误差呈线性关系。使用这个结果，我们提供了一个端到端的样本复杂性结果学习分散控制器的线性二次控制问题的部分嵌套的信息结构。
2022-05-27 cs.LG cs.SY eess.SY
Budget-Constrained Multi-Consensus Decentralized Gradient Descent
Linköping University（林雪平大学）；Arizona State University（亚利桑那州立大学）
本文提出多共识分布式梯度下降（mcDGD）方案，在预算约束下通过优化共识轮数与步长分配，实现通信与计算资源的高效利用，并证明均等分配共识轮数在步长规则下最优。
2026-10-07 cs.SY eess.SY math.OC
Decentralized design of leader-following consensus protocols for asymmetric matrix-weighted heterogeneous multiagent systems
Beijing University of Technology（北京工业大学）；Ministry of Education（教育部）
本文研究了在固定通信拓扑下包含定向生成树(DST)和不对称权重矩阵的异构多智能体系统中，去中心化设计领导者-跟随者一致性协议的方法。通过最小通信链路信息设计控制协议，并利用线性变换方法将一致性问题转化为部分变量稳定性问题，提出去中心化设计方法以确定协议中的增益矩阵。
2026-03-17 cs.SY eess.SY math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和，因此，最佳的共识决策应该位于这些私人集的交集。在强凸性假设下，我们提供了次优，不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
A Newton Tracking Algorithm with Exact Linear Convergence Rate for Decentralized Consensus Optimization
本文研究了网络上的分散共识最优化问题，其中每个节点具有一个二阶可微局部目标函数。我们的目标是最小化本地目标函数的总和，并找到精确的最优解，仅使用本地计算和相邻的通信。我们提出了一种新的牛顿跟踪算法，其中每个节点更新其局部变量沿局部牛顿方向修改邻居和历史信息。我们调查建议牛顿跟踪算法和现有的几种方法，包括梯度跟踪和二阶算法之间的连接。在强凸性假设下，我们证明了它以线性速度收敛到精确的最优解。数值实验证明了牛顿跟踪的有效性，并验证了理论研究结果。
2020-08-24 eess.SP math.OC
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University（莱斯大学）
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法，压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销，在每一个通信轮。与现有文献相反，我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外，我们提供了明确的收敛速度分散随机最优化问题的光滑函数是（i）强凸，（ii）凸，或（iii）非凸。最后，我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
A Communication-Efficient Decentralized Newton's Method with Provably Faster Convergence
本文研究了分散网络上的强凸有限和极小化问题，提出了一种通信效率高的分散牛顿法来求解该问题，首先采用动态平均一致性（DAC），使得每个节点能够分别使用局部梯度逼近和局部Hessian逼近来跟踪全局梯度和Hessian.第二，由于交换Hessian近似值远没有通信效率，因此我们要求节点交换压缩的近似值，然后应用错误补偿机制来校正压缩噪声。第三，我们引入多步共识来交换局部变量和局部梯度近似，以平衡计算和通信。为了避免每个节点传输整个本地Hessian近似，我们设计了一个压缩过程中的误差补偿估计的全球Hessian在通信有效的方式。通过新的分析，我们建立了全局线性（分别为，渐近超线性）的收敛速度（分别地，趋于无穷大），其中m是共识内部步骤的数量。据我们所知，这是第一个超线性收敛结果的通信效率分散牛顿法。此外，我们建立的速度是证明比一阶方法更快。我们在各种应用程序的数值结果证实了理论研究结果。
2022-10-01 math.OC
Decentralized Optimization Over Slowly Time-Varying Graphs: Algorithms and Lower Bounds
针对缓慢时变网络上的去中心化凸优化，本文分别研究 Markov 随机变化与确定性变化图，提出随机情形的加速共识算法，并证明最坏情况下每轮仅改两条边也会使加速共识不可能。
2023-07-24 math.OC
Pose consensus based on dual quaternion algebra with application to decentralized formation control of mobile manipulators
Federal University of Alagoas（阿拉戈斯联邦大学）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于对偶四元数代数的解决一般姿态问题的方法（即，位置和方向）的一致性。对偶四元数代数被用来模拟智能体的姿态和分布式控制律，使所提出的技术很容易适用于一般机器人系统的时变编队控制。建议的姿势共识协议有保证的收敛时，代理之间的相互作用是由有向图与有向生成树，这是一个更普遍的结果相比，文献的形成控制。为了说明所提出的姿势一致性协议及其扩展到编队控制问题，我们提出了一个数值模拟与大量的自由飞行代理，也是一个应用程序的合作操作，通过使用真正的移动机械手。
2019-06-15 cs.RO math.OC
Distributed and Decentralized Optimization Algorithms via Consensus ALADIN
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of Pittsburgh（匹兹堡大学）；KTH Royal Institute of Technology（皇家理工学院）；Digital Futures（数字未来）
本文研究了分布式共识优化问题，提出了一种基于增广拉格朗日法的交替方向不精确牛顿法（ALADIN）的扩展版本，即共识ALADIN（C-ALADIN），该方法通过中央协调器直接处理共识约束。我们开发了两种变体：一种是第一阶变体，另一种是利用Hessian近似器的第二阶变体，避免直接传输第二阶信息，同时保持快速局部收敛性。然后，我们开发了C-ALADIN的去中心化版本，该版本在有向图上运行，使用有限时间协调协议进行量化通信。对于两种版本，我们为凸问题建立了全局收敛性保证，为非凸问题建立了局部收敛性保证。在去中心化情况下，迭代收敛到由量化级别决定的最优解的邻域。数值结果表明，我们的方法在保持快速收敛的同时，显著减少了通信和计算成本，相比现有去中心化方法。
2026-05-20 cs.SY eess.SY math.OC
Decentralized Consensus Optimization Based on Parallel Random Walk
交替方向乘子法（ADMM）是一种很有前途的大规模机器学习模型求解方法。然而，很少有研究成果的角度来研究ADMM的通信成本，特别是联合运行时间。在这封信中，我们调查的通信效率和运行时间ADMM在解决分散网络的共识优化问题。我们首先回顾了随机游走ADMM（W-ADMM）的工作，它以牺牲运行时间为代价降低了通信成本。为了加快W-ADMM算法的收敛速度，我们提出了并行随机游走ADMM算法（PW-ADMM），其中多个随机游走同时进行。为了进一步缩短PW-ADMM的运行时间，将\textit{Random Walk with Choice}与PW-ADMM相结合，提出了智能并行随机游走ADMM（IPW-ADMM）算法。仿真结果表明，与现有算法相比，该算法具有通信效率高、运行速度快等优点。
2019-11-21 cs.DC math.OC
A Decentralized Second-Order Method with Exact Linear Convergence Rate for Consensus Optimization
本文考虑了分散共识最优化问题，其中全局目标函数的不同和数在网络中只能与邻居通信的节点处可用。乘子的近端方法被认为是一个强大的工具，它依赖于适当定义的增广拉格朗日函数上的近端原始下降和对偶上升更新。增广拉格朗日的结构使得这个问题不可分解，这就排除了分布式实现。这个问题通常通过使用乘法器的交替方向法来解决。精确二阶方法（ESOM）在这里被引入作为一种替代方案，依赖于：（i）使用可分离的二次近似的增广拉格朗日。(ii)截断泰勒级数估计的解决方案的一阶条件施加在最小化的二次近似的增广拉格朗日。当总费用函数为强凸函数且梯度为Lipschitz连续时，ESOM生成的原始变量和对偶变量序列线性收敛于其最优参数.数值结果表明，ESOM相对于分散的替代解决最小二乘和逻辑斯谛回归问题的优势。
2016-02-01 cs.DC math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿（DEAN）方法，网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新，这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比，在较少限制的问题假设下，DEAN算法使节点能够达成共识，可以任意接近最优。此外，对于一个特定的DEAN算法，节点线性收敛到一个显式的误差界的共同的次优解。最后，仿真结果表明DEAN在收敛速度，精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
Decentralized consensus finite-element Kalman filter for field estimation
Dipartimento di Ingegneria dell’Informazione (DINFO), Università di Firenze（佛罗伦萨大学信息与工程学院）
本文提出一种去中心化共识有限元卡尔曼滤波方法，用于空间分布式系统的状态估计。通过将领域分解为重叠子领域，每个节点运行局部有限维卡尔曼滤波器，利用有限元方法进行空间离散化，并通过并行Schwarz方法迭代实现相邻子领域的估计和协方差一致性。
2016-04-08 cs.SY eess.SY math.OC
Consensus-Based Decentralized Energy Trading for Distributed Energy Resources
在智能电网中，分布式能源（DER）已经渗透到居民区，以提供一种新的电力供应形式，主要来自可再生能源。拥有DER的居民家庭和商业建筑已经成为当地电网中的生产消费者，因为他们可以将剩余的电力出售给其他人。已经开始研究通过更好的控制和沟通策略来整合和利用DER。随着物联网（IoT）技术的进步，DER之间可以实现前所未有的协调，以促进能源交易和交互式能源管理。然而，在优化过程中防止用户信息泄露一直是研究人员面临的挑战，这促使他们开发保护隐私的能源管理系统。在本文中，我们开发了一个完全分散的交互式能源管理使用基于共识的算法。具体来说，我们设计了一个虚拟池，供产消者在物联网技术的支持下进行能源交易和信息交换。基于共识的算法使产消者能够以协调的方式独立地获得最佳能源计划，而不会泄露任何个人数据。我们使用真实世界的数据进行模拟和验证我们开发的算法。结果表明，我们的共识为基础的分散式交易能量管理策略是可行的，可以显着降低系统的整体成本。
2021-10-28 cs.SY eess.SY math.OC
Consensus-based Distributed Discrete Optimal Transport for Decentralized Resource Matching
最优输运已被广泛用于资源匹配中，以通过将源匹配到目标来提高资源使用的效率。然而，对于大规模问题，它需要大量的计算和存储空间。在本文中，我们采取了基于共识的方法分散离散最优输运问题，并开发了完全分布式算法与乘子的交替方向法。我们表明，我们的算法保证一定程度的效率和隐私，除了分布式的性质。通过研究线性效用函数下离散最优输运的原问题和对偶问题，我们进一步导出了原算法和对偶算法，并证明了它们之间的等价性。通过数值实验，验证了原算法和对偶算法的收敛性、在线适应性和等价性。我们的算法反映了源和目标之间的讨价还价的数量和价格的转移资源，并揭示了一个平均原则，可用于调节资源市场，提高资源效率。
2019-04-08 cs.DC math.OC
A Dual Accelerated Method for Online Stochastic Distributed Averaging: From Consensus to Decentralized Policy Evaluation
出于分散的传感和政策评估问题，我们考虑一种特殊类型的分布式随机最优化问题的网络，称为在线随机分布平均问题。我们设计了一个基于对偶的方法来解决这个带有Polyak-Ruppert平均的分布式一致性问题，并分析了它的行为。我们表明，该算法达到了加速确定性误差最佳依赖于网络的条件数，也有一个顺序最优的随机误差。这提高了保证国家的最先进的分布式随机最优化算法时，专门为此设置，并产生-除其他事项外-推论分散的政策评估。我们的证明依赖于明确地研究几个相关的线性系的演化，可能是独立的利益。数值实验，验证了我们的理论结果，并表明，我们的方法优于现有的方法在有限样本的情况下，几个自然的网络拓扑结构。
2022-08-08 cs.MA cs.SY eess.SY
Privacy-preserving Incremental ADMM for Decentralized Consensus Optimization
乘法器的交替方向法（ADMM）最近被认为是大规模机器学习模型的有前途的优化器。然而，有很少的结果研究ADMM从通信成本方面，特别是结合隐私保护，这是分布式学习的关键。通过求解分散网络上的一致性最优化问题，研究了ADMM的通信效率和隐私保护。由于步行算法可以减少通信负载，我们首先提出了增量ADMM（I-ADMM）的基础上的步行算法，其更新顺序遵循一个哈密顿圈。然而，I-ADMM不能保证隐私的代理对外部窃听者，即使随机初始化应用。为了保护代理的隐私，我们提出了两个隐私保护的增量ADMM算法，即，PI-ADMM 1和PI-ADMM 2，其中分别采用对步长和原始变量的扰动。通过理论分析，证明了PI-ADMM 1算法的收敛性和隐私保护性，并通过数值实验进一步验证了算法的有效性。此外，仿真结果表明，提出的PI-ADMM 1和PI-ADMM 2算法是通信效率与国家的最先进的方法相比。
2020-03-24 cs.DC math.OC
Communication-Efficient Topologies for Decentralized Learning with $O(1)$ Consensus Rate
Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Michigan State University（密歇根州立大学）；Fudan University（复旦大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Princeton University（普林斯顿大学）
分散式优化是分布式学习中的一种新兴范式，其中代理通过对等通信实现网络范围的解决方案，而无需中央服务器。由于通信往往比计算慢，当每个代理每次迭代仅与几个相邻代理通信时，它们可以比使用更多代理或中央服务器更快地完成迭代。然而，达到网络范围的解决方案的迭代总数受到代理信息通过通信“混合”的速度的影响。我们发现，流行的通信拓扑要么有很大的最大程度（如星和完全图）或在混合信息（如环和网格）是无效的。为了解决这个问题，我们提出了一个新的拓扑家族，EquiTopo，它具有（几乎）恒定的度和用于测量混合效率的与网络大小无关的共识率。在所提出的家族中，EquiStatic具有度$Θ(\ln(n))$，其中$n$是网络大小，并且一系列时间依赖的单对等拓扑EquiDyn具有恒定度1。我们通过一定的随机抽样程序生成EquiDyn。这两种方法均达到了$n$独立的一致率。我们将它们应用于分散式SGD和分散式梯度跟踪，并在理论和经验上获得更快的通信和更好的收敛性。我们的代码是通过BlueFog实现的，可在\url{https://github.com/kexinjinnn/EquiTopo}上获得
2023-03-12 cs.LG math.OC
Exact Average Consensus under Noisy Communication Links: A Decentralized Gradient Perspective
Linköping University（林雪平大学）
针对持续链路扰动下标准随机逼近迭代无法精确平均的问题，本文提出基于去中心化梯度的锚定机制，证明其几乎必然收敛到精确初始平均值，并给出统一框架与设计原则。
2026-09-24 cs.IT cs.SY eess.SY
Decentralized Online Riemannian Optimization with Dynamic Environments
本文提出首个Hadamard流形上的去中心化在线黎曼优化算法，推导其动态悔界，还提出简化共识步骤以降低计算成本且保持同等悔界，实验验证了方法的有效性。
2024-10-07 math.DG math.OC
Approximate optimal cooperative decentralized control for consensus in a topological network of agents with uncertain nonlinear dynamics
University of Florida（佛罗里达大学）
本文结合图论与自适应动态规划，设计近似最优控制器以应对具有不确定非线性动力学的分布式多智能体系统，提出基于局部通信反馈的分布式连续时间变控制策略。
2013-04-11 cs.SY eess.SY math.OC
Approximate Projection Methods for Decentralized Optimization with Functional Constraints
我们考虑分布式凸优化问题，涉及一个可分离的目标函数和非平凡的功能约束，如线性矩阵不等式（LMI）。我们提出了一个分散的和计算成本低廉的算法，这是基于近似投影的概念。我们的算法是基于共识的方法之一，在每次迭代中，每个代理执行其决策变量的共识更新，然后是其局部目标函数和局部约束的优化步骤。与其他方法不同，我们的方法的最后一步不是在可行集上的欧几里得投影，而是在最小化局部约束违反的方向上的次梯度步骤。我们提出了两种不同的平均方案，以减轻代理人的本地估计之间的分歧。我们表明，算法收敛几乎肯定，即，在假设目标函数和约束函数不可微且其子梯度有界的情况下，每个代理同意相同的最优解。我们提供了一个分散的最佳八卦平均问题，其中涉及SDP约束的模拟结果，以补充我们的理论结果。
2018-01-16 math.OC
On the Convergence of Consensus Algorithms with Markovian Noise and Gradient Bias
本文给出了一个分散随机逼近（SA）格式的有限时间收敛性分析。该方案概括了分散式机器学习和多智能体强化学习的几种算法。我们的证明技术包括将迭代分为各自的共识部分和共识错误。一致性误差是有界的平稳性的一致性的一部分，而更新的一致性的一部分，可以分析作为一个扰动SA计划。在马尔可夫噪声和时变通信图假设下，分散SA方案具有${\cal O}(\log T/ \sqrt{T} )$的预期收敛速度，其中$T$是迭代次数，对于具有光滑但非凸费用函数的非线性SA，以梯度的平方范数表示。该速率与具有非凸势函数的集中式设置中SA的最佳已知性能相当。
2020-11-05 math.OC stat.ML
On Nonconvex Decentralized Gradient Descent
近年来，共识优化受到了相当大的关注。已经提出了一些分散算法的{凸}一致性优化。然而，对于行为或共识\emph{nonconvex}优化，我们的理解比较有限。当我们失去凸性时，我们不能希望我们的算法总是返回全局解，尽管它们有时仍然有时这样做。有些令人惊讶的是，分散式共识算法DGD和Prox-DGD保留了凸设置中已知的大多数其他属性。特别地，当使用递减（或恒定）的步长时，我们可以证明在一些规则的假设下收敛到一个（或一个邻域）一致平稳解。值得注意的是，Prox-DGD可以处理非凸非光滑函数，如果它们的邻近算子可以计算。这些函数包括SCAD和$\ell_q$准范数，$q\in[0,1)$。类似地，Prox-DGD可以通过简单的投影将约束带到非凸集。为了建立这些性质，我们必须引入一个完全不同的分析路线，以及修改现有的证明，使用凸设置。
2018-01-26 cs.DC cs.MA math.OC
Decentralized optimization over noisy, rate-constrained networks: Achieving consensus by communicating differences
在分散优化中，网络中的多个节点协作以最小化它们的局部损失函数之和。此任务所需的节点之间的信息交换通常受到网络连接的限制。我们考虑一种设置，其中节点之间的通信受到以下两个因素的阻碍：（i）对任何节点发送的信号的有限速率约束，以及（ii）破坏任何节点接收到的信号的加性噪声。我们提出了一种新的算法：分散式懒惰镜像下降与差分交换（DLMD-DiffEx），它保证收敛的局部估计的最优解在给定的通信约束下。DLMD-DiffEx的一个显著特征是引入了由节点维护的附加代理变量，以考虑由于信道噪声和速率约束而导致的估计中的不一致。收敛到最优解是通过让节点迭代地交换这些分歧项直到达成共识来实现的。为了防止这种交换过程中的噪声积累，DLMD-DiffEx依赖于两个序列;一个控制传输信号的功率，另一个确定共识速率。我们对这两个序列的设计提供了清晰的见解，突出了共识率和噪声放大之间的相互作用。我们调查的DLMD-DiffEx的性能，无论是从理论的角度来看，以及通过数值评估。
2021-10-06 cs.SY eess.SY math.OC
Decentralized Consensus Optimization with Asynchrony and Delays
我们提出了一个异步的，分散的共识优化算法。该算法运行在一个网络中的代理与他们的邻居进行通信，并执行本地计算。在所提出的算法中，每个代理可以独立地计算和通信在不同的时间，不同的持续时间，与它的信息，即使从它的邻居的最新信息还不可用。这种异步算法减少了代理由于通信延迟或因为它们的邻居较慢而浪费的空闲时间。它还消除了对用于同步的全局时钟的需要。在数学上，该算法涉及原始变量和对偶变量，使用固定的步长参数，并证明收敛到精确解下有界延迟假设和随机代理假设。当同步运行时，该算法的性能以及现有的竞争同步算法，如PG-EXTRA，没有同步发散。数值实验证实了理论研究结果，并说明所提出的算法的性能。
2017-03-02 cs.DC cs.MA math.OC
Decentralized Mobile Target Tracking Using Consensus-Based Estimation with Nearly-Constant-Velocity Modeling
Faculty of Mechanical Engineering, Semnan University, Iran.（机械工程学院，塞姆南大学，伊朗）；Mechatronics Department, Faculty of Mechanical Engineering, Semnan University, Iran.（机械电子学系，机械工程学院，塞姆南大学，伊朗）
本研究提出一种结合近恒定速度模型与基于一致性估计滤波器的分散式移动目标跟踪框架，通过共享局部观测和饱和滤波技术提升鲁棒性，仿真证明其能有效降低均方估计误差并增强系统可靠性。
2024-12-04 cs.MA cs.RO cs.SY
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
Communication-Censored Linearized ADMM for Decentralized Consensus Optimization
在本文中，我们提出了一个通信和计算效率的算法来解决一个凸共识最优化问题定义在一个分散的网络。已有的一种求解该问题的算法是乘子交替方向法（ADMM），该算法在每次迭代中，每个节点通过合并相邻变量并求解一个优化子问题来更新其局部变量。该算法称为通信删失线性ADMM（COLA），利用线性化技术来减少ADMM的迭代计算成本，并使用通信删失策略来减轻通信成本。具体地说，COLA引入连续线性化近似的本地费用函数，从而得到的计算是一阶和轻量级的。由于线性化技术降低了收敛速度，COLA进一步采用通信审查策略，以避免传输信息量较少的消息。只有当当前局部变量与其先前传输的局部变量之间的距离大于删失阈值时，节点才被允许传输。当局部费用函数具有Lipschitz连续梯度且删失阈值可和时，证明了COLA算法是收敛的.当局部费用函数进一步强凸时，我们建立了COLA的线性（次线性）收敛速度，假设删失阈值线性（次线性）衰减到0。数值实验证实了理论研究结果，并证明了令人满意的通信计算权衡COLA。
2019-09-15 math.OC stat.ML
Learned Finite-Time Consensus for Distributed Optimization
本文针对稀疏图上去中心化学习中线性平均共识收敛慢的瓶颈，提出通过带约束矩阵分解以去中心化方式学习有限时间共识矩阵序列，并在多种图上验证了其加速效果。
2024-06-06 eess.SP math.OC
Decentralized Langevin Dynamics
Langevin MCMC梯度优化是一类越来越流行的用于估计后验分布的方法。本文讨论的算法，适用于分散的设置，其中数据分布在网络的代理，合作解决问题，使用点对点的八卦通信。我们表明，理论上，结果在1）的时间复杂度$ε$ -共识的连续时间随机微分方程，2）收敛速度$L^2$规范的共识的离散实现定义的欧拉-丸山离散化和3）收敛速度Wasserstein度量的最佳平稳分布的离散化动态。
2020-09-19 cs.IT math.IT math.OC
Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
Center for Data Science, Peking University（北京大学数据科学中心）；Center for Machine Learning Research, Peking University AI for Science Institute（北京大学人工智能科学研究院机器学习研究中心）
本文提出D-SOBA框架，通过分析瞬态迭代复杂度，首次理论探讨了网络拓扑、数据异质性及嵌套双层结构对去中心化随机双层优化的影响。
2025-11-26 cs.LG math.OC stat.ML
Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
Linear Time Average Consensus on Fixed Graphs and Implications for Decentralized Optimization and Multi-Agent Control
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种在固定无向图上实现线性收敛时间的平均一致性协议，并探讨了其在多智能体控制和去中心化优化中的应用。
2017-08-04 cs.DC cs.SY eess.SY
