CADMM-Prox: A Bi-level Consensus ADMM for Non-smooth Non-convex Distributed Consensus Optimization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；North China University of Water Resources and Electric Power（华北水利水电大学）；KTH Royal Institute of Technology（皇家理工学院）
研究非光滑非凸分布式优化问题，提出CADMM-Prox算法，它结合经典共识ADMM与近端机制，在局部目标函数半凸假设下可全局收敛至克拉克驻点邻域，相位检索实验显示其收敛行为更稳定。
2026-07-21 math.OC
A particle consensus approach to solving nonconvex-nonconcave min-max problems
针对非凸-非凹极小极大问题，提出一种基于双粒子群共识相互作用的零阶优化方法，通过平均场近似证明其收敛性，能找到全局极小极大解，克服了梯度法易陷入次优驻点的缺陷。
2024-07-24 math.OC
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡-大东部大区中心）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下，它是已知的，总是存在一个最佳的政策是固定的，我们表明，当使用值函数近似，寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种，统一了广泛的家庭的近似DP算法的文献。对于该算法，我们提供了一个错误传播分析的形式，所得到的政策，可以提高通常的性能约束的一个因素$O(1-γ)$，这是显着的折扣因子$γ$接近1。这样做，我们的方法统一了最近的结果价值和政策迭代。此外，我们表明，通过构建一个特定的确定性MDP，我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Quantized Consensus ADMM for Multi-Agent Distributed Optimization
网络上的多智能体分布式优化仅使用局部计算和通信来最小化由局部凸函数的和形成的全局目标。我们开发和分析了一个量化的分布式算法的基础上的交替方向法的乘法器（ADMM）时，代理间的通信受到有限的容量和其他实际约束。虽然现有的量化ADMM方法只适用于二次局部目标，所提出的算法可以处理更一般的目标函数（可能是非光滑的），包括LASSO。在一定的凸性假设下，我们的算法收敛到一个共识内$\log_{1+η}Ω$迭代，其中$η>0$依赖于本地目标和网络拓扑结构，和$Ω$是一个多项式确定的量化分辨率，初始和最佳变量值之间的距离，本地目标函数和网络拓扑结构。一致性误差的紧上界也得到了不依赖于网络的大小。
2015-10-29 math.OC
Scaling laws for consensus protocols subject to noise
MIT（麻省理工学院）；Boston University（波士顿大学）
研究离散时间一致性协议在加性噪声下的性能，通过可逆马尔可夫链的稳态分歧权重表达式，分析图的Kemeny常数以表征形成控制协议的噪声鲁棒性。
2017-03-07 cs.DC cs.SY eess.SY
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界，揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
Paving the Way for Consensus: Convergence of Block Gossip Algorithms
Gossip协议是分布式计算中解决平均一致性问题的常用方法。我们证明了新的收敛保证各种这样的协议，包括路径，集团，和同步成对的八卦。这些都是通过利用这些协议和块随机Kaczmarz方法解决线性系之间的连接。此外，我们扩展现有的块随机Kaczmarz的收敛结果，允许更一般的选择块，秩亏系统，并提供更严格的收敛速度保证。我们进一步将这种分析应用于不一致的共识模型，并获得类似的保证。这些方法提供了一个广泛的实证分析各种合成网络。
2021-10-27 cs.DC cs.MA cs.SY
On the Influence of Noise in Randomized Consensus Algorithms
本文研究了加性噪声对随机一致性算法的影响。假设更新矩阵是对称的，我们推导出一个封闭的形式表示的均方误差引起的噪声，以及更简单的评估上限和下限。出于对开放式多智能体系统的研究，我们专注于随机诱导离散拉普拉斯算子，这是一个由大型无向图的采样子图生成的更新矩阵家族。对于这些矩阵，我们表示的边界使用的特征值的拉普拉斯矩阵的基础图或图的平均有效电阻，从而证明其紧密性。最后，我们推导出表达式的边界上的一些例子的图形和数值计算。
2020-06-10 cs.SY eess.SY math.OC
Cooperative Target Capture using Predefined-time Consensus over Fixed and Switching Networks
我们提出了预定义的时间共识为基础的合作制导律的一大群拦截器，同时捕获的目标能够执行各种运动。与主从式协同制导技术不同，拦截器群没有领导者，每个拦截器以分布式方式执行自己的制导命令，从而避免了任务在单个拦截器上的驻留。我们首先设计的合作制导命令的目标的移动性，其次是相同的目标是固定的，并考虑到拦截器的拓扑结构的变化。我们进一步表明，通过严格的分析，建议的合作制导律保证在一个预定义的时间内的拦截器的时间去值的共识。所提出的设计允许在设计过程中任意设定可行的一致时间，而不管拦截器的初始剩余飞行时间值如何，从而确保同时对目标进行拦截。我们还证明了所提出的设计的有效性，通过模拟拦截器连接在静态和动态网络。
2021-09-03 cs.SY eess.SY math.OC
Distributed Online Stochastic Convex-Concave Optimization: Dynamic Regret Analyses under Single and Multiple Consensus Steps
本文研究多智能体网络上的分布式在线凸-凹优化问题，提出一种基于时变预测映射的在线随机镜像下降算法，证明其动态鞍点遗憾上界并利用多次一致性技术收紧了界，最后通过目标跟踪仿真验证了有效性。
2025-08-13 math.OC
Design and Analysis of Distributed Averaging with Quantized Communication
考虑一个网络，其节点具有一些初始值，并且期望设计一种基于邻居到邻居交互的算法，其最终目标是收敛到所有初始节点值的平均值或接近该平均值的某个值。这样的算法被称为一般的“分布式平均”，在本文中，我们的目标是研究性能的一个子类的确定性分布式平均算法，其中相邻节点（代理）之间的信息交换是均匀量化。通过这种量化，一般无法达到精确平均值的收敛，但收敛将接近于它的某个值，称为量化共识。利用李雅普诺夫稳定性分析，我们描述了所产生的非线性量化系统的收敛性。我们表明，在有限时间内，并取决于初始条件，该算法将导致所有的代理达到一个量化的共识，共识值是最大的量化值不大于大于他们的初始值的平均值，或将导致所有变量的循环在一个小的邻域周围的平均值。在后一种情况下，我们确定紧边界的大小的邻域，我们进一步表明，可以通过调整算法的参数，以分布式的方式使误差任意小。
2014-09-14 math.OC
Distributed Covariance Steering via Non-Convex ADMM for Large-Scale Multi-Agent Systems
Georgia Institute of Technology（佐治亚理工学院）；Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究在概率碰撞避免约束下，通过非凸ADMM实现分布式协方差控制，提出三种方法在保守性和计算效率间平衡，验证了算法的收敛性和可扩展性。
2026-04-06 cs.SY eess.SY math.OC
Decentralized Langevin Dynamics
Langevin MCMC梯度优化是一类越来越流行的用于估计后验分布的方法。本文讨论的算法，适用于分散的设置，其中数据分布在网络的代理，合作解决问题，使用点对点的八卦通信。我们表明，理论上，结果在1）的时间复杂度$ε$ -共识的连续时间随机微分方程，2）收敛速度$L^2$规范的共识的离散实现定义的欧拉-丸山离散化和3）收敛速度Wasserstein度量的最佳平稳分布的离散化动态。
2020-09-19 cs.IT math.IT math.OC
On Nonconvex Decentralized Gradient Descent
近年来，共识优化受到了相当大的关注。已经提出了一些分散算法的{凸}一致性优化。然而，对于行为或共识\emph{nonconvex}优化，我们的理解比较有限。当我们失去凸性时，我们不能希望我们的算法总是返回全局解，尽管它们有时仍然有时这样做。有些令人惊讶的是，分散式共识算法DGD和Prox-DGD保留了凸设置中已知的大多数其他属性。特别地，当使用递减（或恒定）的步长时，我们可以证明在一些规则的假设下收敛到一个（或一个邻域）一致平稳解。值得注意的是，Prox-DGD可以处理非凸非光滑函数，如果它们的邻近算子可以计算。这些函数包括SCAD和$\ell_q$准范数，$q\in[0,1)$。类似地，Prox-DGD可以通过简单的投影将约束带到非凸集。为了建立这些性质，我们必须引入一个完全不同的分析路线，以及修改现有的证明，使用凸设置。
2018-01-26 cs.DC cs.MA math.OC
Distributed Stochastic Consensus Optimization with Momentum for Nonconvex Nonsmooth Problems
Sichuan University（四川大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；University of Florida（佛罗里达大学）
虽然已经提出了许多分布式优化算法来解决网络上的光滑或凸问题，但很少有人能处理非凸和非光滑问题。基于近似原-对偶方法，提出了一种新的带Nesterov动量的（随机）分布式算法，用于非凸非光滑优化问题的加速优化。理论上，我们证明了该算法在恒定步长下可以获得具有$\mathcal{O}(1/ε^2)$计算复杂度和$\mathcal{O}(1/ε)$通信复杂度的$ε$平稳解.与现有的基于梯度跟踪的方法相比，该算法具有相同数量级的计算复杂度，但通信复杂度较低。据我们所知，所提出的结果是第一个随机算法与$\mathcal{O}(1/ε)$通信复杂性的非凸和非光滑问题。通过对分布式非凸回归问题和基于深度神经网络的分类问题的数值实验，验证了所提算法的有效性。
2020-11-10 cs.LG math.OC
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal（蒙特利尔大学 Mila 与 DIRO）
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等人，2017年]。已知SGDA收敛到特定类别游戏的稳定点，但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们引入了期望的互补性条件，解释它的好处，并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时，他们使用恒定的步长，我们提出了有见地的步长切换规则，以保证收敛到精确的解决方案。此外，我们的收敛性保证下的任意采样范式，因此，我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
Dynamics and Inference for Voter Model Processes
我们考虑一组节点上的离散时间选举模型过程，每个节点处于两种状态之一，0或1。在每个时间步中，每个节点根据采样概率采用随机采样的邻居的状态，称为节点交互参数。我们研究的极大似然估计的节点相互作用参数从观察到的节点状态的选举模型过程的实现给定的数量。与以前的工作网络自回归过程的参数估计，其长期的行为是根据一个平稳的随机过程，选举模型是一个吸收随机过程，最终达到共识状态。这就需要开发一个框架，用于从观测中导出参数估计误差界，该观测由选举模型过程的几个实现组成。我们目前的参数估计误差界解释的观察数据，根据一个扩展的选民过程，包括周期，每个对应于实现的选举模型的过程，直到吸收到一个共识状态。为了获得这些结果，选举模型过程的共识时间起着重要作用。我们提出了新的界限，所有的时刻和一个约束，具有任何给定的概率共识时间，这可能是独立的利益。与大多数现有的工作相比，我们的结果产生了一个共识的时间范围，具有很高的概率。我们还提出了一个采样复杂性下界的参数估计在规定的误差容限的局部稳定估计类。
2022-11-24 math.OC math.PR
Convergence Speed of Binary Interval Consensus
我们考虑使用由B\' en\' ezit，Thiran和Vetterli（2009）提出的区间一致性算法解决二元一致性问题的收敛时间。在二元共识问题中，每个节点最初持有两个状态中的一个，每个节点的目标是正确地决定这两个状态中的哪一个最初被大多数节点持有。我们得到了一个上界的期望收敛时间，适用于任意连通图，这是基于一些接触率矩阵的特征值的位置。我们实例化了我们感兴趣的特定网络的界，包括完全图、路径、圈、星形网络和Erd\”os-R\“enyi随机图;对于这些图，我们将我们的界与其他计算进行比较。我们发现，对于所有这些例子，我们的界是紧的，产生的确切顺序的节点数。我们指出的事实，预期的收敛时间严重依赖于投票保证金定义为最初持有的多数和少数国家的节点的分数之间的差异，分别。期望收敛时间的表征产生的期望收敛时间和投票保证金之间的确切关系，对于这些图中的一些，这揭示了如何期望收敛时间去无穷大的投票保证金接近零。我们的研究结果提供了洞察如何预期的收敛时间取决于网络拓扑结构，可用于性能评估和网络设计。结果是感兴趣的背景下，网络系统，特别是对等网络，传感器网络和分布式数据库。
2012-02-06 cs.DM math.OC math.PR
Distributed Difference of Convex Optimization
University of Minnesota（明尼苏达大学）
本文研究有向图下非光滑凸差形式的分布式优化问题，提出基于光滑近似与有限时间近似共识协议的DDC-Consensus算法，并证明其能收敛至驻点且数值实验验证了有效性。
2024-07-23 cs.AI cs.DC cs.SY
The Adaptive Complexity of Finding a Stationary Point
本文研究并行非凸优化中寻找驻点的自适应复杂度，分别给出高维迭代轮数下界与常数维查询数下界，证明梯度下降、高阶自适应正则化及梯度流捕获等方法自适应最优。
2025-05-14 cs.CC cs.DC math.OC
Finite-time and Asymptotic Convergence of Distributed Averaging and Maximizing Algorithms
在本文中，我们制定和调查的广义共识算法，试图统一的分布平均和最大化算法在文献中考虑。每个节点迭代地更新其状态作为其自身状态、其邻居的最小状态和最大状态的时变加权平均。我们证明了有限时间的共识几乎是不可能的平均在这个统一的模型。考虑了时间依赖图和状态依赖图，给出了一致收敛的各种必要和/或充分条件。对于时间依赖图，我们表明，准强连通性是至关重要的平均，是强连通性最大化。对于由$μ$ -最近邻规则定义的状态依赖图，其中每个节点与其$μ$最近较小的邻居和$μ$最近较大的邻居相互作用，我们表明，$μ+1$是一个临界阈值的节点总数的过渡从有限时间到渐近收敛平均，在没有节点自信。如果每个节点选择仅连接到具有唯一值的邻居，则阈值为$2μ$。数值例子说明了紧的条件。结果表征分布平均和最大化算法之间的一些基本的相似性和差异。
2012-09-05 cs.DC math.OC
A Tight and Unified Analysis of Gradient-Based Methods for a Whole Spectrum of Games
École Normale Supérieure, Paris（巴黎高等师范学院）；Mila & DIRO, Université de Montréal（蒙特利尔大学）
我们考虑的可微游戏的目标是找到一个纳什均衡。机器学习社区最近开始使用梯度方法（GD）的变体。最好的例子是超梯度法（EG）、乐观梯度法（OG）和共识优化（CO），它们在双线性博弈等情况下具有线性收敛性，而标准的GD是失败的。这些相对较新的方法的全部好处是不知道的，因为没有统一的分析强单调和双线性游戏。我们提供了新的分析EG的局部和全局收敛性和使用是为了得到一个更严格的全局收敛速度OG和CO。我们的分析涵盖了整个范围的设置之间的双线性和强单调游戏。它揭示了这些方法在这些极端情况下通过不同的机制收敛;在两者之间，它利用了给定问题的最有利机制。然后，我们证明了EG实现了最佳的速率为广泛的一类算法与任何数量的外推。我们严格的分析EG的收敛速度在游戏中表明，不像凸最小化，EG可能会比GD快得多。
2020-07-07 cs.LG math.OC stat.ML
