Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数，并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中，我们证明几何收敛到纳什均衡。与我们以前的工作[15]，[16]相比，其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射，这项工作中的过程对应于标准的分布式梯度游戏，因此，仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外，我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Linear and sublinear convergence rates for a subdifferentiable distributed deterministic asynchronous Dykstra's algorithm
在两个较早的文件中，我们设计了一个分布式的确定性异步算法最小化的次可微和可逼近的功能和一个正则化的二次时变图的基础上Dykstra的算法，或块坐标双上升。分布式最优化问题中的每个节点是已知的正则化二次函数和要最小化的函数的和。本文证明了一般算法的次线性收敛速度，以及当函数在每个结点上光滑且具有Lipschitz梯度时的线性收敛速率。
2018-08-22 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
On the convergence time of asynchronous distributed quantized averaging algorithms
本文提出了一类适用于固定、切换和随机拓扑结构的异步通信网络的分布式量化平均算法。这些算法的实现受到通信速率、代理的存储容量和计算精度有限的现实约束。本文的重点是研究所提出的量化平均算法的收敛时间。通过调用图上的随机游动，我们得到多项式的预期收敛时间的界限的算法。
2010-02-10 math.OC
On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays
受机器学习和统计学应用的启发，我们研究了处理器网络上的分布式最优化问题，其目标是优化由局部函数和组成的全局目标。在这些问题中，由于数据集的规模很大，数据和计算必须分布在处理器上，从而需要分布式算法。在本文中，我们考虑一个流行的分布式基于梯度的共识算法，它只需要本地计算和通信。在这方面的一个重要问题是分析的收敛速度，这样的算法在分布式系统中不可避免的通信延迟的存在。我们证明了收敛的基于梯度的共识算法中存在的统一，但可能任意大，处理器之间的通信延迟。此外，我们得到了一个上界的收敛速率的算法作为网络的大小，拓扑结构和处理器间的通信延迟的函数。
2019-05-11 math.OC
DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate
在本文中，我们考虑分布式算法解决的经验风险最小化问题下的主/工人通信模型。我们开发了一个分布式异步拟牛顿算法，可以实现超线性收敛。据我们所知，这是第一个分布式异步算法的超线性收敛保证。我们的算法是通信效率的意义上说，在每一次迭代的主节点和工人沟通矢量的大小$O(p)$，其中$p$是决策变量的尺寸。所提出的方法是基于一个分布式异步平均方案的决策向量和梯度的方式，以有效地捕捉局部Hessian信息的目标函数。我们的收敛理论支持异步计算受到有界延迟和无界延迟有界的时间平均。与大多数异步优化文献不同，当延迟很大时，我们不需要选择较小的步长。我们提供的数值实验，我们的理论结果相匹配，并展示了显着的改进相比，最先进的分布式算法。
2019-06-10 math.OC
Convergence speed of unsteady distributed consensus: decay estimate along the settling spanning-trees
估计非平稳分布式一致性算法的收敛速度的结果提供的基础上，定性（主要是拓扑）以及基本的定量信息（下界的矩阵条目）。结果似乎是紧在一些情况下，并说明通过简单的，以及更复杂的例子。其主要思想是沿着通信图中出现的某些生成树跟踪信息的传播。
2007-12-22 math.OC
Quantized Distributed Gradient Tracking Algorithm with Linear Convergence in Directed Networks
通信效率是分布式网络应用的主要瓶颈。为了解决这个问题，量化分布式优化问题引起了人们的广泛关注。然而，现有的量化分布式优化算法大多只能达到次线性收敛。为了实现线性收敛，本文提出了一种新的量化分布式梯度跟踪算法（Q-DGT），以最小化有向网络上局部目标函数的有限和。此外，我们显式地推导出更新规则的量化水平，并证明Q-DGT可以线性收敛，即使交换变量分别为一位。数值结果也证实了该算法的有效性。
2022-10-31 math.OC
Distributed Newton Optimization with Maximized Convergence Rate
分布式最优化问题建立在经由通信网络互连的节点的集合中。我们的目标是找到一个全局目标函数的最小值，形成的部分功能，在每个节点上本地已知的添加。有许多方法可用于解决这个问题，具有不同的优点。这项工作的目标是实现最大可能的收敛速度。作为实现这一目标的第一步，我们提出了一种新的方法，我们显示收敛速度比其他可用的选项。与大多数分布式最优化方法一样，收敛速度取决于步长参数。作为我们的目标的第二步，我们补充了所提出的方法与一个完全分布式的方法来估计最佳的步长，最大限度地提高收敛速度。我们提供了理论上的保证所得到的方法在解决方案的邻域中的收敛性。此外，对于全局目标函数具有单个局部极小值的情况，我们提供了不同的步长选择标准以及收敛的理论保证。我们提出的数值实验表明，当使用相同的步长，我们的方法收敛速度显着快于它的竞争对手。实验还表明，分布式步长估计方法实现了非常接近理论最大值的渐近收敛速度。
2022-06-03 math.OC
Robustness and Convergence Analysis of First-Order Distributed Optimization Algorithms over Subspace Constraints
本文扩展算法，消除分散梯度下降的不动点偏差，以解决更一般的问题，分布式优化子空间的约束。利用积分二次约束框架，我们分析了这些广义算法的性能，在最坏情况下的鲁棒性和收敛速度。我们的框架的效用证明了如何扩展的算法，最初设计的共识，现在能够解决多任务推理问题。
2022-10-28 math.OC
Linear Convergence of Primal-Dual Gradient Methods and their Performance in Distributed Optimization
在这项工作中，我们重新审视了经典的原始下降双上升梯度法用于解决等式约束最优化问题的增量实现。我们提供了一个简短的证明，建立了光滑强凸费用函数的算法的线性（指数）收敛性，并研究其关系到非增量实现。我们还研究了增广拉格朗日惩罚项对多智能体网络上聚合费用函数最小化分布式优化算法性能的影响。
2020-01-16 math.OC
Improving Convergence Rate of Distributed Consensus Through Asymmetric Weights
我们提出了一种权重设计方法来提高分布式共识的收敛速度。先前的工作集中在对称重量设计，由于计算的易处理性。我们表明，适当选择的非对称权重，收敛速度可以显着提高，甚至对称的最优设计。特别地，我们证明了在一个格图的收敛速度可以独立于图的大小与非对称的权重。然后，我们使用Sturm-Liouville算子来近似更一般的图的拉普拉斯算子。基于这种连续近似，提出了一种通用的重量设计方法。数值计算表明，非对称权值设计的收敛速度收敛速度比对称最优权值和Metropolis-Hastings权值设计的收敛速度有明显提高。
2012-03-13 math.OC
On the Q-linear convergence of Distributed Generalized ADMM under non-strongly convex function components
求解多智能体网络中的最优化问题已成为一个日益重要的问题，其中每个智能体只有部分知识的问题。本文考虑了最小化$n$凸函数和的问题。我们假设每个函数只有一个智能体知道。我们表明，广义分布式ADMM Q-线性收敛到上述最优化问题的解决方案，如果在所有的目标函数是强凸的，但每个代理已知的功能只允许是凸的。建立Q-线性收敛允许跟踪语句，如果仅保证R-线性收敛，则不能进行跟踪语句。此外，我们建立了广义分布ADMM和P-EXTRA之间的等价性的混合矩阵的子集。这种等价性在P-EXTRA的收敛性方面产生了见解，当过冲以加速收敛时。
2018-05-04 math.OC
Enforcing Convergence in Sensitivity-based Distributed Programming via Transformed Primal-Dual Updates
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
本文提出SBDP+方法，通过结构化的对偶运算设计，解决传统SBDP在子系统耦合强度和结构下收敛性不足的问题，证明了非凸问题在标准正则条件下局部线性收敛，并通过数值实验验证了其在统计学习中的有效性。
2026-05-19 math.OC
Convergence rates for distributed stochastic optimization over random networks
我们建立了O（$\frac{1}{k}$）收敛速度的分布式随机梯度法，强凸成本和随机网络。所考虑的类的方法是标准的每个节点执行其自己的加权平均值和它的邻居的解决方案估计（共识），并采取一个负步骤相对于其本地函数梯度（创新）的噪声版本。底层通信网络通过时间独立同分布（i.i.d.）平均连接的拉普拉斯矩阵，而局部梯度噪声也是独立同分布的。在时间上，具有有限二阶矩，且可能具有无界支承。我们表明，经过仔细设置的共识和创新潜力（权重），分布式随机梯度法实现了（订单最优）O（$\frac{1}{k}$）收敛速度的均方距离的解决方案。当网络是随机的和/或梯度噪声具有无界支撑时，这是分布强凸随机最优化的一阶最优收敛速度结果.仿真例子证实了理论研究结果。
2018-03-21 math.OC
Towards an $O(\frac{1}{t})$ convergence rate for distributed dual averaging
近年来，分布式对偶平均由于其在处理多智能体优化中的约束和动态网络方面的优势而受到越来越多的关注。然而，所有分布式的双重平均方法，到目前为止，考虑非光滑的问题，并有一个$O(\frac{1}{\sqrt{t}})$的收敛速度。为了实现更好的收敛保证光滑的问题，这项工作提出了一个二阶共识计划，协助每个代理本地跟踪全球对偶变量更准确。这种新的方案与平滑的目标相结合，确保了不完整的全局信息引起的共识误差随着时间的推移的积累是有界的。然后，进行了严格的研究，双平均与不精确的梯度预言，以补偿共识误差，并实现$O(\frac{1}{t})$收敛速度。所提出的方法在一个大规模的LASSO问题。
2020-03-19 math.OC
Convergence Analysis of Noisy Distributed Gradient Descent for Non-convex Optimization -- Saddle Point Escape
University of Melbourne（墨尔本大学）
研究基于共识的分布式梯度下降变体，通过随机扰动局部梯度项使每个智能体以高概率收敛到公共二阶驻点（局部极小点）的邻域，收敛速率与集中式一阶算法相当。
2026-10-08 math.OC
Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization
本文研究了利用局部信息交换极小化由局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。我们首先考虑一个分布式的一阶原始对偶法。我们证明了，如果每个局部代价函数是光滑的，并且在全局费用函数满足Polyak-Striojasiewicz条件的条件下线性收敛到全局最优值，则它次线性收敛到一个稳定点.这个条件比强凸性弱，强凸性是证明分布式优化算法线性收敛的标准条件，全局最小值不一定唯一。出于梯度不可用的情况下，我们提出了一个分布式零阶算法，来自考虑的一阶算法通过使用确定性梯度估计，并表明它具有相同的收敛性能，考虑的一阶算法在相同的条件下。通过数值模拟说明了理论结果。
2021-08-25 math.OC
Fast Convergence Rates of Distributed Subgradient Methods with Adaptive Quantization
我们研究网络上的分布式最优化问题，当节点之间的通信受到限制时，节点之间交换的信息必须量化。最近的进展，使用分布式梯度算法与量化方案在一个固定的分辨率已经建立了收敛，但在速度显着低于当通信是非量化的。在本文中，我们介绍了一种新的量化方法，我们称之为自适应量化，使我们能够匹配的收敛速度下完美的通信。我们的方法随着算法的进展调整每个节点使用的量化方案：随着我们接近解决方案，我们变得更加确定状态变量的位置，并相应地调整量化器码本。我们绑定的收敛速度的通信带宽的函数，底层的网络拓扑结构，和结构特性的组成目标函数的方法。特别是，我们表明，如果目标函数是凸的或强凸的，那么使用自适应量化不影响的收敛速率的分布式次梯度方法时，通信被量化，除了一个常数，取决于量化器的分辨率。据我们所知，在本文中实现的速率优于任何现有的工作在文献中的分布式梯度法在有限的通信带宽。我们还提供了数值模拟，比较收敛性能的分布式梯度法和不量化的二次和绝对损失函数的分布式回归问题。
2019-05-11 math.OC
Exact Diffusion for Distributed Optimization and Learning --- Part I: Algorithm Development
这项工作开发了一个分布式优化策略，保证精确收敛的广泛的一类左随机组合政策。在第二部分中所得到的精确扩散策略比EXTRA策略具有更宽的稳定范围和更好的收敛性能。精确的扩散解适用于非对称的左随机组合矩阵，而许多早期的发展，精确的共识实现仅限于双随机阵，这些后者的矩阵施加严格的约束网络拓扑结构。在这项工作中，精确的扩散策略的推导依赖于重新制定的总最优化问题作为一个惩罚问题，并采取对角加权增量建设。详细的稳定性和收敛性分析，追求在第二部分，并通过检查在一个变换域的误差动态的演变。数值模拟验证了理论结论。
2017-12-03 math.OC
Linear convergence rate analysis of Proximal-Tracking for nonsmooth distributed optimization
School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）
本文针对非光滑分布式优化中的近端跟踪算法，在强凸性和平静性假设下证明了其线性收敛速率，且无需可微性假设，保留了算法优势。
2026-09-24 math.OC
Convergence property of the Quantized Distributed Gradient descent with constant stepsizes and an effective strategy for the stepsize selection
本文研究了量化分布式梯度下降的收敛性，在强凸和平滑假设下证明了其指数收敛至优化器邻域，并提出一种在特定迭代后重复减小步长的有效选择策略以提升算法性能。
2023-06-30 math.OC
High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
本文针对重尾噪声下的分布式优化问题，提出分布式裁剪随机梯度下降算法，并在图连通性温和假设下证明其高概率收敛，仿真验证了理论结果。
2025-06-18 math.OC
On the O(1/k) Convergence of Asynchronous Distributed Alternating Direction Method of Multipliers
我们考虑一个网络的代理，合作解决一个全球性的最优化问题，其中的目标函数是私人已知的本地目标函数的代理和决策变量通过线性约束耦合的总和。最近的文献集中在这种配方的特殊情况下，并研究了他们的分布式解决方案，通过次梯度为基础的方法与O（1/sqrt（k））的收敛速率（其中k是迭代次数）或交替方向法的乘法器（ADMM）为基础的方法，这需要一个同步的实现和全球已知的代理顺序。在本文中，我们提出了一种新的异步ADMM为基础的分布式方法的一般配方，并表明它的收敛速度为O（1/k）。
2013-07-31 math.OC
Distributed Solutions for Loosely Coupled Feasibility Problems Using Proximal Splitting Methods
在本文中，我们考虑凸可行性问题的基础集是松散耦合的，我们提出了几个算法来解决这样的问题，在分布式方式。这些算法是通过将近似分裂方法应用于凸可行性问题的凸极小化重构而得到的。我们还提出了分布式收敛测试，使我们能够建立分布式的问题的可行性或不可行性，我们提供了收敛速度的结果。在问题可行且有界线性正则的假设下，这些收敛性结果以迭代到可行集的距离的形式给出，与经典投影方法的收敛性结果类似.在可行性问题是不可行的情况下，我们提供了收敛速度的结果，涉及某些误差界的收敛。
2013-06-28 math.OC
Compressed Differentially Private Distributed Optimization with Linear Convergence
针对通信受限下的差分隐私分布式优化问题，提出压缩差分隐私分布式梯度跟踪算法（CPGT），在有偏压缩下实现线性收敛并保证差分隐私。
2023-04-04 math.OC
Gradient-Free Distributed Optimization with Exact Convergence
本文提出了一种无梯度分布式算法来求解有向通信网络下的集合约束最优化问题。具体而言，在每个时间步，代理本地计算所谓的伪梯度来指导决策变量的更新，其可以应用于梯度信息未知、不可用或不存在的领域。采用一种基于剩余的方法消除了对加权矩阵的双重随机性要求，使得该算法可以在没有双重随机加权矩阵的图中实现.在收敛性方面，该算法在任何正的、不可和的、非递增的步长下都能精确收敛到最优值。此外，当步长也是平方可和时，该算法可以保证精确收敛到一个最优解。除了标准的收敛性分析，所提出的算法的收敛速度也进行了研究。最后，通过数值模拟验证了该算法的有效性。
2021-09-03 math.OC
Quantized Distributed Nonconvex Optimization Algorithms with Linear Convergence under the Polyak--$Ł$ojasiewicz Condition
本文提出两种基于编码器-解码器方案的量化分布式非凸优化算法，在Polyak--Łojasiewicz条件下实现线性收敛，且量化级别越大收敛越快，低数据速率亦可保证收敛。
2025-02-28 math.OC
On the attainable distributions of controlled-diffusion processes pertaining to a chain of distributed systems
考虑一类受控扩散过程，它涉及一个随机扰动的分布系统链，满足弱Hörmander型条件。特别是，我们考虑一个随机控制问题，我们希望实现以下目标。第一个是可达性类型的，其包括确定在给定时间从初始分布开始的一组可达分布，而第二个涉及最小化受制于初始和期望的最终可达分布的相对熵。利用Fleming的对数变换方法，给出了一类随机控制问题存在最优容许控制的一个充分条件，该问题相当于Jamison在互反过程中提出的通过某种扰动来改变漂移的问题.此外，这样的扰动与所有容许控制中的最小能量控制一致，该最小能量控制迫使受控扩散过程从初始分布开始到期望的最终可达到的分布。最后，我们简要地评论了这种受控扩散过程的路径空间测度的不变性。
2015-09-25 math.OC
On linear convergence of a distributed dual gradient algorithm for linearly constrained separable convex problems
本文提出了求解线性约束可分凸问题的一个分布式对偶梯度算法，并分析了它的收敛速率。特别地，我们证明了在原目标函数的梯度具有强凸性和Lipshitz连续性的假设下，对偶问题具有全局误差界型性质.利用这一误差界的性质，我们设计了一个完全分布式的对偶梯度计划，即梯度计划的基础上加权步长，我们推导出全局线性收敛速率的双重和原始次优和原始可行违反。许多实际应用，如分布式模型预测控制，网络效用最大化或最优潮流，可以被视为线性约束可分离凸问题，文献中的对偶梯度型方法具有次线性收敛速度。在本文中，我们证明了第一次，事实上，我们可以实现线性收敛速率，这样的算法时，他们被用来解决这些应用。数值模拟也证实了我们的理论。
2014-09-30 math.OC
Distributed Stochastic Approximation: Weak Convergence and Network Design
研究了通信网络中基于广播流言的分布式随机逼近算法。证明了这些算法的弱收敛性，并将收敛点与局部目标函数和网络性质联系起来，建立了相应的常微分方程（ODE）。利用这些结果，提出了一种方法，网络设计，旨在实现所需的渐近行为的共识。同时分析了算法的收敛速度，并利用附加的随机微分方程进一步改进了算法。仿真结果验证了理论概念。
2016-09-02 math.OC stat.AP
Distributed SAGA: Maintaining linear convergence rate with limited communication
Criteo
近年来，方差缩减随机方法显示出很好的实用性能，在其他随机方法只能提供次线性收敛速度的情况下，方差缩减随机方法显示出线性收敛速率。然而，随着数据集变得越来越大，聚类变得越来越普遍，对快速分发方法的需求变得迫切。我们在这里提出了一个分配方案SAGA保持线性收敛速率，即使节点之间的通信是有限的。
2017-05-29 cs.LG math.OC
Convergence of Message-Passing for Distributed Convex Optimisation with Scaled Diagonal Dominance
本文研究了凸优化问题的消息传递算法的收敛性。在两两分离和对角优势的假设下，建立了算法的渐近收敛，并给出了消息传递的收敛速度的一个简单界。与已有的结果相比，我们的结果不要求给定的凸规划具有已知的凸两两分量，并且我们的收敛速度的界更紧更简单.当专门二次优化，我们概括已知的结果，提供了一个非常简单的界的收敛速度。
2019-04-09 eess.SP math.OC
Rate of Convergence for Distributed Optimization with Uncertain Communications
我们考虑分布式最优化问题的凸函数的总和，其中底层的通信网络连接代理在每个时间是随机抽取的有向图的集合。在早期工作[15]的基础上，其中subgradient-push算法的修改版本被证明几乎必然收敛于随机有向图序列上的优化器，我们找到了我们提出的算法的收敛速度的$\sim O(\frac{1}{\sqrt{t}})$阶的上界，建立了这种随机设置中的第一个收敛界。
2020-09-15 math.DS math.OC
On the convergence of the distributed proximal point algorithm
本文研究了分布式近端点算法在 Rd 上的收敛性与稳定性，给出了步长和代价函数的一般稳定条件，证明其以步长 η>0 指数收敛到最优解的 O(η) 邻域，并通过数值实验验证了理论结果。
2023-07-10 eess.SP math.OC
On the Geometric Convergence of Byzantine-Resilient Distributed Optimization Algorithms
本文提出了一个通用的拜占庭弹性分布式优化算法框架，分析了其几何收敛速率，并揭示了收敛区域、智能体值距离、步长与函数性质之间的关系。
2024-12-25 cs.MA math.OC
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University（德克萨斯A&M大学）
这项工作解决了分布式优化，其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和，每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法，使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同，我们在更新中加入了积分反馈，使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验，验证了采用积分反馈的优点，以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度，提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University（西北大学）
在本文中，我们考虑的问题，分布式位姿图优化（PGO），在多机器人同时定位和地图（SLAM）中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外，由于我们所提出的方法依赖于分布式PGO的邻近算子，因此使用Nesterov方法可以显著加快收敛速度，更重要的是，加速不会导致理论保证的妥协。此外，我们还提出了加速优化最小化方法的分布式弦初始化，具有平方收敛，它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较，验证了这项工作的有效性，这表明我们提出的方法具有更快的收敛速度，并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
Global Sobolev Convergence of Howard Iteration for Finite-Horizon Controlled Diffusions
Nankai University（南开大学）
本文证明带受控扩散的抛物型Bellman方程在一般条件下Howard策略迭代的全局Sobolev收敛，并推广至多维及熵正则化模型，关键是通过残差测度收敛构造唯一强解。
2026-10-21 math.AP math.OC
Exponential convergence under distributed averaging integral frequency control
University of Groningen（格罗宁根大学）；University of Cambridge（剑桥大学）
本文研究了分布式平均积分控制器在电力网络最优频率调节中的性能和鲁棒性，构建了严格李雅普诺夫函数以量化闭环系统的指数收敛率，并探讨了通信网络中断对系统稳定性及收敛率的影响。
2017-07-07 cs.SY eess.SY math.OC
Blended Dynamics Approach to Distributed Optimization: Sum Convexity and Convergence Rate
研究了混合动力学方法在分布式最优化问题中的应用，其中全局代价函数由局部费用函数之和给出。优点包括（i）单个费用函数不需要是凸的，只要全局费用函数是强凸的，以及（ii）分布式算法的收敛速度任意地接近于集中式算法的收敛速度。两个特殊的连续时间算法使用比例积分型耦合。一个是“免初始化”的好处，这样代理可以在操作期间加入或离开网络。另一个具有最小量的通信信息。在给出了一个可用于设计分布式算法的一般定理后，我们特别提出了一个分布式重球方法，并讨论了它相对于其他方法的优势。
2021-02-25 cs.SY eess.SY math.OC
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University（东北大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
镜像下降（MD）是一种功能强大的一阶优化技术，它包含了包括梯度下降（GD）在内的几种优化算法。在这项工作中，我们开发了一个半定规划（SDP）的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头，并利用二次约束（QC）提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD，我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解，恢复最佳GD率作为一个特殊情况。我们补充我们的分析，提供了$O(1/k)$收敛速度凸问题。接下来，我们分析了分布式MD的收敛性，并使用SDP描述了速率。据我们所知，分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明，我们的框架证明优越的收敛速度相比，现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
Exponential convergence of distributed optimization for heterogeneous linear multi-agent systems
在这项工作中，我们研究了一个分布式的最优输出共识问题的异构线性多智能体系统的代理的目的是达成共识的目的是最小化的私人凸成本的总和。基于输出反馈，采用比例积分（PI）控制技术，提出了一种全分布式控制律。对于具有Lipschitz梯度的强凸代价函数，所设计的控制器在无向连通网络中可以指数收敛。此外，为了消除连续通信的要求，所提出的控制律，然后扩展到周期性和事件触发的通信计划，这也达到指数收敛。最后给出了两个仿真例子来验证所提出的控制算法。
2021-01-12 cs.SY eess.SY math.OC
Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析，我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下，这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外，我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言，我们的研究结果表明，控制理论的方法可以有相当大的影响（分布式）优化，特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes
大规模系统和机器学习中数据的增长使得分布式优化成为解决不同背景下判定问题的自然吸引力技术。在这样的方法中，每个代理迭代地使用从其邻居接收的信息对其本地目标进行计算，并与相邻代理共享相关信息。虽然基于梯度的方法由于其简单性而被广泛使用，但已知它们具有缓慢的收敛速度。另一方面，虽然牛顿型方法具有更好的收敛性能，但由于计算量和存储量巨大，它们并不适用。在这项工作中，我们介绍了一个分布式拟牛顿法与Barzilai-Borwein步长。我们证明了Q-线性收敛到最优解，给出了算法超线性收敛的条件，并通过数值模拟验证了我们的结果。
2022-06-18 cs.SY eess.SY math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University（德克萨斯农工大学航空航天工程系）
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率，提出异步更新对偶变量以减少同步延迟，探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
Distributed Set-Based Observers Using Diffusion Strategies
针对有界不确定的线性离散时间系统，提出两种基于集合的分布式观测器，通过新型轻量zonotope相交技术实现集合扩散以降误差缩集合，经定位示例验证了算法适用性。
2023-06-18 cs.SY eess.SP eess.SY
Extremum Seeking Control for Scalar Maps with Distributed Diffusion PDEs
本文研究由分布扩散偏微分方程控制的静态标量映射的梯度极值搜索控制，通过无限维反步变换设计补偿控制器并优化探测信号，提出基于平均化的方法，利用 Lyapunov 分析证明局部指数稳定性与轨迹收敛性，数值仿真验证了其有效性。
2024-06-03 cs.SY eess.SY math.OC
Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting
我们提出了一种分布式方法来训练深度神经网络（DNN），该方法在理论上保证了收敛性，并在经验上具有很大的可扩展性：当使用6台机器运行时，ImageNet数据集的实例速度接近6倍。所提出的计划是接近最佳可扩展的机器数量，并保证收敛到相同的最优值作为未分配的设置。分布式设置的收敛性和可扩展性在不同的数据集（TIMIT和ImageNet）和机器学习任务（图像分类和音素提取）之间以经验为基础进行了展示。收敛性分析为这种复杂的学习方案提供了新的见解，包括：1）逐层收敛，2）权重的概率收敛。
2015-12-11 cs.LG math.OC stat.ML
Diffusion Adaptation Strategies for Distributed Optimization and Learning over Networks
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种自适应扩散机制，以优化全局费用函数在一个网络的节点分布的方式。假设费用函数由各个分量的集合组成。扩散自适应允许节点实时合作和扩散信息;它还有助于通过连续学习过程减轻随机梯度噪声和测量噪声的影响。我们分析了算法的均方误差性能的一些细节，包括其瞬态和稳态行为。我们还将扩散算法应用于两个问题：稀疏参数的分布式估计和分布式定位。与研究充分的增量方法相比，扩散方法不需要在节点上使用循环路径，并且对节点和链路故障具有鲁棒性。扩散方法还赋予网络自适应能力，即使当费用函数随时间变化时，也使各个节点能够继续学习。涉及具有移动目标的这种动态费用函数的示例在生物网络的上下文中是常见的。
2012-05-12 cs.IT cs.LG cs.SI
On Linear Convergence of Distributed Stochastic Bilevel Optimization over Undirected Networks via Gradient Aggregation
本文提出了一种分布式随机梯度聚合方案，证明在全局强凸性假设下实现线性收敛，扩展了双层优化的理论保证，并通过实验验证了其有效性。
2025-11-23 cs.SY eess.SY math.OC
Convergence and Robustness Bounds for Distributed Asynchronous Shortest-Path
University of Stuttgart（斯图加特大学）；ETH Zürich（苏黎世联邦理工学院）
本文针对异步分布式最短路径计算，基于Lyapunov方法推导自适应Bellman-Ford算法的有限时间收敛性与鲁棒性界，并扩展至最可能路径算法。
2026-09-14 cs.SY eess.SY math.OC
Optimal Design of Distributed Inexact Gradient Tracking: Exact Worst-case Convergence Rate and Explicit Parameters
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University（浙江大学工业控制技术国家重点实验室与控制科学学院）
针对分布式优化算法设计，提出框架以确定DIGing算法的精确最坏情况收敛速率，通过图信号处理与鲁棒控制技术实现子系统解耦，并给出显式参数公式，经数值实验验证。
2026-09-18 cs.SY eess.SY math.OC
