On Distributed Averaging Algorithms and Quantization Effects
我们考虑分布式迭代算法的平均问题随时间变化的拓扑结构。我们的重点是这样的算法的收敛时间时，完整的（未量化）的信息是可用的，并在性能下降时，只有量化的信息。我们研究了一个大的和自然类的平均算法，其中包括绝大多数的算法提出的日期，并提供严格的多项式界的收敛时间。我们还描述了在这个类中的算法，其收敛时间是目前可用的平均算法随时间变化的拓扑结构中最好的。然后，我们提出并分析了分布式平均算法的附加约束下，代理只能存储和通信的量化信息，使他们只能收敛到平均的初始值的代理在一些错误。我们建立的误差和收敛时间上的紧界的界限，作为量化级别的数量的函数。
2009-01-14 math.OC
Rate analysis of dual averaging for nonconvex distributed optimization
本文研究了随机通信网络上的非凸分布约束优化问题。我们重新分布式双平均算法，这是已知的凸问题收敛。我们从集中的情况下，其中两个连续的更新的变化被视为次优措施。我们验证使用这样的措施，表明它是密切相关的平稳性。这为我们研究非凸优化问题中对偶平均的收敛性提供了一个工具。我们证明了这种次优性测度的平方范数以速率$\mathcal{O}(1/t)$收敛。然后，对于分布式设置，我们证明收敛到稳定点的速度$\mathcal{O}(1/t)$。最后，通过一个数值例子来说明我们的理论结果.
2022-11-13 math.OC
A Random Adaptation Perspective on Distributed Averaging
我们提出了一个随机适应变量的时变分布平均动态离散时间。我们表明，这导致新的解释的基本概念分布平均，意见动态和分布式学习。也就是说，我们证明了随机链的遍历性等价于随机链的几乎必然（a.s.）在有限时间内达成协议的建议随机适应动态。利用这个结果，我们对遍历链的绝对概率序列给出了一个新的解释。然后，我们修改的基本情况下的动态到一个时间反演的非齐次马尔可夫链，我们表明，在这种情况下，遍历性是等价的唯一性的极限分布的马尔可夫链。最后，我们介绍和研究的Friedkin-Johnsen模型的时变随机适应版本和秩一扰动的基本情况下的动态。
2022-06-25 math.OC
Towards an $O(\frac{1}{t})$ convergence rate for distributed dual averaging
近年来，分布式对偶平均由于其在处理多智能体优化中的约束和动态网络方面的优势而受到越来越多的关注。然而，所有分布式的双重平均方法，到目前为止，考虑非光滑的问题，并有一个$O(\frac{1}{\sqrt{t}})$的收敛速度。为了实现更好的收敛保证光滑的问题，这项工作提出了一个二阶共识计划，协助每个代理本地跟踪全球对偶变量更准确。这种新的方案与平滑的目标相结合，确保了不完整的全局信息引起的共识误差随着时间的推移的积累是有界的。然后，进行了严格的研究，双平均与不精确的梯度预言，以补偿共识误差，并实现$O(\frac{1}{t})$收敛速度。所提出的方法在一个大规模的LASSO问题。
2020-03-19 math.OC
On Stability of Distributed-Averaging Proportional-Integral Frequency Control in Power Systems
基于分布式共识的微电网和电力系统二次调频优化控制器近年来受到广泛关注。本文提供了一个基于李雅普诺夫的证明，在时间尺度分离，这些控制方案是稳定的广泛的一类非线性电力系统模型，并在弱假设下（i）用于资源分配的目标函数，和（ii）描述在共识协议中的代理之间的通信的图形拓扑结构。通过详细的测试系统上的模拟结果进行了说明。
2020-03-09 math.OC
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题，并建议取代投影到整个可行域，在投影次梯度法（PSM）中所需的，由投影到个人集的交集形成整个可行域。具体而言，我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此，我们使用最近开发的动态串平均投影（DSAP）方法，其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案，从算法结构的角度来看，它概括了Helou Neto和De Pierro，Nedić，Nurminski和Ram等人的早期工作。
2013-08-29 math.OC
Robustness of Distributed Averaging Control in Power Systems: Time Delays & Dynamic Communication Topology
分布式平均积分（DAI）控制器在电力系统中的应用越来越普遍。到目前为止，文献主要集中在干扰抑制，稳态最优性和适应复杂的物理系统模型，而不考虑网络和通信层的不确定性，也不考虑其对鲁棒性和性能的影响。在本文中，我们推导出充分的延迟依赖条件的二次频率DAI控制的电力系统的鲁棒稳定性的异构通信延迟，链路故障和数据包丢失。我们的分析考虑到常数以及快速变化的延迟，它是基于一个共同的严格递减Lyapunov-Krasovskii功能。这些条件说明了DAI控制器的鲁棒性和性能之间的内在权衡。我们的稳定性证书的有效性和严密性通过一个数值例子的基础上昆杜尔的四机两区域测试系统。
2017-02-06 math.OC
Finite time distributed averaging over ring networks
我们考虑一个多智能体系统，每个智能体都有自己的估计一个给定的数量和目标是达到共识的平均值。为此，我们提出了一个分布式的共识算法，保证收敛到平均在有限数量的迭代。该算法适用于双向成对通信的环形网络。如果代理的数量$m$是偶数，比如说$m=2n$，那么，所需的迭代次数等于$n$，在这种情况下，$n$是网络的直径，而如果代理的数量是奇数并且等于$m=2n+1$，则迭代次数增加到$3n$。
2016-08-30 math.OC
Design and Analysis of Distributed Averaging with Quantized Communication
考虑一个网络，其节点具有一些初始值，并且期望设计一种基于邻居到邻居交互的算法，其最终目标是收敛到所有初始节点值的平均值或接近该平均值的某个值。这样的算法被称为一般的“分布式平均”，在本文中，我们的目标是研究性能的一个子类的确定性分布式平均算法，其中相邻节点（代理）之间的信息交换是均匀量化。通过这种量化，一般无法达到精确平均值的收敛，但收敛将接近于它的某个值，称为量化共识。利用李雅普诺夫稳定性分析，我们描述了所产生的非线性量化系统的收敛性。我们表明，在有限时间内，并取决于初始条件，该算法将导致所有的代理达到一个量化的共识，共识值是最大的量化值不大于大于他们的初始值的平均值，或将导致所有变量的循环在一个小的邻域周围的平均值。在后一种情况下，我们确定紧边界的大小的邻域，我们进一步表明，可以通过调整算法的参数，以分布式的方式使误差任意小。
2014-09-14 math.OC
Secondary Frequency and Voltage Control of Islanded Microgrids via Distributed Averaging
在这项工作中，我们提出了新的分布式控制器的二次频率和电压控制在孤岛微电网。受合作控制技术的启发，所提出的控制器使用本地化信息和最近邻通信来共同执行次级控制动作。频率控制器将微电网频率快速调节到其标称值，同时保持分布式发电机之间的有功功率共享。电压控制器的调谐提供了电压调节和无功功率共享的冲突目标之间的简单且直观的权衡。我们的设计不需要了解微电网拓扑结构、阻抗或负载。分布式架构允许灵活性和冗余，并消除了对中央微电网控制器的需求。我们提供了一个电压稳定性分析，并提出了广泛的实验结果验证我们的设计，验证通信故障下的鲁棒性能，并在即插即用操作。
2015-04-26 math.OC
String-Averaging Incremental Subgradients for Constrained Convex Optimization with Applications to Reconstruction of Tomographic Images
我们提出了一种基于次梯度方向和串平均技术的非光滑凸极小化方法。在这种方法中，可用数据集被分成序列（字符串），并且通过增量次梯度方法（ISM）沿着每个字符串独立地（可能并行地）处理给定的数据集。所有字符串的端点被平均以形成下一个字符串。该方法适用于求解稀疏和大规模非光滑凸优化问题，如层析成像中出现的问题。收敛性分析提供了现实的，标准的条件下。在断层图像重建应用中进行了数值测试，与经典ISM相比，当作为目标函数的减小比率测量时，收敛速度表现出良好的性能。
2016-10-18 math.OC
Robust Distributed Averaging in Networks
在这项工作中，我们考虑了两种类型的对抗性攻击网络的节点寻求达成共识。第一种类型涉及能够在每个时刻破坏特定数量的链接的对手。在第二种攻击中，对手能够通过添加噪声信号来破坏节点的值。在后一种情况下，我们假设对手受到功率预算的约束。我们认为对手的最优化问题，并充分表征其最佳策略，为每一种情况。
2013-03-11 math.OC
Distributed saddle-point subgradient algorithms with Laplacian averaging
我们提出了分布式次梯度方法的最小最大问题的协议约束的一个子集的论点的凸和凹的部分。应用包括约束最小化问题，其中每个约束是代理的局部变量中的凸函数的和。在后一种情况下，该算法减少到原始-对偶更新使用局部次梯度和拉普拉斯平均的本地副本的乘数相关联的全球约束。对于一般的凹凸鞍点问题，我们的分析建立了局部估计的运行时间平均值在通信有向图的周期连通性下收敛到一个鞍点.具体地说，选择梯度步长在一个合适的方式，我们表明，评估误差是成正比的$1/\sqrt{t}$，其中$t$是迭代步骤。我们说明了我们的结果在模拟的优化方案与非线性约束耦合的代理，不能直接沟通的决定。
2016-05-24 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集，每个已知的只有一个节点。为了解决这个问题，我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Efficient Information Aggregation Strategies for Distributed Control and Signal Processing
本论文研究的是由多个潜在移动代理组成的网络的分布式控制和协调。这主要是由于大规模网络的出现，其特点是缺乏对信息的集中访问和随时间变化的连接。在这样的网络中部署的控制和优化算法应该是完全分布式的，只依赖于本地的观察和信息，并且对拓扑结构的意外变化（如链路故障）具有鲁棒性。我们将描述协议，以解决某些控制和信号处理问题，在这种情况下。我们将证明，这种系统的一个关键挑战是以分散的方式计算平均值的问题。也就是说，我们将表明，一些分布式控制和信号处理问题可以直接解决，如果解决方案的平均问题。论文的其余部分将关注平均问题的算法及其推广。我们将（i）在各种设置中导出已知最快的平均算法，并受到各种通信和存储约束（ii）证明一个下界，确定平均算法的基本障碍（iii）提出一个新的分布式函数计算模型，该模型反映了许多大规模网络面临的约束，并且几乎刻画了在该模型中可计算的一般函数类。
2010-09-30 math.OC
Finite-time and Asymptotic Convergence of Distributed Averaging and Maximizing Algorithms
在本文中，我们制定和调查的广义共识算法，试图统一的分布平均和最大化算法在文献中考虑。每个节点迭代地更新其状态作为其自身状态、其邻居的最小状态和最大状态的时变加权平均。我们证明了有限时间的共识几乎是不可能的平均在这个统一的模型。考虑了时间依赖图和状态依赖图，给出了一致收敛的各种必要和/或充分条件。对于时间依赖图，我们表明，准强连通性是至关重要的平均，是强连通性最大化。对于由$μ$ -最近邻规则定义的状态依赖图，其中每个节点与其$μ$最近较小的邻居和$μ$最近较大的邻居相互作用，我们表明，$μ+1$是一个临界阈值的节点总数的过渡从有限时间到渐近收敛平均，在没有节点自信。如果每个节点选择仅连接到具有唯一值的邻居，则阈值为$2μ$。数值例子说明了紧的条件。结果表征分布平均和最大化算法之间的一些基本的相似性和差异。
2012-09-05 cs.DC math.OC
Exponential convergence under distributed averaging integral frequency control
University of Groningen（格罗宁根大学）；University of Cambridge（剑桥大学）
本文研究了分布式平均积分控制器在电力网络最优频率调节中的性能和鲁棒性，构建了严格李雅普诺夫函数以量化闭环系统的指数收敛率，并探讨了通信网络中断对系统稳定性及收敛率的影响。
2017-07-07 cs.SY eess.SY math.OC
Accelerated Dual Averaging Methods for Decentralized Constrained Optimization
本文研究了网络中的分散凸约束最优化问题。我们专注于双平均为基础的算法框架，是有据可查的是优越的同时处理约束和复杂的通信环境。提出了两种新的分散双平均（DDA）算法。在第一个，二阶动态平均共识协议是专为DDA型算法，它配备了一个可证明的更准确的估计比传统的计划的全球对偶变量每个代理。我们严格证明，该算法达到$\mathcal{O}(1/t)$收敛一般凸和光滑的问题，现有的DDA方法只知道收敛在$\mathcal{O}(1/\sqrt{t})$之前，我们的工作。在第二种方法中，我们使用外推技术来加速DDA的收敛。与现有的加速算法相比，通常两个不同的变量在代理之间交换在每一个时间，所提出的算法只寻求共识的局部梯度。然后，基于分别由在两个连续时刻的梯度的累积确定的两个原始变量序列执行外推。证明了该算法收敛于$\mathcal{O}(1)\left(\frac{1}{t^2}+\frac{1}{t(1-β)^2}\right)$，其中$β$表示混合矩阵的第二大奇异值.我们注意到，该算法的参数，以保证收敛的条件不依赖于混合矩阵的频谱，使自己很容易满足在实践中。最后，数值结果表明所提出的方法的有效性。
2022-08-14 math.OC
Controlled Hopwise Averaging: Bandwidth/Energy-Efficient Asynchronous Distributed Averaging for Wireless Networks
University of Oklahoma（俄克拉荷马大学）
针对无线网络分布式平均的带宽/能量效率问题，提出受控逐跳平均算法，通过利用无线广播特性和迭代控制，实现更高效的通信。
2010-12-26 cs.DC cs.SY eess.SY
Distributed Optimization Over Dependent Random Networks
研究了随机网络上基于平均的分布式优化求解器。我们展示了一个一般性的结果，这样的计划使用的权重矩阵，行随机几乎肯定和列随机的期望为一个广泛的依赖权重矩阵序列的收敛性。除了暗示许多以前已知的结果在这个域上，我们的工作表明分布式优化结果的鲁棒性链路故障。同时，它也为分布式优化算法的综合提供了一种新的工具。{To证明了我们的主要定理，我们建立了新的结果的收敛速率分析的平均动态（相依）随机网络。这些次要的结果，以及所需的鞅型的结果，以建立他们，可能会感兴趣的更广泛的研究努力，在分布式计算随机网络。
2020-10-05 math.OC
Distributed Averaging Problems over Directed Signed Networks
本文的目的是解决分布平均问题的签署网络中存在的一般有向拓扑表示的签署有向图。提出了一类新的改进的Laplacian势函数：导出无符号有向图和镜像（无向）符号图，并在此基础上利用最近邻规则设计了两个分布式平均协议.它表明，与任何设计的协议，签名平均共识（分别，状态稳定性）可以实现当且仅当相关的签名网络的签名有向图是结构平衡（分别，不平衡），无论是否满足重量平衡。此外，改进的Laplacian势函数还可以用于求解有向拓扑的签名网络的定时一致性问题，提出了一种非线性分布式协议，以保证在固定时间内的双方一致性或状态稳定性.另外，通过揭示有向符号网络的收敛行为与改进的Laplacian势函数性质之间的紧密联系，利用李雅普诺夫稳定性分析方法可以实现有向符号网络的收敛性分析。说明性的例子来证明我们的理论结果的有效性有向签署网络。
2020-08-13 math.DS math.OC
A Dual Accelerated Method for Online Stochastic Distributed Averaging: From Consensus to Decentralized Policy Evaluation
出于分散的传感和政策评估问题，我们考虑一种特殊类型的分布式随机最优化问题的网络，称为在线随机分布平均问题。我们设计了一个基于对偶的方法来解决这个带有Polyak-Ruppert平均的分布式一致性问题，并分析了它的行为。我们表明，该算法达到了加速确定性误差最佳依赖于网络的条件数，也有一个顺序最优的随机误差。这提高了保证国家的最先进的分布式随机最优化算法时，专门为此设置，并产生-除其他事项外-推论分散的政策评估。我们的证明依赖于明确地研究几个相关的线性系的演化，可能是独立的利益。数值实验，验证了我们的理论结果，并表明，我们的方法优于现有的方法在有限样本的情况下，几个自然的网络拓扑结构。
2022-08-08 cs.MA cs.SY eess.SY
Quadratic Performance Analysis of Secondary Frequency Controllers
本文通过控制理论中的$H_2$范数概念研究了二次频率控制器的输入输出性能。我们考虑一个二次目标占备用采购的成本，并提供精确的分析公式的连续时间聚合平均控制器的性能。然后，我们将其与分布式平均控制器-寻求最优性条件，如相同的边际成本-和原始-对偶控制器，已获得注意的系统技术，设计分布式算法解决凸优化问题。我们的结论是，虽然聚合平均控制器的性能，如收集和广播，是独立于系统的大小和主要由控制增益驱动，普通香草闭环原-对偶控制器的规模与大小不佳，并没有提供任何改善前馈原-对偶控制器。最后，基于分布平均的控制器的规模与大小呈次线性关系，并且在高增益限制下与系统大小无关。
2020-07-31 math.OC
Push-sum Distributed Dual Averaging for Convex Optimization in Multi-agent Systems with Communication Delays
研究了多智能体系统上的分布式凸优化问题，假设每个智能体都有自己的费用函数，并在一系列时变有向图上与邻居进行通信.然而，由于某些原因，Agent在接收信息时存在通信延迟，在这种情况下，我们将寻求Agent的损失函数之和的最优值。我们希望处理这个问题的推和分布式双平均（PS-DDA）算法。证明了该算法在适当的步长下收敛，误差以$\mathcal{O}\left(T^{-0.5}\right)$的速率衰减，其中$T$为迭代跨度。本文给出的主要结果还说明了算法的收敛性与其在一个边上的通信时延的最大值有关。最后，我们将理论结果应用于数值模拟，以显示PS-DDA算法的性能。
2022-02-02 cs.MA math.OC
Distributed Subgradient Methods and Quantization Effects
我们考虑一个凸无约束最优化问题，出现在网络的代理，其目标是合作优化的总和，通过本地计算和通信的个别代理目标函数。对于这个问题，我们使用平均算法来开发分布式次梯度方法，可以在一个随时间变化的拓扑结构。我们的重点是这些方法的收敛速度和性能下降时，只有量化的信息是可用的。基于我们最近的分布平均算法的收敛时间的结果，我们得到了改进的上界的收敛速度的非量化次梯度方法。然后，我们提出了一个分布式的次梯度方法下的附加约束，代理只能存储和通信的量化信息，我们提供的界限上的收敛速度，突出的依赖数量的量化水平。
2008-03-08 math.OC
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度，提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
A Multi-Scale Method for Distributed Convex Optimization with Constraints
针对约束凸优化问题，提出了一种多尺度分布式算法，该算法利用多智能体的马尔可夫切换网络动态特性和智能体间的噪声通信来设计连续时间分布式算法.不同于以往大多数工作，主要是把重点放在处理固定的网络拓扑结构，本文解决了具有挑战性的问题，调查随机网络和代理间的通信噪声的联合影响的分布式优化动力学，这还没有系统地研究在过去的文献。此外，在约束优化以前的工作形成鲜明对比，我们离开使用的投影梯度流，这是非光滑的，难以分析，而是，我们设计了一个光滑的优化动力学，从而导致更容易的收敛性分析和更有效的数值模拟。此外，本文提出的多尺度方法推广了以前已知的分布式凸优化算法从固定的网络拓扑的切换情况下，本文得到的随机平均是现有的确定性平均的推广。
2021-02-28 math.OC
Exponentially convergent distributed Nash equilibrium seeking for constrained aggregative games
研究了聚合对策的分布式纳什均衡求解问题，提出了一种连续时间算法。该算法利用投影梯度博弈动力学和分布式平均跟踪动力学设计，适用于策略集受限和通信图权重均衡的博弈。我们得到了一个指数收敛的算法的纳什均衡。数值例子说明了我们的方法的有效性。
2021-12-06 math.OC
Efficient Distributed Online Prediction and Stochastic Optimization with Approximate Distributed Averaging
McGill University（麦吉尔大学）
本文研究了分布式在线预测与随机优化方法，提出基于 gossip 的优化方法，证明在近似分布式平均协议下可达到最优 regret 界，并展示其近线性扩展特性。
2014-03-05 cs.DC cs.IT cs.SY
Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach
我们考虑最小化的非光滑目标函数的集合约束的分布式方式的总和。针对这一问题，我们首次提出了一种具有指数收敛速度的分布式算法。通过精确惩罚法，我们将该问题等价地转化为一个没有共识约束的标准分布式问题。然后利用微分包含设计了一个分布式投影次梯度法。此外，我们证明了算法收敛到最优解的强凸目标函数指数。
2020-01-03 math.OC
Robust Distributed Averaging: When are Potential-Theoretic Strategies Optimal?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究网络设计者与对抗者在动态网络中的互动，分析对抗者如何断开链接阻止达成共识，网络设计者通过调整有限链接权重帮助达成共识，提出两个Stackelberg博弈模型，利用潜在理论提供最优策略的替代描述，并给出零和博弈均衡存在的充分条件。
2015-02-20 cs.SY eess.SY math.OC
Unifying mirror descent and dual averaging
我们介绍和分析了一个新的家庭的一阶优化算法的推广和统一的镜像下降和双平均。在这个家庭的框架内，我们定义了新的约束优化算法，结合了镜像下降和双平均的优点。我们的初步模拟研究表明，这些新的算法显着优于现有的方法在某些情况下。
2022-06-10 cs.LG math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数，我们提出了一个分布式镜像下降算法嵌入Bregman阻尼，作为传统的分布式投影算法的推广。事实上，我们的连续时间算法很好地继承了镜像下降方法的良好性能，可以快速计算具有某些特定约束结构的问题的显式解。此外，我们严格证明了我们的算法的收敛性，以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
Exponentially Fast Parameter Estimation in Networks Using Distributed Dual Averaging
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了一个基于优化的观点分布参数估计和观察社会学习网络。代理接收一系列随机、独立和同分布（i.i.d.）信号，每个信号单独地可能不提供关于潜在真实状态的信息，但是信号一起提供的信息足以使真实状态可识别。使用基于优化的表征贝叶斯学习的近端随机梯度下降（与Kullback-Leibler分歧作为一个近端函数），我们展示了如何有效地使用分布式，在线的Nesterov的双平均方法的变体来解决估计与纯粹的本地信息。当真实状态是全局可识别的，网络是连接的，我们证明了代理最终学习的真实参数使用随机八卦计划。我们证明了，以高概率的收敛速度是指数级的速度依赖于KL分歧的观察下的真实状态下的第二个最可能的状态下的观察。此外，我们的工作还强调了在网络的连续适应下学习的可能性，这是采用恒定的单位步长的算法的结果。
2013-09-10 cs.LG cs.SI math.OC
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
A Heuristic Alternating Direction Method of Multipliers Framework for Distributed and Centralized Tree-Constrained Optimization: Applications to Hop-Constrained Spanning Tree Multicommodity Flow Design
New Jersey Institute of Technology (NJIT)（新泽西理工学院）
本文提出了一种启发式交替方向乘子法框架，用于解决具有树约束的非凸优化问题，并应用于具有跳数限制的生成树多商品流设计，通过连续松弛和增强拉格朗日方法实现高效求解。
2026-03-08 math.OC
Lyapunov Approach to Consensus Problems
本文研究了无约束和有约束一致性问题的加权平均动态。通过使用适当定义的伴随动态，二次李雅普诺夫比较函数构造的加权平均动态的行为进行分析。结果，获得了新的收敛速度结果，其以新颖的方式捕获图形结构。特别地，建立了指数收敛速度与$1-O(1/(m\log_2m))$的顺序的指数的无约束共识。同时，建立了约束一致性的指数收敛速度，推广了现有的结果仅限于使用双随机权矩阵。
2014-07-28 math.OC
Smooth Dynamics for Distributed Constrained Optimization with Heterogeneous Delays
本文从被动性的角度研究了Agent间通信时延下的分布式约束最优化问题。首先，我们提出了一个求解一般凸目标函数的分布式约束优化问题的连续时间算法。通过相位超前补偿保证了系统在一般凸性下的渐近稳定性。不等式约束的处理采用投影自由广义拉格朗日，其原始对偶梯度动力学保持被动性和光滑性，使应用的LaSalle的不变原理中存在的延迟。然后，我们将散射变换到所提出的算法，以提高对未知和异构通信延迟的鲁棒性。最后，一个匹配问题的数值例子来说明结果。
2020-02-28 math.OC
GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models
New York University（纽约大学）
针对时间受限的深度学习分布式训练场景，提出基于梯度加权平均的GRAWA算法及两种异步变体，理论上证明凸与非凸场景下的收敛性，实验验证其在收敛速度、解质量等方面优于现有基线。
2024-03-07 cs.DC cs.LG math.OC
Primal-Dual Algorithm for Distributed Constrained Optimization
本文研究了一个分布式约束最优化问题，在网络中连接的多个代理共同最小化受一个全局约束的各个目标函数的总和是分配给代理的局部约束集的交集。基于增广拉格朗日方法，提出了一种包含投影操作的分布式原始对偶法。结果表明，适当地选择恒定的步长，在所有代理的局部估计渐近达成共识的最优解。此外，在时间平均估计的费用函数的值以速率$O(\frac{1}{k})$收敛到无约束问题的最优值。通过这些性质，本文提出的原始对偶法区别于现有的分布式约束优化算法。通过数值模拟验证了理论分析的正确性。
2016-03-06 math.OC
Robust Distributed Averaging on Networks with Adversarial Intervention
Coordinated Science Laboratory, ECE Department, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院协调科学实验室）；ECE Department, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
研究网络设计者与对手在动态网络中的博弈，利用庞特里亚金最大值原理推导最优策略，并给出零和博弈鞍点均衡存在的充分条件。
2013-03-30 cs.SY eess.SY math.OC
Distributed Optimization, Averaging via ADMM, and Network Topology
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）；Department of Computer Science, Boston College（波士顿学院计算机科学系）
对于可扩展的最优化方法的需求越来越大，特别是由于现代机器学习应用中数据集大小和模型复杂性的爆炸。可伸缩求解器通常将计算分布在处理单元的网络上。对于简单的算法，如梯度下降，收敛时间与该网络拓扑的依赖性是众所周知的。然而，对于更复杂的算法，如乘法器的交替方向法（ADMM），知之甚少。在许多分布式优化算法的核心，存在一个gossip子例程，它在网络上平均本地信息，其效率对方法的整体性能至关重要。在本文中，我们回顾了最近的研究在这方面，隔离这样的通信交换行为的目标，我们比较不同的算法时，适用于一个典型的分布平均共识问题。我们还显示了有趣的ADMM和解除马尔可夫链之间的连接，除了提供一个明确的表征其收敛性和最佳参数调整的网络的频谱特性。最后，我们实证研究了网络拓扑结构和收敛速度不同的算法在现实世界中的传感器定位问题之间的连接。
2020-09-05 cs.LG math.OC stat.ML
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先，我们提出了一种新的分布式连续时间投影算法，其中每个代理知道其本地费用函数和本地约束集，约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解，同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后，我们提供了一个数值例子来说明。
2016-11-28 math.OC
Double Averaging and Gradient Projection: Convergence Guarantees for Decentralized Constrained Optimization
针对静态有向网络下的去中心化约束优化问题，提出基于双重平均与梯度投影的DAGP算法，结合分布式零空间投影实现全局最优，建立次线性收敛速率，还提出聚合下界分析方法并验证算法在多类问题中的有效性。
2023-11-08 cs.DC cs.MA math.OC
Alternating Direction Method of Multipliers for nonlinear constrained convex problems and applications to distributed resource allocation and constrained machine learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种非线性交替方向乘子法，用于解决非线性约束凸问题，适用于分布式资源分配和约束机器学习，通过保持经典分解结构并利用凸性，实现了更高的通信效率。
2026-02-26 math.OC
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento（萨莱诺大学）；Purdue University（普渡大学）
本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Distributed Nonsmooth Robust Resource Allocation with Cardinality Constrained Uncertainty
研究了具有基数约束不确定性的分布式非光滑鲁棒资源分配问题。全局目标由局部目标组成，局部目标是凸的但非光滑的。每个智能体被约束在其私有凸集中，并且只具有其对应的局部目标的信息。资源分配条件受基数约束的不确定集约束。利用凸优化的对偶理论，给出了鲁棒资源分配问题的对偶问题。针对这一对偶问题，提出了一种分布式原始-对偶投影算法。在理论上，利用微分包含的稳定性理论，进行了收敛性分析。仿真结果表明，该算法能够引导多智能体系统在满足资源分配条件的情况下达到最优解。最后，一个非平凡的仿真结果表明，所提出的算法的有效性。
2019-04-25 math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法，依赖于集中式乘法器，其中每个节点唤醒在一个不协调的方式，并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节，这使得节点能够理解（整个）增广拉格朗日函数的下降何时足够小。我们表明，这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化，然后更新整个乘子向量。因此，该算法继承了乘数法的收敛性。
2018-03-17 math.OC
Distributed Constrained Optimization over Networked Systems via A Singular Perturbation Method
研究了具有无向连通通信拓扑的网络系统的约束最优化问题。在这项工作中提出的算法利用奇异扰动，动态平均共识，鞍点动力学方法来解决问题的一般类的目标函数和仿射约束在一个完全分布式的方式。结果表明，在互联网络中的代理的私人信息是保证我们提出的策略。严格的分析提供了理论保证的解决方案的最优性。我们将新提出的解决方案应用到能源网络的两个模拟演示。
2017-10-23 math.OC
Dual Averaging for Distributed Optimization: Convergence Analysis and Network Scaling
UC Berkeley（加州大学伯克利分校）
针对网络上的分布式优化问题，提出基于次梯度对偶平均的分布式算法，并给出收敛速率关于网络规模和拓扑的尖锐界，证明迭代次数与网络谱间隙成反比。
2011-04-10 cs.SY eess.SY math.OC
Distributed Approximate Newton Algorithms and Weight Design for Constrained Optimization
针对经济调度和线性约束资源分配问题，提出了一类新的近似牛顿最优化方法的分布式近似牛顿算法。我们首先开发的概念，代理实现二阶算法的通信图的最佳边缘加权，并提出了一个凸近似的非凸权重设计问题。接下来，我们建立在最优权重设计开发一个离散的分布式近似牛顿算法，该算法线性收敛到最优解的经济调度问题的未知费用函数和放松的局部框约束。对于满箱约束问题，我们开发了一个连续的分布式近似牛顿算法，该算法受到一阶鞍点方法的启发，并严格证明了其收敛到原始和对偶优化器。这些分布式算法的一个主要特性是，它们只需要代理交换恒定大小的通信消息，这有助于可扩展的实现。仿真结果表明，与一阶鞍点法和梯度下降法的加权策略相比，采用我们的加权设计的分布式近似牛顿算法具有更好的收敛性能.
2019-11-19 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题，提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法，并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Fully Distributed Adaptive Nash Equilibrium Seeking Algorithm for Constrained Noncooperative Games with Prescribed Performance
针对约束非合作博弈，提出一种全分布式自适应纳什均衡寻求算法，利用自适应惩罚、时变增益和余弦时间转换实现规定时间稳定，并通过电力市场仿真验证。
2024-11-06 math.OC
