Stochastic Momentum Tracking Push-Pull for Decentralized Optimization over Directed Graphs
School of Electrical Engineering, Sichuan University（四川大学电气工程学院）
本文提出Stochastic Momentum Tracking Push-Pull算法，通过追踪动量项而非随机梯度，解决有向图上非对称通信和高方差梯度导致的震荡问题，实现收敛。
2026-04-09 math.OC
Geometrical Convergence Rate for Distributed Optimization with Time-Varying Directed Graphs and Uncoordinated Step-Sizes
研究了一类由多个智能体组成的分布式优化算法，其中每个智能体只能访问自己的局部凸目标函数，并联合最小化函数之和。代理之间的通信被描述为一个序列的时变有向图，假设是一致强连接。该算法采用列随机混合矩阵，即使在步长不协调的假设下，也能精确地控制所有智能体渐近收敛到全局一致的最优解.在假设目标函数是强凸的和具有Lipschitz连续梯度的条件下，建立了获得几何收敛速度的两个相当标准的条件.理论分析表明，只要不协调步长不超过一定的上界，分布式算法能够驱动整个网络几何收敛到凸优化问题的最优解.我们还通过不同的方法给出了我们算法的收敛速度的显式分析。最后，通过仿真实验验证了所提算法的可行性，验证了本文理论分析的正确性。
2016-11-10 math.OC
A geometric view of formation control with application to directed sensing
University of St Andrews（圣安德鲁斯大学）；Technion - Israel Institute of Technology（以色列理工学院）；Amherst College（阿默斯特学院）
本文提出了一种基于几何的形成控制方法，用于定向传感，通过统一的控制器设计和局部收敛性分析，改进了传统梯度控制器的收敛性条件。
2025-12-05 math.MG math.OC
Multi-agent constrained optimization of a strongly convex function over time-varying directed networks
我们认为合作的多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。我们的目标是最小化代理特定的私人圆锥约束集上的代理特定的可能非光滑的复合凸函数的总和，因此，最佳的共识决策应该位于这些私人集合的交集。假设和函数是强凸的，我们提供了收敛速度在次优，不可行性和共识违反，检查底层网络拓扑结构的影响上的收敛速度的建议分散算法。
2017-06-24 math.OC
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题，其中智能体私有一个随机组合目标函数，并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法，该算法采用梯度跟踪和随机校正技术，以适应网络的有向结构，提高内函数估计的精度。当目标函数光滑时，该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$，并能找到（$ε$）-平稳点.当目标函数为强凸时，收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外，还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
Extending the Leader-First Follower Structure for Bearing-only Formation Control on Directed Graphs
Technion-Israel Institute of Technology（以色列理工学院）
本文扩展了 leader-first follower (LFF) 图结构，通过分析单跟随者多领导者系统并提出有序 LFF 图以引入前向有向边，解决了有向图上的仅方位编队控制问题，并提升了收敛速度。
2025-11-04 math.OC
FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）；Detection Institute for Advanced Technology Longhua-Shenzhen（深圳龙华先进技术检测研究院）
本文提出一种首次-order分布式梯度算法，结合Push-Pull通信策略和价值函数惩罚法，解决时间变化有向图上的分布式双层优化问题，并建立非渐近收敛性。
2026-05-07 math.OC
Convergence of the Non-Uniform Directed Physarum Model
已知有向绒泡菌动力学求解正线性规划：对于正成本向量$c$，最小化$c^T x$服从$Ax = b$和$x \ge 0$。有向绒泡菌动力学根据动力学$\dot{x} = q(x) - x$进化正向量$x$。这里$q(x)$是$Af = b$的解决方案，它最大限度地减少了“能量”$\sum_i c_i f_i^2/x_i$。本文研究了非一致有向动力系统$\dot{x} = D(q(x) - x)$，其中$D$是正对角矩阵.非均匀动力学比均匀动力学（$D$是单位矩阵）更复杂，因为它允许$x$的每个组件以不同的速度对$q(x)$和$x$之间的差异做出反应。我们的贡献是证明了非一致有向动态解正线性规划。
2020-02-13 cs.DS math.DS math.OC
Nash Equilibrium Seeking Over Directed Graphs
在本文中，我们的目标是开发分布式连续时间算法在有向图上寻找纳什均衡的非合作对策。受最近基于一致性的设计的启发，我们提出了一个分布式算法的权重平衡的有向图的比例增益。通过进一步嵌入一个分布估计的左特征向量与零特征值的图Laplacian，我们将其扩展到任意强连接有向图的情况下，可能有不平衡的重量。在这两种情况下，纳什均衡被证明是完全达到指数收敛速度。最后通过一个算例说明了理论结果的有效性。
2022-04-18 math.OC
Distributed Subgradient Projection Algorithm over Directed Graphs
我们提出了一种分布式算法，称为定向分布式投影次梯度（D-DPS），用于解决多智能体网络上的约束最优化问题，其中智能体的目标是共同最小化局部已知的凸函数之和。网络中的每个代理只拥有其本地目标函数，约束到一个众所周知的凸集。我们专注于代理之间的通信时，描述了一个有向网络的情况。D-DPS为每个Agent增加了一个额外的变量，以克服由有向通信网络引起的不对称性。收敛性分析表明，D-DPS以$O(\frac{\ln k}{\sqrt{k}})$的速度收敛，其中k为迭代次数.
2016-08-28 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起，分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题，在图上的代理的目标是异步优化的集体（添加剂）的目标函数组成的代理的个人（可能是非凸的）本地目标函数。每个代理只能访问其自身函数（目标函数之和的一个分量）的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合，并获得了一般非凸函数的标准次线性收敛速度，与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Distributed optimization on directed graphs based on inexact ADMM with partial participation
针对有向图网络中的分布式成本函数求和最小化问题，提出基于非精确 ADMM 与部分参与机制的分布式优化算法，在标准假设下证明了线性收敛性，其收敛速率优于 Push-DIGing 且显著节省计算与通信开销。
2023-04-01 math.OC
Rate of Convergence for Distributed Optimization with Uncertain Communications
我们考虑分布式最优化问题的凸函数的总和，其中底层的通信网络连接代理在每个时间是随机抽取的有向图的集合。在早期工作[15]的基础上，其中subgradient-push算法的修改版本被证明几乎必然收敛于随机有向图序列上的优化器，我们找到了我们提出的算法的收敛速度的$\sim O(\frac{1}{\sqrt{t}})$阶的上界，建立了这种随机设置中的第一个收敛界。
2020-09-15 math.DS math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标最小化，且受局部约束和全局耦合等式约束.在有向图上，提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下，首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后，通过对经济调度问题的数值实验，验证了算法的有效性。
2018-05-21 math.OC
Distributed ADMM with linear updates over directed networks
本文针对有向网络提出一种具有线性更新的分布式ADMM算法，在目标函数光滑强凸时实现几何收敛，并通过不强制精确一致性显著提升收敛速度。
2023-09-20 cs.SY eess.SY math.OC
Noise-Robust Distributed Optimization Over Directed Graphs With Row Stochastic Matrices
School of Automation, Southeast University（东南大学自动化学院）；China Industrial Control Systems Cyber Emergency Response Team（中国工业控制系统信息安全应急响应中心）
针对有向不平衡图上信息共享噪声导致梯度跟踪噪声累积和左特征向量缩放失真的问题，提出仅用行随机权重的R-Xi-row算法，通过辅助变量增量更新和衰减增益，实现强凸光滑目标下几乎必然收敛并达到近O(k^{-1/3})期望速率。
2026-09-25 math.OC
On the convergence result of the gradient-push algorithm on directed graphs with constant stepsize
针对有向图分布式优化中常步长梯度推进算法收敛性未明确的问题，本文证明步长α小于特定值时其指数收敛到优化器O(α)邻域（基于光滑强凸成本），并通过数值实验验证，且发现其收敛速度可能快于Push-DIGing算法。
2025-04-16 cs.DC eess.SP math.OC
Fully Asynchronous Distributed Optimization with Linear Convergence in Directed Networks
我们考虑的分布式优化问题，其目标是最小化的局部目标函数的总和在一个有向网络。虽然它已经被广泛的研究，最近，大多数现有的算法被设计为同步或随机激活的实现，这可能会产生死锁在实践中。与此形成鲜明对比的是，我们提出了一个\emph{fully}异步推挽梯度算法（APPG），每个节点更新，而无需等待任何其他节点使用（可能陈旧）的信息，从邻居。因此，它是无死锁的，并且对任何有界的通信延迟都是鲁棒的。此外，我们构造了两个新的增广网络，从最坏情况的角度对其性能进行了理论评估，并证明了如果局部函数具有Lipschitz连续梯度，并且它们的和满足Polyak-Jasojasiewicz条件，（不需要凸性），APPG的每个节点以$\mathcal{O}(λ^k)$的线性速率收敛到相同的最优解，其中，无论哪个节点更新，$λ\in(0,1)$和虚拟计数器$k$都增加1。这在很大程度上说明了它的线性加速效率，并显示了它的优势，同步版本。最后，APPG的性能进行了数值验证，通过逻辑回归问题上的\emph{Covertype}数据集。
2021-01-04 cs.DC math.OC
ADD-OPT: Accelerated Distributed Directed Optimization
在本文中，我们考虑分布式最优化问题的目标是最小化的总和目标函数在多智能体网络。我们专注于代理间通信的情况下，描述了一个强连接，\emph{directed}图。所提出的算法，ADD-OPT（加速分布式定向优化），实现了这类问题的最佳已知的收敛速度，~ $O(μ^{k}),0<μ<1$，给定强凸，目标函数的全局Lipschitz连续梯度，其中~ $k$是迭代次数。此外，ADD-OPT支持更广泛和更现实的步长范围与现有的工作。特别是，我们表明，ADD-OPT收敛任意小（正）步长。仿真结果进一步说明了我们的结果。
2017-08-06 math.OC
Zero-sum Random Games on Directed Graphs
该文研究顶点带已知有界支撑随机收益的有向图双人零和轮流移动博弈，分别证明有界次指数扩张无环图的博弈值指数收敛、无限d叉树的博弈值双指数收敛的结论。
2024-01-29 math.OC
Distributed Subgradient Projection Algorithm over Directed Graphs: Alternate Proof
本文提出了一种基于多智能体网络的有向分布投影次梯度算法（Directed-Distributed Projected Subgradient，D-DPS）来求解一个约束最优化问题，其中智能体的目标是共同最小化局部已知凸函数的和.网络中的每个代理只拥有其本地目标函数，约束到一个众所周知的凸集。我们专注于代理之间的通信时所描述的\emph{directed}网络的情况。D-DPS结合了剩余的一致性，以克服由有向通信网络引起的不对称性。分析表明收敛速度为$O(\frac{\ln k}{\sqrt{k}})$。
2017-06-21 math.OC
Optimal Output Consensus of Heterogeneous Linear Multi-Agent Systems Over Weight-Unbalanced Directed Networks
研究了权重不平衡有向网络上异构线性多智能体系统的分布式最优输出一致性问题。提出了一种新的分布式连续时间状态反馈控制器，使所有智能体的输出收敛到全局费用函数的最优解。在非平衡有向图强连通和局部费用函数强凸且具有全局Lipschitz梯度的标准条件下，建立了闭环多智能体系统的指数收敛性.然后，所提出的状态反馈控制法扩展到基于双稳态的输出反馈设置。最后通过两个算例验证了所提控制方案的有效性。
2021-11-16 math.OC
Ensuring both Provable Convergence and Differential Privacy in Nash Equilibrium Seeking on Directed Graphs
针对有向图上完全分布式纳什均衡寻求中的隐私保护问题，提出一种利用独立噪声且免加密的方法，在有限累积隐私预算下同时实现了精确收敛与严格差分隐私。
2023-04-10 cs.GT cs.SY eess.SY
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University（莱斯大学）
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法，压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销，在每一个通信轮。与现有文献相反，我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外，我们提供了明确的收敛速度分散随机最优化问题的光滑函数是（i）强凸，（ii）凸，或（iii）非凸。最后，我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
Distributed Averaging Problems over Directed Signed Networks
本文的目的是解决分布平均问题的签署网络中存在的一般有向拓扑表示的签署有向图。提出了一类新的改进的Laplacian势函数：导出无符号有向图和镜像（无向）符号图，并在此基础上利用最近邻规则设计了两个分布式平均协议.它表明，与任何设计的协议，签名平均共识（分别，状态稳定性）可以实现当且仅当相关的签名网络的签名有向图是结构平衡（分别，不平衡），无论是否满足重量平衡。此外，改进的Laplacian势函数还可以用于求解有向拓扑的签名网络的定时一致性问题，提出了一种非线性分布式协议，以保证在固定时间内的双方一致性或状态稳定性.另外，通过揭示有向符号网络的收敛行为与改进的Laplacian势函数性质之间的紧密联系，利用李雅普诺夫稳定性分析方法可以实现有向符号网络的收敛性分析。说明性的例子来证明我们的理论结果的有效性有向签署网络。
2020-08-13 math.DS math.OC
Distributed Optimization over Directed Graphs with Row Stochasticity and Constraint Regularity
本文讨论了一个多Agent网络上的最优化问题，其中代价函数是多Agent个体目标之和，约束集是局部约束的交集。大多数现有的方法采用次梯度和共识步骤来解决这个问题，要求与网络相关联的权重矩阵是列随机的，甚至是双随机的，这些条件在有向网络中很难安排。此外，已知的分布式次梯度方法的收敛性分析取决于问题是无约束的还是有约束的，以及局部约束集是相同的还是不相同的和紧凑的。本文的主要目标是：（i）删除公共列随机性要求;（ii）放松紧性假设;（iii）提供一个统一的收敛性分析。具体地说，假设通信图是固定的、强连通的，权矩阵（仅）是行随机的，对于凸的、Lipschitz连续的费用函数，给出了一种分布式投影次梯度法及其变形.基于局部约束集的正则性假设，给出了一个统一的收敛性分析，该分析既适用于无约束问题，也适用于有约束问题，且不需要假设约束集是紧的，也不需要假设约束集相交处有内点.此外，我们还建立了一个上界的绝对客观误差评估在每个代理的可用的本地估计下的非递增步长序列。这个界允许我们分析两种算法的收敛速度。
2018-06-19 cs.DC math.OC
Distributed Gaussian Learning over Time-varying Directed Graphs
Boston University（波士顿大学）；University of Illinois（伊利诺伊大学）
本文提出一种分布式非贝叶斯学习算法，用于高斯噪声下的参数估计，通过显式更新高斯信念参数，证明了收敛率和几乎必然收敛性。
2016-12-07 cs.LG cs.MA cs.SY
Projected Push-Pull For Distributed Constrained Optimization Over Time-Varying Directed Graphs (extended version)
针对时变有向图下的分布式约束优化问题，提出结合投影梯度下降与惰性更新的投影推拉算法，证明其几何收敛性并推导步长界，通过数值实验验证有效性。
2023-10-10 cs.DC cs.MA math.OC
Stochastic Gradient-Push for Strongly Convex Functions on Time-Varying Directed Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究随机梯度-推力法在时间变化有向图上分布式优化的收敛速度，提出无需知道节点数或图序列的分布式实现方法，针对强凸函数和Lipschitz梯度证明了O((ln t)/t)的收敛速度，优于一般凸函数的O((ln t)/√t)速度。
2015-02-16 cs.SY eess.SY math.OC
DC-DistADMM: ADMM Algorithm for Constrained Distributed Optimization over Directed Graphs
本文提出了一种求解具有公共决策变量、局部线性等式和不等式约束以及集合约束的多智能体分布式优化问题的算法，该算法具有收敛速度保证。\textcolor{black}{The algorithm accrues all the benefits of the Alternating Direction Method of Multipliers (ADMM) approach}。它还克服了现有方法的局限性，凸优化问题的线性不等式，等式和集合约束，允许有向通信拓扑。此外，该算法可以分布式综合。所开发的算法具有：（i）当各个函数是凸的但不一定是可微的时，$O(1/k)$的收敛速率，其中$k$是迭代计数器，以及（ii）当目标函数是光滑的并且在最优解处被限制为强凸的时，收敛到最优解的任意小邻域的几何速率。该算法的有效性进行评估，通过比较与国家的最先进的约束优化算法在解决一个约束分布式$\ell_1$正则化逻辑回归问题，和无约束优化算法在解决一个$\ell_1$正则化Huber损失最小化问题。此外，该算法的性能与其他算法在文献中，利用多个通信步骤的比较。
2022-08-24 cs.SY eess.SY math.OC
Directed migration of microscale swimmers by an array of shaped obstacles: modeling and shape optimization
实现宏观定向迁移的微尺度游泳者在流体中是一个重要的一步，利用他们的自主运动。它已被实验证明，定向运动可以诱导，没有任何外部的领域，由某些几何不对称的障碍物，由于其边界和游泳者之间的相互作用。在本文中，我们提出了一个动力学类型的模型来研究游泳和定向迁移的微尺度杆在周期性阵列的非圆形截面的职位。杆的位置和方向都考虑在内，杆捕获和释放后的边界上的建模经验特征的曲率和方向依赖的边界吸收和解吸。定向棒迁移的强度，我们称之为归一化净通量，然后定义和计算给定的几何形状的后阵列。我们数值研究后间距的磁通量的影响，我们还应用形状优化，以找到更好的后形状，可以诱导更强的磁通量。受两个候选帖子的初步数值结果的启发，我们对简化模型进行了近似分析，以显示一个好帖子应该具有的关键几何特征。在此基础上，提出了三个新的候选形状，产生大通量。这种方法提供了一个有效的工具和指导实验设计新的设备，诱导强烈的定向迁移的微尺度游泳者。
2017-09-13 cond-mat.soft math.OC
Decentralized Directed Collaboration for Personalized Federated Learning
Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
针对去中心化个性化联邦学习中的异构性问题，提出定向协作框架DFedPGP，结合随机梯度推送与部分模型个性化，实现更优收敛和SOTA精度。
2024-05-28 cs.DC cs.LG math.OC
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
Fast Distributed Optimization over Directed Graphs under Malicious Attacks using Trust
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
针对有向通信图下含恶意智能体的多智能体系统分布式优化问题，提出结合随机信任值、梯度跟踪与递增约束集的RP3算法，证明其收敛性并通过实验验证其抗攻击效果与几何收敛性能。
2024-07-09 cs.MA cs.RO cs.SY
Optimization of convergence rate via algebraic connectivity
网络的代数连通性刻画了一致性过程的指数收敛速度的下界。本文研究了通过向网络中添加链接来加速共识过程收敛的问题。基于代数连通度的扰动公式，提出了无向网络的一种贪婪策略，并通过子模块度的近似给出了其性能的下界。我们进一步将我们的研究扩展到有向网络，其中非厄米拉普拉斯矩阵的所有特征值中的第二小实部，即，广义代数连通性表示期望的收敛速度。提出了一种度量添加子图对广义代数连通度影响的方法，并应用一种改进的贪婪策略对广义代数连通度进行优化。经验网络中的数值结果表明，我们提出的方法优于其他一些基于传统拓扑度量的方法。我们的研究也验证了无向网络优化与有向网络优化之间的巨大差异。
2019-12-13 cs.SY eess.SY math.OC
Formation control from the generic combinatorial viewpoint: edge dynamics and directed sensing
School of Mathematics and Statistics, University of St Andrews（圣安德鲁斯大学数学与统计学院）；Stephen B. Klein Faculty of Aerospace Engineering, Technion-Israel Institute of Technology（以色列理工学院斯蒂芬·B·克莱恩航空航天工程学院）；Numerical Analysis and Applied Mathematics (NUMA) unit at KU Leuven（荷语天主教鲁汶大学数值分析与应用数学（NUMA）单元）；School of Mathematical Sciences, Lancaster University（兰卡斯特大学数学科学学院）
本文提出基于距离的编队控制几何框架，通过边动力学与谱条件判定局部指数稳定性，并给出有向感知下的充要条件及半定规划综合方法。
2026-09-15 math.CO math.MG math.OC
Delay-Tolerant Augmented-Consensus-based Distributed Directed Optimization
针对多智能体网络通信时延影响分布式优化收敛的问题，提出一种可处理强连通有向网络下有界固定异构时延的增广共识优化算法，通过理论证明收敛性并经仿真验证其性能。
2025-10-03 cs.MA cs.SI cs.SY
On Increasing Self-Confidence in Non-Bayesian Social Learning over Time-Varying Directed Graphs
我们研究了对数线性非贝叶斯社会学习更新规则的收敛性，一组代理，共同寻求确定一个参数，最好地描述了一个联合序列的观察。与最近的文献相反，我们专注于代理分配衰减的权重给它的邻居的情况下，网络是不是在每个时刻连接，但在一些有限的时间间隔。我们提供了一个充要条件的速度，在该代理减少的权重，仍然保证社会学习。
2018-12-24 cs.MA cs.SI math.OC
Finite-time Consensus for Multi-agent Networks with Unknown Inherent Nonlinear Dynamics
Air Force Research Laboratory（空军研究实验室）；University of California, Riverside（加州大学河滨分校）
针对具有未知固有非线性动力学的多智能体网络，提出一种基于广义比较引理的稳定性工具，证明在有向切换图具有有向生成树时，所提非线性一致性算法能保证有限时间收敛。
2013-02-19 cs.SY eess.SY math.OC
S-ADDOPT: Decentralized stochastic first-order optimization over directed graphs
Tufts University（塔夫茨大学）；Carnegie Mellon University（卡内基梅隆大学）
在这份报告中，我们研究分散的随机优化，以最小化的光滑和强凸的成本函数的总和时，功能分布在一个有向网络的节点。在现有的工作相比，我们使用梯度跟踪，以改善所产生的算法的某些方面。特别是，我们提出了~ \textbf{\texttt{S-ADDOPT}}算法，假设一个随机的一阶预言在每个节点，并表明，对于一个恒定的步长~ $α$，每个节点收敛线性误差球内的最优解，其大小由~ $α$控制。对于衰减步长的$\mathcal{O}(1/k)$，我们证明了~ \textbf{\texttt{S-ADDOPT}}在~ $\mathcal{O}(1/k)$处次线性地达到精确解，并且它的收敛是渐近网络无关的.因此，~ \textbf{\texttt{S-ADDOPT}}的渐近行为是可比的集中式随机梯度下降。强凸和非凸问题的数值实验表明了算法的收敛性和性能比较。
2020-07-22 cs.LG cs.SY eess.SY
Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Department of Mathematics, Michigan State University（密歇根州立大学数学系）
针对一般有向多智能体网络，提出结合梯度跟踪与通信压缩的 CPP 及异步广播版 B-CPP，二者均对强凸光滑目标实现线性收敛，且 B-CPP 进一步降低通信成本。
2024-04-10 cs.DC cs.LG cs.MA
