Projected Push-Pull For Distributed Constrained Optimization Over Time-Varying Directed Graphs (extended version)
针对时变有向图下的分布式约束优化问题，提出结合投影梯度下降与惰性更新的投影推拉算法，证明其几何收敛性并推导步长界，通过数值实验验证有效性。
2023-10-10 cs.DC cs.MA math.OC
Stochastic Gradient-Push for Strongly Convex Functions on Time-Varying Directed Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究随机梯度-推力法在时间变化有向图上分布式优化的收敛速度，提出无需知道节点数或图序列的分布式实现方法，针对强凸函数和Lipschitz梯度证明了O((ln t)/t)的收敛速度，优于一般凸函数的O((ln t)/√t)速度。
2015-02-16 cs.SY eess.SY math.OC
Accelerated $AB$/Push-Pull Methods for Distributed Optimization over Time-Varying Directed Networks
本文针对时变有向网络上的分布式优化问题，提出加速的$AB$/Push-Pull算法，融合重球和Nesterov动量，证明线性收敛并给出参数界限，数值实验验证了加速效果。
2023-06-22 math.OC
Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs
School of Cyber Science and Technology Sun Yat-sen University（南方科技大学）
本文提出了一种统一的稳定性框架，用于分析基于推-和的去中心化优化算法在定向图上的稳定性与泛化性能，揭示了问题条件与拓扑结构之间的耦合关系。
2026-02-24 cs.LG math.OC stat.ML
ExtraPush for convex smooth decentralized optimization over directed networks
Jiangxi Normal University（江西师范大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文将Extra和subgradient-push算法推广到有向网络上具有凸可微目标函数的一致性优化的新算法ExtraPush。当网络的平稳分布可以提前计算时，我们提出了一种简化的算法，称为归一化ExtraPush。就像Extra一样，ExtraPush和Normalized ExtraPush都可以使用固定的步长进行迭代。但与Extra不同的是，它们可以采用列随机混合矩阵，这不一定是双重随机的。因此，它们消除了Extra的无向网络限制。次梯度推进虽然也适用于有向网络，但在同一类型的问题上速度较慢，因为它必须使用一系列递减的步长。我们提出了初步的分析，在有界序列假设下的ExtraPush。对于规范化的ExtraPush，我们表明，它自然产生一个有界的，线性收敛序列的目标函数是强凸的。在我们的数值实验中，ExtraPush和Normalized ExtraPush表现相似。它们明显快于subgradient-push，即使我们手动优化了后者的步长。
2019-01-30 cs.DC cs.RO math.OC
Push-sum on random graphs
在本文中，我们研究的问题，实现平均共识的随机时变序列的有向图通过扩展类的所谓的推和算法，这样的随机场景。在遍历性概念（我们称之为有向无限流性质）成立且主体的辅助状态一致有界远离零的情况下，我们证明了这类算法的演化几乎必然收敛于初态的平均值.此外，对于使用时变B-不可约概率矩阵生成的随机图序列，我们建立了所提出的推和算法的收敛速度。
2017-08-04 math.OC
An Analysis Tool for Push-Sum Based Distributed Optimization
本文为Push-Sum算法建立显式绝对概率序列并构造二次Lyapunov函数，据此改进subgradient-push和stochastic gradient-push的收敛速率分析，证明其达到与集中式方法相同的最优速率，并提出一种异构次梯度算法统一两种Push-Sum变体。
2023-04-19 math.OC
(Corrected Version) Push-LSVRG-UP: Distributed Stochastic Optimization over Unbalanced Directed Networks with Uncoordinated Triggered Probabilities
针对非平衡有向网络下多智能体系统的大规模凸有限和优化问题，提出结合push-sum技术与非协调触发概率分布式LSVRG的Push-LSVRG-UP算法，具备加速线性收敛、低存储与低迭代复杂度优势，经真实数据集实验验证了实用性与性能提升。
2025-05-17 cs.SY eess.SY math.OC
Fully Asynchronous Push-Sum With Growing Intercommunication Intervals
我们提出了一个算法的平均共识有向图，这是完全异步和鲁棒的不可靠的通信。我们表明它的平均收敛，同时允许缓慢增长，但潜在的无限的通信故障。
2018-02-23 math.OC
Randomized Block Proximal Methods for Distributed Stochastic Big-Data Optimization
本文提出了一类新的求解有向图上随机大数据凸优化问题的分布式算法。在所述的设置中，决策变量的维数可以非常高，并且目标函数可以是非光滑的。一般算法包括两个主要步骤：共识步骤和对优化变量的单个块的更新，然后将其广播给邻居。三个特殊的情况下，所提出的方法，涉及特定的问题结构，然后提出。在一般情况下，证明了随机行随机阵上动态一致性算法的收敛性。然后，证明了该算法在期望值内收敛到最优费用。当使用递减（局部）步长时实现精确收敛，而当使用恒定步长时实现近似收敛。的收敛速度被证明是次线性的，并提供了一个明确的速度的情况下，恒定的步长。最后，该算法进行了测试的分布式分类问题，首先在合成数据，然后，在一个真正的，高维的，文本数据集。
2020-10-04 math.OC
Distributed optimization over time-varying directed graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对时变有向通信图上的分布式优化问题，提出基于广播的次梯度推送算法，在次梯度有界假设下实现所有节点收敛到最优值，收敛率为O(ln(t)/√t)。
2014-03-16 cs.DC cs.SY eess.SY
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
2017-03-26 cs.DC math.OC
Understanding the Influence of Digraphs on Decentralized Optimization: Effective Metrics, Lower Bound, and Optimal Algorithm
本文研究有向网络对去中心化随机非凸优化的影响，提出“平衡偏度”新指标与谱隙共同刻画拓扑影响，首次建立收敛速率下界，并设计近最优的 MG-Push-Diging 算法。
2024-04-27 math.OC
A Push-Pull Gradient Method for Distributed Optimization in Networks
在本文中，我们专注于解决一个分布式凸优化问题的网络中，每个代理有自己的凸成本函数，目标是最小化的总代理的费用函数，同时遵守网络的连通性结构。为了最小化的费用函数的总和，我们考虑一个新的分布式的基于梯度的方法，每个节点保持两个估计，即最优决策变量的估计和代理的目标函数的平均梯度的估计。从智能体的角度来看，关于决策变量的信息被推送到邻居，而关于梯度的信息则从邻居中提取（因此命名为“推拉梯度法“）。该方法将算法与不同类型的分布式架构相结合，包括分散式（对等），集中式（主从）和半集中式（领导者-追随者）架构。我们证明了算法在有向静态网络上对强凸光滑目标函数线性收敛。在我们的数值测试中，该算法甚至对时变有向网络也表现良好。
2019-08-01 cs.DC cs.NI math.OC
A Variance-Reduced Aggregation Based Gradient Tracking method for Distributed Optimization over Directed Networks
针对有向网络中噪声信息共享导致的通信不完美问题，提出Push-Pull方法的VRA变体，通过新聚合机制放宽条件，在凸和强凸条件下分别证明几乎必然收敛和O(k^{-(1-ε)})均方收敛速率。
2023-07-27 math.OC
Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Department of Mathematics, Michigan State University（密歇根州立大学数学系）
针对一般有向多智能体网络，提出结合梯度跟踪与通信压缩的 CPP 及异步广播版 B-CPP，二者均对强凸光滑目标实现线性收敛，且 B-CPP 进一步降低通信成本。
2024-04-10 cs.DC cs.LG cs.MA
Heterogeneous Distributed Subgradient
针对多智能体分布式凸优化问题，提出了一种基于异构推和的次梯度法，每个智能体可以在每次推次梯度和推次梯度之间任意切换.结果表明，在时变有向图上，异构算法以最优速度收敛到最优点。
2023-03-29 math.OC
Subgradient-Push Is of the Optimal Convergence Rate
本文证明在不平衡有向图分布式凸优化中，subgradient-push 算法的收敛速率实际为 $O(1/\sqrt{t})$，达到与单智能体次梯度相同的最优速率，并提出具有独立价值的分析工具。
2023-08-02 math.OC
The Barzilai-Borwein Method for Distributed Optimization over Unbalanced Directed Networks
针对多智能体分布式优化，提出基于Barzilai-Borwein方法和多共识内循环的ADBB算法，仅用行随机权重矩阵即可在不平衡有向网络上线性收敛到全局最优，并用真实数据验证。
2025-05-23 cs.SY eess.SY math.OC
FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）；Detection Institute for Advanced Technology Longhua-Shenzhen（深圳龙华先进技术检测研究院）
本文提出一种首次-order分布式梯度算法，结合Push-Pull通信策略和价值函数惩罚法，解决时间变化有向图上的分布式双层优化问题，并建立非渐近收敛性。
2026-05-07 math.OC
A Differential Private Method for Distributed Optimization in Directed Networks via State Decomposition
在本文中，我们研究了基于共识的分布式优化问题的代理网络，抽象为一个有向图，旨在最大限度地减少所有代理的代价函数的总和合作。在已有的有向图的分布式优化方法（Push-Pull/AB）中，所有的智能体都要与邻居交换状态，以获得具有恒定步长的最优解，这可能会导致敏感和隐私信息的泄露。对于隐私保护，我们提出了一种新的基于状态分解的梯度跟踪方法（SD-Push-Pull），用于在有向网络上进行分布式优化，该方法保留了差分隐私，这是一个强有力的概念，可以保护代理的隐私免受具有任意辅助信息的对手的攻击。该方法的主要思想是将每个智能体的梯度状态分解为两个子状态。随着时间的推移，只有一个子状态由代理与其邻居交换，另一个子状态保持私有。也就是说，只有一个子状态是可见的对手，保护隐私被泄露。证明了在一定的分解原则下，该算法的次优性有界，同时实现了差分隐私。此外，差分隐私和优化精度之间的权衡也被表征。最后，数值仿真验证了该方法的有效性。
2022-08-29 cs.SY eess.SY math.OC
A Linearly Convergent Robust Compressed Push-Pull Method for Decentralized Optimization
在现代多智能体网络的范例中，通信已经成为分散优化的主要瓶颈之一，其中大量的智能体参与最小化局部费用函数的平均值。在本文中，我们提出了一个强大的压缩推挽算法（RCPP），结合梯度跟踪和通信压缩。特别地，RCPP与更一般的压缩运算符类兼容，这些压缩运算符允许相对和绝对压缩错误。我们证明了RCPP在一般有向网络上对光滑的满足Polyak-Jasojasiewicz条件的目标函数具有线性收敛速率。数值算例验证了理论结果，并证明了所提出的算法的效率，灵活性和鲁棒性。
2023-03-13 math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标最小化，且受局部约束和全局耦合等式约束.在有向图上，提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下，首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后，通过对经济调度问题的数值实验，验证了算法的有效性。
2018-05-21 math.OC
Decentralized Directed Collaboration for Personalized Federated Learning
Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
针对去中心化个性化联邦学习中的异构性问题，提出定向协作框架DFedPGP，结合随机梯度推送与部分模型个性化，实现更优收敛和SOTA精度。
2024-05-28 cs.DC cs.LG math.OC
A linear algorithm for optimization over directed graphs with geometric convergence
在这封信中，我们研究分布式优化，代理网络，抽象为一个有向图，合作，以最小化本地已知的平均凸函数。现有的大多数有向图的方法是基于推和（类型）的技术，它使用一个独立的算法来渐近学习的基础权重矩阵的左或右特征向量。这种策略导致算法中的额外计算、通信和非线性。相反，我们提出了一个线性算法的基础上不精确的梯度法和梯度估计技术。在每个局部函数是强凸的Lipschitz连续梯度的假设下，我们证明了该算法以足够小的步长几何收敛到全局极小值。我们提出了模拟来说明的理论研究结果。
2018-05-05 math.OC
Bilevel Distributed Optimization in Directed Networks
在无线传感器网络和大规模数据处理的新兴应用的动机，我们认为分布式优化有向网络中的代理本地通信他们的信息，他们的邻居合作最小化的全球费用函数。本文提出了一个新的统一的分布式约束最优化模型，它被描述为一个双层最优化问题。该模型涵盖了有向网络上广泛的现有问题，包括：（i）线性约束的分布式优化;（ii）有向网络上的分布式无约束非强凸优化。采用一种新的正则化松弛方法和梯度跟踪计划，我们开发了一个迭代正则化推挽梯度算法。我们建立了共识，并得出新的收敛速度报表的次优和不可行的生成的迭代求解双层模型。所提出的算法和在这项工作中获得的复杂性分析似乎是新的解决双层模型，也为两个子类的问题。所提出的算法的数值性能。
2021-03-19 math.OC
Decentralized Federated Learning with Gradient Tracking over Time-Varying Directed Networks
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）；Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
针对时变有向图去中心化学习，提出结合梯度跟踪与动量的DSGTm-TV算法，支持不协调超参数下线性收敛，并在图像和NLP任务中验证有效性。
2024-09-25 cs.LG math.OC
Fully Asynchronous Distributed Optimization with Linear Convergence in Directed Networks
我们考虑的分布式优化问题，其目标是最小化的局部目标函数的总和在一个有向网络。虽然它已经被广泛的研究，最近，大多数现有的算法被设计为同步或随机激活的实现，这可能会产生死锁在实践中。与此形成鲜明对比的是，我们提出了一个\emph{fully}异步推挽梯度算法（APPG），每个节点更新，而无需等待任何其他节点使用（可能陈旧）的信息，从邻居。因此，它是无死锁的，并且对任何有界的通信延迟都是鲁棒的。此外，我们构造了两个新的增广网络，从最坏情况的角度对其性能进行了理论评估，并证明了如果局部函数具有Lipschitz连续梯度，并且它们的和满足Polyak-Jasojasiewicz条件，（不需要凸性），APPG的每个节点以$\mathcal{O}(λ^k)$的线性速率收敛到相同的最优解，其中，无论哪个节点更新，$λ\in(0,1)$和虚拟计数器$k$都增加1。这在很大程度上说明了它的线性加速效率，并显示了它的优势，同步版本。最后，APPG的性能进行了数值验证，通过逻辑回归问题上的\emph{Covertype}数据集。
2021-01-04 cs.DC math.OC
Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions
我们考虑的标准模型的分布式优化的总和的功能$F(\bz) = \sum_{i=1}^n f_i(\bz)$，其中节点$i$在网络中持有的功能$f_i(\bz)$。我们允许一个苛刻的网络模型，其特征在于异步更新，消息延迟，不可预测的消息丢失，节点之间的直接通信。在这种情况下，我们分析了分布式优化的顺应推方法的修改，假设\begin{enumerate*}[label=（\roman*）] \item节点$i$能够生成其函数$f_i(\bz)$在每一步被零均值有界支持加性噪声破坏的梯度，\item $F(\bz)$是强凸的，并且\item每个$f_i(\bz)$具有Lipschitz梯度。我们表明，我们提出的方法渐近执行以及集中梯度下降的最佳界限，在每个步骤中的所有功能$f_1(\bz), \ldots, f_n(\bz)$的噪声梯度的总和的方向上采取步骤。
2019-12-29 math.OC
A unified framework for distributed optimization algorithms over time-varying directed graphs
在本文中，我们提出了一个框架下，分散的优化算法建议在\cite{JKJJ,MA, NO,NO2}可以被视为在一个统一的方式。更准确地说，我们表明，分布式次梯度下降算法\cite{JKJJ, NO}，次梯度推算法\cite{NO2}，和分布式算法与行随机阵\cite{MA}可以通过适当的选择一致性矩阵，步长和次梯度从分散次梯度下降提出的\cite{NO}。作为这样的统一理解的结果，我们提供了一个收敛性证明，涵盖了算法在\cite{JKJJ,MA, NO,NO2}下一个新的代数条件，严格弱于传统的图论条件在\cite{NO}。这种统一也使我们能够得到一个新的分布式优化方案。
2021-08-04 math.OC
Variance reduced stochastic optimization over directed graphs with row and column stochastic weights
本文提出了一种一阶分布式随机最优化算法--AB-SAGA，用于极小化分布在任意有向图上的光滑强凸函数的有限和。AB-SAGA使用节点级方差减少来消除由随机梯度引起的不确定性，并随后采用网络级梯度跟踪来解决节点之间的数据不相似性。与现有的方法，使用非线性推和校正，以消除由定向通信所造成的不平衡，在AB-SAGA的共识更新是线性的，并使用行和列的随机权重。我们表明，对于一个恒定的步长，AB-SAGA线性收敛到全局最优。我们量化的基本图形使用一个明确的方向性常数和特征的制度，其中AB-SAGA实现了线性加速超过其集中的对应的有向性。数值实验表明，AB-SAGA的收敛性强凸和非凸问题。
2022-02-07 cs.MA math.OC stat.ML
A Robust Compressed Push-Pull Method for Decentralized Nonconvex Optimization
针对去中心化非凸优化中的通信瓶颈，本文提出融合梯度跟踪与通信压缩的RCPP算法，可同时容纳相对与绝对压缩误差，并在一般有向网络上证明次线性及PL条件下的线性收敛。
2024-08-03 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起，分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题，在图上的代理的目标是异步优化的集体（添加剂）的目标函数组成的代理的个人（可能是非凸的）本地目标函数。每个代理只能访问其自身函数（目标函数之和的一个分量）的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合，并获得了一般非凸函数的标准次线性收敛速度，与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Push-sum Distributed Dual Averaging for Convex Optimization in Multi-agent Systems with Communication Delays
研究了多智能体系统上的分布式凸优化问题，假设每个智能体都有自己的费用函数，并在一系列时变有向图上与邻居进行通信.然而，由于某些原因，Agent在接收信息时存在通信延迟，在这种情况下，我们将寻求Agent的损失函数之和的最优值。我们希望处理这个问题的推和分布式双平均（PS-DDA）算法。证明了该算法在适当的步长下收敛，误差以$\mathcal{O}\left(T^{-0.5}\right)$的速率衰减，其中$T$为迭代跨度。本文给出的主要结果还说明了算法的收敛性与其在一个边上的通信时延的最大值有关。最后，我们将理论结果应用于数值模拟，以显示PS-DDA算法的性能。
2022-02-02 cs.MA math.OC
Push-Pull Based Distributed Primal-Dual Algorithm for Coupled Constrained Convex Optimization in Multi-Agent Networks
本文研究多智能体网络中的分布式耦合约束凸优化问题，基于推拉方法提出一种保护隐私的分布式原始-对偶算法，并证明其在Slater条件下收敛于Lagrange函数鞍点。
2023-10-24 math.OC
A Privacy-Preserving Finite-Time Push-Sum based Gradient Method for Distributed Optimization over Digraphs
本文针对有向图分布式优化中的隐私泄露问题，提出无需全局信息的PrFTPS算法及PrFTPS-GD梯度下降方法，在保护智能体隐私的同时实现线性收敛速率。
2023-07-05 cs.SY eess.SY math.OC
Optimizing Stochastic Gradient Push under Broadcast Communications
Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了在无线网络中通过广播通信优化去中心化联邦学习的收敛时间，重点在于混合矩阵设计。提出了一种允许非对称混合矩阵的随机梯度推演方法，通过分析收敛率依赖关系，开发了具有性能保证的高效设计算法。
2026-04-16 cs.DC cs.LG math.OC
Distributed Proximal Algorithms for Multi-Agent Optimization with Coupled Inequality Constraints
本文研究了有向时变网络上的分布式最优化问题，其中全局目标函数由一组局部可达的凸目标函数组成，它们受可行集约束和耦合的不等式约束的约束，每个智能体只能部分地获取这些约束的信息.针对这一问题，在著名的集中式邻近点法的基础上，提出了一种基于邻近点的分布式算法--分布式邻近原对偶算法（DPPD）。结果表明，该算法能以一般步长得到全局最优解，该步长是递减的且不可和的，但不一定是平方和的，鞍点运行估计误差与$O(1/\sqrt{k})$成比例地消失，其中$k>0$是迭代次数.最后，通过仿真实例验证了该算法的有效性.
2020-07-11 math.OC
Rate of Convergence for Distributed Optimization with Uncertain Communications
我们考虑分布式最优化问题的凸函数的总和，其中底层的通信网络连接代理在每个时间是随机抽取的有向图的集合。在早期工作[15]的基础上，其中subgradient-push算法的修改版本被证明几乎必然收敛于随机有向图序列上的优化器，我们找到了我们提出的算法的收敛速度的$\sim O(\frac{1}{\sqrt{t}})$阶的上界，建立了这种随机设置中的第一个收敛界。
2020-09-15 math.DS math.OC
Distributed optimization on directed graphs based on inexact ADMM with partial participation
针对有向图网络中的分布式成本函数求和最小化问题，提出基于非精确 ADMM 与部分参与机制的分布式优化算法，在标准假设下证明了线性收敛性，其收敛速率优于 Push-DIGing 且显著节省计算与通信开销。
2023-04-01 math.OC
Push-Pull Gradient Methods for Distributed Optimization in Networks
在本文中，我们专注于解决一个分布式凸优化问题的网络中，每个代理有自己的凸成本函数，目标是最小化的总代理的费用函数，同时遵守网络的连通性结构。为了最小化的费用函数的总和，我们考虑新的分布式基于梯度的方法，每个节点保持两个估计，即，最优决策变量的估计和代理的目标函数的平均梯度的估计。从智能体的角度来看，关于梯度的信息被推到邻居，而关于决策变量的信息则从邻居中提取，因此命名为“推拉梯度法“。该方法利用两种不同的图形代理之间的信息交换，因此，统一的算法与不同类型的分布式架构，包括分散式（对等），集中式（主从），和半集中式（领导者-追随者）架构。我们表明，所提出的算法和它们的许多变种在同步和异步随机八卦设置强凸和光滑的目标函数在网络上（可能与单向数据链路）线性收敛。特别地，在随机八卦设置下，“推拉”是有向图上的分布式优化的第一类算法。此外，我们数值评估我们提出的算法在这两种情况下，并表明，他们优于其他现有的线性收敛计划，特别是病态的问题和网络，是不平衡的。
2020-02-06 cs.DC cs.MA cs.SI
Distributed Regularized Dual Gradient Algorithm for Constrained Convex Optimization over Time-Varying Directed Graphs
研究了多智能体协作时变网络上的分布式最优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标在局部约束和全局耦合约束下最小化.基于推和协议和对偶分解，设计了一种分布式正则化对偶梯度算法，该算法在时变有向图中实现，只需要通信矩阵的列随机性.通过在相应的拉格朗日函数上增加一个二次正则项，我们首先得到了拉格朗日乘子的上界，与大多数基于原-对偶的方法相比，该方法不需要构造包含对偶最优集的紧集.对强凸目标函数，本文方法的收敛速度达到了$\mathcal{O}(\ln T/T)$阶，其中$T$为迭代次数.此外，还给出了约束违反的显式界。最后，通过对网络效用最大化问题的数值计算，验证了算法的有效性。
2018-05-21 math.OC
Distributed Online Optimization with Coupled Inequality Constraints over Unbalanced Directed Networks
本文提出DUST算法，解决非平衡有向网络上带耦合约束的分布式在线凸优化，实现次线性动态遗憾和约束违规，并在电动汽车充电仿真中验证优越性。
2023-09-04 math.OC
Asynchronous Push-sum Dual Gradient Algorithm in Distributed Model Predictive Control
针对有向网络上带全局约束的分布式系统DMPC问题，提出异步push-sum对偶梯度算法，证明了R-线性收敛并保证闭环系统稳定性。
2025-11-05 cs.SY eess.SY math.OC
Achieving Geometric Convergence for Distributed Optimization over Time-Varying Graphs
本文研究时变图上的分布式优化问题。对于无向图的情况下，我们介绍了一种分布式算法，称为DIGing，基于分布式不精确梯度法和梯度跟踪技术的组合。DIGing算法使用双随机混合矩阵，并采用固定的步长，然而，驱动所有的代理的迭代到一个全球性的和一致的最小值。当图是有向的，在这种情况下，双随机混合矩阵的实现是不现实的，我们构造了一个算法，将推和协议的DIGing结构，从而获得推-DIGing算法。Push-Diging使用列随机阵和固定步长，但它仍然收敛到一个全局和一致的最小值。在强凸性假设下，只要步长不超过某个上界，我们证明了算法以R-线性（几何）速度收敛。我们建立明确的估计的收敛速度。当图是无向的，它表明，DIGing规模多项式的代理人的数量。我们还提供了一些数值实验来证明所提出的算法的有效性，并验证我们的理论研究结果。
2017-03-20 math.OC
Fast Distributed Optimization over Directed Graphs under Malicious Attacks using Trust
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
针对有向通信图下含恶意智能体的多智能体系统分布式优化问题，提出结合随机信任值、梯度跟踪与递增约束集的RP3算法，证明其收敛性并通过实验验证其抗攻击效果与几何收敛性能。
2024-07-09 cs.MA cs.RO cs.SY
Dynamic Average Consensus under Limited Control Authority and Privacy Requirements
针对强连通、权值平衡的有向图网络，提出了一种新的连续时间动态平均一致性算法.建议的分布式算法允许代理跟踪他们的动态输入的平均值与一些稳态误差的大小可以使用一个设计参数进行控制。对于特殊类别的输入信号，这种稳态误差消失。我们分析了该算法的渐近正确性下随时间变化的相互作用的拓扑结构和特征的离散时间实现的步长的要求。我们表明，我们的算法自然地保留每个代理的本地输入的隐私。在此分析的基础上，我们合成了一个扩展的算法，允许个人代理控制自己的收敛速率对协议和处理饱和界限的驾驶命令。最后，我们表明，所提出的扩展还保留了隐私的瞬态响应的协议状态和最终的协议值从内部和外部的对手。数值例子说明了结果。
2014-01-24 math.OC
FROST -- Fast row-stochastic optimization with uncoordinated step-sizes
本文讨论了有向图上不能构造双随机权值的分布式优化问题。大多数现有的算法克服了这个问题，通过应用推和共识，它利用列随机权重。列随机权重的公式化要求每个代理知道（至少）其出度，这在例如，基于广播的通信协议。相比之下，我们描述的FROST（快速行随机优化与不协调的STEP大小），适用于有向图的优化算法，不需要出度的知识，其实现是直接的，因为每个代理本地分配权重传入的信息，并在本地选择一个合适的步长。我们证明了，FROST线性收敛到光滑和强凸函数的最优解，给定的最大步长是正的，并充分小。
2018-11-27 math.OC
Network Independent Rates in Distributed Learning
我们提出了一个新的信念更新规则的分布式非贝叶斯学习的时变有向图，其中一组代理试图共同确定一个假设，最好地描述了一系列的观察数据。我们表明，建议的更新规则，灵感来自推和算法，是一致的，而且我们提供了一个明确的表征其收敛速度。我们的主要结果表明，经过短暂的时间，所有的代理将集中他们的信念在一个网络独立的速度。网络独立率不适用于其他基于共识的分布式学习算法。
2015-09-29 math.OC
Linear Convergence Rate Analysis of a Class of Exact First-Order Distributed Methods for Weight-Balanced Time-Varying Networks and Uncoordinated Step Sizes
本文分析一类精确分布式一阶方法在时变权重平衡网络与非协调步长下的R-线性收敛性，证明统一Extra、统一DIGing及精确谱梯度方法对此类设置具有高度鲁棒性。
2023-05-12 math.OC
Distributed Nonconvex Constrained Optimization over Time-Varying Digraphs
本文考虑网络上的非凸分布约束优化问题，模型为有向（可能是时变）图。我们介绍了第一个算法框架的总和最小化的光滑非凸（不可分）函数-代理的总和效用-加上一个差分凸（DC）函数（与非光滑凸部分）。这种通用公式出现在许多应用中，从统计机器学习到工程。所提出的分布式方法结合了连续凸逼近技术与明智设计的扰动推和共识机制，旨在跟踪局部的梯度（平滑部分）和效用。次线性收敛速度证明时，一个固定的步长（可能不同的代理），而渐近收敛到固定的解决方案证明使用递减的步长。数值结果表明，我们的算法与目前的计划相比，在凸和非凸问题。
2018-09-04 cs.DC cs.MA math.OC
Distributed Online Private Learning of Convex Nondecomposable Objectives
College of Computer Science, Chongqing University（重庆大学计算机学院）；College of Electronic and Information Engineering, Southwest University（西南大学电子与信息工程学院）
针对时变网络上的分布式约束在线学习问题，提出DPSDA框架及两种算法，利用拉普拉斯机制和随机对偶平均实现差分隐私，达到$O(\sqrt{T})$遗憾界。
2023-08-03 cs.CR cs.LG math.OC
Distributed Learning over Arbitrary Topology: Linear Speed-Up with Polynomial Transient Time
School of Data Science (SDS) The Chinese University of Hong Kong, Shenzhen（数据科学学院（SDS）香港中文大学（深圳））
针对任意网络拓扑下的异构分布式学习，本文提出基于两棵生成树分发参数与随机梯度的 STPP 算法，证明其线性加速及多项式瞬态复杂度，并在稀疏与稠密网络中展现优势。
2025-07-27 cs.LG math.OC
Distributed Asynchronous Primal-Dual Optimization for Supply-Chain Networks
针对不可靠通信和无界延迟下的分布式供应链流分配问题，提出全异步原始-对偶算法 DAPD-SCO，证明其 $O(K^{-1/2})$ 鞍点收敛速率，并在仿真中展现更低开销与更强鲁棒性。
2025-05-29 math.OC
