Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑\emph{fully decentralized}多智能体强化学习（MARL）的问题，其中代理位于时变通信网络的节点。具体来说，我们假设代理的奖励函数可能对应于不同的任务，并且仅为相应的代理所知。此外，每个代理根据本地观察到的信息和通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。为此，我们提出了两个分散的行动者-评论家算法与功能近似，这是适用于大规模的MARL问题的状态和代理的数量都是巨大的。在分散结构下，行动者步骤由每个代理单独执行，无需推断其他代理的策略。对于评论步骤，我们提出了通过网络通信的共识更新。我们的算法是完全增量的，可以在线实现。当价值函数在线性函数类内逼近时，给出了算法的收敛性分析。大量的仿真结果与线性和非线性函数逼近，以验证所提出的算法。我们的工作似乎是第一次研究完全分散的MARL算法的网络代理与功能近似，可证明的收敛保证。
2018-02-27 cs.AI cs.LG cs.MA
Optimal Infinite Horizon Decentralized Networked Controllers with Unreliable Communication
University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
本文研究了由远程控制器和线性被控对象组成的分布式网络控制系统，通过不可靠上行信道与远程控制器通信，提出在链路失效概率低于临界阈值时，最优策略由耦合Riccati递推关系决定。
2018-06-18 cs.SY eess.SY math.OC
Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances
Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多智能体强化学习（MARL）一直是机器学习和控制领域的重要研究课题。随着最近（单智能体）深度RL的发展，人们对开发新的MARL算法，特别是那些有理论分析支持的算法重新产生了兴趣。在本文中，我们回顾了最近的一些进展，这一主题的一个子领域：分散MARL与网络代理。具体来说，多个代理在一个共同的环境中执行顺序决策，而无需任何中央控制器的协调。相反，允许代理通过通信网络与其邻居交换信息。这种设置在机器人、无人驾驶车辆、移动传感器网络和智能电网的控制和操作中有广泛的应用。这篇综述是建立在我们在这个方向上的几个研究努力，以及其他研究人员沿着这条线取得的一些进展。我们希望这篇评论能激励更多的研究工作投入到这个令人兴奋但又具有挑战性的领域。
2019-12-09 cs.AI cs.LG cs.MA
Scalable Model-based Policy Optimization for Decentralized Networked Systems
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Xiamen University（厦门大学）；BIGAI（北京通用人工智能研究院）
强化学习算法需要大量的样本;这往往限制了它们在现实世界中的应用，即使是简单的任务。这种挑战在多智能体任务中更为突出，因为操作的每一步都需要通信或转移或资源。本文旨在通过基于模型的学习提高多智能体控制的数据效率。我们考虑网络系统中的代理是合作的，只与他们的邻居进行本地通信，并提出了分散的基于模型的策略优化框架（DMPO）。在我们的方法中，每个代理学习一个动态模型来预测未来的状态，并通过通信广播他们的预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏差，我们限制了模型生成近视滚动的使用，从而减少了模型生成的复合误差。为了保证策略更新的独立性，我们引入了扩展价值函数，并从理论上证明了所得到的策略梯度是真实策略梯度的近似。我们评估我们的算法在智能交通系统，这是连接自主车辆控制任务（流量和CACC）和自适应交通信号控制（ATSC）的几个基准。实验结果表明，我们的方法实现了优越的数据效率和匹配的无模型方法使用真正的模型的性能。
2022-09-01 cs.AI cs.LG cs.MA
Minimum effort decentralized control design for contracting network systems
我们考虑的问题，使一个网络化的系统的合同，通过设计最小努力的本地控制器。我们的方法结合了层次收缩表征和矩阵平衡的方法来稳定梅茨勒矩阵通过最小的对角扰动。我们证明了我们的方法，通过设计局部控制器，使收缩的FitzHugh-Nagumo神经元网络的一般拓扑结构的相互作用。
2022-03-19 math.OC
Two-Facet Scalable Cooperative Optimization of Multi-Agent Systems in The Networked Environment
协同优化通过大规模网络连接的大量代理带来了前所未有的可扩展性挑战。本文研究了在耦合网络诱导约束和局部约束下的耦合目标函数优化问题。现有优化范式的可扩展性受到代理总体规模或网络维度的限制。作为一个根本性的改进，本文首次构建了一个两方面的可扩展分散优化框架。为此，我们首先开发了一个系统的网络降维技术，虚拟集群的代理和降低网络诱导的约束的维数，然后构成一个新的收缩原始多对偶次梯度（SPMDS）算法的基础上降维网络。严格的最优性和收敛性分析所提出的分散优化框架。基于SPMDS的优化框架是免费的代理到代理的通信，不需要额外的聚合器的代理集群。通过对电动汽车充电控制问题和交通拥堵控制问题的仿真，与基准方法进行了比较，验证了所提方法的有效性。
2020-10-10 math.OC
A Parameter-free Decentralized Algorithm for Composite Convex Optimization
针对网络去中心化复合凸优化问题，提出一种基于三算子分裂与BCV度量重构的无参数自适应步长去中心化算法，仅需局部回溯无需全局信息，具备收敛保证且性能优于现有非自适应方法。
2025-08-02 math.OC
S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
School of Mathematics, Hohai University（河海大学数学学院）；School of Mathematics, Nanjing University（南京大学数学学院）；Department of Computational Applied Mathematics and Operations Research, Rice University（理海大学计算应用数学与运筹学系）
提出S$^3$LDBO算法，通过快照机制间歇跳过昂贵导数计算，实现去中心化双层优化的高效单循环求解，并理论证明其复杂度，实验验证计算效率与学习性能的平衡。
2026-05-29 cs.DC cs.LG math.OC
Optimal Decentralized Composite Optimization for Convex Functions
针对含非光滑正则项的凸函数去中心化复合优化缺乏最优算法的问题，本文提出首个同时达到最优计算与通信复杂度的算法，填补了研究空白，且实验验证了其有效性与高效性。
2024-07-13 math.OC
An essentially decentralized interior point method for control
本文针对非线性网络化系统控制中的非凸约束优化问题，提出一种具有超线性收敛保证的基本分散式原-对偶内点法，并在电力系统算例中验证其相比ADMM在计算时间和子问题复杂度上更具优势。
2023-07-04 cs.SY eess.SY math.OC
Recent theoretical advances in decentralized distributed convex optimization
近年来，分散分布凸优化理论取得了重大进展。已经出现了通信轮和oracle调用的下界，以及达到这两个界限的方法。在本文中，我们专注于如何解释这些结果的基础上的非分布式设置的最佳算法。特别是，我们提供了我们最近的结果，这些结果尚未发表，只能在arXiv预印本中找到详细信息。
2021-11-29 math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI（莫斯科信息检索与分析研究所）；Appied AI Institute（应用人工智能研究所）
本文提出一种去中心化POEM算法，通过双点平滑和自适应半径与步长规则，实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Decentralized non-convex optimization via bi-level SQP and ADMM
针对分布式非凸优化，提出双层SQP方法，内层用ADMM求解二次问题，具有局部收敛保证，仅需解二次规划，在最优潮流问题上表现优异。
2025-10-17 cs.SY eess.SY math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
A Convex Information Relaxation for Constrained Decentralized Control Design Problems
我们描述了一个凸规划的方法来计算的下界的最小成本的非经典信息结构的约束分散控制问题。我们考虑的一类问题需要分散输出反馈控制的线性时变系统在一个有限的地平线上，多面体的状态和输入轨迹的约束，和控制器的信息结构的稀疏性约束。由于这种系统的最优控制策略的确定通常在计算上是难以处理的，因此在文献中已经做出了相当大的努力来有效地识别可计算的、尽管是次优的、可行的控制策略。在计算上易于处理的次优界的建设是本说明中开发的技术的主要动机。具体来说，给定一个分散控制问题的非经典信息，我们的特征在于扩展的给定的信息结构，这确保其部分嵌套，同时最大化的最优值的分散控制问题下扩展的信息结构。由此产生的分散控制问题是铸造作为一个无限维凸规划，这是进一步放宽通过部分对偶和限制仿射对偶控制策略。由此产生的问题是一个有限维圆锥规划，其最优值是一个可证明的下界上的最小成本的原始约束分散控制问题。
2019-06-03 math.OC
Decentralized Strongly-Convex Optimization with Affine Constraints: Primal and Dual Approaches
分散式优化是分布式信号处理和传感以及隐私保护和大规模机器学习中使用的常见范例。假设几个计算实体局部地持有目标函数并且通过网络连接。智能体的目标是通过梯度更新和与近邻交换信息来共同最小化局部目标的总和。分散优化理论在文献中已经相当成熟。特别地，它包括下界和最优算法。在本文中，我们假设，随着一个目标，每个节点也持有仿射约束。讨论了仿射约束下分散最优化问题的几种原始和对偶方法。
2023-01-11 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中，如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题，其中复合项的强凸性和强凸性参数（对应于最小变量和最大变量）以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机：确定性（回报梯度）和随机（回报无偏随机梯度）。我们的方法在这两种情况下都有效，并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Adaptive Stepsize Selection in Decentralized Convex Optimization
针对去中心化凸优化中现有方法需预先选取步长、依赖全局信息且调参困难的问题，提出一种仅靠邻居通信、无需全局信息的全自适应步长去中心化算法，收敛速率匹配非自适应参数依赖方法的已知最优水平。
2025-07-31 math.OC
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功，分散优化的性能限制，特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响，还没有得到充分的理解。虽然（Lu和Sa，2021）最近为非凸随机分散优化提供了一个最优速率，其权重矩阵定义在线性图上，但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题，并在一般权矩阵下建立了一个最优收敛速度。此外，我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz（PL）条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反，我们利用环格图承认一般的权重矩阵，同时保持图直径和权重矩阵连通性之间的最佳关系。最后，我们开发了一个新的分散算法，几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
Small-Gain Theorem Based Distributed Prescribed-Time Convex Optimization For Networked Euler-Lagrange Systems
School of Artificial Intelligence and Automation（人工智能与自动化学院）；Key Laboratory of Imaging Processing and Intelligence Control（图像处理与智能控制重点实验室）；Graduate school of advanced science and engineering（先进科学与工程研究生学校）
本文针对网络Euler-Lagrange系统在无向连通图下的分布式规定时间凸优化问题，提出基于辅助系统的合作求解方法，并通过规定时间小增益准则实现系统稳定，设计了新型自适应规定时间局部跟踪控制器。
2024-07-28 cs.RO math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Analysis of Decentralized Stochastic Successive Convex Approximation for composite non-convex problems
本文提出去中心化动量随机SCA（D-MSSCA）算法，其SFO复杂度达𝒪(ε^{-3/2})，与集中式下界持平，解决了去中心化SCA复杂度未知问题。
2024-05-27 eess.SP math.OC
Convexity of Decentralized Controller Synthesis
本文研究去中心化控制问题中控制器集的凸性，证明了控制器集的凸性等价于二次不变性，并进一步探讨了二次不变性对闭环映射集凸性的必要性与充分性。
2014-01-28 cs.SY eess.SY math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集，每个已知的只有一个节点。为了解决这个问题，我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Decentralized convex optimization over time-varying graphs: a survey
本文为时变图上的去中心化凸优化综述，梳理了该领域的最新研究成果与相关技术，同时指出了待解决问题并给出未来研究的假设与方向。
2023-04-17 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起，分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题，在图上的代理的目标是异步优化的集体（添加剂）的目标函数组成的代理的个人（可能是非凸的）本地目标函数。每个代理只能访问其自身函数（目标函数之和的一个分量）的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合，并获得了一般非凸函数的标准次线性收敛速度，与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Co-design of Safe and Efficient Networked Control Systems in Factory Automation with State-dependent Wireless Fading Channels
在工厂自动化中，异构制造过程需要通过无线网络进行协调，以实现安全性和效率。然而，这些无线网络由于机械的物理运动引起的阴影衰落而固有地不可靠。为了保证安全性和效率，本文提出了一种状态相关的信道模型，捕捉物理和通信系统之间的相互作用。通过采用这种信道模型，然后推导出充分条件的最大允许传输间隔，以确保随机安全的非线性物理系统控制在一个依赖于状态的无线衰落信道。在这些充分条件下，将安全与效率协同设计问题转化为一个有约束的合作对策，其均衡点表示在无限时域内最小化折扣联合成本的最优控制和传输功率策略.本文证明了约束对策的平衡点是一个非凸广义几何规划的解，它可以通过求解两个凸规划来逼近。在凸规划中，最优性间隙被量化为近似区域大小的函数，并通过采用分支定界算法渐近收敛到零。以网络化机械臂和叉车为例进行了仿真验证。
2017-08-22 math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Yonsei University（延世大学）
针对无向连通网络上的凸组合最优化问题，提出了一种新的基于CTA（Combine-Then-Adapt）的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长，只需近似求解一系列邻近映射，有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形，我们证明了该算法的O（1/k）收敛速度，如果精确求解邻近映射，则该算法的收敛速度可提高到O（1/k）.此外，利用度量次正则性，我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
A Decentralized Primal-Dual Framework for Non-convex Smooth Consensus Optimization
在这项工作中，我们介绍了ADAPD，$\textbf{A}$ $\textbf{D}$ ecentr $\textbf{A}$ lized $\textbf{P}$ rimal- $\textbf{D}$ ual算法框架解决非凸和光滑的共识最优化问题在网络上的分布式代理。建议的框架依赖于一个新的问题制定，elancialADMM型更新，每个代理首先不精确地解决了一个局部强凸子问题，其选择的任何方法，然后执行邻居通信更新一组对偶变量。我们提出了两种变体，允许一个单一的梯度步骤的原始更新或多个通信的双重更新，利用每次迭代的成本和迭代次数之间的权衡。当多个通信被执行时，ADAPD可以实现理论上最优的通信复杂度结果的非凸和光滑的共识问题。在几个应用程序（包括深度学习应用程序）上进行的数值实验证明了ADAPD优于几种常用的分散式方法。
2023-02-03 math.OC
Convex Analysis in Decentralized Stochastic Control, Strategic Measures and Optimal Solutions
本文研究了分散随机控制中由容许的团队策略导出的策略测度集的性质和动态团队问题中的凸性。为了促进凸分析方法，团队问题的战略措施。研究了弱收敛拓扑下的凸性、紧性和Borel可测性等性质，并给出了这些性质成立的充分条件。这些导致最优政策的存在性和结构性结果。它将被证明，这不是经典的团队的战略措施的集合一般是非凸的，但一个放松的集合的极值点由确定性的团队政策，这导致他们的最优性为一个给定的团队问题下的预期成本标准。外部提供的独立的公共随机性的静态团队或私人随机性的动态团队不提高团队的绩效。研究了一类序贯团队问题的凸性问题，给出了包含非经典信息结构团队的序贯团队问题凸性的充要条件。这种分析的影响，确定概率和信息结构依赖的凸性。
2016-10-31 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$（Nested Exact Alternating Recursion Distributed Gradient Descent）方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下，证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说，我们建立了以下两种情况下的收敛性结果：（1）当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时，它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和，因此，最佳的共识决策应该位于这些私人集的交集。在强凸性假设下，我们提供了次优，不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
Decentralized Feedback Optimization via Sensitivity Decoupling: Stability and Sub-optimality
本文针对网络化系统提出一种基于灵敏度矩阵对角近似的完全分散式反馈优化控制器，以降低通信负担并提升可扩展性，同时证明了闭环稳定性、界定了分散化带来的次优性，并揭示其解对应于非合作博弈的纳什均衡。
2024-03-28 cs.SY eess.SY math.OC
Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization
我们考虑的任务分散最小化的总和顺利强凸函数存储在网络的节点。对于这个问题，最近已经证明了梯度计算的数量和实现$\varepsilon$精度所需的通信轮数的下界。我们提出了两个新的算法，这个分散的最优化问题，并配备他们的复杂性保证。我们表明，我们的第一种方法是最佳的通信轮数和梯度计算的数量。与现有的最优算法不同，我们的算法不依赖于昂贵的双梯度评估。我们的第二个算法是最佳的通信轮数，没有对数因子。我们的方法依赖于查看两个建议的算法作为向前向后算法的加速变体，以解决与分散最优化问题相关的单调包含。我们还通过数值实验验证了我们的方法相对于最先进算法的有效性。
2020-11-13 math.OC stat.ML
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
Yandex Research（Yandex研究院）；MIPT（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；ISP RAS（俄罗斯科学院系统编程研究所）；MSU（莫斯科国立大学）
本研究首次为时变网络上非光滑凸分散优化问题建立了通信与次梯度计算复杂度的下界，并提出了匹配这些下界的最优算法，显著提升了理论性能。
2024-05-28 cs.LG math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法，结合两点梯度估计、动量方差缩减与梯度跟踪，首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度，并具有网络无关性和线性加速特性。
2023-10-29 math.OC
Optimal Complexity in Non-Convex Decentralized Learning over Time-Varying Networks
University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
时变网络的分散优化是机器学习中的一个新兴范例。它在大规模深度训练中节省了显着的通信开销，并且在无线场景中更鲁棒，特别是当节点移动时。联邦学习也可以被视为分散优化，具有在全局平均和局部更新之间交替的时变通信模式。虽然存在许多研究来澄清其理论限制并开发有效的算法，但仍不清楚时变网络上非凸分散随机优化的最佳复杂度是多少。主要困难在于如何衡量两个节点之间通过时变通信传输消息时的有效性，以及如何在网络规模固定时建立下限（这是随机优化的先决条件）。本文解决了这些挑战，并建立了第一个下界的复杂性。我们还开发了一个新的分散算法，几乎达到了下界，显示了下界的紧密性和我们的算法的最优性。
2022-11-01 cs.LG math.OC
Decentralized Proximal Method of Multipliers for Convex Optimization with Coupled Constraints
本文提出去中心化近端乘子法（DPMM），通过结合对偶分解与近端点算法求解多智能体网络中带耦合等式与不等式约束的凸优化问题，支持子问题并行非精确求解，并证明了其收敛速率与有效性。
2023-10-24 math.OC
Decentralized Optimization with Mixed Affine Constraints
MIRIAI, Moscow, Russia（MIRIAI）；Innopolis University, Innopolis, Russia（因诺波利斯大学）；HDI Lab, HSE University, Moscow, Russia（高等经济大学）
本文提出了一种混合仿射约束下的去中心化优化算法，针对强凸情形实现了最优收敛速度，并为其他情况提供了近最优方法。
2026-02-04 math.OC
Zeroth-Order Stochastic Coordinate Methods for Decentralized Non-convex Optimization
本文首先提出了一种\underline{Z} eroth- \underline{O} rder c \underline{M} zoom方法来求解分散网络上的随机最优化问题，该问题只有零阶~（ZO）预言反馈。此外，我们还为ZOOM提供了一个简单的机制“powerball”，并提出了ZOOM-PB来加速ZOOM的收敛。与现有的方法相比，我们验证了所提出的算法，通过两个基准的例子在文献中，即黑盒二进制分类和生成对抗性的例子从黑盒DNN，以比较现有的国家的最先进的集中式和分布式ZO算法。数值结果表明，所提出的算法具有更快的收敛速度。
2022-10-10 math.OC
Tight Linear Convergence Rate of ADMM for Decentralized Optimization
本文考虑利用网络拓扑信息来提高ADMM的收敛速度，使网络节点协同工作以最小化目标。这样的问题可以有效地解决使用ADMM通过分解成更容易的子问题的目标。合理利用网络拓扑结构可以显著提高算法性能。混合ADMM通过考虑节点中心性来探索利用节点信息的方向，但未能利用边缘信息。本文填补了这一空白，将节点和边缘信息，并提供了一个新的收敛速度界的分散ADMM，明确地依赖于网络拓扑结构。这样一个新的界限对于某些类的问题是可以达到的，因此是紧的。显式的依赖性进一步表明可能的方向，以达到最佳性能的边缘权重的最优设计。数值实验表明，简单的启发式方法可以获得更好的性能，并表现出对拓扑变化的鲁棒性。
2019-05-24 cs.DC eess.SP math.OC
Network entropy and data rates required for networked control
我们考虑的问题，使一组状态不变的控制系统的网络。我们假设，子系统，最初解耦，必须通过控制器互连的设计与约束从所有其他子系统的每个子系统获得的数据速率。我们引入了子系统不变性熵的概念，它是一个衡量最小的数据速率到达一个固定的子系统，在此之上的整个系统是能够实现控制目标。此外，我们关联到一个网络的n个子系统的一个封闭的凸集的R^n包含所有可能的组合的数据速率的网络内，保证存在相应的反馈策略，使一个给定的集不变。该凸集的极值点可以被认为是控制问题的帕累托最优数据速率，表达了不同系统所需的数据速率之间的折衷。我们描述了这些量的线性系，并为混沌同步。
2014-09-21 math.OC
A Proximal Linearization-based Decentralized Method for Nonconvex Problems with Nonlinear Constraints
非凸问题的分散优化现在被许多新兴应用所要求（例如，智能电网、智能建筑等）。虽然凸问题已经取得了巨大的进展，非凸情况下，特别是非线性约束的结果，仍然是在很大程度上未探索。这主要是由于非线性和非凸性给收敛条件的建立带来了困难。本文研究了一类结构非凸问题的分散优化问题，其特征在于：（i）全局目标函数非凸（可能非光滑）;（ii）耦合非线性约束和局部有界凸约束w.r.t.探员们针对这类问题，提出了一种基于近似线性化的分散方法（PLDM）。与传统的（增广）拉格朗日为基础的方法，通常需要在每次迭代的精确（局部）最优值不同，该方法利用一个近似的线性化为基础的技术来迭代更新的决策变量，这使得它的计算效率和可行的非线性情况。基于Kurdyka-Lojasiewicz性质，在一定的标准条件下，研究了PLDM算法的全局收敛性和局部收敛速度.最后，通过一个数值例子和多区域暖通空调（HVAC）控制的应用说明了该方法的性能和有效性。
2022-08-27 cs.DC math.OC
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria（法国国家信息与自动化研究所）；University Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
近年来，分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而，在众多见证海量数据变化的机器学习应用程序中，离线设置变得不切实际。在本文中，我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化，两类功能，存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外，平均而言，每个参与者在每个时间步仅执行\emph{single}梯度计算。随后，我们将我们的算法扩展到强盗设置。最后，我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Communication-Free Distributed Coverage for Networked Systems
Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出一种无通信算法，用于由多个具有本地感知能力的移动代理对任意网络进行分布式覆盖。通过游戏理论框架，代理利用感官输入优化位置，以最大化覆盖范围。
2015-05-23 cs.GT cs.MA cs.RO
Decentralized Frank-Wolfe Algorithm for Convex and Non-convex Problems
Arizona State University（亚利桑那州立大学）；Institut Mines-Telecom, Telecom ParisTech（矿业电信联盟，巴黎高等电信学院）；Ecole Polytechnique（巴黎综合理工学院）
本文提出去中心化Frank-Wolfe算法，解决高维约束问题，通过投影自由方法实现高效收敛，适用于凸、强凸和非凸优化问题。
2018-08-28 cs.SY eess.SY math.OC
Regularized Jacobi iteration for decentralized convex optimization with separable constraints
我们考虑多智能体，凸优化程序受到可分离的约束，每个代理的约束函数只涉及其本地的决策向量，而所有代理的决策向量耦合通过一个共同的目标函数。我们专注于一个正则化的所谓的雅可比算法分散计算在这样的问题。我们首先考虑的情况下，目标函数是二次的，并提供了一个不动点理论分析表明，该算法收敛到一个最小的集中式问题。此外，我们量化的潜在好处，这样一个迭代方案进行比较，它对缩放投影梯度算法。然后，我们考虑一般情况下，并表明，所有的极限点的建议迭代的最优解的集中问题。所提出的算法的有效性说明了将其应用到电动汽车的最佳充电的问题，在那里，相对于早期的方法，我们显示收敛到一个最佳的充电方案有限，可能很大，数量的车辆。
2017-04-04 math.OC
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们考虑的任务是最小化的光滑和强凸函数的总和存储在一个分散的方式跨越节点的通信网络的链接被允许随时间变化。我们要解决两个基本问题。首先，我们建立了第一个下界的数量分散的通信轮和本地计算的数量需要找到一个$ε$ -准确的解决方案。其次，我们设计了两个达到这些下界的最优算法：（i）最近提出的算法ADOM的变体（Kovalev等人，2021）增强通过多共识子例程，这是最佳的情况下，当访问双梯度假设，和（ii）一种新的算法，称为ADOM+，这是最佳的情况下，当访问原始梯度假设。我们证实了这些算法的理论效率与现有的最先进的方法进行实验比较。
2021-06-08 cs.LG math.OC
