Minimum effort decentralized control design for contracting network systems
我们考虑的问题，使一个网络化的系统的合同，通过设计最小努力的本地控制器。我们的方法结合了层次收缩表征和矩阵平衡的方法来稳定梅茨勒矩阵通过最小的对角扰动。我们证明了我们的方法，通过设计局部控制器，使收缩的FitzHugh-Nagumo神经元网络的一般拓扑结构的相互作用。
2022-03-19 math.OC
Decentralized Prediction-Correction Methods for Networked Time-Varying Convex Optimization
我们开发的算法，发现和跟踪的时变凸优化问题，其中包括本地和网络相关的目标的最优解轨迹。该算法来自预测校正方法，其对应于一种策略，其中时变问题在离散时间实例处被采样，然后通过交替地执行关于下一时间样本处的优化器如何改变的预测和关于它们实际上如何改变的校正来生成序列。预测基于最优性条件如何随时间演变，而校正基于梯度或牛顿法，从而产生分散预测-校正梯度（DPC-G）和分散预测-校正牛顿（DPC-N）。我们将这些方法扩展到优化程序如何随时间变化的知识只是近似的情况，并提出了分散式近似预测-校正梯度（DAPC-G）和分散式近似预测-校正牛顿（DAPC-N）。所有提出的方法的收敛特性进行了研究，并在无线网络中的资源分配问题的应用上显示经验性能。我们观察到，所提出的方法优于现有的运行算法的数量级。数值结果显示收敛精度，采样周期和网络通信之间的权衡。
2016-11-07 cs.IT math.IT math.OC
A Decentralized Primal-Dual Method with Quasi-Newton Tracking
本文提出全去中心化原始-对偶方法DPDM及其推广GDPDM，利用拟牛顿二阶信息和BFGS近似提升计算与通信效率，并证明其全局线性收敛性，数值实验显示优于现有方法。
2024-10-01 math.OC
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning: Part II
在本文的第一部分中，我们提出了一个分散随机拟牛顿法的一般框架，该方法在局部Hessian逆近似具有有界正特征值的假设下线性收敛于最优解。在第二部分中，我们指定了两个完全分散的随机拟牛顿法，阻尼正则化有限记忆DFP（Davidon-Fletcher-Powell）和阻尼有限记忆BFGS（Broyden-Fletcher-Goldfarb-Shanno），在本地构建这样的Hessian逆近似，无需额外的采样或通信。这两种方法都使用一个固定的移动窗口的$M$过去的局部梯度近似和本地决策变量自适应构造正定Hessian逆近似的有界特征值，满足在第一部分的线性收敛的假设。对于所提出的阻尼正则化有限记忆DFP，增加了正则化项以提高性能。对于所提出的阻尼有限内存BFGS，一个两个循环的递归，导致低的存储和计算复杂度。数值实验表明，所提出的拟牛顿法比现有的分散随机一阶算法快得多。
2022-01-19 math.OC
Two-Facet Scalable Cooperative Optimization of Multi-Agent Systems in The Networked Environment
协同优化通过大规模网络连接的大量代理带来了前所未有的可扩展性挑战。本文研究了在耦合网络诱导约束和局部约束下的耦合目标函数优化问题。现有优化范式的可扩展性受到代理总体规模或网络维度的限制。作为一个根本性的改进，本文首次构建了一个两方面的可扩展分散优化框架。为此，我们首先开发了一个系统的网络降维技术，虚拟集群的代理和降低网络诱导的约束的维数，然后构成一个新的收缩原始多对偶次梯度（SPMDS）算法的基础上降维网络。严格的最优性和收敛性分析所提出的分散优化框架。基于SPMDS的优化框架是免费的代理到代理的通信，不需要额外的聚合器的代理集群。通过对电动汽车充电控制问题和交通拥堵控制问题的仿真，与基准方法进行了比较，验证了所提方法的有效性。
2020-10-10 math.OC
Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑\emph{fully decentralized}多智能体强化学习（MARL）的问题，其中代理位于时变通信网络的节点。具体来说，我们假设代理的奖励函数可能对应于不同的任务，并且仅为相应的代理所知。此外，每个代理根据本地观察到的信息和通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。为此，我们提出了两个分散的行动者-评论家算法与功能近似，这是适用于大规模的MARL问题的状态和代理的数量都是巨大的。在分散结构下，行动者步骤由每个代理单独执行，无需推断其他代理的策略。对于评论步骤，我们提出了通过网络通信的共识更新。我们的算法是完全增量的，可以在线实现。当价值函数在线性函数类内逼近时，给出了算法的收敛性分析。大量的仿真结果与线性和非线性函数逼近，以验证所提出的算法。我们的工作似乎是第一次研究完全分散的MARL算法的网络代理与功能近似，可证明的收敛保证。
2018-02-27 cs.AI cs.LG cs.MA
Optimal Infinite Horizon Decentralized Networked Controllers with Unreliable Communication
University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
本文研究了由远程控制器和线性被控对象组成的分布式网络控制系统，通过不可靠上行信道与远程控制器通信，提出在链路失效概率低于临界阈值时，最优策略由耦合Riccati递推关系决定。
2018-06-18 cs.SY eess.SY math.OC
Decentralized Inexact Cubic Newton Method with Consensus Procedure
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Trusted AI Research Center, RAS（俄罗斯科学院可信人工智能研究中心）；Innopolis University（因诺波利斯大学）
本文研究了去中心化的二次优化问题，提出了一种适用于凸优化的去中心化三次牛顿方法，并开发了能够准确跟踪共识和局部迭代不一致性的理论。该方法在L1梯度光滑性和L2Hessian Lipschitz连续性假设下，与精确三次牛顿方法具有相同的迭代复杂度，并通过额外的多项式对数通信轮次开销达到所需的共识精度。此外，还提出了适用于强凸目标的加速去中心化三次牛顿方法，其迭代复杂度与精确加速三次牛顿方法一致。最后，尽管通用方法需要交换完整的d×dHessian矩阵，但通过仅传输向量的方式实现了在高维情况下更实用的实现。
2026-05-21 math.OC
A Communication-Efficient Decentralized Newton's Method with Provably Faster Convergence
本文研究了分散网络上的强凸有限和极小化问题，提出了一种通信效率高的分散牛顿法来求解该问题，首先采用动态平均一致性（DAC），使得每个节点能够分别使用局部梯度逼近和局部Hessian逼近来跟踪全局梯度和Hessian.第二，由于交换Hessian近似值远没有通信效率，因此我们要求节点交换压缩的近似值，然后应用错误补偿机制来校正压缩噪声。第三，我们引入多步共识来交换局部变量和局部梯度近似，以平衡计算和通信。为了避免每个节点传输整个本地Hessian近似，我们设计了一个压缩过程中的误差补偿估计的全球Hessian在通信有效的方式。通过新的分析，我们建立了全局线性（分别为，渐近超线性）的收敛速度（分别地，趋于无穷大），其中m是共识内部步骤的数量。据我们所知，这是第一个超线性收敛结果的通信效率分散牛顿法。此外，我们建立的速度是证明比一阶方法更快。我们在各种应用程序的数值结果证实了理论研究结果。
2022-10-01 math.OC
Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances
Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多智能体强化学习（MARL）一直是机器学习和控制领域的重要研究课题。随着最近（单智能体）深度RL的发展，人们对开发新的MARL算法，特别是那些有理论分析支持的算法重新产生了兴趣。在本文中，我们回顾了最近的一些进展，这一主题的一个子领域：分散MARL与网络代理。具体来说，多个代理在一个共同的环境中执行顺序决策，而无需任何中央控制器的协调。相反，允许代理通过通信网络与其邻居交换信息。这种设置在机器人、无人驾驶车辆、移动传感器网络和智能电网的控制和操作中有广泛的应用。这篇综述是建立在我们在这个方向上的几个研究努力，以及其他研究人员沿着这条线取得的一些进展。我们希望这篇评论能激励更多的研究工作投入到这个令人兴奋但又具有挑战性的领域。
2019-12-09 cs.AI cs.LG cs.MA
An Adaptive Decentralized Quasi-Newton Method with Stepsizes Independent of the Local-Update Budget
School of Mathematics, Nanjing University of Aeronautics and Astronautics（南京航空航天大学数学学院）
提出自适应去中心化拟牛顿方法（AdaDQN），通过Majorization-Minimization视角和鲁棒不精确算法框架，引入保护性共识感知终止准则和事件触发通信，克服了多局部更新方法中步长必须与局部更新次数成反比的理论瓶颈。
2026-08-11 math.OC
Scalable Model-based Policy Optimization for Decentralized Networked Systems
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Xiamen University（厦门大学）；BIGAI（北京通用人工智能研究院）
强化学习算法需要大量的样本;这往往限制了它们在现实世界中的应用，即使是简单的任务。这种挑战在多智能体任务中更为突出，因为操作的每一步都需要通信或转移或资源。本文旨在通过基于模型的学习提高多智能体控制的数据效率。我们考虑网络系统中的代理是合作的，只与他们的邻居进行本地通信，并提出了分散的基于模型的策略优化框架（DMPO）。在我们的方法中，每个代理学习一个动态模型来预测未来的状态，并通过通信广播他们的预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏差，我们限制了模型生成近视滚动的使用，从而减少了模型生成的复合误差。为了保证策略更新的独立性，我们引入了扩展价值函数，并从理论上证明了所得到的策略梯度是真实策略梯度的近似。我们评估我们的算法在智能交通系统，这是连接自主车辆控制任务（流量和CACC）和自适应交通信号控制（ATSC）的几个基准。实验结果表明，我们的方法实现了优越的数据效率和匹配的无模型方法使用真正的模型的性能。
2022-09-01 cs.AI cs.LG cs.MA
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出一种统一的分布式非凸优化算法框架，涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性，并提出新的高效算法。
2026-04-13 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
A Newton Tracking Algorithm with Exact Linear Convergence Rate for Decentralized Consensus Optimization
本文研究了网络上的分散共识最优化问题，其中每个节点具有一个二阶可微局部目标函数。我们的目标是最小化本地目标函数的总和，并找到精确的最优解，仅使用本地计算和相邻的通信。我们提出了一种新的牛顿跟踪算法，其中每个节点更新其局部变量沿局部牛顿方向修改邻居和历史信息。我们调查建议牛顿跟踪算法和现有的几种方法，包括梯度跟踪和二阶算法之间的连接。在强凸性假设下，我们证明了它以线性速度收敛到精确的最优解。数值实验证明了牛顿跟踪的有效性，并验证了理论研究结果。
2020-08-24 eess.SP math.OC
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning: Part I
在这项工作中，我们研究随机拟牛顿法最小化有限和的费用函数在分散网络。在第一部分中，我们开发了一个通用的算法框架，采用随机拟牛顿近似方差减少，以实现快速收敛。在每一个时间，每个节点构造一个局部的，不精确的拟牛顿方向，渐近接近全球的，确切的。具体来说，（i）通过使用动态平均一致性来跟踪整个网络上方差减少的局部随机梯度的平均值来构造局部梯度近似;（ii）假设局部Hessian逆近似是正定的，具有有界的特征值，以及如何构造它以满足这些假设将在第二部分中给出。与现有的分散随机一阶方法相比，所提出的一般框架引入了二阶曲率信息，而不会产生额外的采样或通信。在固定步长下，我们建立了所提出的一般框架线性收敛到精确最优解的条件。
2022-01-19 cs.DC math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Decentralized Sparse Multitask RLS over Networks
分布式自适应信号处理由于其在网络系统中的分散实时应用中的有效性，在近十年来引起了人们的广泛关注。由于许多自然信号是高度稀疏的，大多数元素等于零，最近提出了几种分散稀疏自适应算法。大多数研究集中在单任务估计问题上，即所有节点接收与同一未知向量相关联的数据并协作估计，但许多应用程序本质上是面向多任务的，每个节点都有自己的未知向量。相关的多任务估计问题受益于节点之间的协作，因为相邻节点通常具有相似的属性，因此具有相似的未知向量。在这项工作中，我们研究了网络上的分布式稀疏多任务递归最小二乘（RLS）问题。首先，我们提出了一个分散的在线交替方向法的乘法器（ADMM）算法制定的RLS问题。该算法被简化，易于实现，在每次迭代中的封闭形式的计算和低存储要求。此外，为了进一步降低复杂度，我们提出了一个分散的在线次梯度方法，具有较低的计算开销。我们从理论上分析了所提出的次梯度法的收敛行为，并推导出与网络拓扑结构和算法参数有关的误差界。数值模拟证实了所提出的算法的有效性，并强调了所提出的两种算法之间的精度-复杂度权衡。
2017-02-21 math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
School of Mathematics, Hohai University（河海大学数学学院）；School of Mathematics, Nanjing University（南京大学数学学院）；Department of Computational Applied Mathematics and Operations Research, Rice University（理海大学计算应用数学与运筹学系）
提出S$^3$LDBO算法，通过快照机制间歇跳过昂贵导数计算，实现去中心化双层优化的高效单循环求解，并理论证明其复杂度，实验验证计算效率与学习性能的平衡。
2026-05-29 cs.DC cs.LG math.OC
An essentially decentralized interior point method for control
本文针对非线性网络化系统控制中的非凸约束优化问题，提出一种具有超线性收敛保证的基本分散式原-对偶内点法，并在电力系统算例中验证其相比ADMM在计算时间和子问题复杂度上更具优势。
2023-07-04 cs.SY eess.SY math.OC
Globally-Constrained Decentralized Optimization with Variable Coupling
针对网络化场景下未被充分研究的含变量耦合的全局约束分散优化问题，本文提出结合虚拟队列技术与原始-对偶-原始框架的分散投影原始-对偶算法，证明其O(1/k)收敛速率并通过实验验证性能。
2025-11-19 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Superlinearly Convergent Asynchronous Distributed Network Newton Method
网络系统上局部凸目标函数之和最小化问题在分布式优化领域有着重要的应用和研究价值。大部分现有的工作集中在一个中央时钟的存在下，快速分布式算法的发展。唯一已知的算法收敛保证这个问题在异步设置下可以实现完全异步设置下的次线性速率或部分异步设置下的线性速率（有界延迟）。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望的全局线性速度和局部超线性速度下几乎必然收敛。数值研究证实了优于其他现有的异步方法的性能。
2019-01-08 math.OC
Collaborative Safety-Critical Control for Dynamically Coupled Networked Systems
针对动态耦合网络化系统的安全控制需求，提出基于协作控制屏障函数的去中心化安全控制算法，证明其前向不变性与收敛性，并在SIS模型上完成验证。
2024-07-13 cs.MA cs.SY eess.SY
Decentralized Feedback Optimization via Sensitivity Decoupling: Stability and Sub-optimality
本文针对网络化系统提出一种基于灵敏度矩阵对角近似的完全分散式反馈优化控制器，以降低通信负担并提升可扩展性，同时证明了闭环稳定性、界定了分散化带来的次优性，并揭示其解对应于非合作博弈的纳什均衡。
2024-03-28 cs.SY eess.SY math.OC
Tight Linear Convergence Rate of ADMM for Decentralized Optimization
本文考虑利用网络拓扑信息来提高ADMM的收敛速度，使网络节点协同工作以最小化目标。这样的问题可以有效地解决使用ADMM通过分解成更容易的子问题的目标。合理利用网络拓扑结构可以显著提高算法性能。混合ADMM通过考虑节点中心性来探索利用节点信息的方向，但未能利用边缘信息。本文填补了这一空白，将节点和边缘信息，并提供了一个新的收敛速度界的分散ADMM，明确地依赖于网络拓扑结构。这样一个新的界限对于某些类的问题是可以达到的，因此是紧的。显式的依赖性进一步表明可能的方向，以达到最佳性能的边缘权重的最优设计。数值实验表明，简单的启发式方法可以获得更好的性能，并表现出对拓扑变化的鲁棒性。
2019-05-24 cs.DC eess.SP math.OC
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
2017-03-26 cs.DC math.OC
Communication-Free Distributed Coverage for Networked Systems
Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出一种无通信算法，用于由多个具有本地感知能力的移动代理对任意网络进行分布式覆盖。通过游戏理论框架，代理利用感官输入优化位置，以最大化覆盖范围。
2015-05-23 cs.GT cs.MA cs.RO
A Fast Distributed Asynchronous Newton-Based Optimization Algorithm
网络系统上局部凸目标函数之和最小化问题是分布式优化领域的重要问题之一。这一领域的大部分现有工作都集中在开发分布式算法，在一个中央时钟的存在下，在同步设置，代理需要等待最慢的一个完成更新，然后再进行下一个时钟。异步分布式算法消除了对中央协调器的需要，减少了同步等待，并允许一些代理更快地计算和执行更多的迭代。在异步设置中，用于解决该问题的唯一已知算法可以实现线性或次线性的收敛速率。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望下具有全局线性收敛性和局部二次收敛性，并保证了算法的几乎必然收敛。数值研究证实了我们的算法对其他异步方法的优越性能。
2019-01-04 math.OC
Differentially Private Decentralized Optimization with Relay Communication
该研究提出隐私泄露频率指标揭示通信与隐私泄露的关联，设计基于算子分裂和中继通信的DP-RECAL差分隐私去中心化算法，在凸问题下证明收敛性，实验验证其隐私性能、通信复杂度更优且可抵御经典梯度泄露攻击。
2024-12-13 cs.CR math.OC
Federated Multi-Level Optimization over Decentralized Networks
Princeton University（普林斯顿大学）
本文提出一种基于八卦的分布式多层级优化算法，使网络智能体在单一时间尺度上求解不同层级问题，实现最优样本复杂度并线性扩展，应用于超参数调优、去中心化强化学习等。
2023-10-10 cs.LG math.OC
DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization
Carnegie Mellon University（卡内基梅隆大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
多智能体环境中的新兴应用，如物联网，网络传感，自治系统和联邦学习，要求分散算法的有限和优化，是资源有效的计算和通信。在本文中，我们考虑的原型设置，代理合作，以尽量减少本地损失函数的总和，只与他们的邻居在一个预定的网络拓扑结构进行通信。我们开发了一种新的算法，称为非凸有限和优化的分散随机递归梯度方法（DESTRESS），它匹配的最佳增量一阶预言（IFO）的复杂性集中式算法寻找一阶稳定点，同时保持通信效率。详细的理论和数值比较证实，资源效率的DESTRESS提高了以前的分散算法在广泛的参数制度。DESTRESS利用了几个关键的算法设计思想，包括随机激活的随机递归梯度更新与小批量本地计算，梯度跟踪与额外的混合（即，多轮闲聊），以及仔细选择超参数和新的分析框架，以可证明地实现期望的计算-通信权衡。
2021-12-01 cs.LG math.OC stat.ML
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理，合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量，我们消除了计算曲率引导更新时，代理之间的内部通信循环的需要。一个通用的计划，统一的分析过多的计算选择，包括梯度下降，牛顿更新，和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度，以及线性收敛速率时，进一步假设局部函数是强凸的。此外，我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是，我们提出了一个异步实现所提出的算法，它消除了对一个中央时钟的需要，与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks
HKUST（香港科技大学）；Princeton University（普林斯顿大学）
双层优化已经获得了越来越多的关注，在Meta学习，极大极小游戏，强化学习和嵌套组合优化中发现了许多应用。本文研究了网络上的分布式双层优化问题，其中智能体只能与邻居通信，包括多任务，多智能体学习和联邦学习的例子。在本文中，我们提出了一个基于流言的分布式双层学习算法，允许网络代理解决内部和外部优化问题在一个单一的时间尺度和共享信息通过网络传播。我们发现，我们的算法享有$\mathcal{O}(\frac{1}{K ε^2})$每个代理的样本复杂性一般非凸双层优化和$\mathcal{O}(\frac{1}{K ε})$强凸目标，实现了加速，规模与网络规模线性。样本复杂度在$ε$和$K$中都是最优的。我们在超参数调整和分散强化学习的例子上测试了我们的算法。仿真实验表明，该算法在训练效率和测试准确率上都达到了最高水平。
2022-06-22 cs.LG math.OC stat.ML
Curvature accelerated decentralized non-convex optimization for high-dimensional machine learning problems
针对多智能体系统高维非凸分布式优化问题，提出利用二阶信息的原始-对偶方法，采用线性成本拟牛顿求解器并每轮仅广播一次本地模型，在保证收敛性的同时显著提升了通信与计算效率。
2025-04-05 math.OC
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；University of Southern California（南加州大学）
多智能体强化学习（MARL）面临的挑战之一是为大型系统设计有效的学习算法，在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展，但理论上对具有用于建模自动驾驶车辆，乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略，这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成：第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程，使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性，使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路，其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知，这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
SplitVAEs: Decentralized scenario generation from siloed data for stochastic optimization problems
School of Industrial Engineering（工业工程学院）；Oklahoma State University（俄克拉荷马州立大学）
本文提出去中心化场景生成框架 SplitVAEs，利用变分自编码器在不移动数据的前提下生成高质量场景，显著降低传输成本并保护隐私，性能优于集中式基准方法。
2025-01-31 cs.LG math.OC stat.ME
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Variance-Reduced Stochastic Learning by Networked Agents under Random Reshuffling
University of California, Los Angeles（加州大学洛杉矶分校）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
在\cite{ying2017convergence}中提出了一种新的摊销方差缩减梯度（AVRG）算法，与SAGA相比，该算法具有恒定的存储需求，而与SVRG相比，该算法具有平衡的梯度计算。AVRG策略的一个关键优势是它对分散实现的顺从性。在这项工作中，我们展示了如何AVRG可以扩展到网络的情况下，假设多个学习代理连接的图形拓扑结构。在这种情况下，每个代理观察空间分布的数据，并且所有代理仅允许与直接邻居通信。此外，各个代理观察到的数据量可能会有很大差异。在这种情况下，AVRG的平衡梯度计算特性在减少由不平衡的本地数据存储需求引起的空闲时间方面成为真正的优势，这是其他降低方差梯度算法的特征。所得到的扩散-AVRG算法被证明具有线性收敛到精确解，并且比其他替代算法的内存效率高得多。此外，我们提出了一个小批量策略，以平衡的通信和计算效率的扩散AVRG。当采用适当的批量大小时，在模拟中观察到扩散-AVRG比精确扩散或EXTRA在计算上更有效，同时保持几乎相同的通信效率。
2018-05-29 cs.LG math.OC stat.ML
Decentralized non-convex optimization via bi-level SQP and ADMM
针对分布式非凸优化，提出双层SQP方法，内层用ADMM求解二次问题，具有局部收敛保证，仅需解二次规划，在最优潮流问题上表现优异。
2025-10-17 cs.SY eess.SY math.OC
Finite-Sample Analysis of Decentralized Temporal-Difference Learning with Linear Function Approximation
Zhejiang University（浙江大学）；University of Minnesota（明尼苏达大学）；Southern University of Science and Technology（南方科技大学）
受多智能体强化学习（MARL）在网络机器人、无人机和传感器网络等工程应用中的新兴应用的启发，我们研究了完全分散设置中的策略评估问题，使用线性函数近似的时间差（TD）学习来处理实际中的大状态空间。一组代理的目标是通过与邻居交换局部估计，从共享环境中观察到的局部私有奖励中协作学习给定策略的价值函数。尽管它们简单且广泛使用，但我们对这种分散式TD学习算法的理论理解仍然有限。根据i.i.d.获得现有结果。数据样本，或通过施加一个“额外的”投影步骤，以控制由马尔可夫观测引起的“梯度”偏差。在本文中，我们提供了一个有限样本分析的完全分散TD（0）学习下的i.i.d.以及马尔可夫样本，并证明了所有的局部估计线性收敛到最优的一个小的邻域。由此产生的误差界是第一个它的类型-在这个意义上，他们持有下最实际的假设-这是可能通过一个新的多步李雅普诺夫分析。
2020-01-29 cs.IT cs.LG cs.SY
Decentralized Optimization via RC-ALADIN with Efficient Quantized Communication
针对有向图上的分散式共识优化问题，提出结合RC-ALADIN与有限时间量化协议的算法，实现线性收敛至最优解邻域，并具备通信高效性。
2025-08-08 cs.SY eess.SY math.OC
How Clustering Affects the Convergence of Decentralized Optimization over Networks: A Monte-Carlo-based Approach
本文通过随机无标度与聚类无标度网络建模，结合蒙特卡洛仿真和真实网络特征谱分析，发现低聚类网络具有更高的分散式优化收敛速度，并指出可通过调节网络聚类提升分散式机器学习的学习速率。
2024-07-01 cs.SI cs.SY eess.SY
Decentralized Contextual Bandits with Network Adaptivity
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）
针对网络上下文线性老虎机中信息部分共享的问题，提出NetLinUCB和Net-SGD-UCB两种网络感知UCB算法，实现自适应信息共享，降低学习复杂度，在不同场景下表现出优势并经实验验证。
2025-08-24 cs.LG math.OC
Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出了一种完全去中心化的二次优化方法DisGrem，用于解决网络上的凸共识优化问题。该方法通过两阶段 gossip-mixing 机制进行通信，结合消失梯度范数正则化和特征值位移稳定器，实现了O(epsilon^{-1})的迭代复杂度，匹配中心化正则化牛顿方法的收敛速度，无需线搜索或步长调整。
2026-05-19 math.OC
PSSE Redux: Convex Relaxation, Decentralized, Robust, and Dynamic Approaches
Virginia Tech（弗吉尼亚理工大学）；University of Minnesota（明尼苏达大学）；Beijing Institute of Technology（北京理工大学）；University of Illinois（伊利诺伊大学）
本文综述了电力系统状态估计的最新进展，探讨了凸松弛、去中心化方法及鲁棒性，并分析了在线凸优化对状态跟踪的影响。
2017-08-14 cs.SY eess.SY math.OC
Distributed and Decentralized Optimization Algorithms via Consensus ALADIN
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of Pittsburgh（匹兹堡大学）；KTH Royal Institute of Technology（皇家理工学院）；Digital Futures（数字未来）
本文研究了分布式共识优化问题，提出了一种基于增广拉格朗日法的交替方向不精确牛顿法（ALADIN）的扩展版本，即共识ALADIN（C-ALADIN），该方法通过中央协调器直接处理共识约束。我们开发了两种变体：一种是第一阶变体，另一种是利用Hessian近似器的第二阶变体，避免直接传输第二阶信息，同时保持快速局部收敛性。然后，我们开发了C-ALADIN的去中心化版本，该版本在有向图上运行，使用有限时间协调协议进行量化通信。对于两种版本，我们为凸问题建立了全局收敛性保证，为非凸问题建立了局部收敛性保证。在去中心化情况下，迭代收敛到由量化级别决定的最优解的邻域。数值结果表明，我们的方法在保持快速收敛的同时，显著减少了通信和计算成本，相比现有去中心化方法。
2026-05-20 cs.SY eess.SY math.OC
Decentralized RLS with Data-Adaptive Censoring for Regressions over Large-Scale Networks
University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）；University of Minnesota（明尼苏达大学）
本文提出三种数据自适应屏蔽策略，以降低去中心化递推最小二乘（D-RLS）求解器的计算和通信开销，通过局部数据自适应屏蔽减少计算并交换局部估计以达成网络级解，同时通过屏蔽通信和接收估计进一步降低通信成本。
2018-01-13 cs.NI cs.SY eess.SY
DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
Department of Mathematics, Linköping University（利乌普堡大学数学系）；Department of Electrical Engineering, Linköping University（利乌普堡大学电气工程系）；Department of Computer and Information Science, Linköping University（利乌普堡大学计算机与信息科学系）
提出DeMuon方法，通过牛顿-舒尔茨迭代实现矩阵正交化，并利用梯度跟踪处理局部函数异质性，在重尾噪声下达到与集中式算法匹配的复杂度，首次将Muon扩展到去中心化图优化并具有可证明的复杂度保证。
2026-06-02 cs.AI cs.LG cs.MA
Newton-like method with diagonal correction for distributed optimization
我们考虑分布式优化问题，网络节点合作最小化他们的本地已知的凸成本的总和。解决这些问题的一种流行的方法是分布式梯度方法，由于其廉价的迭代而具有吸引力，但具有收敛速度慢的缺点。这促使在分布式方法中纳入二阶信息，但这项任务是具有挑战性的：虽然在算法设计方面出现的Hessians网络的稀疏性，其逆是密集的，因此呈现分布式实现困难。我们克服了这一挑战，并提出了一类分布式牛顿类方法，我们称之为分布式拟牛顿（DQN）。DQN系列通过以下方式近似Hessian逆：1）将Hessian分解为对角部分和非对角部分，2）反转对角部分，以及3）通过加权线性函数近似非对角部分的逆。近似参数化的调谐变量对应于不同的分裂的海森和不同的权重的非对角海森部分。调整变量的特定选择会产生所提出的通用DQN方法的不同变体-称为DQN-0，DQN-1和DQN-2 -它们相互权衡通信和计算成本以实现收敛。仿真结果表明了所提出的DQN方法的有效性。
2017-02-20 cs.IT math.IT math.OC
A Deep Reinforcement Learning Approach to Efficient Distributed Optimization
本文提出一种基于深度强化学习的方法，通过自适应配置参数化统一算法形式来实现高效分布式优化，在收敛速度和求解精度上优于现有最先进算法。
2024-01-03 math.OC
Decomposition of non-convex optimization via bi-level distributed ALADIN
Institute for Automation and Applied Informatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自动化与应用信息研究所）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本文提出了一种通过双层分布式ALADIN算法进行去中心化非凸优化的框架，解决了约束非凸优化中现有算法性能有限或缺乏收敛保证的问题，通过在内层使用去中心化共轭梯度或ADMM方案来求解简化后的凸协调QP，并通过电力系统和机器人案例验证了该框架的性能。
2019-03-27 cs.DC cs.SY eess.SY
