Scalable Model-based Policy Optimization for Decentralized Networked Systems
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Xiamen University（厦门大学）；BIGAI（北京通用人工智能研究院）
强化学习算法需要大量的样本;这往往限制了它们在现实世界中的应用，即使是简单的任务。这种挑战在多智能体任务中更为突出，因为操作的每一步都需要通信或转移或资源。本文旨在通过基于模型的学习提高多智能体控制的数据效率。我们考虑网络系统中的代理是合作的，只与他们的邻居进行本地通信，并提出了分散的基于模型的策略优化框架（DMPO）。在我们的方法中，每个代理学习一个动态模型来预测未来的状态，并通过通信广播他们的预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏差，我们限制了模型生成近视滚动的使用，从而减少了模型生成的复合误差。为了保证策略更新的独立性，我们引入了扩展价值函数，并从理论上证明了所得到的策略梯度是真实策略梯度的近似。我们评估我们的算法在智能交通系统，这是连接自主车辆控制任务（流量和CACC）和自适应交通信号控制（ATSC）的几个基准。实验结果表明，我们的方法实现了优越的数据效率和匹配的无模型方法使用真正的模型的性能。
2022-09-01 cs.AI cs.LG cs.MA
Decentralized Estimation and Control for Leader-Follower Networked Systems with Asymmetric Information Structure
本文针对领导-跟随网络化系统中领导与跟随智能体信息集非对称的问题，利用正交分解和条件独立性推导最优迭代估计与分散控制策略，并给出无限时域反馈镇定条件，最终在自主水下航行器系统中验证了方法的有效性。
2026-11-09 math.OC
Decentralized Prediction-Correction Methods for Networked Time-Varying Convex Optimization
我们开发的算法，发现和跟踪的时变凸优化问题，其中包括本地和网络相关的目标的最优解轨迹。该算法来自预测校正方法，其对应于一种策略，其中时变问题在离散时间实例处被采样，然后通过交替地执行关于下一时间样本处的优化器如何改变的预测和关于它们实际上如何改变的校正来生成序列。预测基于最优性条件如何随时间演变，而校正基于梯度或牛顿法，从而产生分散预测-校正梯度（DPC-G）和分散预测-校正牛顿（DPC-N）。我们将这些方法扩展到优化程序如何随时间变化的知识只是近似的情况，并提出了分散式近似预测-校正梯度（DAPC-G）和分散式近似预测-校正牛顿（DAPC-N）。所有提出的方法的收敛特性进行了研究，并在无线网络中的资源分配问题的应用上显示经验性能。我们观察到，所提出的方法优于现有的运行算法的数量级。数值结果显示收敛精度，采样周期和网络通信之间的权衡。
2016-11-07 cs.IT math.IT math.OC
Optimal Infinite Horizon Decentralized Networked Controllers with Unreliable Communication
University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
本文研究了由远程控制器和线性被控对象组成的分布式网络控制系统，通过不可靠上行信道与远程控制器通信，提出在链路失效概率低于临界阈值时，最优策略由耦合Riccati递推关系决定。
2018-06-18 cs.SY eess.SY math.OC
Minimum effort decentralized control design for contracting network systems
我们考虑的问题，使一个网络化的系统的合同，通过设计最小努力的本地控制器。我们的方法结合了层次收缩表征和矩阵平衡的方法来稳定梅茨勒矩阵通过最小的对角扰动。我们证明了我们的方法，通过设计局部控制器，使收缩的FitzHugh-Nagumo神经元网络的一般拓扑结构的相互作用。
2022-03-19 math.OC
D-SVM over Networked Systems with Non-Ideal Linking Conditions
Semnan University（塞姆南大学）；Oregon State University（俄勒冈州立大学）；Iran Telecom research Center（伊朗电信研究中心）
本文针对链路存在对数量化、限幅等奇扇形有界非线性的多智能体网络，提出连续时间分布式SVM优化动力学，利用矩阵扰动理论证明其收敛性，并给出比线性情形更紧的梯度跟踪步长条件。
2023-04-13 cs.LG cs.SY eess.SY
Two-Facet Scalable Cooperative Optimization of Multi-Agent Systems in The Networked Environment
协同优化通过大规模网络连接的大量代理带来了前所未有的可扩展性挑战。本文研究了在耦合网络诱导约束和局部约束下的耦合目标函数优化问题。现有优化范式的可扩展性受到代理总体规模或网络维度的限制。作为一个根本性的改进，本文首次构建了一个两方面的可扩展分散优化框架。为此，我们首先开发了一个系统的网络降维技术，虚拟集群的代理和降低网络诱导的约束的维数，然后构成一个新的收缩原始多对偶次梯度（SPMDS）算法的基础上降维网络。严格的最优性和收敛性分析所提出的分散优化框架。基于SPMDS的优化框架是免费的代理到代理的通信，不需要额外的聚合器的代理集群。通过对电动汽车充电控制问题和交通拥堵控制问题的仿真，与基准方法进行了比较，验证了所提方法的有效性。
2020-10-10 math.OC
Collaborative Safety-Critical Control for Dynamically Coupled Networked Systems
针对动态耦合网络化系统的安全控制需求，提出基于协作控制屏障函数的去中心化安全控制算法，证明其前向不变性与收敛性，并在SIS模型上完成验证。
2024-07-13 cs.MA cs.SY eess.SY
S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
School of Mathematics, Hohai University（河海大学数学学院）；School of Mathematics, Nanjing University（南京大学数学学院）；Department of Computational Applied Mathematics and Operations Research, Rice University（理海大学计算应用数学与运筹学系）
提出S$^3$LDBO算法，通过快照机制间歇跳过昂贵导数计算，实现去中心化双层优化的高效单循环求解，并理论证明其复杂度，实验验证计算效率与学习性能的平衡。
2026-05-29 cs.DC cs.LG math.OC
Can Decentralized Control Outperform Centralized? The Role of Communication Latency
本文研究通信延迟对网络化控制系统性能的影响，证明当延迟随链路数增长足够快时，基于最近邻交互的稀疏分散式控制器可优于全对全通信的集中式控制器。
2023-01-26 cs.MA math.OC
Communication-Free Distributed Coverage for Networked Systems
Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出一种无通信算法，用于由多个具有本地感知能力的移动代理对任意网络进行分布式覆盖。通过游戏理论框架，代理利用感官输入优化位置，以最大化覆盖范围。
2015-05-23 cs.GT cs.MA cs.RO
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization
Carnegie Mellon University（卡内基梅隆大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
多智能体环境中的新兴应用，如物联网，网络传感，自治系统和联邦学习，要求分散算法的有限和优化，是资源有效的计算和通信。在本文中，我们考虑的原型设置，代理合作，以尽量减少本地损失函数的总和，只与他们的邻居在一个预定的网络拓扑结构进行通信。我们开发了一种新的算法，称为非凸有限和优化的分散随机递归梯度方法（DESTRESS），它匹配的最佳增量一阶预言（IFO）的复杂性集中式算法寻找一阶稳定点，同时保持通信效率。详细的理论和数值比较证实，资源效率的DESTRESS提高了以前的分散算法在广泛的参数制度。DESTRESS利用了几个关键的算法设计思想，包括随机激活的随机递归梯度更新与小批量本地计算，梯度跟踪与额外的混合（即，多轮闲聊），以及仔细选择超参数和新的分析框架，以可证明地实现期望的计算-通信权衡。
2021-12-01 cs.LG math.OC stat.ML
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks
HKUST（香港科技大学）；Princeton University（普林斯顿大学）
双层优化已经获得了越来越多的关注，在Meta学习，极大极小游戏，强化学习和嵌套组合优化中发现了许多应用。本文研究了网络上的分布式双层优化问题，其中智能体只能与邻居通信，包括多任务，多智能体学习和联邦学习的例子。在本文中，我们提出了一个基于流言的分布式双层学习算法，允许网络代理解决内部和外部优化问题在一个单一的时间尺度和共享信息通过网络传播。我们发现，我们的算法享有$\mathcal{O}(\frac{1}{K ε^2})$每个代理的样本复杂性一般非凸双层优化和$\mathcal{O}(\frac{1}{K ε})$强凸目标，实现了加速，规模与网络规模线性。样本复杂度在$ε$和$K$中都是最优的。我们在超参数调整和分散强化学习的例子上测试了我们的算法。仿真实验表明，该算法在训练效率和测试准确率上都达到了最高水平。
2022-06-22 cs.LG math.OC stat.ML
Tight Linear Convergence Rate of ADMM for Decentralized Optimization
本文考虑利用网络拓扑信息来提高ADMM的收敛速度，使网络节点协同工作以最小化目标。这样的问题可以有效地解决使用ADMM通过分解成更容易的子问题的目标。合理利用网络拓扑结构可以显著提高算法性能。混合ADMM通过考虑节点中心性来探索利用节点信息的方向，但未能利用边缘信息。本文填补了这一空白，将节点和边缘信息，并提供了一个新的收敛速度界的分散ADMM，明确地依赖于网络拓扑结构。这样一个新的界限对于某些类的问题是可以达到的，因此是紧的。显式的依赖性进一步表明可能的方向，以达到最佳性能的边缘权重的最优设计。数值实验表明，简单的启发式方法可以获得更好的性能，并表现出对拓扑变化的鲁棒性。
2019-05-24 cs.DC eess.SP math.OC
Decentralized Sparse Multitask RLS over Networks
分布式自适应信号处理由于其在网络系统中的分散实时应用中的有效性，在近十年来引起了人们的广泛关注。由于许多自然信号是高度稀疏的，大多数元素等于零，最近提出了几种分散稀疏自适应算法。大多数研究集中在单任务估计问题上，即所有节点接收与同一未知向量相关联的数据并协作估计，但许多应用程序本质上是面向多任务的，每个节点都有自己的未知向量。相关的多任务估计问题受益于节点之间的协作，因为相邻节点通常具有相似的属性，因此具有相似的未知向量。在这项工作中，我们研究了网络上的分布式稀疏多任务递归最小二乘（RLS）问题。首先，我们提出了一个分散的在线交替方向法的乘法器（ADMM）算法制定的RLS问题。该算法被简化，易于实现，在每次迭代中的封闭形式的计算和低存储要求。此外，为了进一步降低复杂度，我们提出了一个分散的在线次梯度方法，具有较低的计算开销。我们从理论上分析了所提出的次梯度法的收敛行为，并推导出与网络拓扑结构和算法参数有关的误差界。数值模拟证实了所提出的算法的有效性，并强调了所提出的两种算法之间的精度-复杂度权衡。
2017-02-21 math.OC
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
2017-03-26 cs.DC math.OC
Variance-Reduced Stochastic Learning by Networked Agents under Random Reshuffling
University of California, Los Angeles（加州大学洛杉矶分校）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
在\cite{ying2017convergence}中提出了一种新的摊销方差缩减梯度（AVRG）算法，与SAGA相比，该算法具有恒定的存储需求，而与SVRG相比，该算法具有平衡的梯度计算。AVRG策略的一个关键优势是它对分散实现的顺从性。在这项工作中，我们展示了如何AVRG可以扩展到网络的情况下，假设多个学习代理连接的图形拓扑结构。在这种情况下，每个代理观察空间分布的数据，并且所有代理仅允许与直接邻居通信。此外，各个代理观察到的数据量可能会有很大差异。在这种情况下，AVRG的平衡梯度计算特性在减少由不平衡的本地数据存储需求引起的空闲时间方面成为真正的优势，这是其他降低方差梯度算法的特征。所得到的扩散-AVRG算法被证明具有线性收敛到精确解，并且比其他替代算法的内存效率高得多。此外，我们提出了一个小批量策略，以平衡的通信和计算效率的扩散AVRG。当采用适当的批量大小时，在模拟中观察到扩散-AVRG比精确扩散或EXTRA在计算上更有效，同时保持几乎相同的通信效率。
2018-05-29 cs.LG math.OC stat.ML
Federated Multi-Level Optimization over Decentralized Networks
Princeton University（普林斯顿大学）
本文提出一种基于八卦的分布式多层级优化算法，使网络智能体在单一时间尺度上求解不同层级问题，实现最优样本复杂度并线性扩展，应用于超参数调优、去中心化强化学习等。
2023-10-10 cs.LG math.OC
Finite-Sample Analysis of Decentralized Temporal-Difference Learning with Linear Function Approximation
Zhejiang University（浙江大学）；University of Minnesota（明尼苏达大学）；Southern University of Science and Technology（南方科技大学）
受多智能体强化学习（MARL）在网络机器人、无人机和传感器网络等工程应用中的新兴应用的启发，我们研究了完全分散设置中的策略评估问题，使用线性函数近似的时间差（TD）学习来处理实际中的大状态空间。一组代理的目标是通过与邻居交换局部估计，从共享环境中观察到的局部私有奖励中协作学习给定策略的价值函数。尽管它们简单且广泛使用，但我们对这种分散式TD学习算法的理论理解仍然有限。根据i.i.d.获得现有结果。数据样本，或通过施加一个“额外的”投影步骤，以控制由马尔可夫观测引起的“梯度”偏差。在本文中，我们提供了一个有限样本分析的完全分散TD（0）学习下的i.i.d.以及马尔可夫样本，并证明了所有的局部估计线性收敛到最优的一个小的邻域。由此产生的误差界是第一个它的类型-在这个意义上，他们持有下最实际的假设-这是可能通过一个新的多步李雅普诺夫分析。
2020-01-29 cs.IT cs.LG cs.SY
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；University of Southern California（南加州大学）
多智能体强化学习（MARL）面临的挑战之一是为大型系统设计有效的学习算法，在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展，但理论上对具有用于建模自动驾驶车辆，乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略，这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成：第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程，使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性，使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路，其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知，这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
How Clustering Affects the Convergence of Decentralized Optimization over Networks: A Monte-Carlo-based Approach
本文通过随机无标度与聚类无标度网络建模，结合蒙特卡洛仿真和真实网络特征谱分析，发现低聚类网络具有更高的分散式优化收敛速度，并指出可通过调节网络聚类提升分散式机器学习的学习速率。
2024-07-01 cs.SI cs.SY eess.SY
Decentralized Contextual Bandits with Network Adaptivity
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）
针对网络上下文线性老虎机中信息部分共享的问题，提出NetLinUCB和Net-SGD-UCB两种网络感知UCB算法，实现自适应信息共享，降低学习复杂度，在不同场景下表现出优势并经实验验证。
2025-08-24 cs.LG math.OC
Decentralized RLS with Data-Adaptive Censoring for Regressions over Large-Scale Networks
University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）；University of Minnesota（明尼苏达大学）
本文提出三种数据自适应屏蔽策略，以降低去中心化递推最小二乘（D-RLS）求解器的计算和通信开销，通过局部数据自适应屏蔽减少计算并交换局部估计以达成网络级解，同时通过屏蔽通信和接收估计进一步降低通信成本。
2018-01-13 cs.NI cs.SY eess.SY
A Tight Lower Bound on the Controllability of Networks with Multiple Leaders
Georgia Institute of Technology（佐治亚理工学院）
利用代数图论，研究静态网络拓扑下多领导者系统的可控性，给出可控性矩阵秩的拓扑紧下界。
2012-02-08 cs.SY eess.SY math.OC
