Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
Yale University（耶鲁大学）
本文针对连续状态空间且智能体互不观测动作的随机博弈，提出一种去中心化MARL算法并证明其策略更新近最优，同时给出基于最佳响应的全局策略更新收敛概率的闭式刻画。
2023-03-16 cs.GT cs.LG
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Decentralized multi-agent reinforcement learning algorithm using a cluster-synchronized laser network
The University of Tokyo（东京大学）
本研究提出基于光子的决策算法，结合光耦合激光器的混沌振荡、集群同步与去中心化耦合调整，解决多智能体强化学习中的竞争性多臂老虎机问题，无需智能体显式共享信息即可高效平衡探索与利用并实现协作决策，为去中心化强化学习提供了物理实现新路径。
2024-07-12 cs.LG cs.MA nlin.CD
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Intelligent Science（南京大学智能科学学院）
本文研究完全去中心化的协作多智能体强化学习，提出Dynamics-Aware Context方法，通过上下文建模解决非平稳性和相对过泛化问题，实验验证其有效性。
2026-05-09 cs.LG
A Decentralized Policy Gradient Approach to Multi-task Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
提出了一种基于策略梯度方法的多任务强化学习（MTRL）问题求解的数学框架。MTRL的目标是学习在不同环境中有效运行的公共策略;这些环境具有相似（或重叠）的状态空间，但具有不同的奖励和动态。我们强调了MTRL中的两个基本挑战，这两个挑战在其单一任务中是不存在的，并用简单的例子来说明它们。在此基础上，我们提出了一种求解MTRL问题的分散熵正则化策略梯度方法，并研究了其有限时间收敛速度。我们使用一系列的数值实验证明了所提出的方法的有效性。这些实验的范围从小规模的“网格世界”的问题，很容易证明涉及多任务学习的权衡，以大规模的问题，其中共同的政策是学习在多个（模拟）环境中导航的空中无人机。
2021-05-28 cs.LG stat.ML
Decentralized Reinforcement Learning for Multi-Agent Multi-Resource Allocation via Dynamic Cluster Agreements
Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA（法国雷恩信息与自动化系统研究所）
本文提出了一种基于动态聚类的去中心化强化学习方法，用于多智能体多资源分配问题，实现了更稳定和鲁棒的协调性能。
2026-02-11 cs.LG stat.ML
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba（曼尼托巴大学）
多智能体强化学习（MARL）是强化学习的一个具有挑战性的子领域，由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而，在现实世界的应用中，代理所需的信息（即奖励和状态）会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中，我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现，在奖励信号的扰动可以诱导性能下降相比，学习完美的奖励。我们希望本文能够激发更多的研究，研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Decentralized Global Connectivity Maintenance for Multi-Robot Navigation: A Reinforcement Learning Approach
Sun Yat-sen University（中山大学）
在多机器人应用中，连通性维护的多机器人导航问题是一个具有挑战性的问题。这项工作研究了如何在未知环境中导航多机器人团队，同时保持连接。我们提出了一个强化学习（RL）的方法来开发一个分散的政策，这是多个机器人之间共享。给定距离传感器测量值和其他机器人的位置，该策略旨在生成用于导航的控制命令并保持机器人团队的全局连通性。我们将连接性问题作为约束纳入RL框架，并引入行为克隆来降低策略优化的探索复杂度。该策略是优化与多个机器人在随机模拟场景中收集的所有过渡数据。我们通过比较不同的连接约束和行为克隆的组合，验证了所提出的方法的有效性。我们还表明，我们的政策可以推广到看不见的情况下，在模拟和完整的机器人实验。
2021-09-17 cs.LG cs.RO
Decentralized Multi-agent Reinforcement Learning for Resilient Critical Infrastructures
School of Computer Science, University of Leeds（利兹大学计算机科学学院）；School of Energy Systems, LUT University（卢特大学能源系统学院）
研究用于弹性关键基础设施的去中心化多智能体强化学习，基于对其特性与基础设施要求的分析，指出信用分配和通信是实际可行的核心条件，提出包含结构、因果、弹性感知信用分配及相关通信等的研究议程，为弹性关键基础设施构建有条件的基础。
2026-07-22 cs.LG cs.MA
Finite-Time Global Optimality Convergence in Deep Neural Actor-Critic Methods for Decentralized Multi-Agent Reinforcement Learning
The Ohio State University, Columbus, Ohio, USA（俄亥俄州立大学）；University of Wisconsin-Whitewater, Whitewater, Wisconsin, USA（威斯康星大学-威奇托分校）；University of Colorado Boulder, Boulder, Colorado, USA（科罗拉多大学博尔德分校）
本文首次提出去中心化MARL中actor与critic均为非线性的深度神经actor-critic方法，并证明其具有O(1/T)的有限时间全局最优收敛率，填补了深度神经网络在该领域理论收敛性上的空白。
2025-08-13 cs.LG cs.MA
CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud（华为云）
由于许多多智能体强化学习（MARL）任务的部分可观测性和通信约束，集中训练分散执行（CTDE）已成为最广泛使用的MARL范式之一。在CTDE中，集中式信息专用于学习混合网络的团队奖励分配，而个人Q值的学习通常基于局部观察。全局观测的效用不足将降低具有挑战性的环境中的性能。为此，本工作提出了一种新的集中式教师与分散式学生（CTDS）的框架，其中包括一个教师模型和一个学生模型。具体而言，教师模型通过学习以全局观测为条件的个体Q值来分配团队奖励，而学生模型利用部分观测来近似教师模型估计的Q值。通过这种方式，CTDS平衡了训练期间全局观察的充分利用和分散执行在线推理的可行性。我们的CTDS框架是通用的，可以应用于现有的CTDE方法，以提高其性能。我们进行了一组具有挑战性的星际争霸II微观管理任务的实验，以测试我们的方法的有效性，结果表明，CTDS优于现有的基于值的MARL方法。
2022-03-16 cs.LG cs.MA
Decentralized Reinforcement Learning for Multi-Target Search and Detection by a Team of Drones
Mechanical and Industrial Engineering Department, Northeastern University（东北大学机械与工业工程学院）
目标搜索和检测包含了覆盖、监视、搜索、观察和追捕等多种决策问题。在本文中，我们开发了一种多智能体深度强化学习（MADRL）方法，以协调一组飞行器（无人机）定位一组静态目标在未知区域的目的。为此，我们设计了一个逼真的无人机模拟器，它复制了真实实验的动力学和扰动，包括从实验数据中进行建模的统计推断。我们的强化学习方法利用这个模拟器进行训练，能够为无人机找到接近最优的策略。与其他最先进的MADRL方法相比，我们的方法在学习和执行过程中是完全分散的，可以处理高维和连续的观测空间，并且不需要调整额外的超参数。
2021-03-17 cs.LG cs.MA cs.RO
Decentralized Multi-Agent Reinforcement Learning: An Off-Policy Method
Tsinghua University（清华大学）
本文讨论了分散式多智能体强化学习（MARL）问题。在我们的设置中，假设全局状态、动作和奖励是完全可观察的，而本地策略作为隐私受到每个代理的保护，因此不能与其他代理共享。有一个通信图，其中的代理可以与他们的邻居交换信息。代理人做出个人决策并合作以达到更高的累积奖励。为此，我们首先提出了一个分散的演员-评论家（AC）设置。然后，分别针对离散和连续状态-动作-空间马尔可夫决策过程（MDP）设计了策略评估和策略改进算法。此外，收敛性分析下的离散空间的情况下，这保证了政策将加强政策评估和政策改进的过程之间的交替。为了验证算法的有效性，我们设计了实验，并将它们与以前的算法进行比较，例如，Q-learning \cite{watkins1992q}和MADDPG \cite{lowe2017multi}。实验结果表明，无论是学习速度还是最终性能，我们的算法都有较好的表现。此外，该算法可以在一个关闭的策略的方式执行，这大大提高了数据效率相比，对政策的算法。
2021-10-31 cs.LG cs.MA
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习（MARL）算法经常遭受指数样本复杂度对智能体数量的依赖，这种现象被称为\emph{the curse of multiagents}。在本文中，我们解决这一挑战，调查样本效率的无模型算法在\emph{decentralized} MARL，并旨在改善现有的算法沿这条线。对于学习（粗）一般和马尔可夫博弈中的相关均衡，我们提出了\emph{stage-based} V-学习算法，大大简化了最近的作品的算法设计和分析，并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题，提出了一种独立的策略梯度算法，该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的，因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信，也不需要集中协调，从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Offline Decentralized Multi-Agent Reinforcement Learning
Peking University（北京大学）
针对离线去中心化多智能体强化学习中因状态转移差异导致的价值估计误差问题，提出利用价值偏差和转移归一化修改转移概率的框架，使智能体学到高性能且协调的策略，并从理论和实验上验证了其有效性与显著改进。
2023-07-29 cs.LG cs.MA
MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.（江森自控有限公司）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
我们提出了一种新的策略梯度方法用于多智能体强化学习，该方法利用两种不同的方差减少技术，并且不需要大批量迭代。具体来说，我们提出了一个基于动量的分散策略梯度跟踪（MDPGT），其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样，和一个中间参数被用来跟踪两个连续的策略梯度代理。此外，MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数（可能是非凹的）。这优于分散式无模型强化学习中最先进的样本复杂度，并且当用单个轨迹初始化时，样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时，MDPGT导致线性加速，这在分散随机优化中已经建立，但对于强化学习则不是。最后，我们提供了一个多智能体强化学习基准环境的实证结果，以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control
Nanjing University of Science and Technology（南京理工大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）
动态和异构数据流量的爆炸式增长为5G及以后的移动网络带来了巨大挑战。为了提高网络容量和可靠性，提出了一种基于学习的动态时频分复用（D-TFDD）方案，该方案自适应地分配基站的上下行时频资源，以满足非对称和异构业务需求，同时减轻小区间干扰。我们制定的问题作为一个分散的部分可观察马尔可夫决策过程（Dec-POMDP），最大限度地提高长期预期的总和率下用户的丢包率的限制。为了以分散的方式联合优化全局资源，提出了一种联合的强化学习（RL）算法--联合Wolpertinger深度确定性策略梯度（FWDDPG）算法.在分散式联邦学习框架下，各基站通过强化学习算法确定其局部时频配置，并通过与邻居交换局部强化学习模型实现全局训练。具体而言，针对每个基站的大规模离散动作空间，采用基于DDPG的算法在连续空间中生成动作，然后利用Wolpertinger策略减少从连续动作空间到离散动作空间的映射误差.仿真结果表明，我们提出的算法优于基准算法的系统和速率。
2022-11-04 cs.LG cs.NI
Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent
Bielefeld University（比勒费尔德大学）
腿部运动在自然界中广泛存在，并激发了当前机器人的设计。这些足式机器人的控制器通常被实现为一个集中实例。然而，在自然界中，对运动的控制是以等级和分散的方式发生的。将这些生物学设计原理引入机器人控制系统激发了这项工作。我们解决的问题是否分散和分层控制是有益的足式机器人，并提出了一种新的分散，分层体系结构来控制模拟腿代理。三个不同的任务，不同的复杂性被设计为基准五个架构（集中式，分散式，分层和分层分散架构的两种不同组合）。结果表明，分散分层架构的不同级别有助于智能体的学习，确保更节能的运动以及对新的不可见环境的鲁棒性。此外，这种比较揭示了模块化在分层架构中解决复杂目标导向任务的重要性。我们提供了我们架构的开源代码实现（https：//github.com/wzaielamri/hddrl）。
2022-09-21 cs.AI cs.LG cs.RO
Optimization without Future Compromises? Decentralized Coordination via Collective and Reinforcement Learning
School of Computer Science, University of Leeds, UK（计算机科学学院，莱斯特大学）
本文提出分层强化与集体学习（HRCL）方法，通过高层MARL策略减少动作空间并约束帕累托最优，低层集体学习实现低通信去中心化协调，在智慧城市等场景中显著提升性能、可扩展性与适应性。
2026-09-24 cs.LG cs.MA
Communication-Enhanced Tutoring for Efficient Decentralized Multi-Agent Reinforcement Learning
University of Warsaw（华沙大学）；IDEAS Research Institute（IDEAS研究机构）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；IDEAS NCBR；Warsaw University of Technology（华沙技术大学）
MACTAS通过自注意力机制实现多智能体强化学习中的智能体间通信，结合动作-价值函数分解，提供可微通信方法，实现大规模系统的高效训练与高性能表现。
2026-08-06 cs.LG cs.MA
Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Technion（以色列理工学院）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
我们认为网络化的多智能体强化学习（MARL）问题在一个完全分散的设置，代理学习协调，以实现联合成功。这个问题在包括交通控制、分布式控制和智能电网在内的许多领域中广泛遇到。我们假设每个代理的奖励函数可以是不同的，并且只能由代理本身局部观察。此外，每个代理位于通信网络的节点处，并且只能与其邻居交换信息。使用softmax时间一致性和分散优化方法，我们得到了一个原则和数据有效的迭代算法。在每次迭代的第一步中，代理计算其本地策略和值梯度，然后仅更新策略参数。在第二步中，代理基于其价值函数向其邻居传播消息，然后更新其自身的价值函数。因此，我们将算法命名为值传播。在非线性函数逼近下，我们证明了非渐近收敛速度为1/T。据我们所知，这是第一个MARL算法的收敛保证在控制，关闭政策和非线性函数逼近设置。我们经验证明我们的方法在实验中的有效性。
2019-09-28 cs.LG stat.ML
Learning Decentralized Routing Policies via Graph Attention-based Multi-Agent Reinforcement Learning in Lunar Delay-Tolerant Networks
Telecommunications Research Institute, University of Málaga（马德里大学电信研究所）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系）
针对月球延迟容忍网络中的多机器人探索，提出基于图注意力多智能体强化学习的分散式路由策略，采用集中训练分散执行，仅依赖局部观测，在蒙特卡洛模拟中实现更高投递率、无重复和更少丢包，并可扩展至更大团队。
2025-10-23 cs.LG stat.ML
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory（美国陆军能力发展司令部（DEVCOM）陆军研究实验室）
本文研究异构网络中的隐蔽路由通信，提出一种基于强化学习的去中心化路由算法，节点仅依靠局部反馈选择下一跳与通信模态，仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control
Sun Yat-Sen University（中山大学）；Peking University（北京大学）；Delft University of Technology（代尔夫特理工大学）
分散多智能体控制具有广泛的应用，从多机器人协作到分布式传感器网络。在分散多智能体控制中，系统具有未知或高度不确定的动态，传统的基于模型的控制方法很难应用。与控制理论中基于模型的控制相比，深度强化学习（DRL）有望在不知道系统动态的情况下从数据中学习控制器/策略。然而，直接将DRL应用于分散式多智能体控制是具有挑战性的，因为智能体之间的交互使学习环境非平稳。更重要的是，现有的多智能体强化学习（MARL）算法不能从控制理论的角度保证多智能体系统的闭环稳定性，因此在实际应用中学习到的控制策略很可能产生异常或危险行为.因此，在没有稳定性保证的情况下，将现有的MARL算法应用于真实的多智能体系统是非常令人关注的，例如，无人机，机器人，和电力系统等。在本文中，我们的目标是提出一个新的MARL算法的分散多智能体控制的稳定性保证。新的MARL算法，称为多智能体软演员评论（MASAC），提出了著名的框架下的“集中式训练与分散式执行”。通过在MASAC算法的策略改进过程中引入稳定性约束，保证了闭环系统的稳定性。基于控制理论中的李雅普诺夫方法设计了稳定性约束。为了证明其有效性，我们提出了一个多智能体导航的例子来显示所提出的MASAC算法的效率。
2020-09-20 cs.LG cs.SY eess.SY
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
我们考虑在（深度）合作多智能体强化学习（MARL）中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数，明确编码公平的两个重要方面：效率和公平的问题。作为一种解决方法，我们提出了一种新的神经网络架构，它是由两个子网络专门设计考虑到公平性的两个方面。在实验中，我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的，因为它可以容纳任何（次）可微福利函数。因此，它与文献中提出的各种公平概念（例如，字典式极大极小、广义基尼社会福利函数、比例公平）。我们的解决方案方法是通用的，可以在各种MARL设置中实现：集中式培训和分散式执行，或完全分散式。最后，我们在各个领域的实验验证我们的方法，并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；University of Southern California（南加州大学）
多智能体强化学习（MARL）面临的挑战之一是为大型系统设计有效的学习算法，在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展，但理论上对具有用于建模自动驾驶车辆，乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略，这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成：第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程，使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性，使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路，其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知，这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning
Kyoto University（京都大学）；Research Organization of Science and Technology（科学技术研究机构）；Ritsumeikan University（立命馆大学）
提出 MARL-CPC 框架，通过集体预测编码将消息与状态推断关联，支持非合作、奖励无关场景下完全去中心化智能体间的通信，其算法表现优于传统消息即动作方法。
2025-05-28 cs.AI cs.LG cs.MA
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington（惠灵顿维多利亚大学）
深度强化学习（DRL）是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者，因此在多智能体环境中研究DRL非常重要。以往的研究表明，在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而，每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作，并且每当代理改变其沟通渠道时，可能会出现样本效率低下的情况。为了解决这些问题，我们提出了一个新的框架，称为集中式培训和探索，通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下，我们将首先训练具有共享全局组件的代理策略，以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明，我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)（（2025年7月））
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究，比较其结构异同，涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework for Decentralized Inverter-based Voltage Control
针对高渗透DGs下分散式电压控制的可扩展性难题，本文提出利用网络结构截断critic输入的SNA框架，降低通信成本并提供近似保证，在114个DGs系统中验证有效。
2023-12-07 cs.LG cs.MA cs.SY
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果，实验表明其表现与独立学习相似且远逊于集中式方法，揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning
Northeastern University（东北大学）
本文介绍了协作多智能体强化学习中集中式训练去中心化执行（CTDE）的基本概念、设定与常用方法，阐述其相较于其他范式的优势及适用场景。
2024-09-04 cs.LG cs.MA
Priority-Driven Control and Communication in Decentralized Multi-Agent Systems via Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（埃因霍恩理工大学电气工程与自动化系，芬兰 Espoo）；Finnish Center for Artificial Intelligence, Helsinki, Finland（芬兰人工智能中心，芬兰 Helsinki）
本文提出一种无模型、优先级驱动的强化学习算法，通过数据联合学习通信优先级和控制策略，解决事件触发控制中通信带宽浪费问题，实验表明其优于基线方法。
2026-05-12 cs.LG cs.RO cs.SY
Online Multi-agent Reinforcement Learning for Decentralized Inverter-based Volt-VAR Control
Tsinghua University（清华大学）
基于完善模型和实时P2P通信的分布式电压无功控制方法已成为有源配电网的研究热点。然而，该模型往往是不完整的，参数误差较大，这样的P2P通信系统很难维护。在本文中，我们提出了一个在线多智能体强化学习和分散控制框架（OLDC）的VVC。在这个框架中，VVC问题被制定为一个受约束的马尔可夫博弈，我们提出了一种新的多智能体约束软演员评论家（MACSAC）强化学习算法。MACSAC用于在线训练控制代理，因此不再需要精确的ADN模型。然后，经过训练的代理可以实现分散的最优控制使用本地测量，而无需实时P2P通信。具有MACSAC的OLDC在各种计算和通信条件下表现出非凡的灵活性、效率和鲁棒性。IEEE测试用例的数值模拟不仅表明，建议MACSAC优于国家的最先进的学习算法，但也支持我们的OLDC框架在在线应用中的优越性。
2021-04-07 cs.LG cs.MA cs.SY
A Scalable Decentralized Reinforcement Learning Framework for UAV Target Localization Using Recurrent PPO
University of Moratuwa（莫拉图瓦大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对感知退化环境下的无人机目标定位问题，提出基于Recurrent PPO的去中心化强化学习框架，支持单/双无人机模式，双机模式虽准确率略低但定位步数更少，为无人机集群目标定位提供了高效方案。
2024-12-09 cs.LG cs.RO
Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The Hong Kong University of Science and Technology（香港科技大学）
尽管多智能体强化学习（MARL）在多个社区中的兴趣越来越大，但理解其理论基础一直被认为是一个具有挑战性的问题。在这项工作中，我们解决这个问题，通过提供一个有限样本分析分散批MARL与网络代理。具体来说，我们考虑两个分散的MARL设置，其中代理团队通过时变通信网络连接，并且在零和游戏设置中合作或竞争，没有任何中央控制器。这些设置涵盖了文献中许多常规的MARL设置。对于这两种设置，我们开发的批处理MARL算法，可以实现在一个分散的方式，并量化估计的动作价值函数的有限样本误差。我们的误差分析捕获了函数类，每次迭代中的样本数量以及迭代次数如何确定所提出算法的统计精度。我们的结果，相比于有限样本的单代理RL的界限，涉及额外的误差项所造成的分散计算，这是固有的在我们的分散MARL设置。这项工作似乎是第一批MARL的有限样本分析，一个严格的理论理解一般MARL算法在有限样本制度的一步。
2020-12-14 cs.AI cs.LG cs.MA
Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Houston（休斯顿大学）
边缘计算提供了一个很有前途的范例，通过将任务卸载到附近的边缘节点来支持工业物联网（IIoT）的实施。同时，由于带宽有限，网络规模的增加使得集中式数据处理变得不切实际，因此分散式学习方案是优选的。强化学习（RL）已被广泛研究，并被证明是一个有前途的解决方案，决策和最优控制过程。对于分散设置中的RL，通过通信网络连接的边缘节点（代理）旨在协同工作，以找到一种策略来优化全局奖励作为本地奖励的总和。然而，在具有异构代理的复杂环境中的通信成本，可扩展性和适应性可能会显着限制分散式RL的性能。交替方向乘法器（ADMM）具有允许分散实现的结构，并且已经显示出比基于梯度下降的方法更快的收敛。因此，我们提出了一种自适应随机增量ADMM（asI-ADMM）算法，并将asI-ADMM应用于具有边缘计算授权的IIoT网络的分散式RL。通过设计一个李雅普诺夫函数，我们证明了所提出的算法的收敛性，并证明了asI-ADMM具有$O(\frac{1}{k}) +O(\frac{1}{M})$收敛速度，其中$k$和$ M$分别是迭代次数和批量样本数.然后，我们测试我们的算法与两个监督学习问题。对于性能评估，我们模拟了两个应用程序在分散的强化学习设置同质和异构代理。实验结果表明，本文提出的算法在通信开销和可扩展性方面优于现有技术，能够很好地适应复杂的物联网环境。
2021-06-30 cs.LG cs.SY eess.SY
Deep Decentralized Multi-task Multi-Agent Reinforcement Learning under Partial Observability
MIT（麻省理工学院）；Northeastern University（东北大学）；Boeing Research & Technology（波音研究与技术）
许多现实世界的任务涉及多个代理部分可观察性和有限的通信。学习是具有挑战性的，在这些设置中，由于代理的本地观点，认为世界是非静止的，由于同时探索的队友。为单个任务学习专门策略的方法在应用于现实世界时面临问题：代理不仅必须为每个任务学习和存储不同的策略，而且在实践中任务的身份往往是不可观察的，使得这些方法不适用。本文对部分可观测下的多任务多智能体强化学习问题进行了形式化描述和研究。我们引入了一种分散的单任务学习方法，该方法对队友的并发交互具有鲁棒性，并提出了一种方法，用于将单任务策略提炼为在多个相关任务中表现良好的统一策略，而无需明确提供任务身份。
2017-07-13 cs.AI cs.LG cs.MA
Goal-Oriented Multi-Agent Reinforcement Learning for Decentralized Agent Teams
针对无集中控制、通信受限的跨域自动驾驶载具协同难题，提出目标感知选择性通信的去中心化MARL框架，可提升任务成功率、缩短达标时间且具备良好可扩展性。
2025-11-15 cs.AI cs.LG cs.MA
Multi-Agent Distributed Reinforcement Learning for Making Decentralized Offloading Decisions
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究所）
我们制定计算卸载作为一个分散的决策问题与自主智能体。我们设计了一个互动机制，激励代理商通过平衡竞争与合作来调整私人和系统目标。该机制可证明在静态情况下具有最优资源分配的纳什均衡。对于动态环境，我们提出了一种新的多智能体在线学习算法，学习与部分，延迟和噪声的状态信息，和奖励信号，减少信息需求在很大程度上。实证结果证实，通过学习，代理显着提高系统和个人的表现，例如，40%的卸载失败率降低，32%的通信开销降低，在低竞争中高达38%的计算资源节省，在高竞争中随着负载变化的减少而增加18%的利用率，以及公平性的改善。实验结果也证实了该算法在不同环境下具有良好的收敛性和推广性。
2022-04-05 cs.GT cs.LG cs.MA
Multi-Stage Transmission Line Flow Control Using Centralized and Decentralized Reinforcement Learning Agents
GEIRI North America（全球能源互联网研究院北美分院）；Jinhua Electric Power Company（金华电力公司）；SGCC Zhejiang Electric Power Company（国网浙江省电力公司）
规划满足安全和经济约束的大容量电力系统的未来操作场景通常需要在执行大规模仿真时进行密集的劳动力努力。为了自动化这一过程，减轻工程师的负担，本文提出了一种新的多阶段控制方法，训练集中式和分散式强化学习代理，可以自动调整电网控制器调节输电线路流量在正常条件下和在突发事件。将电网潮流控制问题转化为马尔可夫决策过程（MDP）。在第一阶段，集中式软行动者-评论家（SAC）代理被训练来控制发电机有功功率输出在一个广泛的区域，以控制输电线路流量对指定的安全限制。如果线路过载问题仍未解决，则使用阶段二通过本地变电站处的负载切换来训练分散的SAC代理。以浙江省电力公司电网运行规划为例，验证了该方法的有效性。
2021-02-16 cs.LG cs.SY eess.SY
CoMIX: A Multi-agent Reinforcement Learning Training Architecture for Efficient Decentralized Coordination and Independent Decision-Making
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文提出多智能体强化学习训练框架 CoMIX，通过将自私与协作行为建模为决策增量步骤，实现去中心化智能体的涌现式协调与独立决策，并在实验中显著优于基线。
2024-12-23 cs.AI cs.LG cs.MA
Multi-agent Reinforcement Learning for Decentralized Stable Matching
University of Kentucky（肯塔基大学）
在现实世界中，人们/实体通常独立自主地寻找匹配，例如寻找工作、合作伙伴、室友等。我们提出了使用一个多智能体强化学习（MARL）范式的空间制定分散双边匹配市场的独立和自主智能体。拥有独立行动的自主智能体会使我们的环境变得非常动态和不确定。此外，代理人缺乏其他代理人的偏好知识，必须探索环境并与其他代理人交互，通过嘈杂的奖励来发现自己的偏好。我们认为这样的设置更好地接近现实世界，我们研究我们的MARL方法的有用性it. Along传统的稳定匹配的情况下，代理人有严格的顺序偏好，我们检查我们的方法的适用性不完整的列表和领带稳定匹配。我们调查我们的结果的稳定性，不稳定性水平（不稳定的结果）和公平性。我们的MARL方法大多产生稳定和公平的结果。
2021-12-04 cs.AI cs.LG cs.MA
Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
研究了具有部分状态观测和局部代价的分散线性二次型控制的分布式强化学习问题。我们提出了一个零阶分布式策略优化算法（ZODPO），学习线性局部控制器在分布式的方式，利用策略梯度，零阶优化和共识算法的思想。在ZODPO中，每个代理通过一致性估计全局成本，然后基于零阶梯度估计并行执行局部策略梯度。即使在大规模系统中，ZODPO也只需要有限的通信和存储。此外，我们调查的非渐近性能的ZODPO，并表明，样本的复杂性，以接近一个平稳点是多项式的误差容限的逆和问题的尺寸，展示了ZODPO的可扩展性。我们还表明，整个ZODPO产生的控制器是稳定的控制器具有很高的概率。最后，我们在多区域HVAC系统上对ZODPO进行了数值测试。
2020-10-23 cs.LG cs.SY eess.SY
Sensor to Pixels: Decentralized Swarm Gathering via Image-Based Reinforcement Learning
Technion Israel Institute of Technology（技术学院以色列理工学院）
本研究提出了一种基于图像强化学习的去中心化蜂群聚集方法，通过结构化视觉输入提升多智能体系统的收敛效率。
2026-01-06 cs.LG cs.MA cs.SY
Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文旨在建立一个框架，指导一个简单的，专门的，自利的代理人的社会，解决传统上被称为单片单代理顺序决策问题。使用分散的方法来集体优化一个中心目标的挑战在于难以描述非合作博弈的均衡策略。为了克服这一挑战，我们设计了一种机制，用于定义每个代理的学习环境，我们知道，全球目标的最佳解决方案与代理优化自己的本地目标的纳什均衡策略配置文件相吻合。社会作为一个经济的代理人，学习信用分配过程本身通过购买和出售对环境状态的经营权。我们得到了一类分散的强化学习算法，不仅广泛适用于标准的强化学习，但也选择半MDP的选项和动态组成计算图。最后，我们展示了一个社会的内在模块化结构的潜在优势，更有效的迁移学习。
2020-08-14 cs.GT cs.LG cs.MA
Decentralized Deep Reinforcement Learning for Delay-Power Tradeoff in Vehicular Communications
VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；University of Electro-Communications（电气通信大学）；Zhejiang University（浙江大学）；University of Oslo（奥斯陆大学）；University of Oulu（奥卢大学）
针对车载通信中期望的长期时延-功率折衷的无线资源管理问题进行研究。在每个决策时期，路边单元观察全局网络状态，为所有车辆用户设备对（VUE对）分配信道并调度数据分组。决策过程被建模为离散时间马尔可夫决策过程（MDP）。解决最优控制策略的技术挑战来自于车辆的高度空间移动性和数据流量的时间变化。为了简化决策过程，我们首先将MDP分解为一系列每个VUE对的MDP。然后，我们提出了一种基于在线长短期记忆的深度强化学习算法，以打破每个每VUE对MDP所面临的状态空间中的高维灾难。该算法可以根据VUE对上的全局网络状态的部分观测值，以分散的方式进行每个历元的最优信道分配和分组调度决策。数值仿真验证了理论分析的正确性，并表明了所提出的在线学习算法的有效性。
2019-06-03 cs.LG eess.SP
Dreamer-CPC: Message Learning with World Models for Decentralized Multi-agent Reinforcement Learning
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究生院）；Research Organization of Science and Technology, Ritsumeikan University, Shiga, Japan（立命馆大学科学技术研究机构）
研究针对多智能体强化学习中通信问题，提出Dreamer-CPC方法，将基于CPC的消息学习集成到DreamerV3世界模型，各智能体据此独立维护模型与模块并交换消息，实验表明该方法在多种环境下优于现有方法，能有效支持去中心化决策。
2026-07-23 cs.LG cs.MA
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文提出SEMI-CTDE架构，通过区域划分实现多交叉口交通信号控制，结合集中训练与分布式执行，提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
Fair Dynamic Spectrum Access via Fully Decentralized Multi-Agent Reinforcement Learning
Northwestern University（西北大学）；Center of Excellence in Artificial Intelligence (CEIA)（人工智能卓越中心）；Columbia University（哥伦比亚大学）
针对去中心化无线网络中多源节点共享频谱的公平性问题，提出完全去中心化强化学习方案FSRL，通过状态增强、风险控制架构和公平奖励机制，在无协调下显著提升了吞吐量公平性。
2025-03-31 cs.LG cs.NI
TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning
Noah's Ark Lab, Huawei Technologies France（华为法国诺亚方舟实验室）；EURECOM（欧洲通信、多媒体与科学技术学院）
针对现有分层强化学习受限于两级或需集中训练的问题，提出完全去中心化的多智能体框架TAG，通过LevelEnv概念实现任意深度层级，显著提升了学习速度与最终性能。
2025-03-05 cs.AI cs.LG cs.SY
Decentralized Motion Planning for Multi-Robot Navigation using Deep Reinforcement Learning
SRM Institute of Science and Technology（SRM科学技术学院）
这项工作提出了一个分散的运动规划框架，用于解决使用深度强化学习的多机器人导航任务。开发了一个自定义的仿真器，以实验研究4个合作的非完整机器人的导航问题，共享有限的状态信息，在3个不同的设置。采用了分散的运动规划的概念，共同和共享的策略学习，这使得强大的训练和测试这种方法在随机环境中，因为代理是相互独立的，并表现出异步运动行为。通过为智能体提供稀疏的观察空间并要求它们生成连续的动作命令，以有效而安全地导航到各自的目标位置，同时避免与其他动态对等体和静态障碍物发生碰撞，任务进一步加重。实验结果报告的定量措施和定性评论的培训和部署阶段。
2020-11-20 cs.AI cs.LG cs.MA
