A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington（惠灵顿维多利亚大学）
深度强化学习（DRL）是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者，因此在多智能体环境中研究DRL非常重要。以往的研究表明，在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而，每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作，并且每当代理改变其沟通渠道时，可能会出现样本效率低下的情况。为了解决这些问题，我们提出了一个新的框架，称为集中式培训和探索，通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下，我们将首先训练具有共享全局组件的代理策略，以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明，我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game
Bar-Ilan University（巴伊兰大学）；Nanyang Technological University（南洋理工大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）
我们研究了一个分散的信道分配问题，在一个ad-hoc物联网网络的基础上授权给一个主要的蜂窝网络的频谱。在所考虑的网络中，IoT设备上贫乏的信道感测/探测能力和计算资源使得它们难以获取共享的多个信道的详细信道状态信息（CSI）。在实践中，主用户的传输活动的未知模式和时变CSI（例如，由于小规模衰落或设备移动性）也引起信道质量的随机变化。因此，去中心化物联网链路需要基于部分观测在线学习信道条件，同时不获取有关其未运行信道的信息。它们还必须在有限协调的情况下达成高效、无冲突的信道分配解决方案。我们的研究映射到一个上下文多人，多武装土匪游戏，并提出了一个纯粹的分散，三阶段的策略学习算法，通过试错。理论分析表明，所提出的方案保证物联网链路联合收敛到具有次线性（即，多对数）遗憾的是，相对于操作时间。仿真结果表明，它罢工之间的效率和网络的可扩展性与其他国家的最先进的分散式强盗算法相比，很好的平衡。
2021-07-01 cs.LG cs.MA cs.NI
Reducing Variance Caused by Communication in Decentralized Multi-agent Deep Reinforcement Learning
Utrecht University（乌得勒支大学）
针对去中心化多智能体深度强化学习（MADRL）中通信引入的策略梯度方差问题，本文通过理论分析提出模块化技术，将其应用于现有算法后在多任务上实现了高性能智能体并降低了训练方差。
2025-02-10 cs.LG
Implications of Decentralized Q-learning Resource Allocation in Wireless Networks
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
强化学习正受到无线网络社区的关注，因为它有可能仅从观察到的结果中学习性能良好的配置。在这项工作中，我们提出了一个无状态的变化Q学习，我们应用于利用无线网络中的空间重用。特别是，我们允许网络修改其传输功率和信道使用的经验的吞吐量的基础上。我们集中在一个完全分散的情况下，没有关于相邻节点的信息是提供给学习者。我们的研究结果表明，虽然该算法能够找到最佳的性能动作，以提高总吞吐量，有很高的变化，在吞吐量所经历的个别网络。我们确定这种变化的原因是我们的设置的对抗性设置，其中最播放的动作提供间歇性的好/差的性能取决于相邻的决定。我们还评估了算法的内在学习参数对这种变化的影响。
2017-08-29 cs.LG cs.NI
Contrasting Centralized and Decentralized Critics in Multi-Agent Reinforcement Learning
Northeastern University（东北大学）
分散执行的集中式训练，其中代理使用集中式信息离线训练，但以分散的方式在线执行，在多智能体强化学习社区中越来越受欢迎。特别是，具有集中式批评者和分散式参与者的参与者-批评者方法是这种想法的一个常见实例。然而，在这种情况下使用集中式批评的含义并没有得到充分的讨论和理解，即使它是许多算法的标准选择。因此，我们正式分析集中和分散的批评方法，提供了更深入的理解的影响，批评选择。由于我们的理论做出了不切实际的假设，我们还在广泛的环境中对集中式和分散式批评方法进行了经验比较，以验证我们的理论并提供实用的建议。我们发现，在目前的文献中存在的误解集中的批评，并表明，集中的批评设计是不是严格有益的，而是集中和分散的批评有不同的优点和缺点，应该考虑到算法设计者。
2021-12-02 cs.AI cs.LG
MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning
Peking University（北京大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分散式学习在协作式多智能体强化学习（MARL）中显示出巨大的潜力。然而，非平稳性仍然是完全分散学习的一个重大挑战。在本文中，我们以最简单和最基本的方式解决了非平稳性问题，并提出了多智能体交替Q学习（MA 2 QL），其中智能体轮流通过Q学习更新其Q函数。MA 2 QL是一种完全分散的合作MARL的最低限度方法，但在理论上是有根据的。我们证明，当每个代理保证$\varepsilon$ -收敛在每一个回合，他们的联合政策收敛到一个纳什均衡。在实践中，MA 2 QL只需要对独立Q学习（IQL）进行最小的更改。我们经验评估MA 2 QL的各种合作多智能体任务。结果表明，MA 2 QL始终优于IQL，这验证了MA 2 QL的有效性，尽管这种微小的变化。
2023-02-07 cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Optimization without Future Compromises? Decentralized Coordination via Collective and Reinforcement Learning
School of Computer Science, University of Leeds, UK（计算机科学学院，莱斯特大学）
本文提出分层强化与集体学习（HRCL）方法，通过高层MARL策略减少动作空间并约束帕累托最优，低层集体学习实现低通信去中心化协调，在智慧城市等场景中显著提升性能、可扩展性与适应性。
2026-09-24 cs.LG cs.MA
Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The Hong Kong University of Science and Technology（香港科技大学）
尽管多智能体强化学习（MARL）在多个社区中的兴趣越来越大，但理解其理论基础一直被认为是一个具有挑战性的问题。在这项工作中，我们解决这个问题，通过提供一个有限样本分析分散批MARL与网络代理。具体来说，我们考虑两个分散的MARL设置，其中代理团队通过时变通信网络连接，并且在零和游戏设置中合作或竞争，没有任何中央控制器。这些设置涵盖了文献中许多常规的MARL设置。对于这两种设置，我们开发的批处理MARL算法，可以实现在一个分散的方式，并量化估计的动作价值函数的有限样本误差。我们的误差分析捕获了函数类，每次迭代中的样本数量以及迭代次数如何确定所提出算法的统计精度。我们的结果，相比于有限样本的单代理RL的界限，涉及额外的误差项所造成的分散计算，这是固有的在我们的分散MARL设置。这项工作似乎是第一批MARL的有限样本分析，一个严格的理论理解一般MARL算法在有限样本制度的一步。
2020-12-14 cs.AI cs.LG cs.MA
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology（麻省理工学院）
在未来几年，卫星宽带市场的服务需求将大幅增长，特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度，这使得手动资源分配变得不切实际且效率低下。因此，期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习（DRL）的功率分配方法，将问题表示为连续的状态和动作空间。我们使用邻近策略优化（PPO）算法来优化分配策略，以使未满足的系统需求（USD）和功耗最小。通过对多波束卫星系统的仿真，分析了该算法的性能，结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
Decentralized multi-agent reinforcement learning algorithm using a cluster-synchronized laser network
The University of Tokyo（东京大学）
本研究提出基于光子的决策算法，结合光耦合激光器的混沌振荡、集群同步与去中心化耦合调整，解决多智能体强化学习中的竞争性多臂老虎机问题，无需智能体显式共享信息即可高效平衡探索与利用并实现协作决策，为去中心化强化学习提供了物理实现新路径。
2024-07-12 cs.LG cs.MA nlin.CD
Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
Yale University（耶鲁大学）
本文针对连续状态空间且智能体互不观测动作的随机博弈，提出一种去中心化MARL算法并证明其策略更新近最优，同时给出基于最佳响应的全局策略更新收敛概率的闭式刻画。
2023-03-16 cs.GT cs.LG
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文旨在建立一个框架，指导一个简单的，专门的，自利的代理人的社会，解决传统上被称为单片单代理顺序决策问题。使用分散的方法来集体优化一个中心目标的挑战在于难以描述非合作博弈的均衡策略。为了克服这一挑战，我们设计了一种机制，用于定义每个代理的学习环境，我们知道，全球目标的最佳解决方案与代理优化自己的本地目标的纳什均衡策略配置文件相吻合。社会作为一个经济的代理人，学习信用分配过程本身通过购买和出售对环境状态的经营权。我们得到了一类分散的强化学习算法，不仅广泛适用于标准的强化学习，但也选择半MDP的选项和动态组成计算图。最后，我们展示了一个社会的内在模块化结构的潜在优势，更有效的迁移学习。
2020-08-14 cs.GT cs.LG cs.MA
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba（曼尼托巴大学）
多智能体强化学习（MARL）是强化学习的一个具有挑战性的子领域，由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而，在现实世界的应用中，代理所需的信息（即奖励和状态）会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中，我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现，在奖励信号的扰动可以诱导性能下降相比，学习完美的奖励。我们希望本文能够激发更多的研究，研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
Decentralized Computation Offloading for Multi-User Mobile Edge Computing: A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）；Amazon Canada（亚马逊加拿大公司）
移动边缘计算（MEC）是最近出现的一种有前途的解决方案，可以将资源有限的移动设备从计算密集型任务中解脱出来，使设备能够将工作负载卸载到附近的MEC服务器，并提高计算体验的质量。然而，通过考虑本文中的多个移动用户与随机任务到达和无线信道组成的MEC系统，计算卸载策略的设计是具有挑战性的，以最小化长期平均计算成本的功耗和缓冲延迟。研究了一种基于深度强化学习（DRL）的分散动态计算卸载策略，以构建一个具有有限反馈的可扩展MEC系统。具体而言，一个连续的动作空间为基础的DRL方法命名为深度确定性策略梯度（DDPG）的学习有效的计算卸载策略独立地在每个移动用户。因此，本地执行和任务卸载两者的功率可以通过从MEC系统的每个用户的本地观察学习的策略来自适应地分配。数值结果表明，有效的政策，可以在每个用户学习，并提出DDPG的分散策略的性能优于传统的深度Q网络（DQN）的离散功率控制策略和其他一些贪婪的策略，减少计算成本。此外，还分析了基于DDPG和基于DQN的策略的功率延迟折衷。
2018-12-16 cs.LG eess.SP math.OC
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出灵活全去中心化演员-评论家MARL框架F2A2，通过原始-对偶混合梯度下降、参数共享及基于心智理论的建模方法，实现大规模协作场景下稳定可扩展的个体策略学习，并在实验中取得有竞争力的性能。
2023-07-07 cs.AI cs.LG cs.MA
Decentralized Reinforcement Learning for Multi-Target Search and Detection by a Team of Drones
Mechanical and Industrial Engineering Department, Northeastern University（东北大学机械与工业工程学院）
目标搜索和检测包含了覆盖、监视、搜索、观察和追捕等多种决策问题。在本文中，我们开发了一种多智能体深度强化学习（MADRL）方法，以协调一组飞行器（无人机）定位一组静态目标在未知区域的目的。为此，我们设计了一个逼真的无人机模拟器，它复制了真实实验的动力学和扰动，包括从实验数据中进行建模的统计推断。我们的强化学习方法利用这个模拟器进行训练，能够为无人机找到接近最优的策略。与其他最先进的MADRL方法相比，我们的方法在学习和执行过程中是完全分散的，可以处理高维和连续的观测空间，并且不需要调整额外的超参数。
2021-03-17 cs.LG cs.MA cs.RO
Dynamic Safe Interruptibility for Decentralized Multi-Agent Reinforcement Learning
EPFL（洛桑联邦理工学院）
在强化学习中，智能体通过执行动作并观察其结果来学习。有时，希望人类操作员\textit{interrupt}代理以防止危险情况发生。然而，作为学习过程的一部分，智能体可能会将这些影响其奖励的中断与特定状态联系起来，并故意避免它们。这种情况在多代理环境中尤其具有挑战性，因为代理不仅可以从自己过去的中断中学习，还可以从其他代理的中断中学习。Orseau和Armstrong为一个学习者定义了\emph{safe interruptibility}，但他们的工作并没有自然地扩展到多智能体系统。本文介绍了\textit{dynamic safe interruptibility}，一种更适合分散学习问题的替代定义，并在两个学习框架中研究了这个概念：\textit{joint action learners}和\textit{independent learners}。我们给现实的充分条件的学习算法，使动态安全中断的情况下，联合行动的学习者，但这些条件是不够的独立学习者。然而，我们表明，如果代理可以检测中断，它是可能的修剪观察，以确保动态安全中断，即使是独立的学习者。
2017-05-22 cs.AI cs.LG cs.MA
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习（MARL）算法经常遭受指数样本复杂度对智能体数量的依赖，这种现象被称为\emph{the curse of multiagents}。在本文中，我们解决这一挑战，调查样本效率的无模型算法在\emph{decentralized} MARL，并旨在改善现有的算法沿这条线。对于学习（粗）一般和马尔可夫博弈中的相关均衡，我们提出了\emph{stage-based} V-学习算法，大大简化了最近的作品的算法设计和分析，并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题，提出了一种独立的策略梯度算法，该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的，因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信，也不需要集中协调，从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Decentralized Global Connectivity Maintenance for Multi-Robot Navigation: A Reinforcement Learning Approach
Sun Yat-sen University（中山大学）
在多机器人应用中，连通性维护的多机器人导航问题是一个具有挑战性的问题。这项工作研究了如何在未知环境中导航多机器人团队，同时保持连接。我们提出了一个强化学习（RL）的方法来开发一个分散的政策，这是多个机器人之间共享。给定距离传感器测量值和其他机器人的位置，该策略旨在生成用于导航的控制命令并保持机器人团队的全局连通性。我们将连接性问题作为约束纳入RL框架，并引入行为克隆来降低策略优化的探索复杂度。该策略是优化与多个机器人在随机模拟场景中收集的所有过渡数据。我们通过比较不同的连接约束和行为克隆的组合，验证了所提出的方法的有效性。我们还表明，我们的政策可以推广到看不见的情况下，在模拟和完整的机器人实验。
2021-09-17 cs.LG cs.RO
Decentralized Multi-agent Reinforcement Learning for Resilient Critical Infrastructures
School of Computer Science, University of Leeds（利兹大学计算机科学学院）；School of Energy Systems, LUT University（卢特大学能源系统学院）
研究用于弹性关键基础设施的去中心化多智能体强化学习，基于对其特性与基础设施要求的分析，指出信用分配和通信是实际可行的核心条件，提出包含结构、因果、弹性感知信用分配及相关通信等的研究议程，为弹性关键基础设施构建有条件的基础。
2026-07-22 cs.LG cs.MA
Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent
Bielefeld University（比勒费尔德大学）
腿部运动在自然界中广泛存在，并激发了当前机器人的设计。这些足式机器人的控制器通常被实现为一个集中实例。然而，在自然界中，对运动的控制是以等级和分散的方式发生的。将这些生物学设计原理引入机器人控制系统激发了这项工作。我们解决的问题是否分散和分层控制是有益的足式机器人，并提出了一种新的分散，分层体系结构来控制模拟腿代理。三个不同的任务，不同的复杂性被设计为基准五个架构（集中式，分散式，分层和分层分散架构的两种不同组合）。结果表明，分散分层架构的不同级别有助于智能体的学习，确保更节能的运动以及对新的不可见环境的鲁棒性。此外，这种比较揭示了模块化在分层架构中解决复杂目标导向任务的重要性。我们提供了我们架构的开源代码实现（https：//github.com/wzaielamri/hddrl）。
2022-09-21 cs.AI cs.LG cs.RO
Finite-Time Global Optimality Convergence in Deep Neural Actor-Critic Methods for Decentralized Multi-Agent Reinforcement Learning
The Ohio State University, Columbus, Ohio, USA（俄亥俄州立大学）；University of Wisconsin-Whitewater, Whitewater, Wisconsin, USA（威斯康星大学-威奇托分校）；University of Colorado Boulder, Boulder, Colorado, USA（科罗拉多大学博尔德分校）
本文首次提出去中心化MARL中actor与critic均为非线性的深度神经actor-critic方法，并证明其具有O(1/T)的有限时间全局最优收敛率，填补了深度神经网络在该领域理论收敛性上的空白。
2025-08-13 cs.LG cs.MA
Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑\emph{fully decentralized}多智能体强化学习（MARL）的问题，其中代理位于时变通信网络的节点。具体来说，我们假设代理的奖励函数可能对应于不同的任务，并且仅为相应的代理所知。此外，每个代理根据本地观察到的信息和通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。为此，我们提出了两个分散的行动者-评论家算法与功能近似，这是适用于大规模的MARL问题的状态和代理的数量都是巨大的。在分散结构下，行动者步骤由每个代理单独执行，无需推断其他代理的策略。对于评论步骤，我们提出了通过网络通信的共识更新。我们的算法是完全增量的，可以在线实现。当价值函数在线性函数类内逼近时，给出了算法的收敛性分析。大量的仿真结果与线性和非线性函数逼近，以验证所提出的算法。我们的工作似乎是第一次研究完全分散的MARL算法的网络代理与功能近似，可证明的收敛保证。
2018-02-27 cs.AI cs.LG cs.MA
CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud（华为云）
由于许多多智能体强化学习（MARL）任务的部分可观测性和通信约束，集中训练分散执行（CTDE）已成为最广泛使用的MARL范式之一。在CTDE中，集中式信息专用于学习混合网络的团队奖励分配，而个人Q值的学习通常基于局部观察。全局观测的效用不足将降低具有挑战性的环境中的性能。为此，本工作提出了一种新的集中式教师与分散式学生（CTDS）的框架，其中包括一个教师模型和一个学生模型。具体而言，教师模型通过学习以全局观测为条件的个体Q值来分配团队奖励，而学生模型利用部分观测来近似教师模型估计的Q值。通过这种方式，CTDS平衡了训练期间全局观察的充分利用和分散执行在线推理的可行性。我们的CTDS框架是通用的，可以应用于现有的CTDE方法，以提高其性能。我们进行了一组具有挑战性的星际争霸II微观管理任务的实验，以测试我们的方法的有效性，结果表明，CTDS优于现有的基于值的MARL方法。
2022-03-16 cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework for Decentralized Inverter-based Voltage Control
针对高渗透DGs下分散式电压控制的可扩展性难题，本文提出利用网络结构截断critic输入的SNA框架，降低通信成本并提供近似保证，在114个DGs系统中验证有效。
2023-12-07 cs.LG cs.MA cs.SY
Decentralized Multi-Agent Reinforcement Learning: An Off-Policy Method
Tsinghua University（清华大学）
本文讨论了分散式多智能体强化学习（MARL）问题。在我们的设置中，假设全局状态、动作和奖励是完全可观察的，而本地策略作为隐私受到每个代理的保护，因此不能与其他代理共享。有一个通信图，其中的代理可以与他们的邻居交换信息。代理人做出个人决策并合作以达到更高的累积奖励。为此，我们首先提出了一个分散的演员-评论家（AC）设置。然后，分别针对离散和连续状态-动作-空间马尔可夫决策过程（MDP）设计了策略评估和策略改进算法。此外，收敛性分析下的离散空间的情况下，这保证了政策将加强政策评估和政策改进的过程之间的交替。为了验证算法的有效性，我们设计了实验，并将它们与以前的算法进行比较，例如，Q-learning \cite{watkins1992q}和MADDPG \cite{lowe2017multi}。实验结果表明，无论是学习速度还是最终性能，我们的算法都有较好的表现。此外，该算法可以在一个关闭的策略的方式执行，这大大提高了数据效率相比，对政策的算法。
2021-10-31 cs.LG cs.MA
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory（美国陆军能力发展司令部（DEVCOM）陆军研究实验室）
本文研究异构网络中的隐蔽路由通信，提出一种基于强化学习的去中心化路由算法，节点仅依靠局部反馈选择下一跳与通信模态，仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control
Sun Yat-Sen University（中山大学）；Peking University（北京大学）；Delft University of Technology（代尔夫特理工大学）
分散多智能体控制具有广泛的应用，从多机器人协作到分布式传感器网络。在分散多智能体控制中，系统具有未知或高度不确定的动态，传统的基于模型的控制方法很难应用。与控制理论中基于模型的控制相比，深度强化学习（DRL）有望在不知道系统动态的情况下从数据中学习控制器/策略。然而，直接将DRL应用于分散式多智能体控制是具有挑战性的，因为智能体之间的交互使学习环境非平稳。更重要的是，现有的多智能体强化学习（MARL）算法不能从控制理论的角度保证多智能体系统的闭环稳定性，因此在实际应用中学习到的控制策略很可能产生异常或危险行为.因此，在没有稳定性保证的情况下，将现有的MARL算法应用于真实的多智能体系统是非常令人关注的，例如，无人机，机器人，和电力系统等。在本文中，我们的目标是提出一个新的MARL算法的分散多智能体控制的稳定性保证。新的MARL算法，称为多智能体软演员评论（MASAC），提出了著名的框架下的“集中式训练与分散式执行”。通过在MASAC算法的策略改进过程中引入稳定性约束，保证了闭环系统的稳定性。基于控制理论中的李雅普诺夫方法设计了稳定性约束。为了证明其有效性，我们提出了一个多智能体导航的例子来显示所提出的MASAC算法的效率。
2020-09-20 cs.LG cs.SY eess.SY
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
我们考虑在（深度）合作多智能体强化学习（MARL）中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数，明确编码公平的两个重要方面：效率和公平的问题。作为一种解决方法，我们提出了一种新的神经网络架构，它是由两个子网络专门设计考虑到公平性的两个方面。在实验中，我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的，因为它可以容纳任何（次）可微福利函数。因此，它与文献中提出的各种公平概念（例如，字典式极大极小、广义基尼社会福利函数、比例公平）。我们的解决方案方法是通用的，可以在各种MARL设置中实现：集中式培训和分散式执行，或完全分散式。最后，我们在各个领域的实验验证我们的方法，并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Offline Decentralized Multi-Agent Reinforcement Learning
Peking University（北京大学）
针对离线去中心化多智能体强化学习中因状态转移差异导致的价值估计误差问题，提出利用价值偏差和转移归一化修改转移概率的框架，使智能体学到高性能且协调的策略，并从理论和实验上验证了其有效性与显著改进。
2023-07-29 cs.LG cs.MA
Priority-Driven Control and Communication in Decentralized Multi-Agent Systems via Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（埃因霍恩理工大学电气工程与自动化系，芬兰 Espoo）；Finnish Center for Artificial Intelligence, Helsinki, Finland（芬兰人工智能中心，芬兰 Helsinki）
本文提出一种无模型、优先级驱动的强化学习算法，通过数据联合学习通信优先级和控制策略，解决事件触发控制中通信带宽浪费问题，实验表明其优于基线方法。
2026-05-12 cs.LG cs.RO cs.SY
Online Multi-agent Reinforcement Learning for Decentralized Inverter-based Volt-VAR Control
Tsinghua University（清华大学）
基于完善模型和实时P2P通信的分布式电压无功控制方法已成为有源配电网的研究热点。然而，该模型往往是不完整的，参数误差较大，这样的P2P通信系统很难维护。在本文中，我们提出了一个在线多智能体强化学习和分散控制框架（OLDC）的VVC。在这个框架中，VVC问题被制定为一个受约束的马尔可夫博弈，我们提出了一种新的多智能体约束软演员评论家（MACSAC）强化学习算法。MACSAC用于在线训练控制代理，因此不再需要精确的ADN模型。然后，经过训练的代理可以实现分散的最优控制使用本地测量，而无需实时P2P通信。具有MACSAC的OLDC在各种计算和通信条件下表现出非凡的灵活性、效率和鲁棒性。IEEE测试用例的数值模拟不仅表明，建议MACSAC优于国家的最先进的学习算法，但也支持我们的OLDC框架在在线应用中的优越性。
2021-04-07 cs.LG cs.MA cs.SY
MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.（江森自控有限公司）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
我们提出了一种新的策略梯度方法用于多智能体强化学习，该方法利用两种不同的方差减少技术，并且不需要大批量迭代。具体来说，我们提出了一个基于动量的分散策略梯度跟踪（MDPGT），其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样，和一个中间参数被用来跟踪两个连续的策略梯度代理。此外，MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数（可能是非凹的）。这优于分散式无模型强化学习中最先进的样本复杂度，并且当用单个轨迹初始化时，样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时，MDPGT导致线性加速，这在分散随机优化中已经建立，但对于强化学习则不是。最后，我们提供了一个多智能体强化学习基准环境的实证结果，以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning
Kyoto University（京都大学）；Research Organization of Science and Technology（科学技术研究机构）；Ritsumeikan University（立命馆大学）
提出 MARL-CPC 框架，通过集体预测编码将消息与状态推断关联，支持非合作、奖励无关场景下完全去中心化智能体间的通信，其算法表现优于传统消息即动作方法。
2025-05-28 cs.AI cs.LG cs.MA
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)（（2025年7月））
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究，比较其结构异同，涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control
Nanjing University of Science and Technology（南京理工大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）
动态和异构数据流量的爆炸式增长为5G及以后的移动网络带来了巨大挑战。为了提高网络容量和可靠性，提出了一种基于学习的动态时频分复用（D-TFDD）方案，该方案自适应地分配基站的上下行时频资源，以满足非对称和异构业务需求，同时减轻小区间干扰。我们制定的问题作为一个分散的部分可观察马尔可夫决策过程（Dec-POMDP），最大限度地提高长期预期的总和率下用户的丢包率的限制。为了以分散的方式联合优化全局资源，提出了一种联合的强化学习（RL）算法--联合Wolpertinger深度确定性策略梯度（FWDDPG）算法.在分散式联邦学习框架下，各基站通过强化学习算法确定其局部时频配置，并通过与邻居交换局部强化学习模型实现全局训练。具体而言，针对每个基站的大规模离散动作空间，采用基于DDPG的算法在连续空间中生成动作，然后利用Wolpertinger策略减少从连续动作空间到离散动作空间的映射误差.仿真结果表明，我们提出的算法优于基准算法的系统和速率。
2022-11-04 cs.LG cs.NI
Deep Reinforcement Learning for Resource Allocation in Business Processes
Warsaw University of Technology（华沙理工大学）
业务流程执行中的重复资源是一项可以有效自动化的重复性任务。然而，不同的自动化方法可能会给出不同的结果，这些结果可能不是最佳的。适当的资源分配至关重要，因为它可能导致成本大幅降低或效率提高，从而增加收入。在这项工作中，我们首先提出了一种新的表示，允许建模的多进程环境与不同的基于过程的奖励。这些进程可以共享资格不同的资源。然后，我们使用双深度强化学习来寻找最优的资源分配策略。我们将这些结果与行业中广泛使用的两种流行策略进行比较。通过强化学习学习最优策略需要与环境进行频繁的交互，因此我们还设计并开发了一个可以模拟真实世界过程的仿真引擎。所取得的结果是有希望的。与两种常用技术相比，基于深度强化学习的资源分配取得了明显更好的结果。
2021-03-29 cs.HC cs.LG
Communication-Enhanced Tutoring for Efficient Decentralized Multi-Agent Reinforcement Learning
University of Warsaw（华沙大学）；IDEAS Research Institute（IDEAS研究机构）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；IDEAS NCBR；Warsaw University of Technology（华沙技术大学）
MACTAS通过自注意力机制实现多智能体强化学习中的智能体间通信，结合动作-价值函数分解，提供可微通信方法，实现大规模系统的高效训练与高性能表现。
2026-08-06 cs.LG cs.MA
Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Houston（休斯顿大学）
边缘计算提供了一个很有前途的范例，通过将任务卸载到附近的边缘节点来支持工业物联网（IIoT）的实施。同时，由于带宽有限，网络规模的增加使得集中式数据处理变得不切实际，因此分散式学习方案是优选的。强化学习（RL）已被广泛研究，并被证明是一个有前途的解决方案，决策和最优控制过程。对于分散设置中的RL，通过通信网络连接的边缘节点（代理）旨在协同工作，以找到一种策略来优化全局奖励作为本地奖励的总和。然而，在具有异构代理的复杂环境中的通信成本，可扩展性和适应性可能会显着限制分散式RL的性能。交替方向乘法器（ADMM）具有允许分散实现的结构，并且已经显示出比基于梯度下降的方法更快的收敛。因此，我们提出了一种自适应随机增量ADMM（asI-ADMM）算法，并将asI-ADMM应用于具有边缘计算授权的IIoT网络的分散式RL。通过设计一个李雅普诺夫函数，我们证明了所提出的算法的收敛性，并证明了asI-ADMM具有$O(\frac{1}{k}) +O(\frac{1}{M})$收敛速度，其中$k$和$ M$分别是迭代次数和批量样本数.然后，我们测试我们的算法与两个监督学习问题。对于性能评估，我们模拟了两个应用程序在分散的强化学习设置同质和异构代理。实验结果表明，本文提出的算法在通信开销和可扩展性方面优于现有技术，能够很好地适应复杂的物联网环境。
2021-06-30 cs.LG cs.SY eess.SY
Deep Decentralized Multi-task Multi-Agent Reinforcement Learning under Partial Observability
MIT（麻省理工学院）；Northeastern University（东北大学）；Boeing Research & Technology（波音研究与技术）
许多现实世界的任务涉及多个代理部分可观察性和有限的通信。学习是具有挑战性的，在这些设置中，由于代理的本地观点，认为世界是非静止的，由于同时探索的队友。为单个任务学习专门策略的方法在应用于现实世界时面临问题：代理不仅必须为每个任务学习和存储不同的策略，而且在实践中任务的身份往往是不可观察的，使得这些方法不适用。本文对部分可观测下的多任务多智能体强化学习问题进行了形式化描述和研究。我们引入了一种分散的单任务学习方法，该方法对队友的并发交互具有鲁棒性，并提出了一种方法，用于将单任务策略提炼为在多个相关任务中表现良好的统一策略，而无需明确提供任务身份。
2017-07-13 cs.AI cs.LG cs.MA
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology（佐治亚理工学院）；CableLabs, Inc.（CableLabs公司）
提出了一种基于强化学习的下一代以太网无源光网络（NG-EPON）智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟，这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Goal-Oriented Multi-Agent Reinforcement Learning for Decentralized Agent Teams
针对无集中控制、通信受限的跨域自动驾驶载具协同难题，提出目标感知选择性通信的去中心化MARL框架，可提升任务成功率、缩短达标时间且具备良好可扩展性。
2025-11-15 cs.AI cs.LG cs.MA
Multi-Agent Distributed Reinforcement Learning for Making Decentralized Offloading Decisions
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究所）
我们制定计算卸载作为一个分散的决策问题与自主智能体。我们设计了一个互动机制，激励代理商通过平衡竞争与合作来调整私人和系统目标。该机制可证明在静态情况下具有最优资源分配的纳什均衡。对于动态环境，我们提出了一种新的多智能体在线学习算法，学习与部分，延迟和噪声的状态信息，和奖励信号，减少信息需求在很大程度上。实证结果证实，通过学习，代理显着提高系统和个人的表现，例如，40%的卸载失败率降低，32%的通信开销降低，在低竞争中高达38%的计算资源节省，在高竞争中随着负载变化的减少而增加18%的利用率，以及公平性的改善。实验结果也证实了该算法在不同环境下具有良好的收敛性和推广性。
2022-04-05 cs.GT cs.LG cs.MA
Multi-Stage Transmission Line Flow Control Using Centralized and Decentralized Reinforcement Learning Agents
GEIRI North America（全球能源互联网研究院北美分院）；Jinhua Electric Power Company（金华电力公司）；SGCC Zhejiang Electric Power Company（国网浙江省电力公司）
规划满足安全和经济约束的大容量电力系统的未来操作场景通常需要在执行大规模仿真时进行密集的劳动力努力。为了自动化这一过程，减轻工程师的负担，本文提出了一种新的多阶段控制方法，训练集中式和分散式强化学习代理，可以自动调整电网控制器调节输电线路流量在正常条件下和在突发事件。将电网潮流控制问题转化为马尔可夫决策过程（MDP）。在第一阶段，集中式软行动者-评论家（SAC）代理被训练来控制发电机有功功率输出在一个广泛的区域，以控制输电线路流量对指定的安全限制。如果线路过载问题仍未解决，则使用阶段二通过本地变电站处的负载切换来训练分散的SAC代理。以浙江省电力公司电网运行规划为例，验证了该方法的有效性。
2021-02-16 cs.LG cs.SY eess.SY
Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
研究了具有部分状态观测和局部代价的分散线性二次型控制的分布式强化学习问题。我们提出了一个零阶分布式策略优化算法（ZODPO），学习线性局部控制器在分布式的方式，利用策略梯度，零阶优化和共识算法的思想。在ZODPO中，每个代理通过一致性估计全局成本，然后基于零阶梯度估计并行执行局部策略梯度。即使在大规模系统中，ZODPO也只需要有限的通信和存储。此外，我们调查的非渐近性能的ZODPO，并表明，样本的复杂性，以接近一个平稳点是多项式的误差容限的逆和问题的尺寸，展示了ZODPO的可扩展性。我们还表明，整个ZODPO产生的控制器是稳定的控制器具有很高的概率。最后，我们在多区域HVAC系统上对ZODPO进行了数值测试。
2020-10-23 cs.LG cs.SY eess.SY
Sensor to Pixels: Decentralized Swarm Gathering via Image-Based Reinforcement Learning
Technion Israel Institute of Technology（技术学院以色列理工学院）
本研究提出了一种基于图像强化学习的去中心化蜂群聚集方法，通过结构化视觉输入提升多智能体系统的收敛效率。
2026-01-06 cs.LG cs.MA cs.SY
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；University of Southern California（南加州大学）
多智能体强化学习（MARL）面临的挑战之一是为大型系统设计有效的学习算法，在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展，但理论上对具有用于建模自动驾驶车辆，乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略，这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成：第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程，使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性，使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路，其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知，这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
CoMIX: A Multi-agent Reinforcement Learning Training Architecture for Efficient Decentralized Coordination and Independent Decision-Making
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文提出多智能体强化学习训练框架 CoMIX，通过将自私与协作行为建模为决策增量步骤，实现去中心化智能体的涌现式协调与独立决策，并在实验中显著优于基线。
2024-12-23 cs.AI cs.LG cs.MA
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果，实验表明其表现与独立学习相似且远逊于集中式方法，揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
