Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Flanders Make（佛兰德斯制造）
我们考虑使用强化学习（RL）来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法：分布式近似RL（DA-RL），其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL（GT-RL），其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统，但DA-RL和GT-RL都适用于一般的多智能体系统，并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Deep Reinforcement Learning for Event-Triggered Control
本文提出一种基于深度强化学习的事件触发控制方法，首次将DRL应用于ETC，能够从零开始学习控制与通信行为，并在非线性系统中展现优势。
2018-09-13 cs.LG cs.SY eess.SY
Developing cooperative policies for multi-stage reinforcement learning tasks
Queensland University of Technology（昆士兰科技大学）；Queensland Centre of Robotics（昆士兰机器人中心）
许多分层强化学习算法利用一系列独立的技能作为基础，以解决更高层次的推理任务。这些算法没有考虑使用合作技能而不是独立技能的价值。本文提出了一种协作竞争策略（CCP）方法，使连续的智能体能够协作解决长时间范围的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化的批评者允许每个代理采取行动，有利于其任务以及后续任务。在多房间迷宫域和孔操作域中使用这种方法，合作策略能够胜过一组天真的策略，在整个域中训练的单个代理，以及另一个顺序HRL算法。
2022-05-11 cs.AI cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
在本文中，我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现，奖励的系统应考虑整体的交通效率，而不是个别车辆的行驶效率。总之，合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Independent Reinforcement Learning for Weakly Cooperative Multiagent Traffic Control Problem
Dalian Maritime University（大连海事大学）；Tianjin University of Technology（天津理工大学）；Nanyang Technological University（南洋理工大学）
自适应交通信号控制（ATSC）问题可以被建模为城市交叉口之间的多智能体合作博弈，其中交叉口合作以优化它们的共同目标。近年来，强化学习（RL）在序列决策问题中取得了显著的成功，这促使我们将RL应用于ASTC问题。在本研究中，我们使用独立强化学习（IRL）来解决一个复杂的交通协同控制问题。该问题的最大挑战之一是交叉口的观测信息通常是部分可观测的，这限制了IRL算法的学习性能。为此，我们将交通控制问题建模为部分可观测的弱合作交通模型（PO-WCTM），以优化一组交叉口的整体交通状况。不同于传统的IRL任务，在完全合作的游戏中，平均所有代理的回报，在PO-WCTM中的每个路口的学习目标是降低合作学习的难度，这也是符合交通环境假设。我们还提出了一个IRL算法称为合作重要宽松双DQN（CIL-DDQN），它扩展了双DQN（DDQN）算法使用两种机制：遗忘经验机制和宽松的权重训练机制。前一种机制降低了存储在经验应答缓冲区中的经验的重要性，解决了由于其他Agent策略改变而导致的经验失效问题。后一种机制增加了具有高估计的权重经验，并“宽松地”训练DDQN神经网络，这提高了合作联合策略的选择概率。实验结果表明，CIL-DDQN在流量控制问题的几乎所有性能指标上都优于其他方法。
2021-04-22 cs.LG
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Masdar City（马斯达尔城）
本文提出FRESCO框架，利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施，通过上层智能体约束下层贪婪智能体实现协作优化，满足个体目标。
2024-03-27 cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法，用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息，我们的方法可以学习环境模型，并执行时间差异更新，从而同时影响多个联合状态和动作。此外，还执行批量更新，这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法，无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Adaptive Event-triggered Reinforcement Learning Control for Complex Nonlinear Systems
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Cincinnati（辛辛那提大学）
本文提出一种自适应事件触发强化学习控制方法，通过联合学习控制与通信策略并利用累积奖励增广状态空间，在无需显式学习触发条件的情况下实现高效触发判定，适用于具有复杂交互的连续时间非线性系统。
2024-09-29 cs.AI cs.LG cs.SY
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology（威迪亚西里梅迪科学技术研究所）
特设团队合作问题描述的情况下，一个代理人必须与以前看不见的代理人合作，以实现一个共同的目标。为了使代理在这些场景中取得成功，它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为，将合作技能实现到代理中。然而，在复杂的领域，领域知识可能是不可用的。因此，如何从数据中直接学习合作技能是值得探讨的。在这项工作中，我们应用Meta强化学习（元RL）制定的背景下，特设团队合作的问题。我们的实证结果表明，这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况：社会顺应性和语言解释。(This是扩展抽象版本的全文。）
2021-11-05 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University（斯坦福大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
在多智能体强化学习（MARL）中，通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信，其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议，可以提高设计人员和其他智能体的可解释性，本文提出了一种生成类似人类语言的离散消息的方法，并通过基于自我注意的广播和收听机制实现通信。我们表明，离散消息通信的性能可比连续消息通信，但与一个小得多的词汇大小。此外，我们提出了一种方法，允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
通过在多智能体环境中使用多个智能体之间的通信，可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习，在混合合作竞争环境中的沟通学习也很重要，并带来了自己的复杂性，如对方团队偷听的沟通。在本文中，我们应用微分代理间学习（DIAL），合作设置，一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明，在我们选择的环境中，经过给定的训练期后，通信代理能够实现与完全可观察代理相似的性能。总的来说，我们发现，跨团队共享通信的结果在降低性能的沟通团队相比，实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Event-Triggered Reinforcement Learning Based Joint Resource Allocation for Ultra-Reliable Low-Latency V2X Communications
Koc University（科克大学）；Ford Otosan（福特奥托桑）
针对6G车联网URLLC下行链路，提出事件触发深度强化学习框架，联合优化功率与块长度，最小化最坏解码错误概率，性能达联合优化95%且DRL执行减少24%。
2024-07-18 cs.LG
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens（雅典大学）
在本文中，我们提出了一个强化学习环境，利用代理的合作和通信，旨在检测，学习和最终惩罚背叛模式，出现在自利代理的行为。我们提供了游戏规则的描述，以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a）背叛出现，b）欺骗性代理优于诚实基线和b）基于行为特征分类的背叛检测，其超过概率检测基线。最后，我们提出了惩罚背叛的方法，列出未来工作的方向，并建议有趣的扩展环境，以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida（中佛罗里达大学）
星际争霸II多智能体挑战赛（SMAC）是协作多智能体强化学习（MARL）的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题，并假设每个单元都由一个学习代理单独控制，该学习代理独立行动，只拥有本地信息;集中式训练假设与分散式执行（CTDE）一起发生。为了在SMAC中取得良好的性能，MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix，基于变压器的联合动作值混合网络，我们证明是有效的和可扩展的相比，其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数，以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能，并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
The reinforcement learning-based multi-agent cooperative approach for the adaptive speed regulation on a metallurgical pickling line
Severstal Digital（谢韦尔数字）
我们提出了一个整体的数据驱动的方法来提高生产率的问题上的例子，冶金酸洗线。所提出的方法结合了数学建模作为基础算法和合作的多智能体强化学习（MARL）系统实现，以提高性能的多个标准，同时也满足安全性和可靠性的要求，并考虑到某些技术过程的意外波动。我们展示了如何将深度Q-Learning应用于重工业中的实际任务，从而显著改善先前存在的自动化系统。输入数据稀缺的问题通过LSTM和CGAN的两步组合来解决，这有助于同时包含数据的表格表示及其顺序属性。离线RL训练，在这种情况下的必要性，已经成为可能，通过复杂的概率运动环境。
2022-04-02 cs.LG stat.ML
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta（阿尔伯塔大学）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；DeepMind（深度思维）
强化学习的一个实际挑战是组合动作空间，这使得规划在计算上要求很高。例如，在协作多智能体强化学习中，潜在的大量智能体联合优化全局奖励函数，这导致动作空间中智能体数量的组合爆破。作为最低要求，我们假设可以访问argmax oracle，该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上，我们提出了有效的算法，这种设置，导致多项式计算和查询的复杂性，在所有相关的问题参数。对于特征分解是可加性的特殊情况，我们进一步改进了边界，并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.（SAS研究所公司）
近年来，深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中，我们重点介绍了多智能体强化学习（MARL）算法的最新方法。特别是，我们专注于建模和解决合作多智能体强化学习问题的五种常见方法：（I）独立学习者，（II）完全可观察的批评者，（III）价值函数因子分解，（IV）共识，（IV）学会沟通。首先，我们详细介绍了这些方法中的每一种，可能的挑战，以及如何在相关论文中缓解这些挑战。如果适用的话，我们进一步在每个类别中的不同论文之间建立联系。接下来，我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功，我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外，MARL研究的可用环境列表中提供了这项调查。最后，对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
近年来，多智能体强化学习（MARL）在各种应用中表现出令人瞩目的性能。然而，物理限制，预算限制，和许多其他因素通常强加\textit{constraints}的多智能体系统（MAS），这是不能处理的传统的MARL框架。具体而言，本文重点是受约束的MAS，代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下，并开发了一个\textit{constrained cooperative MARL}框架，名为DeCOM，这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块，使Agent之间能够共享信息，实现更好的协作。此外，通过这种模块化，DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题，这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后，我们验证了DeCOM的有效性，在玩具和大型（500代理）环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
QTRAN是一种多智能体强化学习（MARL）算法，能够学习最大类的联合作用价值函数。然而，尽管它有很强的理论保证，它在复杂环境中表现出很差的经验性能，如星际争霸多智能体挑战赛（SMAC）。在本文中，我们确定的性能瓶颈的QTRAN，并提出了一个大大改进的版本，创造QTRAN++。我们的收益来自（i）稳定QTRAN的训练目标，（ii）消除QTRAN的动作值估计器之间的严格角色分离，以及（iii）引入多头混合网络进行值转换。通过广泛的评估，我们确认我们的诊断是正确的，并且QTRAN++成功地弥合了经验性能和理论保证之间的差距。特别是，QTRAN++在SMAC环境中新实现了最先进的性能。代码将被释放。
2020-10-06 cs.LG stat.ML
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
PAC Guarantees for Cooperative Multi-Agent Reinforcement Learning with Restricted Communication
Technion, Israel（以色列理工学院）
我们开发模型免费PAC性能保证多个并发MDPs，扩展最近的作品，一个单一的学习者与多个非交互代理在一个无噪声的环境中进行交互。我们的框架允许嘈杂和资源有限的代理之间的通信，并在此扩展设置开发新的PAC保证。通过允许代理之间的通信，我们建议改进的PAC探索算法，可以克服通信噪声，并导致改进的样本复杂度界限。我们提供了一个理论上的动机的算法，最佳地结合信息的资源有限的代理，从而分析噪声和通信约束之间的相互作用，在现实世界的系统中是无处不在的。我们提出了一个简单的任务，支持我们的理论公式和改进后，天真的信息融合方法的经验结果。
2019-10-10 cs.LG stat.ML
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment
Amazon（亚马逊）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
考虑到老化的基础设施和美国高速公路工作区数量的预期增长，研究工作区合并控制非常重要，这对于提高工作区安全性和容量至关重要。本文提出并评价了一种新的高速公路工作区合并控制策略的基础上，由人工智能实现的合作驾驶行为。所提出的方法假设所有车辆都是完全自动化的，连接和合作的。它在开放车道上插入两个计量区，为封闭车道上的合并车辆腾出空间。此外，封闭车道上的每辆车都学习如何最佳地调整其纵向位置，以使用非策略软演员评论（SAC）强化学习（RL）算法在开放车道上找到安全间隙，同时考虑其周围的交通状况。学习结果在卷积神经网络中捕获，并用于在测试阶段控制单个车辆。通过增加计量区并考虑周围车辆的位置、速度和加速度，隐含地考虑了车辆之间的合作。这个基于RL的模型使用微观交通模拟器进行训练和评估。结果表明，这种合作RL为基础的合并控制显着优于流行的战略，如晚合并和早合并的流动性和安全措施。
2020-01-21 cs.LG eess.SP
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能学院）
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法，用于合作多智能体强化学习，在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Data-driven control of micro-climate in buildings: an event-triggered reinforcement learning approach
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；D. E. Shaw Group（D. E. Shaw 集团）
智能建筑在为我们的星球塑造一个节能、可持续和更经济的未来方面具有巨大的潜力，因为建筑物占全球能源消耗的约40%。智能建筑的未来在于使用传感器数据进行自适应决策和控制，而目前的关键挑战是在短时间内以在线和持续的方式学习良好的控制策略。为了应对这一挑战，一个事件触发-而不是经典的时间触发-范式，提出了学习和控制决策时，事件发生，收集足够的信息。事件的特征在于特定的设计条件，并且它们在满足条件时发生，例如，当达到特定的状态阈值时。通过系统地调整学习和控制决策的时间，所提出的框架可以潜在地减少学习的方差，从而改善控制过程。我们制定的微气候控制问题的半马尔可夫决策过程的基础上，允许可变时间的状态转换和决策。在强化学习的基础上，利用扩展的策略梯度定理和时间差分方法，提出了两种建筑物微气候事件触发控制的学习算法.我们通过设计一个智能学习恒温器来展示我们所提出的方法的有效性，该恒温器同时优化了测试建筑中的能耗和居住者的舒适度。
2020-07-02 cs.LG cs.SY eess.SY
Deep Multi-Agent Reinforcement Learning Based Cooperative Edge Caching in Wireless Networks
Syracuse University（雪城大学）
高质量和低延迟的多媒体服务的需求不断增长，导致了边缘缓存技术的兴趣。出于这一动机，我们在本文中考虑边缘缓存在基站未知的内容流行度分布。为了解决缓存决策的动态控制问题，我们提出了一个基于深度行动者-批评者强化学习的多智能体框架，其目标是最小化整体平均传输延迟。为了评估所提出的框架，我们比较了基于学习的性能与其他三个缓存政策，即最近最少使用（LRU），最不频繁使用（LFU），先进先出（FIFO）的政策。通过仿真结果，性能改进的建议框架，这三种缓存算法已被确定，其优越的能力，以适应不同的环境中被证明。
2019-05-13 cs.IT cs.LG math.IT
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering（电气与信息工程学院）
针对CTDE框架中智能体信息评估与全局协作受限的挑战，提出基于信息选择和默契学习的合作型MARL新框架，通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
Reinforcement Learning Based Cooperative Coded Caching under Dynamic Popularities in Ultra-Dense Networks
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Georgia Institute of Technology（佐治亚理工学院）
对于具有无线回程的超密集网络，通常具有有限存储的小型基站（SBS）处的缓存策略对于满足大规模高数据率请求至关重要。由于内容的流行度随着时间的变化在一个未知的方式，我们利用强化学习（RL）设计一个合作的缓存策略与最大距离可分离（MDS）编码。我们将基于MDS编码的协作缓存建模为马尔可夫决策过程，以捕获流行动态并最大化由SBS直接服务的长期预期累积流量负载，而无需访问宏基站。对于公式化的问题，我们首先通过将协作MDS编码嵌入到Q学习中来找到小规模系统的最优解。为了处理大规模的情况下，我们近似的状态-行动价值函数抽象。近似函数只包括少量的可学习参数，使我们能够提出一种快速有效的动作选择方法，大大降低了复杂性。数值结果验证了所提出的基于RL的算法的最优性/近最优性，并显示了与基线计划相比的优越性。它们对不同的环境也表现出良好的鲁棒性。
2020-03-08 cs.IT cs.LG math.IT
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的问题，设计自主智能体，可以学习有效地与潜在的次优合作伙伴，而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏，其中第二个代理的行为，以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动，以尽快学习联合奖励函数，使联合策略尽可能接近最优？我们分析如何在这种交互式的两个代理的情况下，可以获得有关奖励函数的知识。我们表明，当学习代理的政策有显着的影响的过渡函数，奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于身份识别的自适应探索方法 AIR，通过身份分类器与动作选择器的对抗机制，在合作多智能体强化学习中统一并促进个体与集体探索，提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Reinforcement Learning with Action-Triggered Observations
Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学；向量研究所）；Vector Institute
提出动作触发稀疏可追踪MDP框架，推导Bellman方程并证明最优策略存在，利用观测间动作序列的线性表示实现基于回归的方法，在几何分布情节下达到与完全可观测线性MDP匹配的遗憾界。
2026-06-11 cs.LG math.OC stat.ML
On the Robustness of Cooperative Multi-Agent Reinforcement Learning
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Vector Institute（向量研究所）
在合作多智能体强化学习（c-MARL）中，智能体学习作为一个团队合作地采取行动，以最大化团队的总回报。我们分析了C-MARL的鲁棒性对手能够攻击一个团队的代理人之一。通过操纵该代理的观察结果的能力，对手试图减少团队的总奖励。攻击c-MARL具有挑战性，原因有三：第一，很难估计团队奖励或他们如何受到代理错误预测的影响;第二，模型是不可微的;第三，特征空间是低维的。因此，我们引入了一种新颖的攻击。攻击者首先用强化学习训练策略网络，以找到它应该鼓励受害者代理采取的错误行动。然后，对手使用有针对性的对抗性例子来迫使受害者采取这一行动。我们的研究结果的StartCraft II多智能体基准测试表明，c-MARL团队是非常容易受到扰动施加到他们的代理人的意见之一。通过攻击单个代理，我们的攻击方法对整体团队奖励产生了非常负面的影响，将其从20减少到9.4。这导致球队的胜率从98.9%下降到0%。
2020-03-08 cs.CR cs.LG stat.ML
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）；University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）；Université de Montréal（蒙特利尔大学）
本文提出 COE，将合作式 MARL 建模为顺序树搜索，并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励，在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
