Tensor-based Cooperative Control for Large Scale Multi-intersection Traffic Signal Using Deep Reinforcement Learning and Imitation Learning
Tsinghua University（清华大学）
交通信号控制一直被认为是智能交通系统中的一个重要课题。大多数现有的学习方法主要集中在孤立的交叉点，并遭受效率低下的训练。针对大规模多交叉口交通信号协同控制问题，建立了一种基于端到端学习的协同控制模型，并提出了相应的有效训练方法。在该模型中，输入的交通状态在多个交叉口表示为一个张量，这不仅显着降低了维数比使用单一的矩阵，但也避免了信息丢失。在输出端，控制策略采用多维布尔向量表示信号状态是否发生变化，简化了表示形式，符合实际相位变化规律。该模型采用多任务学习结构，通过学习获得协作策略。与单纯用强化学习对模型进行训练不同，我们采用模仿学习将基于规则的模型与神经网络结合起来进行预训练，从而提供了一个可靠的、令人满意的阶段解，并大大加快了收敛速度。然后，采用强化学习方法继续进行精细训练，并结合近端策略优化算法解决多维输出情况下的策略崩溃问题。在数值实验中，所提出的模型的优点与相关的国家的最先进的方法进行了比较。
2019-09-30 cs.LG stat.ML
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta（阿尔伯塔大学）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；DeepMind（深度思维）
强化学习的一个实际挑战是组合动作空间，这使得规划在计算上要求很高。例如，在协作多智能体强化学习中，潜在的大量智能体联合优化全局奖励函数，这导致动作空间中智能体数量的组合爆破。作为最低要求，我们假设可以访问argmax oracle，该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上，我们提出了有效的算法，这种设置，导致多项式计算和查询的复杂性，在所有相关的问题参数。对于特征分解是可加性的特殊情况，我们进一步改进了边界，并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
Multi-Agent Determinantal Q-Learning
University College London（伦敦大学学院）；Huawei Technology R&D UK（华为英国技术研发部）；Shanghai Jiaotong University（上海交通大学）
集中训练与分散执行已经成为多智能体学习的一个重要范式。虽然实用，目前的方法依赖于限制性的假设，分解集中的价值函数跨代理执行。在本文中，我们通过提出多智能体行列式Q学习来消除这种限制。我们的方法是建立在Q-DPP，一个扩展的行列式点过程（DPP）与分区拟阵约束多智能体设置。Q-DPP促进代理获得不同的行为模型，这允许联合Q-函数的自然分解，而不需要对价值函数或特殊网络架构的\emph{a priori}结构约束。我们证明，Q-DPP概括了主要的解决方案，包括VDN，QMIX，和QTRAN上分散的合作任务。为了有效地从Q-DPP中抽取样本，我们采用了一个现有的具有理论近似保证的逐投影采样器。采样器还有利于探索协调代理，以覆盖多代理训练过程中的状态空间中的正交方向。我们评估我们的算法在各种合作的基准，其有效性已被证明与国家的最先进的相比。
2020-06-09 cs.LG cs.MA
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法，用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息，我们的方法可以学习环境模型，并执行时间差异更新，从而同时影响多个联合状态和动作。此外，还执行批量更新，这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法，无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
On the Robustness of Cooperative Multi-Agent Reinforcement Learning
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Vector Institute（向量研究所）
在合作多智能体强化学习（c-MARL）中，智能体学习作为一个团队合作地采取行动，以最大化团队的总回报。我们分析了C-MARL的鲁棒性对手能够攻击一个团队的代理人之一。通过操纵该代理的观察结果的能力，对手试图减少团队的总奖励。攻击c-MARL具有挑战性，原因有三：第一，很难估计团队奖励或他们如何受到代理错误预测的影响;第二，模型是不可微的;第三，特征空间是低维的。因此，我们引入了一种新颖的攻击。攻击者首先用强化学习训练策略网络，以找到它应该鼓励受害者代理采取的错误行动。然后，对手使用有针对性的对抗性例子来迫使受害者采取这一行动。我们的研究结果的StartCraft II多智能体基准测试表明，c-MARL团队是非常容易受到扰动施加到他们的代理人的意见之一。通过攻击单个代理，我们的攻击方法对整体团队奖励产生了非常负面的影响，将其从20减少到9.4。这导致球队的胜率从98.9%下降到0%。
2020-03-08 cs.CR cs.LG stat.ML
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology（佐治亚理工学院）；Electronic Arts（美国艺电）；EA Digital Platform, Data & AI（艺电数字平台数据与人工智能部门）
在专业团队运动中，人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能，从而实现高水平的协调。作为一个步骤，创造智能代理具有这种能力的充分合作的多智能体设置，我们提出了一个两级分层多智能体强化学习（MARL）算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能，而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励，这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性，而不需要为每个技能手工制作奖励。对于可扩展的分散执行，每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略，并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明，有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
MultiPrompter: Cooperative Prompt Optimization with Multi-Agent Reinforcement Learning
LG AI Research（LG AI 研究院）；University of Michigan–Ann Arbor（密歇根大学安娜堡分校）
本文提出MultiPrompter框架，将提示优化建模为多智能体轮流协作构建提示的博弈，有效缩减提示空间并提升策略收敛，在文本生成图像任务中生成质量优于基线。
2023-10-25 cs.LG
CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Honda Research Institute（本田研究院）；Toyota Research Institute（丰田研究院）
各种合作的多智能体控制问题，需要代理，以实现个人的目标，同时有助于集体的成功。这种多目标的多代理设置带来了困难，最近的算法，主要是目标设置与一个单一的全球奖励，由于两个新的挑战：有效的探索学习个人目标的实现和合作，为他人的成功，和信用分配的行动和目标之间的相互作用不同的代理。为了解决这两个挑战，我们将问题重组成一个新的两阶段的课程，在学习多智能体合作之前，学习单智能体的目标实现，我们推导出一个新的多目标多智能体的策略梯度与信贷功能本地化信用分配。我们使用一个功能增强计划，以桥梁价值和政策功能的课程。完整的架构，称为CM3，学习速度显着快于现有算法的三个具有挑战性的多目标多智能体问题的直接适应：在困难的编队合作导航，谈判多车辆车道变化的SUMO交通模拟器，和战略合作在一个bankers环境。
2020-01-24 cs.LG cs.MA stat.ML
QR-MIX: Distributional Value Function Factorisation for Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习（MARL）中，在集中训练与分散执行（CTDE）的环境下，智能体在本地独立地观察环境并与环境交互。通过局部观察和随机抽样，奖励和观察的随机性导致了长期回报的随机性。现有的方法，如价值分解网络（VDN）和QMIX估计的长期回报的价值作为一个标量，不包含随机性的信息。我们提出的模型QR-MIX引入了分位数回归，将联合状态-动作值建模为分布，将QMIX与隐式分位数网络（IQN）相结合。然而，QMIX的单调性限制了联合状态-动作值分布的表达，并且在非单调情况下可能导致不正确的估计结果。因此，我们提出了一个灵活的损失函数来近似QMIX中发现的单调性。我们的模型不仅对收益的随机性有更好的容忍度，而且对单调约束的随机性也有更好的容忍度。实验结果表明，QR-MIX优于以前的国家的最先进的方法QMIX在星际争霸多智能体挑战赛（SMAC）的环境。
2021-02-23 cs.LG cs.MA stat.ML
Independent Reinforcement Learning for Weakly Cooperative Multiagent Traffic Control Problem
Dalian Maritime University（大连海事大学）；Tianjin University of Technology（天津理工大学）；Nanyang Technological University（南洋理工大学）
自适应交通信号控制（ATSC）问题可以被建模为城市交叉口之间的多智能体合作博弈，其中交叉口合作以优化它们的共同目标。近年来，强化学习（RL）在序列决策问题中取得了显著的成功，这促使我们将RL应用于ASTC问题。在本研究中，我们使用独立强化学习（IRL）来解决一个复杂的交通协同控制问题。该问题的最大挑战之一是交叉口的观测信息通常是部分可观测的，这限制了IRL算法的学习性能。为此，我们将交通控制问题建模为部分可观测的弱合作交通模型（PO-WCTM），以优化一组交叉口的整体交通状况。不同于传统的IRL任务，在完全合作的游戏中，平均所有代理的回报，在PO-WCTM中的每个路口的学习目标是降低合作学习的难度，这也是符合交通环境假设。我们还提出了一个IRL算法称为合作重要宽松双DQN（CIL-DDQN），它扩展了双DQN（DDQN）算法使用两种机制：遗忘经验机制和宽松的权重训练机制。前一种机制降低了存储在经验应答缓冲区中的经验的重要性，解决了由于其他Agent策略改变而导致的经验失效问题。后一种机制增加了具有高估计的权重经验，并“宽松地”训练DDQN神经网络，这提高了合作联合策略的选择概率。实验结果表明，CIL-DDQN在流量控制问题的几乎所有性能指标上都优于其他方法。
2021-04-22 cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Understanding Value Decomposition Algorithms in Deep Cooperative Multi-Agent Reinforcement Learning
Yale University（耶鲁大学）；University of Oxford（牛津大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
价值函数分解正在成为一种流行的经验法则，用于在合作游戏中扩展多智能体强化学习（MARL）。对于这样的分解规则，必须假设个体-全局最大值（IGM）原则;也就是说，每个代理的分解价值函数上的局部最大值必须等于联合价值函数上的全局最大值。然而，这一原则并不一定在一般情况下成立。因此，值分解算法的适用性被掩盖，其相应的收敛特性仍然未知。在本文中，我们首次尝试回答这些问题。具体来说，我们引入了一组合作博弈的价值分解方法找到他们的有效性，这是被称为可分解的游戏。在可分解博弈中，我们从理论上证明了应用多智能体拟合Q迭代算法（MA-FQI）将导致最优Q函数。在不可分解对策中，在Q函数每次迭代都需要投影到可分解函数空间的情况下，MA-FQI估计的Q函数仍能收敛到最优解。在这两种情况下，我们考虑实际深度神经网络的价值函数表示，并推导出相应的收敛速度。总之，我们的研究结果首次为MARL从业者提供了关于价值分解算法何时收敛以及为什么它们表现良好的理论见解。
2022-02-16 cs.AI cs.LG stat.ML
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Masdar City（马斯达尔城）
本文提出FRESCO框架，利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施，通过上层智能体约束下层贪婪智能体实现协作优化，满足个体目标。
2024-03-27 cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Developing cooperative policies for multi-stage reinforcement learning tasks
Queensland University of Technology（昆士兰科技大学）；Queensland Centre of Robotics（昆士兰机器人中心）
许多分层强化学习算法利用一系列独立的技能作为基础，以解决更高层次的推理任务。这些算法没有考虑使用合作技能而不是独立技能的价值。本文提出了一种协作竞争策略（CCP）方法，使连续的智能体能够协作解决长时间范围的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化的批评者允许每个代理采取行动，有利于其任务以及后续任务。在多房间迷宫域和孔操作域中使用这种方法，合作策略能够胜过一组天真的策略，在整个域中训练的单个代理，以及另一个顺序HRL算法。
2022-05-11 cs.AI cs.LG
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.（SAS研究所公司）
近年来，深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中，我们重点介绍了多智能体强化学习（MARL）算法的最新方法。特别是，我们专注于建模和解决合作多智能体强化学习问题的五种常见方法：（I）独立学习者，（II）完全可观察的批评者，（III）价值函数因子分解，（IV）共识，（IV）学会沟通。首先，我们详细介绍了这些方法中的每一种，可能的挑战，以及如何在相关论文中缓解这些挑战。如果适用的话，我们进一步在每个类别中的不同论文之间建立联系。接下来，我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功，我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外，MARL研究的可用环境列表中提供了这项调查。最后，对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
在本文中，我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现，奖励的系统应考虑整体的交通效率，而不是个别车辆的行驶效率。总之，合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Deep reinforcement learning of event-triggered communication and control for multi-agent cooperative transport
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们探讨了一个多智能体强化学习的方法来解决多智能体合作运输的通信和控制策略的设计问题。典型的端到端深度神经网络策略可能不足以覆盖通信和控制;这些方法不能决定通信的定时并且只能与固定速率通信一起工作。因此，我们的框架利用事件触发的架构，即，一个反馈控制器，计算通信输入和触发机制，确定何时输入必须再次更新。使用多代理深度确定性策略梯度来有效地优化这种事件触发的控制策略。我们证实，我们的方法可以通过数值模拟来平衡传输性能和通信节省。
2021-03-29 cs.LG cs.RO
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
通过在多智能体环境中使用多个智能体之间的通信，可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习，在混合合作竞争环境中的沟通学习也很重要，并带来了自己的复杂性，如对方团队偷听的沟通。在本文中，我们应用微分代理间学习（DIAL），合作设置，一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明，在我们选择的环境中，经过给定的训练期后，通信代理能够实现与完全可观察代理相似的性能。总的来说，我们发现，跨团队共享通信的结果在降低性能的沟通团队相比，实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Intelligent Science（南京大学智能科学学院）
本文研究完全去中心化的协作多智能体强化学习，提出Dynamics-Aware Context方法，通过上下文建模解决非平稳性和相对过泛化问题，实验验证其有效性。
2026-05-09 cs.LG
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida（中佛罗里达大学）
星际争霸II多智能体挑战赛（SMAC）是协作多智能体强化学习（MARL）的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题，并假设每个单元都由一个学习代理单独控制，该学习代理独立行动，只拥有本地信息;集中式训练假设与分散式执行（CTDE）一起发生。为了在SMAC中取得良好的性能，MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix，基于变压器的联合动作值混合网络，我们证明是有效的和可扩展的相比，其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数，以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能，并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology（威迪亚西里梅迪科学技术研究所）
特设团队合作问题描述的情况下，一个代理人必须与以前看不见的代理人合作，以实现一个共同的目标。为了使代理在这些场景中取得成功，它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为，将合作技能实现到代理中。然而，在复杂的领域，领域知识可能是不可用的。因此，如何从数据中直接学习合作技能是值得探讨的。在这项工作中，我们应用Meta强化学习（元RL）制定的背景下，特设团队合作的问题。我们的实证结果表明，这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况：社会顺应性和语言解释。(This是扩展抽象版本的全文。）
2021-11-05 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud（华为云）；Hefei Comprehensive National Science Center, Institute of Artificial Intelligence（合肥综合性国家科学中心人工智能研究院）
协作多智能体强化学习（MARL）近年来取得了显著的进展。为了提高训练效率和可扩展性，大多数MARL算法使所有Agent共享相同的策略或值网络。然而，在许多复杂的多智能体任务中，不同的智能体被期望具有特定的能力来处理不同的子任务。在这些情况下，不加区别地共享参数可能会导致所有代理之间的相似行为，这将限制探索效率并降低最终性能。为了平衡训练的复杂性和Agent行为的多样性，我们提出了一个新的框架来学习动态子任务分配（LDSA）在合作MARL。具体来说，我们首先引入一个子任务编码器，根据其身份为每个子任务构造一个向量表示。为了合理地分配代理到不同的子任务，我们提出了一个基于能力的子任务选择策略，它可以动态组具有相似能力的代理到同一个子任务。通过这种方式，处理相同子任务的智能体共享它们对特定能力的学习，并且不同的子任务对应于不同的特定能力。我们进一步引入了两个正则化器来增加子任务之间的表示差异，并通过阻止代理频繁更改子任务来稳定训练。实验结果表明，LDSA学习合理和有效的子任务分配更好的协作，并显着提高了具有挑战性的星际争霸II微观管理基准和谷歌研究足球的学习性能。
2022-11-04 cs.LG
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University（斯坦福大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
在多智能体强化学习（MARL）中，通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信，其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议，可以提高设计人员和其他智能体的可解释性，本文提出了一种生成类似人类语言的离散消息的方法，并通过基于自我注意的广播和收听机制实现通信。我们表明，离散消息通信的性能可比连续消息通信，但与一个小得多的词汇大小。此外，我们提出了一种方法，允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
An Extended Benchmarking of Multi-Agent Reinforcement Learning Algorithms in Complex Fully Cooperative Tasks
University of Piraeus（比雷埃亚大学）；Radboud University（拉德博德大学）
本文针对现有 MARL 评估基准多样性不足的问题，在复杂全合作任务（含图像观测）上系统评测主流算法，发现 SMAC/GRF 上的先进算法未必占优，并开源扩展库 PyMARLzoo+ 以支持更全面的基准评估。
2025-07-03 cs.LG
Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
Google DeepMind（谷歌DeepMind）
提出 Q-Transformer 方法，利用 Transformer 对离散化动作维度的 Q 值进行自回归序列建模，实现从大型离线数据集中训练多任务策略，在真实机器人操作任务上优于现有离线 RL 和模仿学习算法。
2023-10-17 cs.AI cs.LG cs.RO
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens（雅典大学）
在本文中，我们提出了一个强化学习环境，利用代理的合作和通信，旨在检测，学习和最终惩罚背叛模式，出现在自利代理的行为。我们提供了游戏规则的描述，以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a）背叛出现，b）欺骗性代理优于诚实基线和b）基于行为特征分类的背叛检测，其超过概率检测基线。最后，我们提出了惩罚背叛的方法，列出未来工作的方向，并建议有趣的扩展环境，以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University（卡内基梅隆大学）；InfoTech Labs, Toyota Motor North America R&D（丰田北美研发公司InfoTech实验室）
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体，而人类驾驶的车辆则使用它们来辅助驾驶员。然而，单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如，车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中，我们提出了一个合作的感知方案与深度强化学习，以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据，我们的方案减轻了车载通信网络中的网络负载，提高了通信可靠性。为了设计，测试和验证的合作感知方案，我们开发了一个合作与智能车辆仿真（CIVS）平台，它集成了三个软件组件：交通模拟器，车辆模拟器和对象分类器。我们评估，我们的计划减少数据包丢失，从而提高检测精度高达12%，相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
近年来，多智能体强化学习（MARL）在各种应用中表现出令人瞩目的性能。然而，物理限制，预算限制，和许多其他因素通常强加\textit{constraints}的多智能体系统（MAS），这是不能处理的传统的MARL框架。具体而言，本文重点是受约束的MAS，代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下，并开发了一个\textit{constrained cooperative MARL}框架，名为DeCOM，这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块，使Agent之间能够共享信息，实现更好的协作。此外，通过这种模块化，DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题，这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后，我们验证了DeCOM的有效性，在玩具和大型（500代理）环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Flanders Make（佛兰德斯制造）
我们考虑使用强化学习（RL）来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法：分布式近似RL（DA-RL），其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL（GT-RL），其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统，但DA-RL和GT-RL都适用于一般的多智能体系统，并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment
Amazon（亚马逊）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
考虑到老化的基础设施和美国高速公路工作区数量的预期增长，研究工作区合并控制非常重要，这对于提高工作区安全性和容量至关重要。本文提出并评价了一种新的高速公路工作区合并控制策略的基础上，由人工智能实现的合作驾驶行为。所提出的方法假设所有车辆都是完全自动化的，连接和合作的。它在开放车道上插入两个计量区，为封闭车道上的合并车辆腾出空间。此外，封闭车道上的每辆车都学习如何最佳地调整其纵向位置，以使用非策略软演员评论（SAC）强化学习（RL）算法在开放车道上找到安全间隙，同时考虑其周围的交通状况。学习结果在卷积神经网络中捕获，并用于在测试阶段控制单个车辆。通过增加计量区并考虑周围车辆的位置、速度和加速度，隐含地考虑了车辆之间的合作。这个基于RL的模型使用微观交通模拟器进行训练和评估。结果表明，这种合作RL为基础的合并控制显着优于流行的战略，如晚合并和早合并的流动性和安全措施。
2020-01-21 cs.LG eess.SP
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的问题，设计自主智能体，可以学习有效地与潜在的次优合作伙伴，而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏，其中第二个代理的行为，以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动，以尽快学习联合奖励函数，使联合策略尽可能接近最优？我们分析如何在这种交互式的两个代理的情况下，可以获得有关奖励函数的知识。我们表明，当学习代理的政策有显着的影响的过渡函数，奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
