Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
在本文中，我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现，奖励的系统应考虑整体的交通效率，而不是个别车辆的行驶效率。总之，合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.（SAS研究所公司）
近年来，深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中，我们重点介绍了多智能体强化学习（MARL）算法的最新方法。特别是，我们专注于建模和解决合作多智能体强化学习问题的五种常见方法：（I）独立学习者，（II）完全可观察的批评者，（III）价值函数因子分解，（IV）共识，（IV）学会沟通。首先，我们详细介绍了这些方法中的每一种，可能的挑战，以及如何在相关论文中缓解这些挑战。如果适用的话，我们进一步在每个类别中的不同论文之间建立联系。接下来，我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功，我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外，MARL研究的可用环境列表中提供了这项调查。最后，对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
The reinforcement learning-based multi-agent cooperative approach for the adaptive speed regulation on a metallurgical pickling line
Severstal Digital（谢韦尔数字）
我们提出了一个整体的数据驱动的方法来提高生产率的问题上的例子，冶金酸洗线。所提出的方法结合了数学建模作为基础算法和合作的多智能体强化学习（MARL）系统实现，以提高性能的多个标准，同时也满足安全性和可靠性的要求，并考虑到某些技术过程的意外波动。我们展示了如何将深度Q-Learning应用于重工业中的实际任务，从而显著改善先前存在的自动化系统。输入数据稀缺的问题通过LSTM和CGAN的两步组合来解决，这有助于同时包含数据的表格表示及其顺序属性。离线RL训练，在这种情况下的必要性，已经成为可能，通过复杂的概率运动环境。
2022-04-02 cs.LG stat.ML
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology（威迪亚西里梅迪科学技术研究所）
特设团队合作问题描述的情况下，一个代理人必须与以前看不见的代理人合作，以实现一个共同的目标。为了使代理在这些场景中取得成功，它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为，将合作技能实现到代理中。然而，在复杂的领域，领域知识可能是不可用的。因此，如何从数据中直接学习合作技能是值得探讨的。在这项工作中，我们应用Meta强化学习（元RL）制定的背景下，特设团队合作的问题。我们的实证结果表明，这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况：社会顺应性和语言解释。(This是扩展抽象版本的全文。）
2021-11-05 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University（斯坦福大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
在多智能体强化学习（MARL）中，通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信，其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议，可以提高设计人员和其他智能体的可解释性，本文提出了一种生成类似人类语言的离散消息的方法，并通过基于自我注意的广播和收听机制实现通信。我们表明，离散消息通信的性能可比连续消息通信，但与一个小得多的词汇大小。此外，我们提出了一种方法，允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
我们探索基于价值的解决方案，多智能体强化学习（MARL）任务的集中训练与分散执行（CTDE）制度最近流行。然而，VDN和QMIX是使用将联合动作-价值函数分解为单独的函数以用于分散执行的思想的代表性示例。VDN和QMIX只解决了一小部分可因子分解的MARL任务，这是由于它们在因子分解中的结构约束，如可加性和单调性。本文提出了一种新的MARL分解方法QTRAN，它摆脱了这种结构约束，并采用了一种新的方法将原联合作用价值函数转化为一个易于分解的具有相同最优作用的函数。QTRAN保证比VDN或QMIX更一般的因式分解，因此比以前的方法覆盖更广泛的MARL任务。我们的实验任务的多域高斯挤压和修改的捕食者-猎物证明了QTRAN的优越性能，特别是在游戏中的利润更大的利润更积极地惩罚非合作行为。
2019-05-14 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University（卡内基梅隆大学）；InfoTech Labs, Toyota Motor North America R&D（丰田北美研发公司InfoTech实验室）
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体，而人类驾驶的车辆则使用它们来辅助驾驶员。然而，单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如，车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中，我们提出了一个合作的感知方案与深度强化学习，以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据，我们的方案减轻了车载通信网络中的网络负载，提高了通信可靠性。为了设计，测试和验证的合作感知方案，我们开发了一个合作与智能车辆仿真（CIVS）平台，它集成了三个软件组件：交通模拟器，车辆模拟器和对象分类器。我们评估，我们的计划减少数据包丢失，从而提高检测精度高达12%，相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
QTRAN是一种多智能体强化学习（MARL）算法，能够学习最大类的联合作用价值函数。然而，尽管它有很强的理论保证，它在复杂环境中表现出很差的经验性能，如星际争霸多智能体挑战赛（SMAC）。在本文中，我们确定的性能瓶颈的QTRAN，并提出了一个大大改进的版本，创造QTRAN++。我们的收益来自（i）稳定QTRAN的训练目标，（ii）消除QTRAN的动作值估计器之间的严格角色分离，以及（iii）引入多头混合网络进行值转换。通过广泛的评估，我们确认我们的诊断是正确的，并且QTRAN++成功地弥合了经验性能和理论保证之间的差距。特别是，QTRAN++在SMAC环境中新实现了最先进的性能。代码将被释放。
2020-10-06 cs.LG stat.ML
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
PAC Guarantees for Cooperative Multi-Agent Reinforcement Learning with Restricted Communication
Technion, Israel（以色列理工学院）
我们开发模型免费PAC性能保证多个并发MDPs，扩展最近的作品，一个单一的学习者与多个非交互代理在一个无噪声的环境中进行交互。我们的框架允许嘈杂和资源有限的代理之间的通信，并在此扩展设置开发新的PAC保证。通过允许代理之间的通信，我们建议改进的PAC探索算法，可以克服通信噪声，并导致改进的样本复杂度界限。我们提供了一个理论上的动机的算法，最佳地结合信息的资源有限的代理，从而分析噪声和通信约束之间的相互作用，在现实世界的系统中是无处不在的。我们提出了一个简单的任务，支持我们的理论公式和改进后，天真的信息融合方法的经验结果。
2019-10-10 cs.LG stat.ML
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Tensor-based Cooperative Control for Large Scale Multi-intersection Traffic Signal Using Deep Reinforcement Learning and Imitation Learning
Tsinghua University（清华大学）
交通信号控制一直被认为是智能交通系统中的一个重要课题。大多数现有的学习方法主要集中在孤立的交叉点，并遭受效率低下的训练。针对大规模多交叉口交通信号协同控制问题，建立了一种基于端到端学习的协同控制模型，并提出了相应的有效训练方法。在该模型中，输入的交通状态在多个交叉口表示为一个张量，这不仅显着降低了维数比使用单一的矩阵，但也避免了信息丢失。在输出端，控制策略采用多维布尔向量表示信号状态是否发生变化，简化了表示形式，符合实际相位变化规律。该模型采用多任务学习结构，通过学习获得协作策略。与单纯用强化学习对模型进行训练不同，我们采用模仿学习将基于规则的模型与神经网络结合起来进行预训练，从而提供了一个可靠的、令人满意的阶段解，并大大加快了收敛速度。然后，采用强化学习方法继续进行精细训练，并结合近端策略优化算法解决多维输出情况下的策略崩溃问题。在数值实验中，所提出的模型的优点与相关的国家的最先进的方法进行了比较。
2019-09-30 cs.LG stat.ML
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
MultiPrompter: Cooperative Prompt Optimization with Multi-Agent Reinforcement Learning
LG AI Research（LG AI 研究院）；University of Michigan–Ann Arbor（密歇根大学安娜堡分校）
本文提出MultiPrompter框架，将提示优化建模为多智能体轮流协作构建提示的博弈，有效缩减提示空间并提升策略收敛，在文本生成图像任务中生成质量优于基线。
2023-10-25 cs.LG
Local Advantage Networks for Cooperative Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
LAN 算法利用 dueling 架构和个体优势函数学习去中心化最佳响应策略，并通过与智能体数量无关的集中式评论家稳定训练，在 StarCraft II 基准上达到最先进性能且高度可扩展。
2023-10-26 cs.AI cs.LG
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能学院）
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法，用于合作多智能体强化学习，在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering（电气与信息工程学院）
针对CTDE框架中智能体信息评估与全局协作受限的挑战，提出基于信息选择和默契学习的合作型MARL新框架，通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning
Xiaomi Inc.（小米公司）
基于深度强化学习的多智能体合作与竞争问题是近年来的研究热点。研究了局部观测条件下基于行动者-批评者方法的多智能体协作问题。多智能体深度确定性策略梯度在一些多智能体博弈中取得了很好的效果，但随着智能体数量的增加，它不能很好地扩展。为了提高系统的可扩展性，提出了一种基于神经网络的参数共享确定性策略梯度方法，该方法包括三种变体：Actor-Critic共享、Actor共享和Actor与部分共享Critic共享. rllab的测试结果表明，该方法在学习速度和记忆效率方面具有优势，随着代理数量的增长具有很好的可扩展性，并且在可能的情况下可以充分利用奖励共享和交换机制。
2017-10-03 cs.AI
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于身份识别的自适应探索方法 AIR，通过身份分类器与动作选择器的对抗机制，在合作多智能体强化学习中统一并促进个体与集体探索，提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
On the Robustness of Cooperative Multi-Agent Reinforcement Learning
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Vector Institute（向量研究所）
在合作多智能体强化学习（c-MARL）中，智能体学习作为一个团队合作地采取行动，以最大化团队的总回报。我们分析了C-MARL的鲁棒性对手能够攻击一个团队的代理人之一。通过操纵该代理的观察结果的能力，对手试图减少团队的总奖励。攻击c-MARL具有挑战性，原因有三：第一，很难估计团队奖励或他们如何受到代理错误预测的影响;第二，模型是不可微的;第三，特征空间是低维的。因此，我们引入了一种新颖的攻击。攻击者首先用强化学习训练策略网络，以找到它应该鼓励受害者代理采取的错误行动。然后，对手使用有针对性的对抗性例子来迫使受害者采取这一行动。我们的研究结果的StartCraft II多智能体基准测试表明，c-MARL团队是非常容易受到扰动施加到他们的代理人的意见之一。通过攻击单个代理，我们的攻击方法对整体团队奖励产生了非常负面的影响，将其从20减少到9.4。这导致球队的胜率从98.9%下降到0%。
2020-03-08 cs.CR cs.LG stat.ML
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对合作多智能体强化学习中IGM原则限制问题，提出双自感知价值分解框架，结合自我策略与 alter ego 价值函数并引入反自我探索机制，实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
CAFEEN: A Cooperative Approach for Energy Efficient NoCs with Multi-Agent Reinforcement Learning
Colorado State University（科罗拉多州立大学）
本文提出CAFEEN框架，结合细粒度启发式与粗粒度多智能体强化学习电源门控方法，自适应平衡片上网络能效与性能，显著降低单应用与多应用工作负载的总能耗。
2024-10-09 cs.AI cs.AR cs.LG
Independent Reinforcement Learning for Weakly Cooperative Multiagent Traffic Control Problem
Dalian Maritime University（大连海事大学）；Tianjin University of Technology（天津理工大学）；Nanyang Technological University（南洋理工大学）
自适应交通信号控制（ATSC）问题可以被建模为城市交叉口之间的多智能体合作博弈，其中交叉口合作以优化它们的共同目标。近年来，强化学习（RL）在序列决策问题中取得了显著的成功，这促使我们将RL应用于ASTC问题。在本研究中，我们使用独立强化学习（IRL）来解决一个复杂的交通协同控制问题。该问题的最大挑战之一是交叉口的观测信息通常是部分可观测的，这限制了IRL算法的学习性能。为此，我们将交通控制问题建模为部分可观测的弱合作交通模型（PO-WCTM），以优化一组交叉口的整体交通状况。不同于传统的IRL任务，在完全合作的游戏中，平均所有代理的回报，在PO-WCTM中的每个路口的学习目标是降低合作学习的难度，这也是符合交通环境假设。我们还提出了一个IRL算法称为合作重要宽松双DQN（CIL-DDQN），它扩展了双DQN（DDQN）算法使用两种机制：遗忘经验机制和宽松的权重训练机制。前一种机制降低了存储在经验应答缓冲区中的经验的重要性，解决了由于其他Agent策略改变而导致的经验失效问题。后一种机制增加了具有高估计的权重经验，并“宽松地”训练DDQN神经网络，这提高了合作联合策略的选择概率。实验结果表明，CIL-DDQN在流量控制问题的几乎所有性能指标上都优于其他方法。
2021-04-22 cs.LG
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种考虑协作的评估视角，通过STAT测试平台评估六种价值导向的MARL方法，揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology（佐治亚理工学院）；Electronic Arts（美国艺电）；EA Digital Platform, Data & AI（艺电数字平台数据与人工智能部门）
在专业团队运动中，人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能，从而实现高水平的协调。作为一个步骤，创造智能代理具有这种能力的充分合作的多智能体设置，我们提出了一个两级分层多智能体强化学习（MARL）算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能，而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励，这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性，而不需要为每个技能手工制作奖励。对于可扩展的分散执行，每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略，并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明，有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Multi-robot Social-aware Cooperative Planning in Pedestrian Environments Using Multi-agent Reinforcement Learning
行人参与环境中多机器人安全、高效的协同规划具有广阔的应用前景。在部分变维观测和不完全感知条件下，提出了一种基于离策略多智能体强化学习（MARL）的多机器人社会感知高效协作规划器.我们采用基于时空图（TSG）的社会编码器，以更好地提取每个机器人和行人在其视野（FOV）的社会关系的重要性。此外，我们在多机器人RL框架中引入K步前瞻奖励设置，以避免机器人产生的侵略性，侵入性，短视和不自然的运动决策。此外，我们改进了传统的集中式评论家网络与多头全局注意力模块，更好地聚集不同机器人之间的局部观察信息，以指导个体的策略更新过程。最后，多组实验结果验证了所提出的协作运动规划器的有效性。
2022-11-29 cs.AI cs.RO
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen（智能变形机制与适应机器人重点实验室和智能科学与工程学院，哈尔滨工业大学深圳）
本文提出MASH方法，将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习，有效加速了训练收敛并提升了全身协作能力，优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
我们考虑在（深度）合作多智能体强化学习（MARL）中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数，明确编码公平的两个重要方面：效率和公平的问题。作为一种解决方法，我们提出了一种新的神经网络架构，它是由两个子网络专门设计考虑到公平性的两个方面。在实验中，我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的，因为它可以容纳任何（次）可微福利函数。因此，它与文献中提出的各种公平概念（例如，字典式极大极小、广义基尼社会福利函数、比例公平）。我们的解决方案方法是通用的，可以在各种MARL设置中实现：集中式培训和分散式执行，或完全分散式。最后，我们在各个领域的实验验证我们的方法，并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Learning Bilateral Team Formation in Cooperative Multi-Agent Reinforcement Learning
针对多智能体强化学习中单边分组和固定种群的局限，提出动态系统下的双边团队形成学习框架，揭示了算法特性对策略性能与泛化能力的影响，并在多数场景中验证了其竞争优势。
2025-06-24 cs.AI cs.GT cs.LG
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Cooperative Localization Utilizing Reinforcement Learning for 5G Networks
University of Helsinki（赫尔辛基大学）
近年来，对精确定位的需求有所上升，以使自动驾驶汽车的出现成为可能。为了让这些车辆进入智慧城市的交通生态系统，需要一个精确的定位系统。为了实现精确定位，协同定位起着重要作用。这种类型的定位计算车辆之间的距离测量，并通过使用另一个更准确的值来校正其中一个的可能错误的值来提高位置的准确性。具有毫米波（mmWave）技术的5G信号支持精确的距离测量，5G网络提供设备到设备（D2D）通信，这改善了协作定位。本文的目的是为自动驾驶车辆提供精确的协作定位，利用强化学习技术为5G信号选择最准确和最合适的测距技术，不易出错。
2021-08-19 cs.AI cs.LG eess.SP
Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning
California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
GMFS通过子采样异质智能体交互，实现可扩展的协作多智能体强化学习，具有poly(κ)样本复杂度和O(1/√κ)最优性差距。
2026-02-18 cs.AI cs.LG cs.MA
Value-Decomposition Networks For Cooperative Multi-Agent Learning
DeepMind；University of Liverpool（利物浦大学）
研究了具有单一联合奖励信号的协作多智能体强化学习问题。这类学习问题是困难的，因为通常很大的组合动作和观察空间。在完全集中和分散的方法中，我们发现了虚假奖励的问题和我们称之为“懒惰代理”问题的现象，这是由于部分可观测性而产生的。我们解决这些问题，通过训练个人代理与一种新的价值分解网络架构，学会分解成代理明智的价值函数的团队价值函数。我们在一系列部分可观察的多智能体领域进行了实验评估，并表明学习这种值分解会带来更好的结果，特别是当与权重共享，角色信息和信息渠道相结合时。
2017-06-16 cs.AI
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出自动机条件化协作多智能体强化学习框架，通过自动机分解团队目标为子任务，学习任务条件化的分散策略，实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
