Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel(布鲁塞尔自由大学)
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法,用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息,我们的方法可以学习环境模型,并执行时间差异更新,从而同时影响多个联合状态和动作。此外,还执行批量更新,这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法,无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能学院)
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法,用于合作多智能体强化学习,在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering(电气与信息工程学院)
针对CTDE框架中智能体信息评估与全局协作受限的挑战,提出基于信息选择和默契学习的合作型MARL新框架,通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于身份识别的自适应探索方法 AIR,通过身份分类器与动作选择器的对抗机制,在合作多智能体强化学习中统一并促进个体与集体探索,提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc(亚马逊公司Alexa人工智能部门);University of Southern California(南加州大学)
我们提出了一个多模态(视觉和语言)合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集,其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架,最先进的多智能体强化学习技术的多模态实现,以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明,多模态引入了独特的挑战,合作多智能体学习和有显着的空间,在这种情况下,推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Developing cooperative policies for multi-stage reinforcement learning tasks
Queensland University of Technology(昆士兰科技大学);Queensland Centre of Robotics(昆士兰机器人中心)
许多分层强化学习算法利用一系列独立的技能作为基础,以解决更高层次的推理任务。这些算法没有考虑使用合作技能而不是独立技能的价值。本文提出了一种协作竞争策略(CCP)方法,使连续的智能体能够协作解决长时间范围的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化的批评者允许每个代理采取行动,有利于其任务以及后续任务。在多房间迷宫域和孔操作域中使用这种方法,合作策略能够胜过一组天真的策略,在整个域中训练的单个代理,以及另一个顺序HRL算法。
2022-05-11 cs.AI cs.LG
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学)
本文提出一种考虑协作的评估视角,通过STAT测试平台评估六种价值导向的MARL方法,揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对合作多智能体强化学习中IGM原则限制问题,提出双自感知价值分解框架,结合自我策略与 alter ego 价值函数并引入反自我探索机制,实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Shanghai Jiao Tong University(上海交通大学)
我们考虑在(深度)合作多智能体强化学习(MARL)中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数,明确编码公平的两个重要方面:效率和公平的问题。作为一种解决方法,我们提出了一种新的神经网络架构,它是由两个子网络专门设计考虑到公平性的两个方面。在实验中,我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的,因为它可以容纳任何(次)可微福利函数。因此,它与文献中提出的各种公平概念(例如,字典式极大极小、广义基尼社会福利函数、比例公平)。我们的解决方案方法是通用的,可以在各种MARL设置中实现:集中式培训和分散式执行,或完全分散式。最后,我们在各个领域的实验验证我们的方法,并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University(山东大学);The George Washington University(乔治·华盛顿大学)
本文提出一种去中心化强化学习中的协同后门攻击方法,将后门行为按状态空间分解到多个恶意智能体策略中,实现隐蔽注入,并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning
California Institute of Technology(加州理工学院);Harvard University(哈佛大学);Georgia Institute of Technology(佐治亚理工学院)
GMFS通过子采样异质智能体交互,实现可扩展的协作多智能体强化学习,具有poly(κ)样本复杂度和O(1/√κ)最优性差距。
2026-02-18 cs.AI cs.LG cs.MA
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在现实世界中,许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题,许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解,其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为,例如VDN(值分解网络)和QMIX。然而,这些基线往往忽略了情况的随机性。我们提出了MMD-MIX,一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外,为了提高数据采样效率,我们受到了REM(随机混合)的启发,REM是一种鲁棒的RL算法,将随机性显式引入MMD-MIX。实验表明,MMD-MIX优于星际争霸多智能体挑战赛(SMAC)环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)((2025年7月))
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究,比较其结构异同,涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Centralized Permutation Equivariant Policy for Cooperative Multi-Agent Reinforcement Learning
本文提出集中式置换等变(CPE)学习框架,通过轻量可扩展的全局-局部置换等变(GLPE)网络实现完全集中式策略,可无缝集成价值分解与演员-评论家方法,在 MPE、SMAC 和 RWARE 等协作基准上显著提升标准 CTDE 算法性能。
2025-08-13 cs.AI cs.LG cs.MA
Cooperative Multi-Type Multi-Agent Deep Reinforcement Learning for Resource Management in Space-Air-Ground Integrated Networks
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);RISC-V International Open Source Laboratory(RISC-V国际开源实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Ryerson University(瑞尔森大学)
本文针对天地一体化网络资源管理问题,提出协作多类型多智能体深度强化学习方法CMT-MARL,在包含五类链路的SAGIN系统中提升传输速率与成功率。
2023-08-08 cs.AI cs.LG cs.MA
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh(爱丁堡大学)
多智能体深度强化学习(MARL)缺乏常用的评估任务和标准,使得方法之间的比较变得困难。在这项工作中,我们提供了一个系统的评估和比较三个不同类别的MARL算法(独立学习,集中式多智能体策略梯度,价值分解)在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考,并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL,它扩展了PyMARL代码库,以包含其他算法,并允许灵活配置算法实现细节,如参数共享。最后,我们开源两个环境的多智能体的研究,重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney(悉尼科技大学AAII);National University of Singapore(新加坡国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
已经提出了许多深度强化学习代理,每个代理都有其优点和缺陷。在这项工作中,我们提出了一个合作异构深度强化学习(CHDRL)框架,可以通过整合异构代理的优势来学习策略。具体来说,我们提出了一个协作学习框架,异构代理分为两类:全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法(EA)代理,可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习,以便本地代理可以从样本有效代理中受益并同时保持其优势,例如,稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明,与最先进的基线相比,CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
CTC: The Composite Task Challenge for Cooperative Multi-Agent Reinforcement Learning
Zhejiang University(浙江大学)
针对合作多智能体强化学习中缺乏评估分工与合作基准任务的问题,提出复合任务挑战(CTC),基于特定原则构建任务,评估多种方法发现现有方法有局限,引入引导性方案虽证明可解但性能欠佳,凸显 CTC 对推进该领域研究的价值。
2026-07-20 cs.AI cs.LG cs.MA
Mingling Foresight with Imagination: Model-Based Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
最近,基于模型的代理已经取得了更好的性能比无模型的使用相同的计算预算和训练时间在单代理环境。然而,由于多智能体系统的复杂性,学习环境的模型是困难的。当基于模型的方法应用于多智能体任务时,显著的复合误差可能会阻碍学习过程。提出了一种基于值分解方法的隐式模型多智能体强化学习方法。在该方法下,智能体可以与学习到的虚拟环境进行交互,并根据对潜在空间中未来状态的想象来评估当前状态值,使智能体具有预见性。我们的方法可以应用于任何多代理价值分解方法。实验结果表明,该方法在不同的部分可观测马尔可夫决策过程域上提高了样本效率。
2022-12-07 cs.AI cs.LG cs.MA
GCT-MARL: Graph-Based Contrastive Transfer for Sample-Efficient Cooperative Multi-Agent Reinforcement Learning
提出GCT-MARL框架,利用多视图图对比学习和自适应加权对齐损失,结合两阶段训练协议,实现跨不同规模和组成群体的高效迁移,显著加速目标任务收敛。
2026-06-25 cs.AI cs.LG cs.MA
QVMix and QVMix-Max: Extending the Deep Quality-Value Family of Algorithms to Cooperative Multi-Agent Reinforcement Learning
John Cockerill Defense, Belgium(比利时约翰·科克里尔防务公司)
本文介绍了四种新的算法,可用于解决多智能体强化学习(MARL)的问题发生在合作设置。所有算法都基于深度质量-价值(DQV)算法家族,这是一组在处理单智能体强化学习问题(SARL)时已被证明是成功的技术。DQV算法的关键思想是与状态-动作值函数$Q$的近似一起共同学习状态-值函数$V$的近似。我们遵循这一原则,并通过引入两个完全分散的MARL算法(IQV和IQV-Max)和两个基于集中式训练与分散式执行训练范式(QVMix和QVMix-Max)的算法来推广这些算法。我们比较我们的算法与流行的星际争霸多智能体挑战赛(SMAC)环境中最先进的MARL技术。当QVMix和QVMix-Max与知名的MARL技术(如QMIX和MAVEN)进行比较时,我们显示出具有竞争力的结果,并显示QVMix甚至可以在一些测试环境中胜过它们,是整体表现最好的算法。我们假设这是由于QVMix受$Q$函数高估偏倚影响较小。
2020-12-22 cs.AI cs.LG cs.MA
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical;Archimedes, Athena Research Center, Greece;Department of Mathematics, ETH Zurich;Dept. of Mechanical Engineering \& Materials Science, Duke University;Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题,提出含状态建模的MARL SMPE算法,通过置信表示融入策略与对抗式探索提升性能,在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
Rethinking the Implementation Tricks and Monotonicity Constraint in Cooperative Multi-Agent Reinforcement Learning
National Taiwan University(台湾大学)
本文考察QMIX变体的代码级优化与单调性约束,发现归一化优化的QMIX性能更优,且单调性约束可提高SMAC和DEPP的样本效率并给出理论解释。
2023-06-08 cs.AI cs.LG cs.MA
Improved Reinforcement Learning in Cooperative Multi-agent Environments Using Knowledge Transfer
K. N. Toosi University of Technology(K. N. 图西理工大学);Polytechnique Montréal(蒙特利尔理工学院);Shahid Beheshti University(沙希德·贝赫什提大学)
目前,协作多智能体系统被用来学习如何在大规模动态环境中实现目标。然而,在这些环境中的学习是具有挑战性的:从搜索空间大小对学习时间的影响到代理之间的低效合作。此外,强化学习算法在这样的环境中可能遭受长时间的收敛。本文介绍了一种通信框架。在提出的通信框架中,智能体学会有效地合作,并通过引入一种新的状态计算方法,状态空间的大小将大大下降。此外,知识转移算法,提出了不同的代理之间共享所获得的经验,并开发了一个有效的知识融合机制,利用代理的经验与其他团队成员的知识融合学习。最后,仿真结果表明,该方法在复杂的学习任务的有效性。我们已经评估了我们的方法上的牧羊人问题,结果表明,学习过程加速,利用知识转移机制和状态空间的大小已经下降,通过产生类似的状态的基础上状态抽象概念。
2022-01-17 cs.AI cs.LG cs.MA
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University(华东师范大学);Microsoft Research(微软研究院);Microsoft 365(微软365);Microsoft Research Asia(微软亚洲研究院)
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源,假设不是所有用户都能同时充分利用这些资源。然而,如何设计一个超额预订政策,提高利用率,同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守,忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题,本文将云计算的超额订阅问题描述为一个机会约束优化问题,并提出了一种有效的机会约束多智能体强化学习(C2MARL)方法来解决这个问题。具体来说,C2MARL通过考虑约束的上限来减少约束的数量,并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明,我们的C2 MARL优于现有的方法,提高利用率($20\%\sim 86\%$)在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
通过在多智能体环境中使用多个智能体之间的通信,可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习,在混合合作竞争环境中的沟通学习也很重要,并带来了自己的复杂性,如对方团队偷听的沟通。在本文中,我们应用微分代理间学习(DIAL),合作设置,一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明,在我们选择的环境中,经过给定的训练期后,通信代理能够实现与完全可观察代理相似的性能。总的来说,我们发现,跨团队共享通信的结果在降低性能的沟通团队相比,实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London(帝国理工学院)
本文提出利用自监督预训练的概率信念模型生成信念状态,并将其与基于状态的强化学习算法结合,以简化策略和价值函数学习,从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.(SAS研究所公司)
近年来,深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中,我们重点介绍了多智能体强化学习(MARL)算法的最新方法。特别是,我们专注于建模和解决合作多智能体强化学习问题的五种常见方法:(I)独立学习者,(II)完全可观察的批评者,(III)价值函数因子分解,(IV)共识,(IV)学会沟通。首先,我们详细介绍了这些方法中的每一种,可能的挑战,以及如何在相关论文中缓解这些挑战。如果适用的话,我们进一步在每个类别中的不同论文之间建立联系。接下来,我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功,我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外,MARL研究的可用环境列表中提供了这项调查。最后,对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Learning Bilateral Team Formation in Cooperative Multi-Agent Reinforcement Learning
针对多智能体强化学习中单边分组和固定种群的局限,提出动态系统下的双边团队形成学习框架,揭示了算法特性对策略性能与泛化能力的影响,并在多数场景中验证了其竞争优势。
2025-06-24 cs.AI cs.GT cs.LG
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
值分解方法作为求解分散部分可观测马尔可夫决策过程(Dec-POMDP)问题的方法之一,近年来取得了重要的成果。然而,大多数值分解方法需要在训练期间完全可观察的环境状态,但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此,我们提出了一种新的价值分解框架,称为状态推理价值分解(SIDE),它通过同时寻求最优控制和状态推理两个问题的解决方案,消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法,以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能,我们验证了SIDE可以在没有可访问状态的情况下,根据过去的局部观察推断出有助于强化学习过程的当前状态,甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida(中佛罗里达大学)
星际争霸II多智能体挑战赛(SMAC)是协作多智能体强化学习(MARL)的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题,并假设每个单元都由一个学习代理单独控制,该学习代理独立行动,只拥有本地信息;集中式训练假设与分散式执行(CTDE)一起发生。为了在SMAC中取得良好的性能,MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix,基于变压器的联合动作值混合网络,我们证明是有效的和可扩展的相比,其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数,以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能,并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe(Adobe媒体与数据科学研究实验室);IIT Kharagpur, India(印度理工学院卡格拉普尔分校)
在社会困境中,个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的(多步)社会困境。然而,与人类不同的是,深度强化学习智能体经过训练,在连续的社会困境中优化个人奖励,最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失(SQLoss),鼓励代理坚持现状,而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏,我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Multi-robot Cooperative Pursuit via Potential Field-Enhanced Reinforcement Learning
Sun Yat-sen University(中山大学)
这是一个巨大的挑战,虽然有前途,协调集体机器人狩猎逃避者在一个分散的方式纯粹根据当地的观察。在本文中,这一挑战是解决了一种新的混合协同追踪算法,结合强化学习与人工势场法。在该算法中,分散的深度强化学习是用来学习合作的追求政策,是适应动态环境。将人工势场法作为预定义规则融入到学习过程中,提高了数据效率和泛化能力。数值仿真结果表明,所提出的混合设计优于香草强化学习或势场法设计的追求策略。此外,通过将学习到的追踪策略转移到现实世界的移动机器人中进行实验。实验结果表明,该算法在学习多个合作追捕策略的可行性和潜力。
2022-03-09 cs.AI cs.MA cs.RO
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
我们探索基于价值的解决方案,多智能体强化学习(MARL)任务的集中训练与分散执行(CTDE)制度最近流行。然而,VDN和QMIX是使用将联合动作-价值函数分解为单独的函数以用于分散执行的思想的代表性示例。VDN和QMIX只解决了一小部分可因子分解的MARL任务,这是由于它们在因子分解中的结构约束,如可加性和单调性。本文提出了一种新的MARL分解方法QTRAN,它摆脱了这种结构约束,并采用了一种新的方法将原联合作用价值函数转化为一个易于分解的具有相同最优作用的函数。QTRAN保证比VDN或QMIX更一般的因式分解,因此比以前的方法覆盖更广泛的MARL任务。我们的实验任务的多域高斯挤压和修改的捕食者-猎物证明了QTRAN的优越性能,特别是在游戏中的利润更大的利润更积极地惩罚非合作行为。
2019-05-14 cs.AI cs.LG cs.MA
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens(雅典大学)
在本文中,我们提出了一个强化学习环境,利用代理的合作和通信,旨在检测,学习和最终惩罚背叛模式,出现在自利代理的行为。我们提供了游戏规则的描述,以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a)背叛出现,b)欺骗性代理优于诚实基线和b)基于行为特征分类的背叛检测,其超过概率检测基线。最后,我们提出了惩罚背叛的方法,列出未来工作的方向,并建议有趣的扩展环境,以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University(卡内基梅隆大学);InfoTech Labs, Toyota Motor North America R&D(丰田北美研发公司InfoTech实验室)
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体,而人类驾驶的车辆则使用它们来辅助驾驶员。然而,单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如,车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中,我们提出了一个合作的感知方案与深度强化学习,以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据,我们的方案减轻了车载通信网络中的网络负载,提高了通信可靠性。为了设计,测试和验证的合作感知方案,我们开发了一个合作与智能车辆仿真(CIVS)平台,它集成了三个软件组件:交通模拟器,车辆模拟器和对象分类器。我们评估,我们的计划减少数据包丢失,从而提高检测精度高达12%,相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms
Tongji University(同济大学)
针对强化学习多车辆协同驾驶样本效率低的问题,提出基于稳态转移系统的差异化奖励方法,将状态转移梯度融入奖励设计,在MAPPO等算法中显著提升训练收敛速度及交通效率、安全性与动作合理性。
2025-08-09 cs.AI cs.MA cs.RO
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
提出自动机条件化协作多智能体强化学习框架,通过自动机分解团队目标为子任务,学习任务条件化的分散策略,实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab(腾讯人工智能实验室)
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题,提出基于自监督生成模型的MAGI框架,通过想象共同高价值未来状态引导智能体达成共识,缓解维数灾难,在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了有效地与未知的合作伙伴在合作控制设置,适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下,合作伙伴可能会为各自的目标而努力,这种控制设置相当普遍和广泛适用,这带来了各种挑战,如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此,我们的方法使用时间相关的样本的优先级,结合了系统动态模型,并利用可变的,责任驱动的学习率和模拟,人工经验,以指导学习过程。我们的方法的有效性证明了通过一个模拟的,非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
基于价值的多智能体强化学习(MARL)方法,特别是价值分解方法,已经在一系列具有挑战性的协作任务中得到了验证。然而,目前的方法很少关注代理之间的交互,这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率:协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~(IAC),它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面,引入了多智能体联合随机策略,采用了一个协作探索模块,通过最大化熵正则化的期望收益来训练。在价值方面,我们使用共享注意力机制来估计每个代理的价值函数,它考虑了队友的影响。在实现层面上,我们扩展的价值分解方法,连续控制任务和评估IAC的基准任务,包括经典的控制和多智能体粒子环境。实验结果表明,我们的方法优于国家的最先进的方法,并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta(阿尔伯塔大学);ETH Zurich(苏黎世联邦理工学院);University College London(伦敦大学学院);DeepMind(深度思维)
强化学习的一个实际挑战是组合动作空间,这使得规划在计算上要求很高。例如,在协作多智能体强化学习中,潜在的大量智能体联合优化全局奖励函数,这导致动作空间中智能体数量的组合爆破。作为最低要求,我们假设可以访问argmax oracle,该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上,我们提出了有效的算法,这种设置,导致多项式计算和查询的复杂性,在所有相关的问题参数。对于特征分解是可加性的特殊情况,我们进一步改进了边界,并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML