Asynchronous Cooperative Multi-Agent Reinforcement Learning with Limited Communication
Massachusetts Institute of Technology(麻省理工学院)
本研究提出了一种异步多智能体强化学习框架AsynCoMARL,通过图Transformer学习动态图中的通信协议,在通信受限环境下实现高效协作,相比传统同步方法,减少26%的通信量同时保持相近的成功率和碰撞率。
2025-02-13 cs.MA
A Survey of Progress on Cooperative Multi-agent Reinforcement Learning in Open Environment
本文系统综述了协作式多智能体强化学习从封闭环境到开放环境的研究进展,梳理了典型方法、测试环境及多个研究方向,并展望了未来挑战与发展方向。
2023-12-02 cs.MA
Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习中,集中训练和分散执行(CTDE)取得了显着的成功。个体全局最大值分解是CTDE的重要组成部分,它度量了局部策略和联合策略之间的一致性。大多数基于IGM的研究集中在如何建立这种一致的关系,但很少注意到检查IGM的潜在缺陷。在这项工作中,我们揭示了IGM条件是一个有损分解,有损分解的误差将积累在基于超网络的方法。为了解决上述问题,我们建议采用一种模仿学习策略,将有损分解与Bellman迭代分离,从而避免误差累积。该策略在零视角的星际争霸多智能体挑战基准问题上得到了理论证明和实验验证。结果还证实,所提出的方法优于最先进的基于IGM的方法。
2022-09-20 cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间,代理可以由相同的信号(例如全局状态)指导。然而,在分散执行期间,代理人缺乏共享信号。受视点不变性和对比学习的启发,本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察,但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中,我们将推断出的共识作为对代理网络的明确输入,从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外,我们在一些完全合作的任务上进行了测试,并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.(SAS研究所公司)
近年来,深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中,我们重点介绍了多智能体强化学习(MARL)算法的最新方法。特别是,我们专注于建模和解决合作多智能体强化学习问题的五种常见方法:(I)独立学习者,(II)完全可观察的批评者,(III)价值函数因子分解,(IV)共识,(IV)学会沟通。首先,我们详细介绍了这些方法中的每一种,可能的挑战,以及如何在相关论文中缓解这些挑战。如果适用的话,我们进一步在每个类别中的不同论文之间建立联系。接下来,我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功,我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外,MARL研究的可用环境列表中提供了这项调查。最后,对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Offline Multi-Agent Reinforcement Learning with a Physics-Informed World Model for Cooperative Mixed Traffic Control
College of Transportation, Tongji University(同济大学交通运输学院)
本研究针对混合交通中部分可观测高速瓶颈的网联自动驾驶车辆协同控制问题,提出融入物理信息世界模型的离线多智能体强化学习框架,经SUMO实验验证可提升状态重构与预测准确性。
2026-10-12 cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University(北京大学)
本文系统综述了完全去中心化协作多智能体强化学习方法,涵盖共享奖励与个体奖励之和两种优化目标,并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc(亚马逊公司Alexa人工智能部门);University of Southern California(南加州大学)
我们提出了一个多模态(视觉和语言)合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集,其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架,最先进的多智能体强化学习技术的多模态实现,以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明,多模态引入了独特的挑战,合作多智能体学习和有显着的空间,在这种情况下,推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Multi-robot Cooperative Pursuit via Potential Field-Enhanced Reinforcement Learning
Sun Yat-sen University(中山大学)
这是一个巨大的挑战,虽然有前途,协调集体机器人狩猎逃避者在一个分散的方式纯粹根据当地的观察。在本文中,这一挑战是解决了一种新的混合协同追踪算法,结合强化学习与人工势场法。在该算法中,分散的深度强化学习是用来学习合作的追求政策,是适应动态环境。将人工势场法作为预定义规则融入到学习过程中,提高了数据效率和泛化能力。数值仿真结果表明,所提出的混合设计优于香草强化学习或势场法设计的追求策略。此外,通过将学习到的追踪策略转移到现实世界的移动机器人中进行实验。实验结果表明,该算法在学习多个合作追捕策略的可行性和潜力。
2022-03-09 cs.AI cs.MA cs.RO
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel(布鲁塞尔自由大学)
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法,用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息,我们的方法可以学习环境模型,并执行时间差异更新,从而同时影响多个联合状态和动作。此外,还执行批量更新,这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法,无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR
Oklahoma State University(俄克拉荷马州立大学)
本文利用智能体间耦合信息提出精确分解局部Q函数的系统方法,开发近似最小二乘策略迭代算法,并证明其最坏情况样本复杂度与集中式相当,同时推导出提升样本效率的充要图条件。
2025-04-29 cs.LG cs.MA cs.SY
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
通过在多智能体环境中使用多个智能体之间的通信,可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习,在混合合作竞争环境中的沟通学习也很重要,并带来了自己的复杂性,如对方团队偷听的沟通。在本文中,我们应用微分代理间学习(DIAL),合作设置,一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明,在我们选择的环境中,经过给定的训练期后,通信代理能够实现与完全可观察代理相似的性能。总的来说,我们发现,跨团队共享通信的结果在降低性能的沟通团队相比,实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University(斯坦福大学);MIT Lincoln Lab(麻省理工学院林肯实验室)
在多智能体强化学习(MARL)中,通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信,其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议,可以提高设计人员和其他智能体的可解释性,本文提出了一种生成类似人类语言的离散消息的方法,并通过基于自我注意的广播和收听机制实现通信。我们表明,离散消息通信的性能可比连续消息通信,但与一个小得多的词汇大小。此外,我们提出了一种方法,允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University(天津大学);Soochow University(苏州大学)
近年来,多智能体深度强化学习(DRL)受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域,提出了一个多智能体DRL框架,命名为加权双重深度Q网络(WDDQN)。通过使用加权双重估计器和深度神经网络,WDDQN不仅可以有效地减少偏差,而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作,我们引入了宽松的奖励网络和计划重放策略。实验表明,WDDQN优于现有的DRL和multiaent DRL算法,即,双DQN和宽松的Q学习,在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida(中佛罗里达大学)
星际争霸II多智能体挑战赛(SMAC)是协作多智能体强化学习(MARL)的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题,并假设每个单元都由一个学习代理单独控制,该学习代理独立行动,只拥有本地信息;集中式训练假设与分散式执行(CTDE)一起发生。为了在SMAC中取得良好的性能,MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix,基于变压器的联合动作值混合网络,我们证明是有效的和可扩展的相比,其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数,以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能,并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Intrinsic Action Tendency Consistency for Cooperative Multi-Agent Reinforcement Learning
针对CTDE范式下智能体动作倾向分歧影响训练效率的问题,提出Intrinsic Action Tendency Consistency方法,通过动作模型预测邻居动作倾向并计算合作内在奖励,结合RA-CTDE框架提升多智能体协作性能。
2024-08-29 cs.MA
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens(雅典大学)
在本文中,我们提出了一个强化学习环境,利用代理的合作和通信,旨在检测,学习和最终惩罚背叛模式,出现在自利代理的行为。我们提供了游戏规则的描述,以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a)背叛出现,b)欺骗性代理优于诚实基线和b)基于行为特征分类的背叛检测,其超过概率检测基线。最后,我们提出了惩罚背叛的方法,列出未来工作的方向,并建议有趣的扩展环境,以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了有效地与未知的合作伙伴在合作控制设置,适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下,合作伙伴可能会为各自的目标而努力,这种控制设置相当普遍和广泛适用,这带来了各种挑战,如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此,我们的方法使用时间相关的样本的优先级,结合了系统动态模型,并利用可变的,责任驱动的学习率和模拟,人工经验,以指导学习过程。我们的方法的有效性证明了通过一个模拟的,非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms
Tongji University(同济大学)
针对强化学习多车辆协同驾驶样本效率低的问题,提出基于稳态转移系统的差异化奖励方法,将状态转移梯度融入奖励设计,在MAPPO等算法中显著提升训练收敛速度及交通效率、安全性与动作合理性。
2025-08-09 cs.AI cs.MA cs.RO
CARSS: Cooperative Attention-guided Reinforcement Subpath Synthesis for Solving Traveling Salesman Problem
University of Chinese Academy of Sciences(中国科学院大学)
CARSS通过协作多智能体强化学习将TSP分解为子路径生成与合并,采用注意力机制和独立REINFORCE训练,显著降低内存与测试时间,支持更大规模问题。
2023-12-24 cs.LG cs.MA
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Analysing Factorizations of Action-Value Networks for Cooperative Multi-Agent Reinforcement Learning
本研究实证分析了合作多智能体强化学习中各种网络架构在一次性博弈上的学习能力,量化了不同方法表示价值函数的效果,并识别了阻碍性能的关键原因。
2023-11-09 cs.MA
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University(北卡罗来纳州立大学);Oklahoma State University(俄克拉荷马州立大学);DEVCOM U.S. Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
现有的分布式协作多智能体强化学习(MARL)框架通常假设无向协调图和通信图,同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本,并表现出较差的可扩展性,由于全球共识的要求。在这项工作中,我们研究了MARL与有向协调图,并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得,而不使用任何共识算法。采用基于参数摄动的零阶优化(ZOO)方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较,我们表明,我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校);Vrije Universiteit Brussel(布鲁塞尔自由大学);Flanders Make(佛兰德斯制造)
我们考虑使用强化学习(RL)来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法:分布式近似RL(DA-RL),其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL(GT-RL),其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统,但DA-RL和GT-RL都适用于一般的多智能体系统,并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Distributed Cooperative Spectrum Sharing in UAV Networks Using Multi-Agent Reinforcement Learning
在本文中,我们开发了一个分布式的无人机(UAV)和授权的地面网络之间的频谱共享机制。该方法可以为无人机网络在处理拥塞频谱时可能需要外部频谱或由于安全威胁而需要改变其工作频率的情况提供实用的解决方案。在这里,我们研究的情况下,无人机网络执行遥感任务。在这个模型中,无人机被分为两个集群中继和传感无人机。中继UAV为许可网络提供中继服务,以获得执行感测任务的其余UAV的频谱接入。我们开发了一个分布式的机制,无人机本地决定他们是否需要参与中继或传感考虑到无人机之间的通信可能是不可行或不可靠的事实。无人机使用分布式强化学习算法学习最优任务分配。算法的收敛性进行了讨论,并提出了不同的情况下,以验证收敛性的仿真结果。
2018-11-13 cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
MARLadona -- Towards Cooperative Team Play Using Multi-Agent Reinforcement Learning
本文提出去中心化 MARL 训练流程 MARLadona 与开源足球环境,通过改进 GEE 学习协作团队配合,并以 66.8% 胜率战胜 HELIOS。
2025-03-18 cs.MA
A Cooperative Multi-Agent Reinforcement Learning Framework for Resource Balancing in Complex Logistics Network
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
复杂运输网络中的资源平衡问题是现实物流领域的重要问题之一。这些问题的传统解决方案利用具有需求和供应预测的组合优化。然而,运输路径的高度复杂性、未来需求和供给的严重不确定性以及非凸业务约束使得传统的资源管理领域极具挑战性。在本文中,我们提出了一种新的复杂的多智能体强化学习方法来解决这些挑战。特别是,受外部性,特别是资源代理之间的相互作用的启发,我们引入了一个创新的合作机制的状态和奖励设计,从而更有效和更高效的运输。大量的实验模拟海洋运输服务表明,我们的新方法可以刺激代理之间的合作,并导致更好的性能。与传统的基于组合优化的解决方案相比,我们的方法可以产生一个显着的改善,在性能和稳定性方面。
2019-03-02 cs.AI cs.MA
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
在协作多智能体强化学习(MARL)中,如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励,而不区分它们的贡献,而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点:前者可能会鼓励懒惰的代理,而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先,我们证明了上述两个奖励信号容易产生次优策略。然后,受一些观察和考虑的启发,我们设计了一些混合奖励信号,这些信号是现成的,可以学习更好的策略。最后,我们把混合的奖励信号转化为自适应的奖励信号,在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题,特别是在MARL中,我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中,我们提出了一个新的分解多智能体软演员-评论家(mSAC)的方法,它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数(optinal)。从理论上讲,mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中,我们实证研究了mSAC对其变体的性能,并分析了不同组件的影响。实验结果表明,mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法,并与基于SOTA值的Qmix方法具有竞争力.此外,mSAC在大动作空间任务(如2c_vs_64zg和MMM 2)上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Robust Instruction Compliance in Cooperative Multi-Agent Reinforcement Learning
Department of Computer Sciences, Northeastern University(东北大学计算机科学系);Department of Computer Sciences, Massachusetts Institute of Technology(麻省理工学院计算机科学系)
针对外部指令中断行为并冲突长期目标的问题,提出宏动作值修正方法(MAVIC),通过修正指令边界的Bellman备份实现一致值估计,在复杂合作环境中保持高指令遵从和基础任务性能。
2026-10-30 cs.AI cs.MA
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University(清华大学汽车安全与节能国家重点实验室);Carnegie Mellon University(卡内基梅隆大学)
在现实世界的信息物理系统中,行动和观测延迟是普遍存在的,这给强化学习的设计带来了挑战。这是一个艰巨的任务时,处理多代理系统,其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题,本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈,包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈,我们采用集中式训练和分散式执行,允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题,而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行,包括合作通信,合作导航和竞争实验。我们还测试了所提出的算法在交通场景中,需要协调的所有自动驾驶车辆,以显示延迟意识的实用价值。实验结果表明,所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
Autonomous Decision Making for UAV Cooperative Pursuit-Evasion Game with Reinforcement Learning
本文提出基于深度强化学习的多无人机协同追逃博弈决策模型,采用多环境异步双深度Q网络与优先级经验回放算法,通过角色与目标分配提升协作能力,仿真验证了自主决策与协作性能。
2024-11-05 cs.AI cs.MA cs.RO
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh(爱丁堡大学)
多智能体深度强化学习(MARL)缺乏常用的评估任务和标准,使得方法之间的比较变得困难。在这项工作中,我们提供了一个系统的评估和比较三个不同类别的MARL算法(独立学习,集中式多智能体策略梯度,价值分解)在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考,并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL,它扩展了PyMARL代码库,以包含其他算法,并允许灵活配置算法实现细节,如参数共享。最后,我们开源两个环境的多智能体的研究,重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能学院)
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法,用于合作多智能体强化学习,在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Southwest Minzu University(西南民族大学);Chengdu University of Technology(成都理工大学);Nanyang Technological University(南洋理工大学)
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题,提出乐观ε-贪心探索方法,通过乐观更新网络以概率ε采样最优动作,有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering(电气与信息工程学院)
针对CTDE框架中智能体信息评估与全局协作受限的挑战,提出基于信息选择和默契学习的合作型MARL新框架,通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);École Polytechnique de Montréal(蒙特利尔综合理工学院);University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学);Université de Montréal(蒙特利尔大学)
本文提出 COE,将合作式 MARL 建模为顺序树搜索,并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励,在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于身份识别的自适应探索方法 AIR,通过身份分类器与动作选择器的对抗机制,在合作多智能体强化学习中统一并促进个体与集体探索,提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学肯珀研究所)
本文提出去中心化扩散策略学习方法,通过扩散概率模型提升多智能体强化学习中的探索能力,解决了高维动作空间下的策略表达限制问题。
2026-05-08 cs.MA stat.ML
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Individual-Level Inverse Reinforcement Learning for Mean Field Games
The University of Auckland(奥克兰大学);National University of Singapore(新加坡国立大学)
最近的平均场博弈(MFG)形式主义已经使逆强化学习(IRL)方法在大规模多智能体系统中的应用成为可能,其目标是推断奖励信号,可以解释大种群的表现行为。现有的MFG的IRL方法是建立在减少MFG的马尔可夫决策过程(MDP)定义的集体行为和平均回报的人口。然而,本文揭示了从MFG到MDP的减少仅适用于完全合作的设置。这种限制使现有的IRL方法在非合作环境下的MFG上失效。为了测量大规模人群中更一般的行为,我们研究了使用个人行为来推断MFG的地面真实奖励函数。我们提出了平均场IRL(MFIRL),第一个专用的IRL框架MFG,可以处理合作和非合作环境。基于这个理论上合理的框架,我们开发了一种适用于动态未知的MFG的实用算法。我们评估MFIRL合作和混合合作竞争的情况下,许多代理。结果表明,MFIRL优于奖励回收,样本效率和鲁棒性,在面对不断变化的动态。
2022-02-13 cs.GT cs.LG cs.MA
Learning Approximate Nash Equilibria in Cooperative Multi-Agent Reinforcement Learning via Mean-Field Subsampling
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文研究了在通信受限条件下,通过均值场采样方法学习合作多智能体强化学习中的近似纳什均衡,证明了该方法能收敛到近似纳什均衡,并在多机器人控制中进行了验证。
2026-05-11 cs.AI cs.LG cs.MA
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Nvidia Research(英伟达研究院);Technion Institute of Technology(以色列理工学院)
协作多智能体强化学习(MARL)面临着显着的可扩展性问题,由于状态和动作空间是指数大的代理的数量。随着环境规模的增长,有效的信用分配变得越来越困难,并经常导致不可行的学习时间。尽管如此,在许多现实环境中,仍然存在简化的底层动态,可以用于更具可扩展性的解决方案。在这项工作中,我们有效地利用这种局部结构,同时保持全球合作。我们提出了一种新的,基于值的多代理算法称为LOMAQ,它采用了本地奖励的集中式训练分散执行范式。此外,我们提供了一个直接的奖励分解方法,找到这些局部奖励时,只有一个全球性的信号提供。我们根据经验测试了我们的方法,表明与其他方法相比,它具有很好的扩展性,显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA