Asynchronous Cooperative Online Learning for Multi-Robot Control under Computational Delays
Technical University of Munich(慕尼黑工业大学);University of California at Riverside(加州大学河滨分校)
针对多机器人控制中计算延迟与查询点差异问题,提出异步协同在线学习策略与伴随MAS分布式控制律,经无人水面艇仿真验证,其学习与控制性能优于现有最优方法。
2026-09-01 cs.LG cs.MA cs.RO
ToMacVF : Temporal Macro-action Value Factorization for Asynchronous Multi-Agent Reinforcement Learning
针对异步多智能体强化学习中宏动作执行过程表示不完整及信用分配不当的问题,提出ToMacVF方法,通过设计Mac-SJERT缓冲区和To-Mac-IGM一致性约束,实现细粒度时序信用分配,并在多种异步场景中展现出最优性能与鲁棒性。
2025-07-14 cs.MA
Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究情景式马尔可夫决策过程中的多智能体强化学习,提出一种基于值迭代的异步通信算法,利用线性函数近似实现了低通信开销下的高效合作,并给出了遗憾与通信复杂度的理论上下界。
2023-06-24 cs.AI cs.LG cs.MA
A Survey of Progress on Cooperative Multi-agent Reinforcement Learning in Open Environment
本文系统综述了协作式多智能体强化学习从封闭环境到开放环境的研究进展,梳理了典型方法、测试环境及多个研究方向,并展望了未来挑战与发展方向。
2023-12-02 cs.MA
Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习中,集中训练和分散执行(CTDE)取得了显着的成功。个体全局最大值分解是CTDE的重要组成部分,它度量了局部策略和联合策略之间的一致性。大多数基于IGM的研究集中在如何建立这种一致的关系,但很少注意到检查IGM的潜在缺陷。在这项工作中,我们揭示了IGM条件是一个有损分解,有损分解的误差将积累在基于超网络的方法。为了解决上述问题,我们建议采用一种模仿学习策略,将有损分解与Bellman迭代分离,从而避免误差累积。该策略在零视角的星际争霸多智能体挑战基准问题上得到了理论证明和实验验证。结果还证实,所提出的方法优于最先进的基于IGM的方法。
2022-09-20 cs.MA
Offline Multi-Agent Reinforcement Learning with a Physics-Informed World Model for Cooperative Mixed Traffic Control
College of Transportation, Tongji University(同济大学交通运输学院)
本研究针对混合交通中部分可观测高速瓶颈的网联自动驾驶车辆协同控制问题,提出融入物理信息世界模型的离线多智能体强化学习框架,经SUMO实验验证可提升状态重构与预测准确性。
2026-10-12 cs.MA
Reducing Bus Bunching with Asynchronous Multi-Agent Reinforcement Learning
McGill University(麦吉尔大学)
公交系统是可持续城市交通的重要组成部分。然而,由于乘客需求及交通情况存在重大不确定性,巴士运作并不稳定,挤车已成为普遍现象,影响巴士服务的可靠性及效率。尽管多智能体强化学习(MARL)在交通控制方面取得了最新进展,但由于复杂的异步特性,很少有研究关注公交车队控制-控制动作只发生在公交车到达公交车站时,因此代理人不会同时采取行动。在这项研究中,我们制定了路线级的总线车队控制作为一个异步的多智能体强化学习(ASMR)问题,并扩展了经典的演员-评论家架构来处理异步问题。具体而言,我们设计了一种新的评论家网络,以有效地近似其他代理的边际贡献,其中图注意力神经网络用于进行归纳学习的政策评估。批评者结构也有助于自我代理更有效地优化其策略。我们评估建议的框架,对现实世界的巴士服务和实际乘客的需求来自灵巧卡数据。我们的研究结果表明,该模型优于传统的基于车头时距的控制方法和现有的MARL方法。
2021-05-23 cs.LG cs.MA
D3ARC: Time-Critical Distributed Disaster Detection for Asynchronous Cooperative Multi-Robot Systems
National and Kapodistrian University of Athens(雅典国立及卡波迪斯特里亚大学);Huawei Heisenberg Research Center(华为海森堡研究中心)
D3ARC提出异步分布式分层框架,通过多机器人协作感知与前瞻策略评估,在时限内高效可靠地检测野火,模拟中任务成功率达94%。
2026-09-09 cs.AI cs.CV cs.MA
Asynchronous Actor-Critic for Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences(库利计算机科学学院);Northeastern University(东北大学)
在现实环境中跨多个代理同步决策是有问题的,因为它需要代理等待其他代理终止并就终止进行可靠的通信。理想情况下,代理应该异步学习和执行。这样的异步方法还允许时间上延长的动作,其可以基于所执行的情况和动作而花费不同的时间量。不幸的是,当前的策略梯度方法不适用于异步设置,因为它们假设代理在每个时间步同步推理动作选择。为了允许异步学习和决策,我们制定了一套异步多代理actor-critic方法,允许代理在三个标准的训练范式中直接优化异步策略:分散式学习,集中式学习和分散式执行的集中式训练。在各种现实领域的实证结果(在模拟和硬件)证明了我们的方法在大型多智能体问题的优越性,并验证了我们的算法学习高质量和异步解决方案的有效性。
2022-10-11 cs.AI cs.LG cs.MA
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
On-Demand Communication for Asynchronous Multi-Agent Bandits
Univ. of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Nanjing University(南京大学);The Chinese Univ. of Hong Kong(香港中文大学)
本文提出按需通信协议ODC,针对异步多智能体多臂老虎机问题,根据经验拉动时间定制通信,集成于UCB和AAE扩展算法,实现通信高效且遗憾值接近最优。
2023-08-31 cs.DC cs.LG cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间,代理可以由相同的信号(例如全局状态)指导。然而,在分散执行期间,代理人缺乏共享信号。受视点不变性和对比学习的启发,本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察,但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中,我们将推断出的共识作为对代理网络的明确输入,从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外,我们在一些完全合作的任务上进行了测试,并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对有向对等网络上分布式强化学习(DisRL)的策略评估问题,提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点,每个节点可以通过使用来自其邻居的(可能延迟的)信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题,我们设计了一种新的随机平均梯度(SAG)为基础的分布式算法,并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$,其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后,数值实验验证了我们的方法的速度与节点数成线性关系,并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Graphon Mean-Field Control for Cooperative Multi-Agent Reinforcement Learning
本文提出图论均值场控制框架,用于近似具有非均匀相互作用的协作多智能体强化学习,证明其近似顺序为$\mathcal{O}(\frac{1}{\sqrt{N}})$,并展示其在可扩展性上的优势。
2026-03-02 cs.MA math.OC
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
通过在多智能体环境中使用多个智能体之间的通信,可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习,在混合合作竞争环境中的沟通学习也很重要,并带来了自己的复杂性,如对方团队偷听的沟通。在本文中,我们应用微分代理间学习(DIAL),合作设置,一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明,在我们选择的环境中,经过给定的训练期后,通信代理能够实现与完全可观察代理相似的性能。总的来说,我们发现,跨团队共享通信的结果在降低性能的沟通团队相比,实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University(北京大学)
本文系统综述了完全去中心化协作多智能体强化学习方法,涵盖共享奖励与个体奖励之和两种优化目标,并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida(中佛罗里达大学)
星际争霸II多智能体挑战赛(SMAC)是协作多智能体强化学习(MARL)的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题,并假设每个单元都由一个学习代理单独控制,该学习代理独立行动,只拥有本地信息;集中式训练假设与分散式执行(CTDE)一起发生。为了在SMAC中取得良好的性能,MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix,基于变压器的联合动作值混合网络,我们证明是有效的和可扩展的相比,其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数,以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能,并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
TraF-Align: Trajectory-aware Feature Alignment for Asynchronous Multi-agent Perception
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 Mobility学院);State Key Lab of Intelligent Green Vehicle and Mobility(智能绿色车辆与交通全国重点实验室)
针对异步协同感知中的延迟导致的空间与语义错位问题,提出TraF-Align框架,通过预测特征级轨迹并沿路径采样来对齐特征,在V2V4Real和DAIR-V2X-Seq上创下新基准。
2025-03-25 cs.CV cs.MA
Learning Multi-agent Action Coordination via Electing First-move Agent
在复杂的多智能体系统中,学习协调智能体之间的动作是必不可少的。以前的工作主要是受约束的假设,所有的代理同时采取行动,和异步代理之间的协调很少考虑。本文提出了一种用于协调行为规划的双层多智能体决策层次结构。我们提出了一种新的选举机制,在该机制中,我们采用了图卷积网络来模拟代理之间的相互作用,并选出一个第一步代理异步指导。我们还提出了一个动态加权的混合网络,以有效地减少在训练过程中的价值函数的误判。这项工作是第一个明确的异步多智能体动作协调模型,这种明确性,使选择最佳的第一步代理。在协同导航和Google Football上的实验结果表明,该算法在协同环境下具有较好的性能。我们的代码可在\url{https://github.com/Amanda-1997/EFA-DWM}上获得。
2022-02-24 cs.GT cs.MA
CARSS: Cooperative Attention-guided Reinforcement Subpath Synthesis for Solving Traveling Salesman Problem
University of Chinese Academy of Sciences(中国科学院大学)
CARSS通过协作多智能体强化学习将TSP分解为子路径生成与合并,采用注意力机制和独立REINFORCE训练,显著降低内存与测试时间,支持更大规模问题。
2023-12-24 cs.LG cs.MA
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc(亚马逊公司Alexa人工智能部门);University of Southern California(南加州大学)
我们提出了一个多模态(视觉和语言)合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集,其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架,最先进的多智能体强化学习技术的多模态实现,以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明,多模态引入了独特的挑战,合作多智能体学习和有显着的空间,在这种情况下,推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Multi-robot Cooperative Pursuit via Potential Field-Enhanced Reinforcement Learning
Sun Yat-sen University(中山大学)
这是一个巨大的挑战,虽然有前途,协调集体机器人狩猎逃避者在一个分散的方式纯粹根据当地的观察。在本文中,这一挑战是解决了一种新的混合协同追踪算法,结合强化学习与人工势场法。在该算法中,分散的深度强化学习是用来学习合作的追求政策,是适应动态环境。将人工势场法作为预定义规则融入到学习过程中,提高了数据效率和泛化能力。数值仿真结果表明,所提出的混合设计优于香草强化学习或势场法设计的追求策略。此外,通过将学习到的追踪策略转移到现实世界的移动机器人中进行实验。实验结果表明,该算法在学习多个合作追捕策略的可行性和潜力。
2022-03-09 cs.AI cs.MA cs.RO
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel(布鲁塞尔自由大学)
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法,用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息,我们的方法可以学习环境模型,并执行时间差异更新,从而同时影响多个联合状态和动作。此外,还执行批量更新,这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法,无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University(斯坦福大学);MIT Lincoln Lab(麻省理工学院林肯实验室)
在多智能体强化学习(MARL)中,通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信,其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议,可以提高设计人员和其他智能体的可解释性,本文提出了一种生成类似人类语言的离散消息的方法,并通过基于自我注意的广播和收听机制实现通信。我们表明,离散消息通信的性能可比连续消息通信,但与一个小得多的词汇大小。此外,我们提出了一种方法,允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University(天津大学);Soochow University(苏州大学)
近年来,多智能体深度强化学习(DRL)受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域,提出了一个多智能体DRL框架,命名为加权双重深度Q网络(WDDQN)。通过使用加权双重估计器和深度神经网络,WDDQN不仅可以有效地减少偏差,而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作,我们引入了宽松的奖励网络和计划重放策略。实验表明,WDDQN优于现有的DRL和multiaent DRL算法,即,双DQN和宽松的Q学习,在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Asynchronous MultiAgent Reinforcement Learning for 5G Routing under Side Constraints
Concordia University(康科德大学)
本文提出异步多智能体强化学习框架,用于解决5G路由下的侧约束问题,通过并行规划和资源协调实现高效且鲁棒的路由决策。
2026-01-18 cs.DC cs.LG cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens(雅典大学)
在本文中,我们提出了一个强化学习环境,利用代理的合作和通信,旨在检测,学习和最终惩罚背叛模式,出现在自利代理的行为。我们提供了游戏规则的描述,以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a)背叛出现,b)欺骗性代理优于诚实基线和b)基于行为特征分类的背叛检测,其超过概率检测基线。最后,我们提出了惩罚背叛的方法,列出未来工作的方向,并建议有趣的扩展环境,以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
A Cooperative Multi-Agent Reinforcement Learning Framework for Resource Balancing in Complex Logistics Network
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
复杂运输网络中的资源平衡问题是现实物流领域的重要问题之一。这些问题的传统解决方案利用具有需求和供应预测的组合优化。然而,运输路径的高度复杂性、未来需求和供给的严重不确定性以及非凸业务约束使得传统的资源管理领域极具挑战性。在本文中,我们提出了一种新的复杂的多智能体强化学习方法来解决这些挑战。特别是,受外部性,特别是资源代理之间的相互作用的启发,我们引入了一个创新的合作机制的状态和奖励设计,从而更有效和更高效的运输。大量的实验模拟海洋运输服务表明,我们的新方法可以刺激代理之间的合作,并导致更好的性能。与传统的基于组合优化的解决方案相比,我们的方法可以产生一个显着的改善,在性能和稳定性方面。
2019-03-02 cs.AI cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
在协作多智能体强化学习(MARL)中,如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励,而不区分它们的贡献,而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点:前者可能会鼓励懒惰的代理,而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先,我们证明了上述两个奖励信号容易产生次优策略。然后,受一些观察和考虑的启发,我们设计了一些混合奖励信号,这些信号是现成的,可以学习更好的策略。最后,我们把混合的奖励信号转化为自适应的奖励信号,在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题,特别是在MARL中,我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms
Tongji University(同济大学)
针对强化学习多车辆协同驾驶样本效率低的问题,提出基于稳态转移系统的差异化奖励方法,将状态转移梯度融入奖励设计,在MAPPO等算法中显著提升训练收敛速度及交通效率、安全性与动作合理性。
2025-08-09 cs.AI cs.MA cs.RO
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了有效地与未知的合作伙伴在合作控制设置,适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下,合作伙伴可能会为各自的目标而努力,这种控制设置相当普遍和广泛适用,这带来了各种挑战,如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此,我们的方法使用时间相关的样本的优先级,结合了系统动态模型,并利用可变的,责任驱动的学习率和模拟,人工经验,以指导学习过程。我们的方法的有效性证明了通过一个模拟的,非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences(库里计算机学院)
最先进的多智能体强化学习(MARL)方法为各种复杂问题提供了有前途的解决方案。然而,这些方法都假设代理执行同步的连续动作执行,使得它们不能真正扩展到长期现实世界的多代理/机器人任务,这些任务本质上要求代理/机器人在不同的持续时间异步推理高级别的动作选择。MacDec-POMDP(Mac-Action Decentralized Partially Observable Markov Decision Process)是一种用于完全协作多智能体任务中不确定异步决策的通用形式化描述。在这篇论文中,我们首先提出了一组基于价值的强化学习方法的MacDec-POMDPs,其中代理被允许执行异步学习和决策与宏动作价值函数在三个范式:分散学习和控制,集中学习和控制,和集中训练分散执行(CTDE)。在上述工作的基础上,我们制定了一套基于宏动作的策略梯度算法的三种训练范式下,代理被允许直接优化其参数化的政策在一个异步的方式。我们评估我们的方法在模拟和真实的机器人在各种现实的域。实证结果表明,我们的方法在大型多智能体问题的优越性,并验证了我们的算法的有效性,学习高质量和异步的解决方案与宏观行动。
2022-10-11 cs.AI cs.MA cs.RO
Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校);Vrije Universiteit Brussel(布鲁塞尔自由大学);Flanders Make(佛兰德斯制造)
我们考虑使用强化学习(RL)来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法:分布式近似RL(DA-RL),其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL(GT-RL),其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统,但DA-RL和GT-RL都适用于一般的多智能体系统,并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中,我们提出了一个新的分解多智能体软演员-评论家(mSAC)的方法,它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数(optinal)。从理论上讲,mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中,我们实证研究了mSAC对其变体的性能,并分析了不同组件的影响。实验结果表明,mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法,并与基于SOTA值的Qmix方法具有竞争力.此外,mSAC在大动作空间任务(如2c_vs_64zg和MMM 2)上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University(清华大学汽车安全与节能国家重点实验室);Carnegie Mellon University(卡内基梅隆大学)
在现实世界的信息物理系统中,行动和观测延迟是普遍存在的,这给强化学习的设计带来了挑战。这是一个艰巨的任务时,处理多代理系统,其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题,本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈,包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈,我们采用集中式训练和分散式执行,允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题,而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行,包括合作通信,合作导航和竞争实验。我们还测试了所提出的算法在交通场景中,需要协调的所有自动驾驶车辆,以显示延迟意识的实用价值。实验结果表明,所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Autonomous Decision Making for UAV Cooperative Pursuit-Evasion Game with Reinforcement Learning
本文提出基于深度强化学习的多无人机协同追逃博弈决策模型,采用多环境异步双深度Q网络与优先级经验回放算法,通过角色与目标分配提升协作能力,仿真验证了自主决策与协作性能。
2024-11-05 cs.AI cs.MA cs.RO
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能学院)
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法,用于合作多智能体强化学习,在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering(电气与信息工程学院)
针对CTDE框架中智能体信息评估与全局协作受限的挑战,提出基于信息选择和默契学习的合作型MARL新框架,通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.(SAS研究所公司)
近年来,深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中,我们重点介绍了多智能体强化学习(MARL)算法的最新方法。特别是,我们专注于建模和解决合作多智能体强化学习问题的五种常见方法:(I)独立学习者,(II)完全可观察的批评者,(III)价值函数因子分解,(IV)共识,(IV)学会沟通。首先,我们详细介绍了这些方法中的每一种,可能的挑战,以及如何在相关论文中缓解这些挑战。如果适用的话,我们进一步在每个类别中的不同论文之间建立联系。接下来,我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功,我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外,MARL研究的可用环境列表中提供了这项调查。最后,对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh(爱丁堡大学)
多智能体深度强化学习(MARL)缺乏常用的评估任务和标准,使得方法之间的比较变得困难。在这项工作中,我们提供了一个系统的评估和比较三个不同类别的MARL算法(独立学习,集中式多智能体策略梯度,价值分解)在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考,并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL,它扩展了PyMARL代码库,以包含其他算法,并允许灵活配置算法实现细节,如参数共享。最后,我们开源两个环境的多智能体的研究,重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于身份识别的自适应探索方法 AIR,通过身份分类器与动作选择器的对抗机制,在合作多智能体强化学习中统一并促进个体与集体探索,提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Asynchronous, Option-Based Multi-Agent Policy Gradient: A Conditional Reasoning Approach
Simon Fraser University(西蒙弗雷泽大学);Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司)
针对多机器人异步执行选项导致MAPG方法难以推导集中式策略的问题,提出一种条件推理方法,并在基于选项的多智能体合作任务中验证了其有效性。
2023-08-02 cs.AI cs.LG cs.MA