QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Russian-Armenian University(俄亚大学)
在许多现实世界中,一组代理必须协调他们的行为,同时以分散的方式行事。同时,通常可以在模拟或实验室环境中以集中方式训练代理,其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法,但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX,这是一种新颖的基于价值的方法,可以以集中的端到端方式训练分散的策略。QMIX采用一个网络,该网络将联合动作值估计为每个代理值的复杂非线性组合,仅以局部观察为条件。我们在结构上强制执行的联合行动值是单调的每代理值,这使得易于处理的最大化的联合行动值在离策略学习,并保证集中和分散的政策之间的一致性。我们评估了QMIX在一组具有挑战性的星际争霸II微观管理任务,并表明QMIX显着优于现有的基于值的多智能体强化学习方法。
2018-06-06 cs.LG cs.MA stat.ML
Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Russian-Armenian University(俄罗斯-亚美尼亚大学);Facebook AI Research(脸书人工智能研究院)
在许多现实世界中,一个代理团队必须协调其行为,同时以分散的方式行事。同时,通常可以以集中的方式训练代理,其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法,但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX,这是一种新颖的基于价值的方法,可以以集中的端到端方式训练分散的策略。QMIX采用混合网络,将联合动作值估计为每个代理值的单调组合。通过在混合网络中使用非负权重,我们在结构上强制联合行动值在每个代理值中是单调的,这保证了集中式和分散式政策之间的一致性。为了评估QMIX的性能,我们提出了星际争霸多智能体挑战赛(SMAC)作为深度多智能体强化学习的新基准。我们评估QMIX的一组具有挑战性的SMAC场景,并表明它显着优于现有的多智能体强化学习方法。
2020-08-27 cs.LG cs.MA stat.ML
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法,在执行前排练住宅能源协调,实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
PheroCom: Decentralised and asynchronous swarm robotics coordination based on virtual pheromone and vibroacoustic communication
Federal University of Uberlândia(乌贝兰迪亚联邦大学)
生物启发的方法所使用的stigmergic物质的动态表示和控制是一个挑战,当应用于机器人。为了克服这一挑战,这项工作提出了一个模型,以协调机器人群的基础上虚拟化和控制这些物质在本地范围内。该模型提出了一种新的信息素建模,使分散和导航决策的精确性。每个机器人保持一个独立的虚拟信息素地图,这是不断更新的机器人的存款和信息素蒸发。此外,个体信息素地图也通过聚合来自正在探索附近区域的其他机器人的信息来更新。因此,个体和独立的地图取代了控制和分发信息素信息的集中代理的需要,这并不总是可行的。信息素信息传播的灵感来自蚂蚁的振动声通信,而振动声通信的特征在于通过一种八卦协议的间接通信。该模型进行了评估,通过代理模拟软件,实现了作者,并在Webots平台。实验进行了验证模型在不同的环境中,具有不同的形状和大小,以及不同的机器人的数量。结果分析表明,该模型能够执行群体的协调,机器人表现出表现力的执行监视任务的性能。
2022-02-27 cs.AI cs.MA cs.NE
Networked Communication for Decentralised Agents in Mean-Field Games
Department of Computer Science(计算机科学系);University of Oxford(牛津大学)
本文提出一种网络通信机制,用于改进均场博弈中去中心化代理的训练效率,同时增强鲁棒性。
2025-12-22 cs.AI cs.LG cs.MA
Achieving Equilibrium under Utility Heterogeneity: An Agent-Attention Framework for Multi-Agent Multi-Objective Reinforcement Learning
针对多智能体多目标系统中异质效用函数加剧训练非平稳性的问题,提出AA-MAMORL框架,通过集中式训练学习全局效用联合信念、去中心化执行近似贝叶斯纳什均衡,实验证明其性能优于现有方法。
2025-11-12 cs.AI cs.MA
Generating Local Shields for Decentralised Partially Observable Markov Decision Processes
University of Oxford(牛津大学)
本文提出一种护盾过程代数,用于在无通信的Dec-POMDP中指定安全全局行为,通过编译过程自动机和全局Mealy机,生成局部Mealy机以减少碰撞。
2026-04-08 cs.MA
Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation
University of Oxford(牛津大学)
本文提出基于函数逼近和经验均值估计的网络通信方法,解决均值场博弈中去中心化智能体在大规模状态空间和群体依赖策略下的学习问题。
2025-12-22 cs.AI cs.GT cs.LG
QVMix and QVMix-Max: Extending the Deep Quality-Value Family of Algorithms to Cooperative Multi-Agent Reinforcement Learning
John Cockerill Defense, Belgium(比利时约翰·科克里尔防务公司)
本文介绍了四种新的算法,可用于解决多智能体强化学习(MARL)的问题发生在合作设置。所有算法都基于深度质量-价值(DQV)算法家族,这是一组在处理单智能体强化学习问题(SARL)时已被证明是成功的技术。DQV算法的关键思想是与状态-动作值函数$Q$的近似一起共同学习状态-值函数$V$的近似。我们遵循这一原则,并通过引入两个完全分散的MARL算法(IQV和IQV-Max)和两个基于集中式训练与分散式执行训练范式(QVMix和QVMix-Max)的算法来推广这些算法。我们比较我们的算法与流行的星际争霸多智能体挑战赛(SMAC)环境中最先进的MARL技术。当QVMix和QVMix-Max与知名的MARL技术(如QMIX和MAVEN)进行比较时,我们显示出具有竞争力的结果,并显示QVMix甚至可以在一些测试环境中胜过它们,是整体表现最好的算法。我们假设这是由于QVMix受$Q$函数高估偏倚影响较小。
2020-12-22 cs.AI cs.LG cs.MA
Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学)
提出一种去中心化屏蔽方法,通过合约机制协调智能体局部LTL安全义务,在无集中运行时控制下保证全局安全并优化团队奖励。
2026-07-13 cs.LG cs.MA
Multi-Agent Reinforcement Learning for Autonomous Multi-Satellite Earth Observation: A Realistic Case Study
University of South Australia(南澳大利亚大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
针对多卫星对地观测中的自主协调挑战,本文利用MARL框架建模并扩展至多卫星星座,解决了能量与存储限制及部分可观测性下的去中心化协调问题,验证了最先进MARL算法在近现实仿真环境中的有效性与训练稳定性。
2025-11-05 cs.AI cs.MA cs.RO
Communication-Enabled Deep Reinforcement Learning to Optimise Energy-Efficiency in UAV-Assisted Networks
提出通信赋能的多智能体去中心化双深度Q网络(CMAD-DDQN),通过无人机间直接协作共享遥测数据优化3D飞行轨迹,在保证覆盖性能下显著提升系统能效,较MAD-DDQN、MADDPG和随机策略分别约提升15%、65%和85%。
2023-06-27 cs.MA
Decentralised Q-Learning for Multi-Agent Markov Decision Processes with a Satisfiability Criterion
IIT Bombay(印度理工学院孟买分校)
本文提出一种去中心化Q-learning算法,结合gossip算法和多时间尺度机制,求解多智能体马尔可夫决策过程,使各智能体时间平均成本低于预设界限并验证了其有效性。
2023-11-21 cs.LG cs.MA cs.SY
Characterising Global Platforms: Centralised, Decentralised, Federated, and Grassroots
London School of Economics(伦敦政治经济学院);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出基于原子事务的多智能体过渡系统和协议,用于研究全球平台,通过定义关键智能体将平台分为四类,并展示了其在社交网络等领域的应用及正确性验证。
2026-09-01 cs.DC cs.MA cs.SE
Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity
Institute of Informatics and Telematics (IIT) of the Italian National Research Council (CNR)(意大利国家研究委员会(CNR)信息学与电信研究所(IIT));Central European University (CEU)(中欧大学(CEU));Rényi Institute of Mathematics(雷尼数学研究所);Tampere University (TAU)(坦佩雷大学(TAU))
针对无中央协调、复杂网络连接及数据与设备异构的边缘场景,提出一种通信高效的DFL算法,使设备仅与邻居协作即可训练泛化更优的局部模型。
2023-12-07 cs.AI cs.DC cs.LG
Agree to Disagree: Subjective Fairness in Privacy-Restricted Decentralised Conflict Resolution
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);Imperial College London(伦敦帝国理工学院)
公平通常被视为一个系统的全球结果的属性,并假设集中和完整的知识。然而,在真正的分散应用中,代理只有部分观察能力。在有限的信息下,代理人依靠通信向他人泄露他们的一些私人(和不可观察的)信息。当一个代理人深思熟虑地解决冲突时,有限的知识可能会导致其正确结果的观点与冲突解决的实际结果不同。这是主观上的不公平。为了使分散的,公平意识的冲突解决隐私约束下,我们有两个贡献:(1)一个新的互动方法和(2)隐私和公平之间的关系的形式主义。我们提出的交互方法是一种隐私感知的可解释冲突解决架构,其中代理人参与假设和事实的对话。要衡量的隐私公平的关系,我们定义的主观和客观的公平在本地和全球范围内,并正式的影响,由于隐私的部分可观察性,在这些不同的公平概念。我们首先研究我们提出的架构和隐私公平的关系在抽象的,测试不同的论证策略,大量的随机文化。我们实证证明了隐私,客观公平和主观公平之间的权衡,并表明更好的策略可以减轻分布式系统中隐私的影响。除了在广泛的随机抽象文化的分析,我们分析了一个特定的情况下的案例研究:我们实例化我们的架构在一个多智能体模拟的优先级规则感知碰撞避免有限的信息披露。
2021-06-30 cs.LO cs.MA cs.RO
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Counterfactual Multi-Agent Policy Gradients
University of Oxford(牛津大学)
针对协作多智能体系统的去中心化策略学习及信用分配问题,提出反事实多智能体策略梯度方法COMA,采用中心化评论家加去中心化演员架构,通过反事实基线高效分配信用,在星际争霸微操作任务中性能优于同类方法且比肩顶尖中心化控制器。
2024-12-11 cs.AI cs.MA
Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Alberta(阿尔伯塔大学);University of Manchester(曼彻斯特大学);University College London(伦敦大学学院)
针对CT-DE多智能体强化学习因单次联合动作采样导致高方差估计的问题,提出PERLA框架,在评论家中引入联合策略采样,降低方差,提升可扩展性,并在多个基准上验证了其优越性能。
2023-06-22 cs.LG cs.MA
Asynchronous Cooperative Multi-Agent Reinforcement Learning with Limited Communication
Massachusetts Institute of Technology(麻省理工学院)
本研究提出了一种异步多智能体强化学习框架AsynCoMARL,通过图Transformer学习动态图中的通信协议,在通信受限环境下实现高效协作,相比传统同步方法,减少26%的通信量同时保持相近的成功率和碰撞率。
2025-02-13 cs.MA
Robust Multi-Agent Reinforcement Learning with Social Empowerment for Coordination and Communication
我们考虑了鲁棒的多智能体强化学习(MARL)的合作通信和协调任务的问题。MARL代理,主要是那些以集中方式训练的代理,可能是脆弱的,因为他们可以采取的政策是在期望其他代理以某种方式行事而不是对他们的行为做出反应的情况下采取行动。我们的目标是使学习过程偏向于寻找对他人行为保持反应的策略。社会赋权衡量的是主体行为之间的潜在影响。我们建议它作为一个额外的奖励条款,使代理更好地适应其他代理的行动。我们表明,该方法的结果在获得更高的回报更快,更高的成功率在三个合作的通信和协调任务。
2020-12-15 cs.MA
Event-Triggered Multi-agent Reinforcement Learning with Communication under Limited-bandwidth Constraint
在多智能体强化学习中,以分布式方式相互通信和作为一个群体行为是必不可少的。然而,现实世界中的多智能体系统受到有限带宽通信的限制。如果带宽被完全占用,一些代理不能及时发送消息给其他人,造成决策延迟和损害的合作效果。最近的相关工作已经开始解决这个问题,但仍然未能最大限度地减少通信资源的消耗。在本文中,我们提出了事件触发通信网络(ETCNet),以提高通信效率,在多代理系统中发送消息,只有在必要时。根据信息论,有限的带宽被转化为事件触发策略的惩罚阈值,它决定了每一步的代理是否发送消息。然后,事件触发策略的设计被公式化为一个约束马尔可夫决策问题,和强化学习找到满足有限带宽约束的最佳通信协议。在典型的多智能体任务上的实验表明,ETCNet在减少带宽占用方面优于其他方法,并且最大限度地保持了多智能体系统的协作性能。
2020-10-10 cs.MA
Directionality Reinforcement Learning to Operate Multi-Agent System without Communication
本文建立了方向性强化学习(DRL)技术,提出了完全分散的多智能体强化学习方法,该方法基于各智能体的学习实现协作:无通信、无观测。具体地说,DRL增加了“智能体必须学会在可达目标中到达最远目标”的指导,以学习智能体合作操作智能体。此外,为了研究DRL的有效性,本文在迷宫问题中比较了Q-学习代理与DRL和以前的学习代理。实验结果表明:(1)DRL在时间消耗方面优于前一种方法;(2)DRL的方向使Agent学习为其他Agent让步的行为;(3)DRL建议以较少的代价实现多Agent学习。
2021-10-12 cs.MA
Learning Communication Skills in Multi-task Multi-agent Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
本文提出多任务通信技能(MCS)方法,通过Transformer编码器和预测网络学习共享通信协议,使多智能体能同时执行多个任务,并在多任务基准实验中优于无通信多任务基线及单任务基线。
2025-11-06 cs.MA
Exploring Task-oriented Communication in Multi-agent System: A Deep Reinforcement Learning Approach
多智能体系统(MAS)使代理之间的能力共享,这样的协作任务可以完成具有高度的可扩展性和效率。MAS在各个领域的应用越来越广泛。同时,Agent之间大规模、时间敏感的数据传输也给通信系统带来了挑战。传统的无线通信在接收端忽略了数据的内容及其对任务执行的影响,难以保证信息的及时性和相关性。这种局限性导致传统的无线通信难以有效地支持新兴的多智能体协作应用。面对这一困境,任务导向的沟通是一个潜在的解决方案,其目的是传递任务相关的信息,以提高任务执行性能。然而,多智能体协作本身就是一类复杂的序贯决策问题。在这种情况下,探索有效的信息流动是一项挑战。在这篇文章中,我们使用深度强化学习(DRL)来探索MAS中面向任务的通信。我们首先讨论了DRL在任务型交际中的应用。然后,我们设想了一个面向任务的MAS通信体系结构,并讨论了基于DRL的设计。最后,我们讨论了未来研究的开放性问题,并总结了本文。
2022-09-15 cs.MA
Language Grounded Multi-agent Reinforcement Learning with Human-interpretable Communication
本文提出将MARL智能体通信空间与人类自然语言嵌入空间对齐的语言接地方法,在保持任务性能的同时加速通信涌现,并实现即兴团队协作中的零样本泛化。
2024-11-25 cs.MA
Learning Efficient Communication Protocols for Multi-Agent Reinforcement Learning
针对多智能体强化学习中通信低效问题,提出通用多轮通信协议学习框架与三种通信效率指标(CEMs),优化协议拓扑与消息,提升通信效率及协作性能。
2025-11-12 cs.MA
Collective Decision Making in Communication-Constrained Environments
University of Southampton(南安普顿大学);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院)
自主机器人群的主要任务之一是集体决定最佳可用选项。实现这一点需要代理之间的高质量通信,而这在现实环境中可能并不总是可用的。在本文中,我们介绍了通信约束的集体决策问题的环境中的某些领域限制代理的通信能力,无论是通过降低成功率或阻塞的通信渠道。我们提出了一个分散的算法映射环境特征的机器人群,以及改善集体决策的通信有限的环境中没有事先了解的通信景观。我们的研究结果表明,使一个集体意识到的通信环境可以提高收敛的速度,在通信限制的存在下,至少快3倍,而不牺牲准确性。
2022-07-19 cs.MA cs.RO
Teaching on a Budget in Multi-Agent Deep Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
深度强化学习(RL)算法可以成功地解决复杂的顺序决策任务。然而,他们有一个主要的缺点,有差的样本效率,这往往可以解决知识重用。在多智能体强化学习(MARL)中,这个缺点变得更糟,但与此同时,通过智能体交互也提供了一组新的利用知识的机会。其中一个有希望的办法是通过师生框架提供同行行动咨询。尽管最初被引入单智能体RL,最近的研究表明,它也可以应用于多智能体的情况下,有希望的实证结果。然而,目前这方面的研究非常有限。在本文中,我们提出了一个基于非线性函数逼近的任务级策略,在合作分散MARL行动建议技术。通过采用随机网络蒸馏技术,我们设计了一个测量代理评估他们的知识在任何给定的状态,并能够启动教师-学生动态没有事先的角色假设。在网格环境中的实验结果表明,这种方法可能确实是有用的,需要进一步研究。
2019-05-28 cs.LG cs.MA
Deep Multiagent Reinforcement Learning: Challenges and Directions
Leiden University(莱顿大学)
本文综述了深度多智能体强化学习领域。近年来,深度神经网络与强化学习的结合获得了越来越多的关注,并且正在慢慢将焦点从单智能体环境转移到多智能体环境。处理多个代理本质上更复杂,因为(a)未来的奖励取决于多个参与者的联合行动,以及(b)计算复杂性增加。我们提出了最常见的多智能体的问题表示和他们的主要挑战,并确定了五个研究领域,解决这些挑战中的一个或多个:集中培训和分散执行,对手建模,沟通,有效的协调,和奖励塑造。我们发现,许多计算研究依赖于不切实际的假设,或者不能推广到其他设置;他们努力克服维数或非平稳性的灾难。心理学和社会学的方法捕捉有前途的相关行为,如沟通和协调,以帮助代理在多代理环境中实现更好的性能。我们建议,多智能体强化学习是成功的,未来的研究应该解决这些挑战与跨学科的方法,在多智能体强化学习开辟新的可能性。
2022-10-12 cs.AI cs.LG cs.MA
Learning to Communicate with Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院);Google DeepMind(谷歌DeepMind)
我们考虑的问题,多个代理感知和行动的环境中的目标是最大限度地提高他们的共享效用。在这些环境中,代理必须学习通信协议,以便共享解决任务所需的信息。通过拥抱深度神经网络,我们能够展示在复杂环境中协议的端到端学习,这些复杂环境受到通信谜语和具有部分可观测性的多代理计算机视觉问题的启发。我们提出了两种方法在这些领域的学习:加强代理间学习(RIAL)和可区分的代理间学习(DIAL)。前者使用深度Q学习,而后者利用了这样一个事实,即在学习过程中,代理可以通过(噪声)通信信道反向传播错误导数。因此,这种方法使用集中学习,但分散执行。我们的实验引入了新的环境,研究学习的通信协议,并提出了一套工程创新,在这些领域的成功是必不可少的。
2016-05-24 cs.AI cs.LG cs.MA
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
许多现实世界的问题,如网络数据包路由和城市交通控制,自然建模为多智能体强化学习(RL)问题。然而,现有的多智能体RL方法通常在问题大小方面的规模很差。因此,一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习,最流行的多智能体RL方法,引入了非平稳性,使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法,解决这个问题:1)使用多代理变量的重要性采样自然衰减过时的数据和2)条件每个代理的价值函数上的指纹,消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实,这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
The Power of Communication in a Distributed Multi-Agent System
单智能体(SA)强化学习系统在非平稳问题上表现出突出的效果。然而,多智能体强化学习(MARL)可以超越SA系统一般和规模。此外,MA系统可以通过协作来增强,这可以通过观察他人或用于在协作者之间共享信息的通信系统来实现。在这里,我们开发了一种分布式MA学习机制,能够基于分散的部分可观察马尔可夫决策过程(Dec-POMDPs)和图神经网络(GNNs)进行通信。协作式多智能体机制可以在提高性能的同时最大限度地减少训练机器学习模型所消耗的时间和能量。我们在一个真实的场景中展示了这一点,一个海上风电场,包括一组分布式风力涡轮机,其目标是最大限度地提高集体效率。与SA系统相比,MA协作在不可见和规模化的场景中显着减少了培训时间和更高的累积回报。
2021-12-14 cs.AI cs.LG cs.MA
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London(伦敦大学学院);University of York(约克大学)
现实世界的拥堵问题(例如交通拥堵)通常非常复杂且规模庞大。多智能体强化学习(MARL)是一个很有前途的候选人,通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而,有三个限制因素,影响部署的MARL方法的拥塞问题。这些是学习时间,可扩展性和分散的协调,即学习代理之间没有通信。在本文中,我们介绍了资源抽象,解决这些挑战的方法,分配到抽象组的可用资源。这种抽象创建了新的奖励函数,为学习代理提供更多信息信号,并帮助它们之间的协调。实验工作进行了两个基准域从文献中,一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明,使用资源抽象的系统显着提高了学习速度和可扩展性,并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中,涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University(斯坦福大学)
多智能体强化学习已经显示出对各种合作任务的承诺,作为可区分的智能体通信的最新发展的结果。然而,大多数架构都局限于同类代理的池,限制了它们的适用性。在这里,我们提出了一个模块化的框架,学习复杂的任务,传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证,并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
Low Entropy Communication in Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
多智能体强化学习中的通信因其在协作中的重要作用而受到关注。然而,多智能体系统可能会受到通信资源的限制,因此需要有效的通信技术在现实世界中的场景。根据香农-哈特利定理,在较差信道中可靠传输的消息需要较低的熵。因此,我们的目标是减少多智能体通信中的消息熵。一个基本的挑战是熵的梯度要么是0,要么是无穷大,这使得基于梯度的方法无法使用。为了解决这个问题,我们提出了一个伪梯度下降方案,它通过明智地调整消息的分布来降低熵。我们进行了实验,两个基地的通信框架与六个环境设置,发现我们的计划可以减少消息熵高达90%,几乎没有损失的合作性能。
2023-02-10 cs.LG cs.MA
An Infrastructure-less, Control-Independent Solution to Relative Localisation of a Team of Mobile Robots using Ranging Measurements
Department of Industrial Engineering, University of Trento(特伦托大学工业工程系);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
提出一种无锚点、完全去中心化的协作定位算法,仅依赖局部里程计、稀疏测距和短程通信,无需控制机器人运动即可实现团队可观测性,采用多假设贝叶斯框架保证鲁棒性。
2026-06-19 cs.MA cs.RO
Multi-Agent Reinforcement Learning with Communication-Constrained Priors
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);School of Network Security and Information Technology, YiLi Normal University(伊犁师范学院网络安全与信息技术学院);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出了一种通信受限的多智能体强化学习框架,通过统一表征通信条件并量化通信影响,提升复杂动态环境中的学习效率。
2026-03-10 cs.AI cs.MA
AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体强化学习中全连接通信成本高且难以获取范围外信息的问题,提出AC2C通信协议,通过通信控制器自适应实现两跳长距离信息交换,在降低通信开销的同时显著提升了性能。
2023-05-23 cs.AI cs.MA
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick(华威大学)
深度强化学习算法最近被用于以集中的方式训练多个交互代理,同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时,智能体通信起着至关重要的作用。在这项工作中,我们提出了一个框架,多智能体训练使用深度确定性的策略梯度,使并发,端到端学习的显式通信协议,通过内存设备。在训练过程中,智能体学习执行读写操作,使它们能够推断出世界的共享表示。我们的经验表明,并发学习的通信设备和个人的政策,可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明,所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外,我们还研究了破坏通信通道的影响,提供了随时间变化的记忆内容的可视化,因为底层任务正在解决,并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University(斯坦福大学);MIT Lincoln Lab(麻省理工学院林肯实验室)
在多智能体强化学习(MARL)中,通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信,其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议,可以提高设计人员和其他智能体的可解释性,本文提出了一种生成类似人类语言的离散消息的方法,并通过基于自我注意的广播和收听机制实现通信。我们表明,离散消息通信的性能可比连续消息通信,但与一个小得多的词汇大小。此外,我们提出了一种方法,允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文考虑了一个分布式强化学习问题,其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系,提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明,该算法可以解决强连通图的问题,通过允许每个代理,只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
CGIBNet: Bandwidth-constrained Communication with Graph Information Bottleneck in Multi-Agent Reinforcement Learning
Zhejiang University(浙江大学);Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Huawei Technologies(华为技术有限公司)
通信是协作多智能体强化学习(MARL)的核心组成部分之一。在许多实际应用中,通信带宽总是受到一定的限制。为了提高通信效率,在这篇文章中,我们提出了同时优化谁通信和通信MARL中的每个代理。通过有向完全图启动Agent之间的通信,提出了一种新的通信模型--通信图信息瓶颈网络(CGIBNet),利用图信息瓶颈原理同时压缩图结构和节点信息.图结构压缩的目的是削减冗余的边缘,以确定与谁进行通信。节点信息压缩旨在通过学习紧凑的节点表示来解决通信内容的问题。此外,CGIBNet是带宽受限通信的第一个通用模块,可应用于各种训练框架(即,基于策略和基于价值的MARL框架)和通信模式(即,单轮和多轮通信)。在交通控制和星际争霸II环境中进行了大量的实验。结果表明,我们的方法可以实现更好的性能在带宽受限的设置相比,国家的最先进的算法。
2022-12-30 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
通过在多智能体环境中使用多个智能体之间的通信,可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习,在混合合作竞争环境中的沟通学习也很重要,并带来了自己的复杂性,如对方团队偷听的沟通。在本文中,我们应用微分代理间学习(DIAL),合作设置,一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明,在我们选择的环境中,经过给定的训练期后,通信代理能够实现与完全可观察代理相似的性能。总的来说,我们发现,跨团队共享通信的结果在降低性能的沟通团队相比,实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Biases for Emergent Communication in Multi-agent Reinforcement Learning
DeepMind(深度思维)
我们研究的问题,紧急沟通,语言出现,因为扬声器和听众必须沟通信息,以解决任务。在时间上扩展的强化学习领域中,已经证明在没有集中训练代理的情况下难以学习这种通信,部分原因是难以联合探索问题。我们为积极的信号和积极的倾听引入了归纳偏见,这缓解了这个问题。在一个简单的一步环境中,我们展示了这些偏见如何缓解学习问题。我们还将我们的方法应用到一个更广泛的环境中,表明具有这些归纳偏见的代理可以实现更好的性能,并分析由此产生的通信协议。
2019-12-11 cs.CL cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
A Decentralized Communication Framework based on Dual-Level Recurrence for Multi-Agent Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);National Sun Yat-Sen University(中山大学)
我们提出了一个模型,使分散的多个代理共享他们的感知环境中的一个公平和适应性的方式。在我们的模型中,当前消息和历史观察都被考虑在内,它们在同一个循环模型中以不同的形式处理。我们提出了一个双层递归通信框架的多智能体系统,其中第一个递归发生在通信序列中,用于传输代理之间的通信数据,而第二个递归是基于时间序列,并结合每个代理的历史观察。所开发的通信流将通信消息与记忆分离,但允许代理通过双层递归来共享其历史观察。这种设计使Agent能够适应不断变化的通信对象,同时保证了通信结果的公平性。我们提供了一个充分的讨论,我们的方法在部分可观察和完全可观察的环境。几个实验的结果表明,我们的方法优于现有的分散式通信框架和相应的集中式训练方法。
2022-02-22 cs.AI cs.MA
Communication Methods in Multi-Agent Reinforcement Learning
Telecooperation Institute, Johannes Kepler University Linz, Austria(telecooperation研究所,约瑟夫·胡斯大学林茨,奥地利)
本文综述了多智能体强化学习中不同通信方法的优缺点,指出无通用最优框架,需根据具体问题选择,并强调低计算开销和现实通信条件下的鲁棒性改进的重要性。
2026-01-19 cs.AI cs.LG cs.MA
DACOM: Learning Delay-Aware Communication for Multi-Agent Reinforcement Learning
University of Oslo(奥斯陆大学);NOOT Tech. Co., Ltd.(NOOT科技有限公司);Beijing University of Posts and Telecommunications(北京邮电大学)
在协作式多智能体强化学习(MARL)中,通信可以提高多智能体协作和整体性能。然而,由于大多数现有通信方案忽略了通信开销(例如,通信延迟)。在本文中,我们证明了忽略通信延迟对协作有不利影响,特别是在自动驾驶等延迟敏感的任务中。为了减轻这种影响,我们设计了一个延迟感知的多智能体通信模型(DACOM),以适应通信延迟。具体来说,DACOM引入了一个组件TimeNet,负责调整代理接收来自其他代理的消息的等待时间,以便解决与延迟相关的不确定性。我们的实验表明,DACOM有一个不可忽视的性能改善比其他机制,使通信的好处和等待消息的成本之间的更好的权衡。
2022-12-03 cs.LG cs.MA cs.NI
Fully Independent Communication in Multi-Agent Reinforcement Learning
Loughborough University London(拉夫堡大学伦敦校区)
本文研究MARL中不共享参数的独立智能体如何通信,提出新学习方案解决相关问题,并发现通信并非总必需且需结合网络规模实现高效学习。
2024-03-26 cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
A Survey of Multi-Agent Deep Reinforcement Learning with Communication
Utrecht University(乌得勒支大学)
本文综述了基于通信的多智能体深度强化学习研究,提出9个分析维度对现有方法进行分类比较,并探讨未来系统设计的新方向。
2024-10-18 cs.LG cs.MA
Universally Expressive Communication in Multi-Agent Reinforcement Learning
InstaDeep Ltd.(InstaDeep公司);University of Oxford(牛津大学)
在多智能体强化学习中,允许智能体通过通信共享信息对于解决复杂任务至关重要。在这项工作中,我们考虑的问题,是否一个给定的通信协议可以表达任意的政策。通过观察,许多现有的协议可以被视为图神经网络(GNNs)的实例,我们证明了联合动作选择节点标记的等价性。由于标准GNN方法的表达能力有限,我们从现有的GNN文献中借鉴,并考虑用以下内容来增强代理观察:(1)唯一的代理ID和(2)随机噪声。我们提供了一个理论分析,这些方法如何产生普遍表达的沟通,也证明了他们能够针对任意一组相同的代理人的行动。从经验上讲,这些增强被发现,以提高表现性的沟通是必需的,而在一般情况下,最佳的通信协议被发现是任务相关的任务上的性能。
2023-01-13 cs.DM cs.LG cs.MA
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML