Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法,在执行前排练住宅能源协调,实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
Achieving Equilibrium under Utility Heterogeneity: An Agent-Attention Framework for Multi-Agent Multi-Objective Reinforcement Learning
针对多智能体多目标系统中异质效用函数加剧训练非平稳性的问题,提出AA-MAMORL框架,通过集中式训练学习全局效用联合信念、去中心化执行近似贝叶斯纳什均衡,实验证明其性能优于现有方法。
2025-11-12 cs.AI cs.MA
Decentralised Active Perception in Continuous Action Spaces for the Coordinated Escort Problem
University of Technology Sydney(悉尼科技大学);Defence Science and Technology Group, Department of Defence(澳大利亚国防部国防科学与技术集团);US Naval Research Laboratory(美国海军研究实验室)
针对分布式多机器人协同护送中支援动作效果难评估的问题,提出两种新型辅助奖励函数与分布式交叉熵方法,实现任务满意度最高两倍提升,拓展了异构多机器人应用方向。
2023-05-03 cs.MA cs.RO
QVMix and QVMix-Max: Extending the Deep Quality-Value Family of Algorithms to Cooperative Multi-Agent Reinforcement Learning
John Cockerill Defense, Belgium(比利时约翰·科克里尔防务公司)
本文介绍了四种新的算法,可用于解决多智能体强化学习(MARL)的问题发生在合作设置。所有算法都基于深度质量-价值(DQV)算法家族,这是一组在处理单智能体强化学习问题(SARL)时已被证明是成功的技术。DQV算法的关键思想是与状态-动作值函数$Q$的近似一起共同学习状态-值函数$V$的近似。我们遵循这一原则,并通过引入两个完全分散的MARL算法(IQV和IQV-Max)和两个基于集中式训练与分散式执行训练范式(QVMix和QVMix-Max)的算法来推广这些算法。我们比较我们的算法与流行的星际争霸多智能体挑战赛(SMAC)环境中最先进的MARL技术。当QVMix和QVMix-Max与知名的MARL技术(如QMIX和MAVEN)进行比较时,我们显示出具有竞争力的结果,并显示QVMix甚至可以在一些测试环境中胜过它们,是整体表现最好的算法。我们假设这是由于QVMix受$Q$函数高估偏倚影响较小。
2020-12-22 cs.AI cs.LG cs.MA
Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学)
提出一种去中心化屏蔽方法,通过合约机制协调智能体局部LTL安全义务,在无集中运行时控制下保证全局安全并优化团队奖励。
2026-07-13 cs.LG cs.MA
Multi-Agent Reinforcement Learning for Autonomous Multi-Satellite Earth Observation: A Realistic Case Study
University of South Australia(南澳大利亚大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
针对多卫星对地观测中的自主协调挑战,本文利用MARL框架建模并扩展至多卫星星座,解决了能量与存储限制及部分可观测性下的去中心化协调问题,验证了最先进MARL算法在近现实仿真环境中的有效性与训练稳定性。
2025-11-05 cs.AI cs.MA cs.RO
Decentralised Q-Learning for Multi-Agent Markov Decision Processes with a Satisfiability Criterion
IIT Bombay(印度理工学院孟买分校)
本文提出一种去中心化Q-learning算法,结合gossip算法和多时间尺度机制,求解多智能体马尔可夫决策过程,使各智能体时间平均成本低于预设界限并验证了其有效性。
2023-11-21 cs.LG cs.MA cs.SY
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Counterfactual Multi-Agent Policy Gradients
University of Oxford(牛津大学)
针对协作多智能体系统的去中心化策略学习及信用分配问题,提出反事实多智能体策略梯度方法COMA,采用中心化评论家加去中心化演员架构,通过反事实基线高效分配信用,在星际争霸微操作任务中性能优于同类方法且比肩顶尖中心化控制器。
2024-12-11 cs.AI cs.MA
Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Alberta(阿尔伯塔大学);University of Manchester(曼彻斯特大学);University College London(伦敦大学学院)
针对CT-DE多智能体强化学习因单次联合动作采样导致高方差估计的问题,提出PERLA框架,在评论家中引入联合策略采样,降低方差,提升可扩展性,并在多个基准上验证了其优越性能。
2023-06-22 cs.LG cs.MA
Safe and Efficient CAV Lane Changing using Decentralised Safety Shields
School of Computer Science and Statistics, Trinity College Dublin(计算机科学与统计学学院,都柏林三一学院)
针对CAV换道安全难题,提出去中心化混合安全护盾HSS并与MARL集成,在匝道合流场景中实现零碰撞且保持交通效率。
2025-04-30 cs.AI cs.MA cs.RO
Networked Communication for Decentralised Agents in Mean-Field Games
Department of Computer Science(计算机科学系);University of Oxford(牛津大学)
本文提出一种网络通信机制,用于改进均场博弈中去中心化代理的训练效率,同时增强鲁棒性。
2025-12-22 cs.AI cs.LG cs.MA
Teaching on a Budget in Multi-Agent Deep Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
深度强化学习(RL)算法可以成功地解决复杂的顺序决策任务。然而,他们有一个主要的缺点,有差的样本效率,这往往可以解决知识重用。在多智能体强化学习(MARL)中,这个缺点变得更糟,但与此同时,通过智能体交互也提供了一组新的利用知识的机会。其中一个有希望的办法是通过师生框架提供同行行动咨询。尽管最初被引入单智能体RL,最近的研究表明,它也可以应用于多智能体的情况下,有希望的实证结果。然而,目前这方面的研究非常有限。在本文中,我们提出了一个基于非线性函数逼近的任务级策略,在合作分散MARL行动建议技术。通过采用随机网络蒸馏技术,我们设计了一个测量代理评估他们的知识在任何给定的状态,并能够启动教师-学生动态没有事先的角色假设。在网格环境中的实验结果表明,这种方法可能确实是有用的,需要进一步研究。
2019-05-28 cs.LG cs.MA
Deep Multiagent Reinforcement Learning: Challenges and Directions
Leiden University(莱顿大学)
本文综述了深度多智能体强化学习领域。近年来,深度神经网络与强化学习的结合获得了越来越多的关注,并且正在慢慢将焦点从单智能体环境转移到多智能体环境。处理多个代理本质上更复杂,因为(a)未来的奖励取决于多个参与者的联合行动,以及(b)计算复杂性增加。我们提出了最常见的多智能体的问题表示和他们的主要挑战,并确定了五个研究领域,解决这些挑战中的一个或多个:集中培训和分散执行,对手建模,沟通,有效的协调,和奖励塑造。我们发现,许多计算研究依赖于不切实际的假设,或者不能推广到其他设置;他们努力克服维数或非平稳性的灾难。心理学和社会学的方法捕捉有前途的相关行为,如沟通和协调,以帮助代理在多代理环境中实现更好的性能。我们建议,多智能体强化学习是成功的,未来的研究应该解决这些挑战与跨学科的方法,在多智能体强化学习开辟新的可能性。
2022-10-12 cs.AI cs.LG cs.MA
Learning to Communicate with Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院);Google DeepMind(谷歌DeepMind)
我们考虑的问题,多个代理感知和行动的环境中的目标是最大限度地提高他们的共享效用。在这些环境中,代理必须学习通信协议,以便共享解决任务所需的信息。通过拥抱深度神经网络,我们能够展示在复杂环境中协议的端到端学习,这些复杂环境受到通信谜语和具有部分可观测性的多代理计算机视觉问题的启发。我们提出了两种方法在这些领域的学习:加强代理间学习(RIAL)和可区分的代理间学习(DIAL)。前者使用深度Q学习,而后者利用了这样一个事实,即在学习过程中,代理可以通过(噪声)通信信道反向传播错误导数。因此,这种方法使用集中学习,但分散执行。我们的实验引入了新的环境,研究学习的通信协议,并提出了一套工程创新,在这些领域的成功是必不可少的。
2016-05-24 cs.AI cs.LG cs.MA
Multi-agent Uncertainty-Aware Pessimistic Model-Based Reinforcement Learning for Connected Autonomous Vehicles
针对网联自动驾驶汽车多智能体决策中MBRL不确定性估计困难和缺乏PAC保证的问题,提出MA-PMBRL框架,采用悲观优化与投影梯度下降,在部分数据覆盖下建立PAC保证,提升可扩展性与可靠性。
2025-03-26 cs.MA
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
许多现实世界的问题,如网络数据包路由和城市交通控制,自然建模为多智能体强化学习(RL)问题。然而,现有的多智能体RL方法通常在问题大小方面的规模很差。因此,一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习,最流行的多智能体RL方法,引入了非平稳性,使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法,解决这个问题:1)使用多代理变量的重要性采样自然衰减过时的数据和2)条件每个代理的价值函数上的指纹,消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实,这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London(伦敦大学学院);University of York(约克大学)
现实世界的拥堵问题(例如交通拥堵)通常非常复杂且规模庞大。多智能体强化学习(MARL)是一个很有前途的候选人,通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而,有三个限制因素,影响部署的MARL方法的拥塞问题。这些是学习时间,可扩展性和分散的协调,即学习代理之间没有通信。在本文中,我们介绍了资源抽象,解决这些挑战的方法,分配到抽象组的可用资源。这种抽象创建了新的奖励函数,为学习代理提供更多信息信号,并帮助它们之间的协调。实验工作进行了两个基准域从文献中,一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明,使用资源抽象的系统显着提高了学习速度和可扩展性,并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中,涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick(华威大学)
深度强化学习算法最近被用于以集中的方式训练多个交互代理,同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时,智能体通信起着至关重要的作用。在这项工作中,我们提出了一个框架,多智能体训练使用深度确定性的策略梯度,使并发,端到端学习的显式通信协议,通过内存设备。在训练过程中,智能体学习执行读写操作,使它们能够推断出世界的共享表示。我们的经验表明,并发学习的通信设备和个人的政策,可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明,所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外,我们还研究了破坏通信通道的影响,提供了随时间变化的记忆内容的可视化,因为底层任务正在解决,并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
The Power of Communication in a Distributed Multi-Agent System
单智能体(SA)强化学习系统在非平稳问题上表现出突出的效果。然而,多智能体强化学习(MARL)可以超越SA系统一般和规模。此外,MA系统可以通过协作来增强,这可以通过观察他人或用于在协作者之间共享信息的通信系统来实现。在这里,我们开发了一种分布式MA学习机制,能够基于分散的部分可观察马尔可夫决策过程(Dec-POMDPs)和图神经网络(GNNs)进行通信。协作式多智能体机制可以在提高性能的同时最大限度地减少训练机器学习模型所消耗的时间和能量。我们在一个真实的场景中展示了这一点,一个海上风电场,包括一组分布式风力涡轮机,其目标是最大限度地提高集体效率。与SA系统相比,MA协作在不可见和规模化的场景中显着减少了培训时间和更高的累积回报。
2021-12-14 cs.AI cs.LG cs.MA
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba(曼尼托巴大学)
多智能体强化学习(MARL)是强化学习的一个具有挑战性的子领域,由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而,在现实世界的应用中,代理所需的信息(即奖励和状态)会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中,我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现,在奖励信号的扰动可以诱导性能下降相比,学习完美的奖励。我们希望本文能够激发更多的研究,研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
Probing Dec-POMDP Reasoning in Cooperative MARL
University of Edinburgh(爱丁堡大学)
通过统计和信息论探针分析基线策略,发现多数基准测试无需真正的Dec-POMDP推理,反应策略性能与记忆策略相当,协调常依赖脆弱的同步耦合。
2026-06-16 cs.LG cs.MA
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB(Zenseact公司);University of Oslo(奥斯陆大学)
在不完全信息的随机博弈中,不确定性是由于缺乏对参与者自身和其他参与者类型(即效用函数和策略空间)的了解,以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中,随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中,我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比,在该框架中,其他智能体具有固定的静态策略,并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏,如迭代最佳响应(IBR),虚拟播放(FP)和一般的多目标梯度方法,使用双上升(DAPG)。我们的实验分析表明,风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Renewable energy integration and microgrid energy trading using multi-agent deep reinforcement learning
Keele University(基尔大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
本文采用多智能体强化学习控制混合储能系统协同工作,通过最大化可再生能源价值和交易降低微电网的能源成本。智能体必须学会控制三种不同类型的储能系统,适用于在需求波动、动态批发能源价格和不可预测的可再生能源发电情况下的短期、中期和长期存储。考虑两个案例研究:第一个是研究储能系统如何在动态定价下更好地整合可再生能源发电,第二个是研究这些相同的代理如何与聚合代理一起使用,将能源出售给自利的外部微电网,以减少自己的能源账单。这项工作发现,多代理深度确定性策略梯度及其最先进的变体的集中式学习与分散式执行允许多代理方法比单个全局代理的控制表现得更好。研究还发现,在多代理方法中使用单独的奖励函数比使用单个控制代理要好得多。能够与其他微电网进行交易,而不仅仅是卖回给公用电网,也被发现大大增加了电网的储蓄。
2021-12-05 cs.AI cs.LG cs.MA
Tackling Uncertainties in Multi-Agent Reinforcement Learning through Integration of Agent Termination Dynamics
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Synopsys(新思科技)
针对多智能体强化学习中的不确定性,提出结合分布式学习与基于障碍函数的安全损失,在星际争霸II基准上提升收敛性并优于现有基线。
2025-01-21 cs.LG cs.MA
SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning
EPFL(洛桑联邦理工学院);University of Oxford(牛津大学);University College London(伦敦大学学院);Meta AI;University of Manchester(曼彻斯特大学)
本文针对SMAC基准缺乏随机性和部分可观测性、开环策略即可获胜的问题,提出程序化生成场景并引入扩展部分可观测性挑战的SMACv2,以要求闭环策略,为下一代MARL方法提供更具挑战性的基准。
2023-10-17 cs.LG cs.MA
Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties
Pacific Northwest National Laboratory(太平洋西北国家实验室)
自主网络系统防御策略和行动建议在现实世界中的发展是具有挑战性的,包括表征系统状态的不确定性和攻防动态。我们提出了一个数据驱动的深度强化学习(DRL)框架,以学习主动的、上下文感知的防御对策,这些对策动态地适应不断变化的对抗行为,同时最大限度地减少网络系统操作的损失。一个动态防御优化问题,制定了多种保护姿态对不同类型的对手具有不同的技能和持久性水平。开发了一个自定义的仿真环境,并设计了实验,系统地评估四个无模型DRL算法对现实的,多阶段的攻击序列的性能。我们的研究结果表明DRL算法在多阶段攻击配置文件和系统不确定性下的主动网络防御的有效性。
2023-02-03 cs.AI cs.LG cs.MA
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University(潘迪特·德恩达亚尔能源大学)
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习,可以在遵循一定准则的前提下,解决不确定系统环境中的资源分配问题。此外,强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析,通过应用不同的组件来修改强化学习的架构,使用噪声层,优先重放,装袋,决斗网络和其他相关组合,以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索,证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题,通过最大化报酬,效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
QMIX是一种流行的$Q$ -学习算法,用于集中训练和分散执行范例中的协作MARL。为了实现简单的分散化,QMIX限制了联合动作$Q$ -它可以表示为每个代理效用的单调混合的值。然而,这种限制阻止它表示价值函数,其中代理对其动作的排序可以依赖于其他代理的动作。为了分析这种代表性的限制,我们首先形式化的目标QMIX优化,这使我们能够查看QMIX作为一个运营商,首先计算的$Q$学习目标,然后将它们投影到空间表示的QMIX。该投影返回可表示的$Q$值,该值使所有联合动作的未加权平方误差最小化。我们特别表明,这种预测可能无法恢复最优策略,即使访问$Q^*$,这主要是源于平等的权重放在每个联合行动。我们通过在预测中引入权重来纠正这一点,以便更加重视更好的联合行动。我们提出了两个加权方案,并证明他们恢复正确的最大行动的任何联合行动$Q$ -值,因此$Q^*$以及。基于我们的分析和结果的表格设置,我们介绍了两个可扩展的版本,我们的算法,中央加权(CW)QMIX和乐观加权(OW)QMIX和表现出改善性能的捕食者-猎物和具有挑战性的多智能体星际争霸基准任务。
2020-10-22 cs.LG cs.MA stat.ML
Hierarchically Structured Scheduling and Execution of Tasks in a Multi-Agent Environment
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Zebra Technologies(斑马技术公司)
在仓库环境中,任务是动态出现的。因此,过早地将他们与劳动力相匹配的任务管理系统(例如,提前几周)是次优的。此外,这种系统的动作空间的快速增加的大小构成了传统调度器的一个重要问题。然而,强化学习适合于处理需要为长期目标(通常是远程目标)做出连续决策的问题。在这项工作中,我们设置自己的一个问题,提出了一个层次结构:任务调度,由一个集中的代理,在一个动态的仓库多智能体环境和执行这样的时间表,由分散的代理,只有部分的可观测性。我们建议使用深度强化学习来解决高级调度问题和调度执行的低级多代理问题。最后,我们还设想的情况下,集中化是不可能的,在测试时,工人必须学会如何合作,在执行任务的环境中,没有时间表,只有部分可观测性。
2022-03-06 cs.LG cs.MA stat.ML
Off-the-Grid MARL: Datasets with Baselines for Offline Multi-Agent Reinforcement Learning
InstaDeep;University of Cape Town(开普敦大学);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学);NiTheCS(国家理论与计算科学研究所);INRS(国家科学研究所)
针对离线多智能体强化学习缺乏标准化基准的问题,本文发布 OG-MARL 数据集仓库,提供多样化的现实协作场景数据集与基线,以推动该领域的研究进展。
2023-09-22 cs.AI cs.LG cs.MA
Safe multi-agent motion planning under uncertainty for drones using filtered reinforcement learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Mitsubishi Electric Corporation(三菱电机株式会社)
本文提出一种结合强化学习与机会约束凸优化的多无人机运动规划方法,在不确定杂乱环境中以高概率保证安全避碰,且训练简单、可实时实施。
2023-10-31 cs.AI cs.LG cs.MA
Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出CoUR框架,利用大语言模型优化强化学习中的奖励函数设计,通过不确定性量化和贝叶斯优化提升效率与鲁棒性。
2026-04-15 cs.AI cs.CL cs.LG