Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention
Tongji University（同济大学）
针对部分可观测大规模MARL中邻居特征利用不足的问题，提出GAMFQ，通过图注意力动态刻画有效邻居并结合平均场近似，性能优于现有基线。
2024-09-09 cs.AI
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Curiosity-driven Exploration in Sparse-reward Multi-agent Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
在应用深度强化学习方法时，奖励的稀疏性对其样本效率产生负面影响。一个可行的解决方案，以处理稀疏的奖励是学习通过内在动机，主张增加一个内在的奖励的奖励函数，以鼓励智能体探索环境和扩大样本空间。虽然内在动机方法被广泛用于提高强化学习模型中的数据有效学习，但它们也存在所谓的分离问题。在这篇文章中，我们讨论了内在好奇心模块在稀疏奖励多智能体强化学习中的局限性，并提出了一种称为I-Go-Explore的方法，该方法将内在好奇心模块与Go-Explore框架相结合，以减轻分离问题。
2023-02-21 cs.AI
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning
Xiaomi Inc.（小米公司）
基于深度强化学习的多智能体合作与竞争问题是近年来的研究热点。研究了局部观测条件下基于行动者-批评者方法的多智能体协作问题。多智能体深度确定性策略梯度在一些多智能体博弈中取得了很好的效果，但随着智能体数量的增加，它不能很好地扩展。为了提高系统的可扩展性，提出了一种基于神经网络的参数共享确定性策略梯度方法，该方法包括三种变体：Actor-Critic共享、Actor共享和Actor与部分共享Critic共享. rllab的测试结果表明，该方法在学习速度和记忆效率方面具有优势，随着代理数量的增长具有很好的可扩展性，并且在可能的情况下可以充分利用奖励共享和交换机制。
2017-10-03 cs.AI
Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines
LMU Munich（慕尼黑大学）
强化学习推动了机器学习令人印象深刻的进步。与此同时，使用量子退火的量子增强机器学习算法是重大发展的基础。最近，结合这两种范式的多智能体强化学习（MARL）架构已经提出。这种利用量子玻尔兹曼机（QBM）进行Q值近似的新算法在收敛所需的时间步长方面优于常规深度强化学习。然而，该算法仅限于单智能体和小型2x2多智能体网格域。在这项工作中，我们提出了一个扩展到原来的概念，以解决更具挑战性的问题。与经典的DQN类似，我们添加了一个经验重放缓冲区，并使用不同的网络来近似目标和策略值。实验结果表明，学习变得更加稳定，使代理找到最佳的策略，在网格域具有较高的复杂性。此外，我们评估参数共享如何影响多代理域中的代理行为。量子采样被证明是强化学习任务的一种有前途的方法，但目前受到QPU大小的限制，因此受到输入和玻尔兹曼机大小的限制。
2021-11-22 cs.AI cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Multi-agent Reinforcement Learning in OpenSpiel: A Reproduction Report
Czech Technical University（捷克技术大学）
在这份报告中，我们提出了几个核心算法在OpenSpiel框架中实现的游戏学习的结果再现。这项工作的主要贡献是验证OpenSpiel的重新实现的搜索和强化学习算法对各自的原始作品中报告的结果。此外，我们还提供了完整的超参数文档和源代码，以便轻松准确地重现这些实验。
2021-03-02 cs.AI
PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
Peking University（北京大学）
难以扩展给多智能体协调带来了很大的问题。多智能体强化学习（MARL）算法在小规模多智能体系统中的应用很难扩展到大规模多智能体系统中，因为后者的动态性更强，交互次数随着智能体数量的增加而呈指数级增加。一些群体智能算法模拟信息素的释放和利用机制来控制大规模的Agent协调。受这些算法的启发，为了解决大规模多智能体协调问题，提出了一种基于\textbf{p}和\textbf{o} m \textbf{o} ne的间接通信框架\textbf{PooL}，用于大规模多智能体强化\textbf{l}学习. PooL的代理释放的信息素被定义为大多数强化学习算法的输出，它反映了代理对当前环境的看法。信息素更新机制可以有效地组织所有代理的信息，并将代理之间的复杂交互简化为低维表示。智能体感知到的信息素可以看作是附近智能体观点的总结，更能反映环境的真实情况。以Q-Learning为基础模型实现PooL，并在各种大规模协作环境中对PooL进行了评估。实验结果表明，通过PooL，Agent可以捕获有效的信息，并以较低的通信代价获得比其他方法更高的回报。
2022-02-20 cs.AI cs.MA
A Variational Approach to Mutual Information-Based Coordination for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个新的互信息框架的多智能体强化学习，使多个代理学习协调的行为，通过正规化的累积回报与多个代理之间的动作的同时互信息。通过引入一个潜在的变量，诱导非零互信息之间的多智能体的行动和应用变分的界限，我们得到一个听话的下界所考虑的MMI正则化的目标函数。导出的易处理的目标可以被解释为最大熵强化学习结合其他代理行动的不确定性减少。应用策略迭代来最大化导出的下界，我们提出了一个实用的算法命名为变分最大互信息多代理actor-critic，它遵循集中学习与分散执行。我们评估VM 3-AC几个游戏需要协调，数值结果表明，VM 3-AC优于其他MARL算法在多智能体任务，需要高质量的协调。
2023-03-01 cs.AI cs.MA
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
Situation-Dependent Causal Influence-Based Cooperative Multi-agent Reinforcement Learning
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）
针对多智能体强化学习中智能体协调与探索能力不足的问题，提出基于情境依赖因果影响的SCIC算法，通过因果干预和条件互信息检测智能体间因果影响并设计内在奖励机制，提升协作性能，在多个基准上优于现有方法。
2023-12-15 cs.AI
On Memory Mechanism in Multi-Agent Reinforcement Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；US Army Research Lab（美国陆军研究实验室）
多智能体强化学习（MARL）通过引入额外的智能体和（潜在的）环境的部分可观测性来扩展（单智能体）强化学习（RL）。因此，用于解决MARL问题的算法结合了传统RL方法之外的各种扩展，例如合作代理之间的学习通信协议，该协议能够在竞争环境中交换私人信息或对对手进行自适应建模。一种流行的算法构造是记忆机制，这样代理的决策不仅取决于当前状态，还取决于观察到的状态和动作的历史。在本文中，我们研究了如何记忆机制可以是有用的环境中具有不同的属性，如可观察性，内在性和存在的通信信道。使用以前的工作和新的实验，我们表明，记忆机制是有帮助的，当学习代理需要模拟其他代理和/或通信时，以某种方式受到限制，但是，我们必须谨慎的代理实现有效的记忆通过其他手段。
2019-09-11 cs.AI cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们考虑多智能体强化学习设置不完美的信息，其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态（或目标），因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标，以便解决任务。我们提出了一种新的学习方法，在这些领域：自学习建模（SOM），其中一个代理使用自己的政策来预测其他代理的行动，并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法，并表明在合作和对抗环境中，代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
Sparse Adversarial Attack in Multi-agent Reinforcement Learning
协作多智能体强化学习（cMARL）有很多实际应用，但现有cMARL算法训练的策略在部署时不够鲁棒。针对强化学习系统的对抗攻击也有很多方法，这意味着强化学习系统可以遭受对抗攻击，但大多数研究都集中在单Agent强化学习上。在本文中，我们提出了一个\textit{sparse adversarial attack}的cMARL系统。我们使用带有正则化的（MA）RL来训练攻击策略。我们的实验表明，当前cMARL算法训练的策略在团队中只有一个或几个代理时（例如，8个中的1个或25个中的5个）在几个时间步（例如，总共40个时间步中的攻击3）。
2022-08-08 cs.AI
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Towards Heterogeneous Multi-Agent Reinforcement Learning with Graph Neural Networks
FEI University Center（FEI大学中心）
这项工作提出了一种神经网络架构，可以在异构多代理强化环境中学习多个代理类的策略。该网络使用有向标记图表示状态，为不同的实体类编码不同大小的特征向量，使用关系图卷积层来模拟实体类型之间的不同通信通道，并为不同的代理类学习不同的策略，尽可能共享参数。结果表明，专门的实体类之间的通信通道是一个有前途的一步，以实现更高的性能，在环境中组成的异构实体。
2020-10-20 cs.AI cs.LG
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
Quantifying the effects of environment and population diversity in multi-agent reinforcement learning
DeepMind（深度思维）
泛化是多智能体强化学习的一个主要挑战。一个智能体在新的环境中以及与新的合作者互动时表现如何？在本文中，我们调查和量化的泛化和多样性之间的关系在多智能体域。在这里考虑的多代理环境的范围内，程序生成训练水平显着提高代理性能的保持水平。然而，在训练中使用的特定级别上的代理性能有时会因此而下降。为了更好地理解合作者变化的影响，我们的实验引入了一个新的环境不可知的行为多样性的措施。结果表明，种群规模和内在动机都是产生更大的种群多样性的有效方法。反过来，在某些（但不是所有）情况下，与不同的合作伙伴一起训练可以加强代理人的表现。
2022-03-04 cs.AI cs.MA
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida（中佛罗里达大学）；Department of Computer Science University of Central Florida（中佛罗里达大学计算机科学系）
许多合作的多智能体问题需要智能体学习个人的任务，同时有助于集体的成功。这是一个具有挑战性的任务，目前国家的最先进的多智能体强化算法，旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的，导致不稳定的学习时，这个问题就会加剧。为了解决这个问题，我们提出了分解多智能体深度确定性策略梯度（DE-MADDPG）：一种新的合作多智能体强化学习框架，同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题，并表明我们的解决方案实现了显着更好，更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University（高丽大学）；Ajou University（亚洲大学）
本文针对自主移动接入场景，提出基于CTDE的多智能体深度强化学习方法，用单一神经网络集中训练多无人机协作，以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
KnowRU: Knowledge Reusing via Knowledge Distillation in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了显著的进展。然而，培训日益复杂的任务将耗时且消耗资源。为了缓解这个问题，有效地利用历史经验是必不可少的，这是在以前的研究中探索不足，因为大多数现有的方法可能无法实现这一目标，在一个不断变化的系统，由于其复杂的设计和环境动态。在本文中，我们提出了一种方法，命名为“KnowRU”的知识重用，可以很容易地部署在大多数的多智能体强化学习算法，而无需复杂的手工编码设计。我们采用知识蒸馏范式转移代理之间的知识，以加快新任务的训练阶段，同时提高渐近性能的代理。为了实证证明KnowRU的鲁棒性和有效性，我们在协作和竞争场景下对最先进的多智能体强化学习（MARL）算法进行了广泛的实验。结果表明，KnowRU可以优于最近报道的方法，这强调了建议的知识重用MARL的重要性。
2021-03-27 cs.AI cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
Turn-based Multi-Agent Reinforcement Learning Model Checking
Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学学院）
针对随机多人博弈中 TMARL 智能体的复杂需求验证问题，提出将 TMARL 与模型检验紧密集成的方法，实验证明其有效且比单体模型检验更具可扩展性。
2025-01-06 cs.AI cs.LG cs.MA
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统（ITLCS）是一个典型的多智能体系统（MAS），它由多条道路和多个交通灯组成，构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习（MADRL）。MABRL的深度神经网络（DNN）虽然有效，但训练时间长，参数难以追踪。最近，广义学习系统（BLS）提供了一种选择性的方法，通过一个平面网络在深层神经网络学习。此外，广泛的强化学习（BRL）扩展BLS在单智能体深度强化学习（SADRL）问题，有希望的结果。然而，BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题，本文提出了一个多Agent广义强化学习（MABRL）框架来研究BLS在MAS中的作用。首先，与大多数现有的MADRL方法不同，这些方法使用一系列深层神经网络结构，我们用广泛的网络对每个代理进行建模。然后，引入动态自循环交互机制来确定“3W”信息：何时交互，需要考虑哪些Agent，传递什么信息。最后，基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法，并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley（慕尼黑量子谷）
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现，实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Causality Detection for Efficient Multi-Agent Reinforcement Learning
Loughborough University London（拉夫堡大学伦敦校区）
当作为团队学习任务时，多智能体强化学习（MARL）中的一些智能体可能无法理解它们对团队绩效的真正影响。这样的代理最终会学习次优策略，表现出不受欢迎的懒惰行为。为了研究这个问题，我们首先正式使用的时间因果关系适用于MARL问题。然后，我们展示了因果关系如何可以用来惩罚这种懒惰的代理人，并改善他们的行为。通过了解他们的局部观察与团队奖励的因果关系，团队中的每个代理都可以根据他们是否帮助导致奖励来调整他们的个人信用。我们的经验表明，在MARL中使用因果关系估计不仅提高了团队的整体表现，而且还提高了每个代理的个人能力。我们观察到，在一组不同的环境中的改进是一致的。
2023-03-24 cs.AI cs.LG cs.MA
Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory
School of EECS, Peking University（北京大学电子信息工程学院）
深度强化学习（RL）近年来取得了突出的成果，导致方法和应用数量急剧增加。最近的工作是探索学习超越单代理的情况下，并考虑多代理的情况下。然而，他们面临着许多挑战，并正在寻求帮助，从传统的博弈论算法，这反过来，显示出光明的应用前景结合现代算法和提高计算能力。本文首先介绍了单智能体强化学习和多智能体强化学习的基本概念和算法，然后从三个方面对相关算法进行了综述。博弈论中的解决方案概念给了算法以灵感，这些算法试图评估代理或在多代理系统中找到更好的解决方案。虚拟自我游戏的流行对多智能体强化学习算法产生了很大的影响。反事实遗憾最小化是解决不完全信息游戏的重要工具，当与深度学习相结合时显示出巨大的力量。
2020-01-31 cs.AI cs.GT cs.LG
Multi-agent Hierarchical Reinforcement Learning with Dynamic Termination
University of Oxford（牛津大学）
在多代理系统中，代理的最优策略通常取决于其他代理选择的策略。因此，多智能体系统研究中的一个关键问题是预测他人的行为，并对这些行为的变化迅速做出反应。一个明显的可能性是每个代理广播他们当前的意图，例如，在分层强化学习框架中当前执行的选项。然而，如果期权具有延长的持续时间并且是动态的，则这种方法会导致代理人的不确定性。虽然在每一步调整执行的选项从单代理的角度提高了灵活性，但选项的频繁变化可能会导致代理的实际行为与其广播意图之间的不一致。为了平衡灵活性和可预测性，我们提出了一个动态终止贝尔曼方程，允许代理人灵活地终止他们的选择。我们评估我们的模型经验上的一组多智能体的追求和出租车任务，并表明我们的代理学习灵活地适应需要不同的终止行为的场景。
2019-10-21 cs.AI cs.LG cs.MA
Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在离线多智能体强化学习（MARL）中，智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下，外源攻击者修改奖励数据集之前，代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略，同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同，我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡（MPDSE），保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明，攻击工作在各种MARL代理，包括不确定性意识的学习者，我们表现出线性规划，有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen（智能变形机制与适应机器人重点实验室和智能科学与工程学院，哈尔滨工业大学深圳）
本文提出MASH方法，将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习，有效加速了训练收敛并提升了全身协作能力，优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Replication of Multi-agent Reinforcement Learning for the "Hide and Seek" Problem
National University of Sciences and Technology（国立科技大学）
本研究针对强化学习策略难复现及复杂环境相关研究有限的问题，复现多智能体躲猫猫强化学习并新增飞行机制，提升了智能体机动性，缩短了躲藏者习得追逐策略的训练步数。
2023-10-09 cs.AI cs.LG cs.MA
Multi-agent reinforcement learning using echo-state network and its application to pedestrian dynamics
Data Science and AI Innovation Research Promotion Center, Shiga University（滋贺大学数据科学与人工智能创新研究促进中心）
本文提出用回声状态网络结合最小二乘策略迭代实现多智能体强化学习行人模拟，并在路径选择与双向行人流任务中验证了其在较低智能体密度下能够成功学会避让前行。
2024-10-07 cs.AI cs.LG cs.MA
SEA: A Spatially Explicit Architecture for Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文受点云任务启发提出SEA空间显式架构，通过空间编码器—解码器支持邻域与全局信息共享，遵循CTDE范式，可适配主流强化学习算法并处理智能体数量变化，实验验证其性能提升。
2023-04-25 cs.AI cs.MA cs.SY
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale（南方高等学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
本文提出一种基于策略梯度的分散式强化学习框架，通过Proximal Policy Optimization整合目标选择与驱动，克服了传统DQN的离散动作限制，在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题，并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
