Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics（数学系）；Department of Electrical Engineering and Information Technology（电气工程与信息科技系）；IIIT at ETIT（ETIT的IIIT）
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题，提出先行为克隆后强化学习的混合方法，并采用多头注意力网络，最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University（北京大学工学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于对手智能体的强化学习环境，用于战争迷雾环境下的追逃博弈，具有重要的科学意义和实际应用价值.最流行的学习环境之一，星际争霸，在这里采用和相关的小游戏进行分析，以确定目前的限制，训练对手的代理。的主要贡献包括分析的潜在性能的代理，将控制和微分博弈理论到特定的强化学习环境，并通过扩展当前的星际争霸迷你游戏的对手代理挑战（SAAC）环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说，拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是，可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们考虑多智能体强化学习设置不完美的信息，其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态（或目标），因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标，以便解决任务。我们提出了一种新的学习方法，在这些领域：自学习建模（SOM），其中一个代理使用自己的政策来预测其他代理的行动，并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法，并表明在合作和对抗环境中，代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）；Artefact Research Centre（阿特法克特研究中心）
本文针对双峰随机环境下的强化学习挑战，提出一种基于批量更新的表格Q学习方法，并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Alpha-Mini: Minichess Agent with Deep Reinforcement Learning
Stanford University（斯坦福大学）
我们训练一个智能体在加德纳小棋游戏中竞争，这是一种缩小版的国际象棋，在5x 5的棋盘上进行。本文提出并应用了一种基于广义优势估计的SOTA行动者-批评者近端策略优化方法。我们最初的任务围绕着训练智能体对抗随机智能体。一旦我们获得了合理的性能，我们就采用了AlphaGo采用的迭代策略改进版本，使智能体与越来越强大的自身版本进行对抗，并评估由此产生的性能增益。最后一个智能体对随机智能体的胜率接近（0.97）。我们还探索了使用通过自我游戏获得的位置集合对网络进行预训练的效果。
2021-12-22 cs.AI cs.LG
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Personalized Path Recourse for Reinforcement Learning Agents
Yale University, School of Management（耶鲁大学管理学院）
本研究提出面向强化学习智能体的个性化路径追索方法，通过兼顾目标、相似性与个性化的奖励函数训练智能体生成适配不同行为模式的追索路径，可用于多场景下的序列修正优化以实现预期目标。
2024-11-03 cs.AI cs.LG
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Investigating Reinforcement Learning Agents for Continuous State Space Environments
Georgia Institute of Technology（佐治亚理工学院）
给定一个具有连续状态空间和离散动作的环境，我们研究使用双深度Q学习强化代理来使用LunarLander-v2 OpenAI健身房环境找到最优策略。
2019-03-11 cs.AI
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Enhancing Text-based Reinforcement Learning Agents with Commonsense Knowledge
IBM（国际商业机器公司（IBM））
在本文中，我们认为最近的趋势，评价强化学习技术的进展，使用基于文本的环境和游戏作为评价环境。这种对文本的依赖将自然语言处理的进步带入了这些代理的范围，其中一个反复出现的线程是使用外部知识来模仿和改善人类水平的性能。我们提出了一个这样的实例化的代理，使用常识知识的概念网显示有前途的性能在两个基于文本的环境。
2020-05-02 cs.AI cs.CL cs.LG
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh（爱丁堡大学）
自主智能体的开发是人工智能和机器学习的核心研究领域，它可以与其他智能体交互以完成给定的任务。为了实现这一目标，自主智能体研究小组开发了用于自主系统控制的新型机器学习算法，特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为，目标和组成;以及基于内在动机，课程学习，因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述，并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的学习技术，称为消息丢弃，以提高性能的多智能体深度强化学习在两个应用场景：1）经典的多智能体强化学习与代理之间的直接消息通信和2）集中式训练与分散执行。在第一个应用场景中的多代理系统，其中代理之间的直接消息通信是允许的，消息丢弃技术放弃了从其他代理接收到的消息，在一个块的方式与一定的概率在训练阶段，并补偿这种影响，通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度，并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行，我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度（MADDPG），它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术，数值结果表明，建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning with Deep Nested Agents
Iowa State University（爱荷华州立大学）
近年来，深度分层强化学习得到了很多关注，因为它能够在非分层框架无法学习有用策略的挑战性环境中产生最先进的结果。然而，随着问题领域变得越来越复杂，深度分层强化学习可能会变得低效，导致收敛时间更长，性能更差。我们介绍了深嵌套代理框架，这是一个深层次的强化学习的变体，其中来自主代理的信息被传播到低级别的$nested$代理，将此信息到嵌套代理的状态。我们证明了深度嵌套代理框架的有效性和性能，通过将其应用于Minecraft中的三个场景，并与深度非分层单代理框架以及深度分层框架进行比较。
2018-05-18 cs.AI
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida（中佛罗里达大学）；Department of Computer Science University of Central Florida（中佛罗里达大学计算机科学系）
许多合作的多智能体问题需要智能体学习个人的任务，同时有助于集体的成功。这是一个具有挑战性的任务，目前国家的最先进的多智能体强化算法，旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的，导致不稳定的学习时，这个问题就会加剧。为了解决这个问题，我们提出了分解多智能体深度确定性策略梯度（DE-MADDPG）：一种新的合作多智能体强化学习框架，同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题，并表明我们的解决方案实现了显着更好，更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
A Definition of Happiness for Reinforcement Learning Agents
什么是强化学习智能体的快乐？我们寻求一个正式的定义，满足一系列的必要条件。我们提出的幸福定义是时间差误差，即获得的奖励和观察值与代理对该值的期望值之间的差异。这个定义满足了我们的大多数要求，并且与人类的经验研究相一致。我们陈述几个含义并讨论例子。
2015-05-18 cs.AI
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Turn-based Multi-Agent Reinforcement Learning Model Checking
Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学学院）
针对随机多人博弈中 TMARL 智能体的复杂需求验证问题，提出将 TMARL 与模型检验紧密集成的方法，实验证明其有效且比单体模型检验更具可扩展性。
2025-01-06 cs.AI cs.LG cs.MA
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统（ITLCS）是一个典型的多智能体系统（MAS），它由多条道路和多个交通灯组成，构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习（MADRL）。MABRL的深度神经网络（DNN）虽然有效，但训练时间长，参数难以追踪。最近，广义学习系统（BLS）提供了一种选择性的方法，通过一个平面网络在深层神经网络学习。此外，广泛的强化学习（BRL）扩展BLS在单智能体深度强化学习（SADRL）问题，有希望的结果。然而，BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题，本文提出了一个多Agent广义强化学习（MABRL）框架来研究BLS在MAS中的作用。首先，与大多数现有的MADRL方法不同，这些方法使用一系列深层神经网络结构，我们用广泛的网络对每个代理进行建模。然后，引入动态自循环交互机制来确定“3W”信息：何时交互，需要考虑哪些Agent，传递什么信息。最后，基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法，并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University（韦恩州立大学）
本文提出了一种强化学习中的代理-环境接口（SAEI）。我们还指出，基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为，提出了基于SAEI的概率代理行为确定性策略梯度（PSADPG）算法。该算法实现了对离散动作的连续控制。实验表明，PSADPG在初始训练阶段具有随机最优策略的性质，在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Causality Detection for Efficient Multi-Agent Reinforcement Learning
Loughborough University London（拉夫堡大学伦敦校区）
当作为团队学习任务时，多智能体强化学习（MARL）中的一些智能体可能无法理解它们对团队绩效的真正影响。这样的代理最终会学习次优策略，表现出不受欢迎的懒惰行为。为了研究这个问题，我们首先正式使用的时间因果关系适用于MARL问题。然后，我们展示了因果关系如何可以用来惩罚这种懒惰的代理人，并改善他们的行为。通过了解他们的局部观察与团队奖励的因果关系，团队中的每个代理都可以根据他们是否帮助导致奖励来调整他们的个人信用。我们的经验表明，在MARL中使用因果关系估计不仅提高了团队的整体表现，而且还提高了每个代理的个人能力。我们观察到，在一组不同的环境中的改进是一致的。
2023-03-24 cs.AI cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology（威迪亚西里梅迪科学技术研究所）
特设团队合作问题描述的情况下，一个代理人必须与以前看不见的代理人合作，以实现一个共同的目标。为了使代理在这些场景中取得成功，它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为，将合作技能实现到代理中。然而，在复杂的领域，领域知识可能是不可用的。因此，如何从数据中直接学习合作技能是值得探讨的。在这项工作中，我们应用Meta强化学习（元RL）制定的背景下，特设团队合作的问题。我们的实证结果表明，这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况：社会顺应性和语言解释。(This是扩展抽象版本的全文。）
2021-11-05 cs.AI cs.LG cs.MA
Interactive Reinforcement Learning with Dynamic Reuse of Prior Knowledge from Human/Agent's Demonstration
Washington State University（华盛顿州立大学）
强化学习近年来取得了许多成功。然而，这些成功通常需要非常大量的数据之前，代理实现可接受的性能。本文介绍了一种新的方式，打击这种要求，利用现有的（人或代理）的知识。特别是，本文使用代理和人类的演示，允许未经训练的代理快速实现高性能。我们经验比较，并突出的弱点，HAT和CHAT，知识从源代理/人类转移到目标代理的方法。本文介绍了一种有效的迁移方法，DRoP，结合离线知识（学习前记录的演示）与在线基于信心的性能分析。DRoP动态地涉及演示者的知识，将其集成到强化学习代理的在线学习循环中，以实现高效和鲁棒的学习。
2018-05-11 cs.AI
Multi-agent Hierarchical Reinforcement Learning with Dynamic Termination
University of Oxford（牛津大学）
在多代理系统中，代理的最优策略通常取决于其他代理选择的策略。因此，多智能体系统研究中的一个关键问题是预测他人的行为，并对这些行为的变化迅速做出反应。一个明显的可能性是每个代理广播他们当前的意图，例如，在分层强化学习框架中当前执行的选项。然而，如果期权具有延长的持续时间并且是动态的，则这种方法会导致代理人的不确定性。虽然在每一步调整执行的选项从单代理的角度提高了灵活性，但选项的频繁变化可能会导致代理的实际行为与其广播意图之间的不一致。为了平衡灵活性和可预测性，我们提出了一个动态终止贝尔曼方程，允许代理人灵活地终止他们的选择。我们评估我们的模型经验上的一组多智能体的追求和出租车任务，并表明我们的代理学习灵活地适应需要不同的终止行为的场景。
2019-10-21 cs.AI cs.LG cs.MA
Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
Lenient Multi-Agent Deep Reinforcement Learning
University of Liverpool（利物浦大学）；DeepMind（深度思维）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
近年来，单智能体深度强化学习（DRL）的大部分成功都可以归功于经验重放记忆（ERM）的使用，这使得深度Q网络（DQN）可以通过对存储的状态转换进行采样来有效地训练。然而，在使用ERM进行多代理深度强化学习（MA-DRL）时需要小心，因为存储的转换可能会过时，因为代理会并行更新其策略[11]。在这项工作中，我们对MA-DRL应用宽大处理[23]。宽大代理将状态-动作对映射到衰减温度值，衰减温度值控制对从ERM采样的负面策略更新应用的宽大量。这在值函数更新中引入了乐观，并已被证明有助于表格式完全合作多智能体强化学习问题中的合作。我们根据相关的滞后-DQN（HDQN）算法[22]以及我们称为调度-HDQN的修改版本来评估我们的Lenient-DQN（LDQN），该版本在终端状态附近使用平均奖励学习。评估发生在协调多智能体对象运输问题（CMOTP）[8]的扩展变体中，其中包括完全合作的子任务和随机奖励。我们发现，LDQN代理更有可能收敛到最优的政策，在一个随机奖励CMOTP相比，标准和调度HDQN代理。
2018-02-27 cs.AI cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
