PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环（AEC）游戏模型。PettingZoo是一个包含多种多代理环境的库，具有通用，优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习（“MARL”）的研究，通过使工作更具可互换性，可访问性和可复制性，类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能，但在MARL API中是独一无二的，因为它基于新颖的AEC游戏模型。我们认为，部分通过流行的MARL环境中的主要问题的案例研究，流行的游戏模型是穷人的概念模型的游戏中常用的MARL，因此可以促进混乱的错误，很难检测到，AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种有效的技术来训练深度学习代理，这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时，因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明，在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为，学习不同的模型使用强化学习的集成。最后，为了确定谈判代理的可部署性，我们进行了实验，让经过训练的代理与人类玩家进行对抗。结果表明，智能体能够与人类玩家抗衡，通常在谈判中成为赢家。我们的实验表明，Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Complementary reinforcement learning towards explainable agents
Allen Institute for Brain Science（艾伦脑科学研究所）
强化学习（RL）算法允许智能体学习技能和策略来执行复杂的任务，而无需详细的指令或昂贵的标记训练样本。也就是说，RL代理可以像我们学习一样学习。鉴于学习在我们智能中的重要性，RL被认为是通用人工智能的关键组成部分之一，最近在深度强化学习方面的突破表明，神经网络（NN）是RL代理的天然平台。然而，尽管基于NN的RL代理的效率和通用性，它们的决策仍然是不可理解的，降低了它们的效用。为了将RL部署到更广泛的应用中，必须开发可解释的基于NN的RL代理。在这里，我们提出了一种方法，从一个基于NN的RL代理，其决策是基于简单的规则派生出一个二级可理解的代理。我们的经验评估，这个二级代理的性能支持使用基于NN的RL代理建立一个可理解的和透明的代理的可能性。
2019-01-24 cs.LG stat.ML
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University（纽约大学）；Google AI Language（谷歌人工智能语言部门）
我们提出了一种方法，有效地学习不同的策略，在强化学习查询重构的任务，文件检索和问答。在所提出的框架中，一个代理由多个专门的子代理和一个元代理，学习聚合子代理的答案，以产生最终的答案。子代理在训练数据的不相交分区上训练，而元代理在完整的训练集上训练。我们的方法使学习速度更快，因为它是高度并行化的，并且比强基线（例如在完整数据上训练的代理集成）具有更好的泛化性能。我们表明，改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents
University of Science and Technology of China（中国科学技术大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
多智能体强化学习在实际应用中存在一定的困难，部分原因是仿真场景与现实场景之间存在差距。造成这种差距的一个原因是，模拟系统总是假设智能体可以一直正常工作，而在实际中，由于不可避免的硬件或软件故障，一个或多个智能体可能会在协调过程中意外“崩溃”。这种崩溃会破坏代理之间的合作，导致性能下降。在这项工作中，我们提出了一个正式制定的合作多智能体强化学习系统与意外的崩溃。为了提高系统的鲁棒性崩溃，我们提出了一个教练辅助的多智能体强化学习框架，它引入了一个虚拟教练代理调整训练过程中的崩溃率。我们设计了三种教练策略和教练代理的重采样策略。据我们所知，这项工作是第一个研究意外崩溃的多智能体系统。在网格世界和星际争霸II微观管理任务上的大量实验证明了自适应策略与固定崩溃率策略和课程学习策略相比的有效性。消融研究进一步说明了我们的重新采样策略的有效性。
2022-03-16 cs.LG cs.MA
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单，导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下，所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略，可以应用于复杂的问题（复杂的环境），如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Relevance Graphs
JetBrains Research（JetBrains研究院）；Kwangwoon University（光云大学）；University of York（约克大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为MAGnet，多智能体强化学习（MARL），利用相关图表示的环境中获得的自我注意力机制，和消息生成技术的启发神经网络架构。我们将我们的MAGnet方法应用于Pommerman游戏，结果表明它的性能明显优于最先进的MARL解决方案，包括DQN，MADDPG和MCTS。
2018-11-30 cs.LG cs.MA
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria（法国国家信息与自动化研究所）；ENS Lyon（里昂高等师范学院）
我们提出了一个新的，替代框架学习生成模型与目标条件强化学习。我们定义了两个代理，一个目标条件代理（GC-代理）和一个监督代理（S-代理）。给定一个用户输入的初始状态，GC代理学习重建训练集。在这种情况下，训练集中的元素就是目标。在训练过程中，S-agent学习模仿GC-agent，同时保持对目标的不可知性。在推理时，我们用S-代理生成新的样本。按照类似的路线，在变分自动编码器，我们推导出一个上界的负对数似然，包括重建项和GC-代理政策和（目标不可知的）S-代理政策之间的分歧。我们的经验表明，我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Model based Multi-agent Reinforcement Learning with Tensor Decompositions
TU Delft（代尔夫特理工大学）；University of Oxford（牛津大学）
多智能体强化学习中的一个挑战是能够在难以处理的状态-动作空间上进行推广。受Tesseract启发[Mahajan等人，2021]，这篇立场论文通过将转换和奖励函数建模为低CP秩的张量，研究了在未探索的状态-动作对上的状态-动作空间中的泛化。在合成MDP上的初步实验表明，如果真实的转换和奖励函数确实具有低秩，则在基于基于模型的强化学习算法中使用张量分解可以导致更快的收敛。
2021-10-27 cs.LG cs.MA
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Agent Modeling as Auxiliary Task for Deep Reinforcement Learning
Borealis AI
在本文中，我们探讨了深度强化学习中的Actor-Critic方法，特别是异步优势Actor-Critic（A3 C），可以通过代理建模进行扩展。受最近关于表示学习和多智能体深度强化学习的工作的启发，我们提出了两种架构来执行代理建模：第一种基于参数共享，第二种基于代理策略特征。这两种架构都旨在学习其他代理的策略作为辅助任务，除了标准的演员（策略）和评论家（价值观）。我们在合作和竞争领域进行了实验。前者是一个协调的多智能体对象运输的问题，后者是一个两个玩家的迷你版本的Pommerman游戏。我们的研究结果表明，所提出的架构稳定的学习，并优于标准的A3 C架构时，学习的最佳响应的预期回报。
2019-07-22 cs.LG cs.MA
Transfer in Reinforcement Learning via Regret Bounds for Learning Agents
Scool team, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL（Scool团队、里尔大学、Inria、CNRS、里尔中央大学、UMR 9189 CRIStAL）
针对多智能体强化学习场景，提出通过遗憾界量化迁移效用的方法，证明智能体共享观测可使总遗憾较独立学习降低√ℵ倍，为观测共享的迁移收益提供了理论界。
2025-11-13 cs.LG cs.MA
Breaking the Curse of Many Agents: Provable Mean Embedding Q-Iteration for Mean-Field Reinforcement Learning
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
多智能体强化学习（MARL）取得了显著的经验成功。然而，MARL遭受了许多代理人的诅咒。在本文中，我们利用对称性的MARL代理。在最一般的形式，我们研究了平均场MARL问题。这样的平均场MARL被定义在平均场状态上，平均场状态是在连续空间上支持的分布。基于分布的均值嵌入，提出了求解均值场MARL的MF-FQI算法，并对MF-FQI算法进行了非渐近分析。我们强调，MF-FQI算法享有“祝福的许多代理”的属性，在这个意义上说，大量的观察代理提高MF-FQI算法的性能。
2020-06-21 cs.LG stat.ML
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Offline Decentralized Multi-Agent Reinforcement Learning
Peking University（北京大学）
针对离线去中心化多智能体强化学习中因状态转移差异导致的价值估计误差问题，提出利用价值偏差和转移归一化修改转移概率的框架，使智能体学到高性能且协调的策略，并从理论和实验上验证了其有效性与显著改进。
2023-07-29 cs.LG cs.MA
Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
Harvard University（哈佛大学）；Amazon Inc.（亚马逊公司）；University of Toronto（多伦多大学）
多智能体强化学习（MARL）由于其在现实世界中的广泛应用而受到广泛关注。然而，实现代理之间的有效通信一直是MARL的首要问题。在这项工作中，我们提出了基于方差的控制（VBC），一个简单而有效的技术，以提高通信效率的MARL。通过在训练阶段限制Agent之间交换的消息的方差，可以有效地消除消息中的噪声分量，而有用的部分可以被Agent保留和利用以获得更好的性能。我们的评估使用一组具有挑战性的星际争霸II基准测试表明，我们的方法实现了$2-10\times$低于国家的最先进的MARL算法的通信开销，同时允许代理更好地合作，通过开发复杂的战略。
2019-11-01 cs.LG stat.ML
High Performance Simulation for Scalable Multi-Agent Reinforcement Learning
Improbable（英普若博（ Improbable ））
多智能体强化学习实验和开源训练环境通常规模有限，支持数十个或有时多达数百个交互代理。在本文中，我们演示了时尚，高性能代理模型（ABM）框架的使用。Vogue作为一个多智能体训练环境，支持数千到数万个交互智能体，同时通过在GPU上运行环境和强化学习（RL）智能体来保持高训练吞吐量。高性能的多智能体环境，在这种规模有可能使学习的强大和灵活的政策，用于ABM和模拟复杂的系统。我们展示了两个新开发的，大规模的多智能体训练环境的训练性能。此外，我们表明，这些环境可以训练共享RL政策的时间尺度分钟和小时。
2022-07-08 cs.LG cs.MA cs.PF
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Army Research Lab（陆军研究实验室）；University of California, Riverside（加州大学河滨分校）
多智能体强化学习（MARL）的许多最新突破需要使用深度神经网络，这对人类专家来说是一个解释和理解的挑战。另一方面，现有的可解释的强化学习（RL）的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望，但仅在单代理设置。为了填补这一空白，我们提出了第一套算法，从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法，IVIPER，扩展VIPER，最近的方法单代理可解释的RL，多代理设置。我们证明了IVIPER学习高质量的决策树政策，为每个代理。为了更好地捕捉代理之间的协调，我们提出了一种新的集中式决策树训练算法，MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树，并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明，这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University（哥伦比亚大学）
清算是指在一定时间范围内，考虑到市场冲击和交易者的风险规避所产生的成本，连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统，可以纳入股票市场的复杂性，并产生实用的交易策略。在本文中，我们建议使用多智能体深度强化学习模型，与各种机器学习方法相比，它可以更好地捕捉高级复杂性，以便智能体可以学习如何做出最佳销售决策。首先，我们从理论上分析了Almgren和Chriss模型，并对其基本机制进行了扩展，使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次，我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为，这克服了单代理强化学习算法的局限性。最后，我们模拟交易，并开发了一个最佳的交易策略与实际的限制，通过使用强化学习方法，这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh（爱丁堡大学）
自主智能体的开发是人工智能和机器学习的核心研究领域，它可以与其他智能体交互以完成给定的任务。为了实现这一目标，自主智能体研究小组开发了用于自主系统控制的新型机器学习算法，特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为，目标和组成;以及基于内在动机，课程学习，因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述，并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Represented Value Function Approach for Large Scale Multi Agent Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology（国防科技大学全国创新研究院人工智能研究中心）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
本文研究了大规模多智能体强化学习问题。首先，我们研究了两两价值函数的表示问题，以降低智能体之间交互的复杂性。其次，我们采用了一个l2-范数技巧来保证近似价值函数的平凡项是有界的。最后，通过对战斗游戏的实验结果验证了该方法的有效性。
2020-01-10 cs.CV cs.LG cs.MA
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的学习技术，称为消息丢弃，以提高性能的多智能体深度强化学习在两个应用场景：1）经典的多智能体强化学习与代理之间的直接消息通信和2）集中式训练与分散执行。在第一个应用场景中的多代理系统，其中代理之间的直接消息通信是允许的，消息丢弃技术放弃了从其他代理接收到的消息，在一个块的方式与一定的概率在训练阶段，并补偿这种影响，通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度，并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行，我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度（MADDPG），它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术，数值结果表明，建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Snooping Attacks on Deep Reinforcement Learning
Duke University（杜克大学）
对抗攻击暴露了最先进的机器学习模型中的一个重大安全漏洞。这些模型包括深度强化学习代理。现有的攻击强化学习代理的方法假设对手可以访问目标代理的学习参数或代理与之交互的环境。在这项工作中，我们提出了一类新的威胁模型，称为窥探威胁模型，这是强化学习所独有的。在这些窥探威胁模型中，对手没有能力与目标代理的环境进行交互，只能窃听代理和环境之间交换的动作和奖励信号。我们表明，在这些高度约束的威胁模型中运行的对手仍然可以通过在相关任务上训练代理模型并利用对抗性示例的可转移性来对目标代理发起毁灭性攻击。
2020-01-15 cs.CV cs.LG stat.ML
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
EpiRL: A Reinforcement Learning Agent to Facilitate Epistasis Detection
Courant Institute（库朗研究所）；New York University（纽约大学）；Tandon School of Engineering（坦登工程学院）
上位性（基因-基因相互作用）对预测遗传疾病至关重要。我们的工作通过将其建模为一步马尔可夫决策过程，其中状态是基因组数据，动作是相互作用的基因，奖励是所选动作的相互作用度量，来解决以前的上位性检测工作所面临的计算挑战。一个强化学习代理使用策略梯度方法，然后学习发现一组高度相互作用的基因。
2018-09-24 cs.LG q-bio.QM stat.ML
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida（中佛罗里达大学）；Department of Computer Science University of Central Florida（中佛罗里达大学计算机科学系）
许多合作的多智能体问题需要智能体学习个人的任务，同时有助于集体的成功。这是一个具有挑战性的任务，目前国家的最先进的多智能体强化算法，旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的，导致不稳定的学习时，这个问题就会加剧。为了解决这个问题，我们提出了分解多智能体深度确定性策略梯度（DE-MADDPG）：一种新的合作多智能体强化学习框架，同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题，并表明我们的解决方案实现了显着更好，更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Turn-based Multi-Agent Reinforcement Learning Model Checking
Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学学院）
针对随机多人博弈中 TMARL 智能体的复杂需求验证问题，提出将 TMARL 与模型检验紧密集成的方法，实验证明其有效且比单体模型检验更具可扩展性。
2025-01-06 cs.AI cs.LG cs.MA
