Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology（麻省理工学院）
强化学习在合作多智能体设置最近取得了显着进展，在广告，动态治疗制度，分布式控制和联邦学习的合作估计的应用。在本文中，我们讨论的问题，合作多代理RL函数逼近，其中一组代理相互通信，共同解决一个情节MDP。我们证明，通过仔细的消息传递和合作的价值迭代，它是可以实现接近最优的无遗憾学习，即使是一个固定的恒定的通信预算。接下来，我们证明，即使在异构的合作设置，它是可能的，以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法，以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种有效的技术来训练深度学习代理，这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时，因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明，在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为，学习不同的模型使用强化学习的集成。最后，为了确定谈判代理的可部署性，我们进行了实验，让经过训练的代理与人类玩家进行对抗。结果表明，智能体能够与人类玩家抗衡，通常在谈判中成为赢家。我们的实验表明，Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
Represented Value Function Approach for Large Scale Multi Agent Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology（国防科技大学全国创新研究院人工智能研究中心）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
本文研究了大规模多智能体强化学习问题。首先，我们研究了两两价值函数的表示问题，以降低智能体之间交互的复杂性。其次，我们采用了一个l2-范数技巧来保证近似价值函数的平凡项是有界的。最后，通过对战斗游戏的实验结果验证了该方法的有效性。
2020-01-10 cs.CV cs.LG cs.MA
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
本文考虑了一个分布式强化学习问题，其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系，提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明，该算法可以解决强连通图的问题，通过允许每个代理，只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单，导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下，所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略，可以应用于复杂的问题（复杂的环境），如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
Snooping Attacks on Deep Reinforcement Learning
Duke University（杜克大学）
对抗攻击暴露了最先进的机器学习模型中的一个重大安全漏洞。这些模型包括深度强化学习代理。现有的攻击强化学习代理的方法假设对手可以访问目标代理的学习参数或代理与之交互的环境。在这项工作中，我们提出了一类新的威胁模型，称为窥探威胁模型，这是强化学习所独有的。在这些窥探威胁模型中，对手没有能力与目标代理的环境进行交互，只能窃听代理和环境之间交换的动作和奖励信号。我们表明，在这些高度约束的威胁模型中运行的对手仍然可以通过在相关任务上训练代理模型并利用对抗性示例的可转移性来对目标代理发起毁灭性攻击。
2020-01-15 cs.CV cs.LG stat.ML
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Agent Modelling under Partial Observability for Deep Reinforcement Learning
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
对其他代理人的行为进行建模对于理解代理人如何互动和做出有效决策至关重要。现有的代理建模方法通常假设在执行过程中的本地观测和选定的动作的建模代理的知识。为了消除这一假设，我们提取表示从本地信息的控制代理使用编码器-解码器架构。在训练过程中使用建模代理的观察和动作，我们的模型学习提取仅以受控代理的局部观察为条件的建模代理的表示。这些表示用于增强受控代理的决策策略，该策略通过深度强化学习进行训练;因此，在执行期间，该策略不需要访问其他代理的信息。我们提供了一个全面的评估和消融研究在合作，竞争和混合的多智能体环境中，表明我们的方法实现了更高的回报比基线方法，不使用学习的表示。
2021-11-09 cs.LG cs.MA stat.ML
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
PIC: Permutation Invariant Critic for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
样本效率和可扩展性是多智能体强化学习系统的两个重要目标。最近的工作使我们更接近这些目标，通过利用依赖于所有观察和行动的深网评论器，从单个代理的角度解决环境的非平稳性。评论家输入以用户指定的顺序连接代理观察和动作。然而，由于深度网络不是置换不变的，因此尽管环境保持相同，但置换的输入会改变评论家的输出。为了避免这种低效率，我们提出了一个“置换不变的评论家”（PIC），它会产生相同的输出，无论代理置换。这种一致的表示使我们的模型能够扩展到30倍以上的代理，并在具有挑战性的多代理粒子环境（MPE）上实现15%至50%的测试情节奖励改进。
2019-10-31 cs.CV cs.LG stat.ML
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Complementary reinforcement learning towards explainable agents
Allen Institute for Brain Science（艾伦脑科学研究所）
强化学习（RL）算法允许智能体学习技能和策略来执行复杂的任务，而无需详细的指令或昂贵的标记训练样本。也就是说，RL代理可以像我们学习一样学习。鉴于学习在我们智能中的重要性，RL被认为是通用人工智能的关键组成部分之一，最近在深度强化学习方面的突破表明，神经网络（NN）是RL代理的天然平台。然而，尽管基于NN的RL代理的效率和通用性，它们的决策仍然是不可理解的，降低了它们的效用。为了将RL部署到更广泛的应用中，必须开发可解释的基于NN的RL代理。在这里，我们提出了一种方法，从一个基于NN的RL代理，其决策是基于简单的规则派生出一个二级可理解的代理。我们的经验评估，这个二级代理的性能支持使用基于NN的RL代理建立一个可理解的和透明的代理的可能性。
2019-01-24 cs.LG stat.ML
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University（高丽大学）；Ajou University（亚洲大学）
本文针对自主移动接入场景，提出基于CTDE的多智能体深度强化学习方法，用单一神经网络集中训练多无人机协作，以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环（AEC）游戏模型。PettingZoo是一个包含多种多代理环境的库，具有通用，优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习（“MARL”）的研究，通过使工作更具可互换性，可访问性和可复制性，类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能，但在MARL API中是独一无二的，因为它基于新颖的AEC游戏模型。我们认为，部分通过流行的MARL环境中的主要问题的案例研究，流行的游戏模型是穷人的概念模型的游戏中常用的MARL，因此可以促进混乱的错误，很难检测到，AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
Enhancing Reinforcement Learning Agents with Local Guides
GIPSA-Lab（GIPSA实验室）；Criteo AI Lab（Criteo人工智能实验室）
本文提出一种基于噪声策略切换和近似策略评估的新算法，将局部引导策略整合进强化学习智能体，在经典及安全关键问题中显著提升初始学习阶段的性能。
2024-02-21 cs.LG cs.SY eess.SY
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测，实验显示其行为稳定有效，凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
High Performance Simulation for Scalable Multi-Agent Reinforcement Learning
Improbable（英普若博（ Improbable ））
多智能体强化学习实验和开源训练环境通常规模有限，支持数十个或有时多达数百个交互代理。在本文中，我们演示了时尚，高性能代理模型（ABM）框架的使用。Vogue作为一个多智能体训练环境，支持数千到数万个交互智能体，同时通过在GPU上运行环境和强化学习（RL）智能体来保持高训练吞吐量。高性能的多智能体环境，在这种规模有可能使学习的强大和灵活的政策，用于ABM和模拟复杂的系统。我们展示了两个新开发的，大规模的多智能体训练环境的训练性能。此外，我们表明，这些环境可以训练共享RL政策的时间尺度分钟和小时。
2022-07-08 cs.LG cs.MA cs.PF
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University（纽约大学）；Google AI Language（谷歌人工智能语言部门）
我们提出了一种方法，有效地学习不同的策略，在强化学习查询重构的任务，文件检索和问答。在所提出的框架中，一个代理由多个专门的子代理和一个元代理，学习聚合子代理的答案，以产生最终的答案。子代理在训练数据的不相交分区上训练，而元代理在完整的训练集上训练。我们的方法使学习速度更快，因为它是高度并行化的，并且比强基线（例如在完整数据上训练的代理集成）具有更好的泛化性能。我们表明，改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
Replication of Multi-agent Reinforcement Learning for the "Hide and Seek" Problem
National University of Sciences and Technology（国立科技大学）
本研究针对强化学习策略难复现及复杂环境相关研究有限的问题，复现多智能体躲猫猫强化学习并新增飞行机制，提升了智能体机动性，缩短了躲藏者习得追逐策略的训练步数。
2023-10-09 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University（哥伦比亚大学）
清算是指在一定时间范围内，考虑到市场冲击和交易者的风险规避所产生的成本，连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统，可以纳入股票市场的复杂性，并产生实用的交易策略。在本文中，我们建议使用多智能体深度强化学习模型，与各种机器学习方法相比，它可以更好地捕捉高级复杂性，以便智能体可以学习如何做出最佳销售决策。首先，我们从理论上分析了Almgren和Chriss模型，并对其基本机制进行了扩展，使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次，我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为，这克服了单代理强化学习算法的局限性。最后，我们模拟交易，并开发了一个最佳的交易策略与实际的限制，通过使用强化学习方法，这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents
University of Science and Technology of China（中国科学技术大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
多智能体强化学习在实际应用中存在一定的困难，部分原因是仿真场景与现实场景之间存在差距。造成这种差距的一个原因是，模拟系统总是假设智能体可以一直正常工作，而在实际中，由于不可避免的硬件或软件故障，一个或多个智能体可能会在协调过程中意外“崩溃”。这种崩溃会破坏代理之间的合作，导致性能下降。在这项工作中，我们提出了一个正式制定的合作多智能体强化学习系统与意外的崩溃。为了提高系统的鲁棒性崩溃，我们提出了一个教练辅助的多智能体强化学习框架，它引入了一个虚拟教练代理调整训练过程中的崩溃率。我们设计了三种教练策略和教练代理的重采样策略。据我们所知，这项工作是第一个研究意外崩溃的多智能体系统。在网格世界和星际争霸II微观管理任务上的大量实验证明了自适应策略与固定崩溃率策略和课程学习策略相比的有效性。消融研究进一步说明了我们的重新采样策略的有效性。
2022-03-16 cs.LG cs.MA
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
A Visual Communication Map for Multi-Agent Deep Reinforcement Learning
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
深度强化学习已成功应用于解决各种现实问题，其在多智能体环境中的应用数量也在不断增加。多智能体学习在分配隐藏的通信介质方面显然提出了重大挑战。代理从介质中接收全面的知识，以确定分布式性质的后续动作。显然，目标是利用多个代理的合作来有效地实现指定的目标。最近的研究通常将专门的神经网络与强化学习结合起来，以实现代理之间的通信。然而，这种方法限制了代理的数量或需要系统的均匀性。在本文中，我们提出了一种更具可扩展性的方法，不仅可以处理大量的代理，还可以实现不同功能代理之间的协作，并与任何深度强化学习方法相结合。具体来说，我们创建了一个全球通信地图来表示系统中的每个代理的状态可视化。视觉地图和环境状态被馈送到共享参数网络以同时训练多个代理。最后，我们选择异步优势演员-评论家（A3 C）算法来证明我们提出的方案，即多智能体的视觉通信映射A3 C（VMA 3C）。仿真结果表明，视觉通信地图的使用提高了A3 C的学习速度，奖励的成就，和多智能体问题的鲁棒性的性能。
2021-02-23 cs.AI cs.GT cs.LG
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Multi-Robot Formation Control Using Reinforcement Learning
在本文中，我们提出了一个机器学习的方法来移动一组机器人的形成。我们将问题建模为多智能体强化学习问题。我们的目标是设计一个控制策略，以保持一个理想的形成之间的一些代理（机器人），同时朝着一个理想的目标。这是通过培训我们的代理人来跟踪该集团的两名代理人并保持与这些代理人的关系来实现的。我们认为所有的代理都是同质的，并将它们建模为单一的[1]。与领导者-跟随者方法不同，在领导者-跟随者方法中，每个代理都有一个独立的目标，我们的方法旨在训练代理合作并朝着共同的目标努力。我们使用这种方法的动机是使一个完全分散的多智能体形成系统和可扩展的代理数量。
2020-01-13 cs.LG cs.RO
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh（爱丁堡大学）
自主智能体的开发是人工智能和机器学习的核心研究领域，它可以与其他智能体交互以完成给定的任务。为了实现这一目标，自主智能体研究小组开发了用于自主系统控制的新型机器学习算法，特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为，目标和组成;以及基于内在动机，课程学习，因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述，并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Relevance Graphs
JetBrains Research（JetBrains研究院）；Kwangwoon University（光云大学）；University of York（约克大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为MAGnet，多智能体强化学习（MARL），利用相关图表示的环境中获得的自我注意力机制，和消息生成技术的启发神经网络架构。我们将我们的MAGnet方法应用于Pommerman游戏，结果表明它的性能明显优于最先进的MARL解决方案，包括DQN，MADDPG和MCTS。
2018-11-30 cs.LG cs.MA
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria（法国国家信息与自动化研究所）；ENS Lyon（里昂高等师范学院）
我们提出了一个新的，替代框架学习生成模型与目标条件强化学习。我们定义了两个代理，一个目标条件代理（GC-代理）和一个监督代理（S-代理）。给定一个用户输入的初始状态，GC代理学习重建训练集。在这种情况下，训练集中的元素就是目标。在训练过程中，S-agent学习模仿GC-agent，同时保持对目标的不可知性。在推理时，我们用S-代理生成新的样本。按照类似的路线，在变分自动编码器，我们推导出一个上界的负对数似然，包括重建项和GC-代理政策和（目标不可知的）S-代理政策之间的分歧。我们的经验表明，我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的学习技术，称为消息丢弃，以提高性能的多智能体深度强化学习在两个应用场景：1）经典的多智能体强化学习与代理之间的直接消息通信和2）集中式训练与分散执行。在第一个应用场景中的多代理系统，其中代理之间的直接消息通信是允许的，消息丢弃技术放弃了从其他代理接收到的消息，在一个块的方式与一定的概率在训练阶段，并补偿这种影响，通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度，并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行，我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度（MADDPG），它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术，数值结果表明，建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University（韦恩州立大学）
本文提出了一种强化学习中的代理-环境接口（SAEI）。我们还指出，基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为，提出了基于SAEI的概率代理行为确定性策略梯度（PSADPG）算法。该算法实现了对离散动作的连续控制。实验表明，PSADPG在初始训练阶段具有随机最优策略的性质，在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
