Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
我们提出了一种有效的技术来训练深度学习代理,这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时,因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明,在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为,学习不同的模型使用强化学习的集成。最后,为了确定谈判代理的可部署性,我们进行了实验,让经过训练的代理与人类玩家进行对抗。结果表明,智能体能够与人类玩家抗衡,通常在谈判中成为赢家。我们的实验表明,Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame(圣母大学)
近年来,许多合作分布式多智能体强化学习(MARL)算法已在文献中提出。在这项工作中,我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说,标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能)
多智能体场景中的强化学习对于现实世界的应用非常重要,但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法,训练分散的政策,在多代理设置,使用集中计算的评论家,共享一个注意力机制,选择相关的信息,为每个代理在每个时间步。与最近的方法相比,这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置,而且适用于个性化奖励设置,包括对抗设置,以及不提供全局状态的设置,并且它不对代理的动作空间进行任何假设。因此,它足够灵活,可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University(斯坦福大学)
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中,找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架,自动获取合适的奖励功能,从专家的示范。然而,由于理性行为的概念更为复杂,将其扩展到多代理设置是困难的。在本文中,我们提出了MA-AIRL,一个新的框架,多智能体逆强化学习,这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中,我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数,并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Complementary reinforcement learning towards explainable agents
Allen Institute for Brain Science(艾伦脑科学研究所)
强化学习(RL)算法允许智能体学习技能和策略来执行复杂的任务,而无需详细的指令或昂贵的标记训练样本。也就是说,RL代理可以像我们学习一样学习。鉴于学习在我们智能中的重要性,RL被认为是通用人工智能的关键组成部分之一,最近在深度强化学习方面的突破表明,神经网络(NN)是RL代理的天然平台。然而,尽管基于NN的RL代理的效率和通用性,它们的决策仍然是不可理解的,降低了它们的效用。为了将RL部署到更广泛的应用中,必须开发可解释的基于NN的RL代理。在这里,我们提出了一种方法,从一个基于NN的RL代理,其决策是基于简单的规则派生出一个二级可理解的代理。我们的经验评估,这个二级代理的性能支持使用基于NN的RL代理建立一个可理解的和透明的代理的可能性。
2019-01-24 cs.LG stat.ML
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
Reinforcement Learning Agents in Colonel Blotto
模型和游戏是世界的简化表示。有许多不同类型的模型,在复杂性和它们允许我们进一步理解世界的哪个方面上都有所不同。在本文中,我们专注于一个具体的例子,基于代理的模型,它使用强化学习(RL)训练代理如何在其环境中采取行动。强化学习代理通常也是马尔可夫过程,这是另一种可以使用的模型。我们在Colonel Blotto环境中测试了这个强化学习代理,并将其与随机代理作为对手来衡量其性能。我们发现,RL代理轻松击败一个单一的对手,仍然表现得很好,当对手的数量增加。我们还分析了RL代理,并通过查看它给出的最高和最低Q值的动作来查看它已经达到了什么策略。有趣的是,与多个对手博弈的最优策略几乎与与单个对手博弈的最优策略完全相反。
2022-04-04 cs.AI cs.LG
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单,导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下,所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略,可以应用于复杂的问题(复杂的环境),如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab(日立工业人工智能实验室)
传统上,多智能体深度强化学习算法的性能是在游戏环境中展示和验证的,在游戏环境中,我们通常有固定数量的智能体。在许多工业应用中,可用试剂的数量可以在任何给定的一天改变,并且即使当试剂的数量提前已知时,试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中,我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney(悉尼科技大学AAII);National University of Singapore(新加坡国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
已经提出了许多深度强化学习代理,每个代理都有其优点和缺陷。在这项工作中,我们提出了一个合作异构深度强化学习(CHDRL)框架,可以通过整合异构代理的优势来学习策略。具体来说,我们提出了一个协作学习框架,异构代理分为两类:全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法(EA)代理,可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习,以便本地代理可以从样本有效代理中受益并同时保持其优势,例如,稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明,与最先进的基线相比,CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University(布朗大学);AI Impacts;Stanford University(斯坦福大学);University of Oxford(牛津大学)
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议,使代理在复杂的环境中有效地学习,这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划,提供有效的,但专门的教学程序。在这项工作中,我们探讨协议程序,一个代理不可知的模式,人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中,而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法,如动作修剪,奖励塑造,并在模拟训练作为我们的模式的特殊情况下,并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory
School of EECS, Peking University(北京大学电子信息工程学院)
深度强化学习(RL)近年来取得了突出的成果,导致方法和应用数量急剧增加。最近的工作是探索学习超越单代理的情况下,并考虑多代理的情况下。然而,他们面临着许多挑战,并正在寻求帮助,从传统的博弈论算法,这反过来,显示出光明的应用前景结合现代算法和提高计算能力。本文首先介绍了单智能体强化学习和多智能体强化学习的基本概念和算法,然后从三个方面对相关算法进行了综述。博弈论中的解决方案概念给了算法以灵感,这些算法试图评估代理或在多代理系统中找到更好的解决方案。虚拟自我游戏的流行对多智能体强化学习算法产生了很大的影响。反事实遗憾最小化是解决不完全信息游戏的重要工具,当与深度学习相结合时显示出巨大的力量。
2020-01-31 cs.AI cs.GT cs.LG
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在离线多智能体强化学习(MARL)中,智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下,外源攻击者修改奖励数据集之前,代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略,同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同,我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡(MPDSE),保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明,攻击工作在各种MARL代理,包括不确定性意识的学习者,我们表现出线性规划,有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University(纽约大学);Google AI Language(谷歌人工智能语言部门)
我们提出了一种方法,有效地学习不同的策略,在强化学习查询重构的任务,文件检索和问答。在所提出的框架中,一个代理由多个专门的子代理和一个元代理,学习聚合子代理的答案,以产生最终的答案。子代理在训练数据的不相交分区上训练,而元代理在完整的训练集上训练。我们的方法使学习速度更快,因为它是高度并行化的,并且比强基线(例如在完整数据上训练的代理集成)具有更好的泛化性能。我们表明,改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit(阿姆斯特丹自由大学)
针对可再生能源接入下电网拓扑控制的大动作空间难题,提出利用电网分层结构的分层MARL框架,并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London(帝国理工学院)
本文提出利用自监督预训练的概率信念模型生成信念状态,并将其与基于状态的强化学习算法结合,以简化策略和价值函数学习,从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics(数学系);Department of Electrical Engineering and Information Technology(电气工程与信息科技系);IIIT at ETIT(ETIT的IIIT)
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题,提出先行为克隆后强化学习的混合方法,并采用多头注意力网络,最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统,并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体,将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中,我们参考自然遗传行为的特点,加入世系因子以保证Agent潜在性能的保留,在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下,可以优化不同的强化学习算法。实验结果表明,在Atari 2600的部分游戏中,血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University(北京大学工学院);State Key Laboratory of Turbulence and Complex Systems(湍流与复杂系统国家重点实验室);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于对手智能体的强化学习环境,用于战争迷雾环境下的追逃博弈,具有重要的科学意义和实际应用价值.最流行的学习环境之一,星际争霸,在这里采用和相关的小游戏进行分析,以确定目前的限制,训练对手的代理。的主要贡献包括分析的潜在性能的代理,将控制和微分博弈理论到特定的强化学习环境,并通过扩展当前的星际争霸迷你游戏的对手代理挑战(SAAC)环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说,拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是,可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文将离线强化学习扩展到多智能体的情况下,一组网络代理与他们的邻居根据随时间变化的图进行通信,协同评估和改进的目标策略,同时遵循一个独特的行为策略。为此,本文开发了一个多智能体版本的时间差分学习的离线政策评估,并证明了收敛性下的线性函数逼近。然后,本文利用这一结果,结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法,开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research(Zalando研究);OLX Berlin Hub(OLX柏林中心)
深度强化学习已经被证明在复杂的游戏中非常成功,例如Atari或Go。这些游戏有明确定义的规则,因此允许模拟。然而,在许多实际应用中,与环境的交互是昂贵的,并且没有良好的环境模拟器。此外,由于环境因应用而异,最佳归纳偏差(架构、超参数等)增强剂的量取决于应用。在这项工作中,我们提出了一个多臂强盗框架,从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题,强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理,因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标,最大化的奖励,而代理人学习和选择最好的代理后,有限数量的学习步骤。我们在标准环境中的实验结果表明,所提出的框架是能够始终如一地选择最佳代理有限的步骤后,同时收集更多的累积奖励相比,选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria(法国国家信息与自动化研究所);ENS Lyon(里昂高等师范学院)
我们提出了一个新的,替代框架学习生成模型与目标条件强化学习。我们定义了两个代理,一个目标条件代理(GC-代理)和一个监督代理(S-代理)。给定一个用户输入的初始状态,GC代理学习重建训练集。在这种情况下,训练集中的元素就是目标。在训练过程中,S-agent学习模仿GC-agent,同时保持对目标的不可知性。在推理时,我们用S-代理生成新的样本。按照类似的路线,在变分自动编码器,我们推导出一个上界的负对数似然,包括重建项和GC-代理政策和(目标不可知的)S-代理政策之间的分歧。我们的经验表明,我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
我们考虑多智能体强化学习设置不完美的信息,其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态(或目标),因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标,以便解决任务。我们提出了一种新的学习方法,在这些领域:自学习建模(SOM),其中一个代理使用自己的政策来预测其他代理的行动,并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法,并表明在合作和对抗环境中,代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University(麦吉尔大学);Mila;Université de Montréal(蒙特利尔大学);DeepMind
我们提出了一个端到端的,基于模型的深度强化学习代理,它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制,迫使代理出席在每个规划步骤的实体的数量是小的。在实验中,我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到,该设计允许规划代理,以概括他们的学习任务解决能力,在兼容的看不见的环境中参加相关的对象,从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
Towards Heterogeneous Multi-Agent Reinforcement Learning with Graph Neural Networks
FEI University Center(FEI大学中心)
这项工作提出了一种神经网络架构,可以在异构多代理强化环境中学习多个代理类的策略。该网络使用有向标记图表示状态,为不同的实体类编码不同大小的特征向量,使用关系图卷积层来模拟实体类型之间的不同通信通道,并为不同的代理类学习不同的策略,尽可能共享参数。结果表明,专门的实体类之间的通信通道是一个有前途的一步,以实现更高的性能,在环境中组成的异构实体。
2020-10-20 cs.AI cs.LG
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology(国防科技大学)
近年来,深度强化学习(RL)算法在多智能体领域取得了很大进展。然而,由于RL的特性,复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战,同质代理之间的相互学习策略是必不可少的,这是在以前的研究中,由于大多数现有的方法不考虑使用代理模型的知识,而探索不足。在本文中,我们提出了一种适应方法的大多数多智能体强化学习(MARL)算法称为KnowSR,它利用代理之间的学习差异。我们采用知识蒸馏(KD)的思想,在代理之间共享知识,以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性,我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明,KnowSR优于最近报道的方法,强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba(曼尼托巴大学)
我们研究了基于代理模型(ABM)的强化学习(RL)环境的好处。虽然ABM是已知的,以提供微观基础模拟的成本计算复杂性,我们经验表明,在这项工作中,他们的非确定性动态可以提高RL代理的泛化。为此,我们研究控制流行病SIR环境的基础上,无论是微分方程或ABMs。数值模拟表明,在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励,但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University(哥伦比亚大学)
清算是指在一定时间范围内,考虑到市场冲击和交易者的风险规避所产生的成本,连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统,可以纳入股票市场的复杂性,并产生实用的交易策略。在本文中,我们建议使用多智能体深度强化学习模型,与各种机器学习方法相比,它可以更好地捕捉高级复杂性,以便智能体可以学习如何做出最佳销售决策。首先,我们从理论上分析了Almgren和Chriss模型,并对其基本机制进行了扩展,使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次,我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为,这克服了单代理强化学习算法的局限性。最后,我们模拟交易,并开发了一个最佳的交易策略与实际的限制,通过使用强化学习方法,这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.(阿尔卡布兰卡有限公司);Artefact Research Centre(阿特法克特研究中心)
本文针对双峰随机环境下的强化学习挑战,提出一种基于批量更新的表格Q学习方法,并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学);University of Alberta(阿尔伯塔大学);Action Research Associates(行动研究协会)
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而,在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中,在审查外部影响的方法,我们提出了一个概念框架和分类辅助强化学习,旨在通过分类和比较在学习过程中使用外部信息的各种方法,促进合作。建议的分类详细的外部信息源和学习者代理之间的关系,突出的信息分解,结构,保留的过程,以及它如何可以用来影响代理学习。除了回顾最先进的方法外,我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后,我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
A Visual Communication Map for Multi-Agent Deep Reinforcement Learning
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);School of Information Technology, Deakin University(迪肯大学信息技术学院)
深度强化学习已成功应用于解决各种现实问题,其在多智能体环境中的应用数量也在不断增加。多智能体学习在分配隐藏的通信介质方面显然提出了重大挑战。代理从介质中接收全面的知识,以确定分布式性质的后续动作。显然,目标是利用多个代理的合作来有效地实现指定的目标。最近的研究通常将专门的神经网络与强化学习结合起来,以实现代理之间的通信。然而,这种方法限制了代理的数量或需要系统的均匀性。在本文中,我们提出了一种更具可扩展性的方法,不仅可以处理大量的代理,还可以实现不同功能代理之间的协作,并与任何深度强化学习方法相结合。具体来说,我们创建了一个全球通信地图来表示系统中的每个代理的状态可视化。视觉地图和环境状态被馈送到共享参数网络以同时训练多个代理。最后,我们选择异步优势演员-评论家(A3 C)算法来证明我们提出的方案,即多智能体的视觉通信映射A3 C(VMA 3C)。仿真结果表明,视觉通信地图的使用提高了A3 C的学习速度,奖励的成就,和多智能体问题的鲁棒性的性能。
2021-02-23 cs.AI cs.GT cs.LG
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
我们介绍了MAgent,一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同,MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中,它不仅可以研究智能体最优策略的学习算法,而且更重要的是,可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象,包括通信语言,领导力,利他主义。MAgent具有高度可扩展性,可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置,以设计他们的定制环境和代理。在这个演示中,我们展示了在MAgent上设计的三个环境,并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University(ITMO大学)
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明,雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中,我们试图回答以下问题:关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策?为了回答这个问题,我们进行了研究的雅可比条件行为在政策优化。据我们所知,这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法,并测试其性能的连续控制任务的范围。最后,我们比较了CoinRun环境中的算法与分离的训练结束测试水平,以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Honda Research Institute US(本田美国研究院)
多智能体强化学习(MARL)为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而,在需要复杂交互的场景中,现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型,以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图(R2G),在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
Alpha-Mini: Minichess Agent with Deep Reinforcement Learning
Stanford University(斯坦福大学)
我们训练一个智能体在加德纳小棋游戏中竞争,这是一种缩小版的国际象棋,在5x 5的棋盘上进行。本文提出并应用了一种基于广义优势估计的SOTA行动者-批评者近端策略优化方法。我们最初的任务围绕着训练智能体对抗随机智能体。一旦我们获得了合理的性能,我们就采用了AlphaGo采用的迭代策略改进版本,使智能体与越来越强大的自身版本进行对抗,并评估由此产生的性能增益。最后一个智能体对随机智能体的胜率接近(0.97)。我们还探索了使用通过自我游戏获得的位置集合对网络进行预训练的效果。
2021-12-22 cs.AI cs.LG
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind;Google Research(谷歌研究院)
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差,最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨,那就是多智能体强化学习(MARL)。在这里,我们调查是否以对象为中心的表示也是有益的,在充分合作的MARL设置。具体来说,我们研究了两种方法,将代理为中心的归纳偏见到我们的RL算法:1。引入一个以代理为中心的注意力模块,并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标(即不使用动作标签),用作MARL的辅助损失,或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上,以主体为中心的表示学习导致主体之间更复杂的合作策略的出现,以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST(韩国科学技术院)
在本文中,我们考虑合作多智能体强化学习(MARL)稀疏奖励。为了解决这个问题,我们提出了一种新的方法命名为MASER:MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下,MASER通过考虑个体Q值和总Q值,从经验重放缓冲区自动为多个代理生成适当的子目标。然后,MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励,以便代理在最大化联合动作值的同时达到子目标。数值结果表明,MASER显着优于星际争霸II微管理基准相比,其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services(塔塔咨询服务公司);Birla Institute of Technology and Science, Goa(果阿贝拉理工学院);University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对稀疏奖励下多智能体长周期任务的信用分配难题,提出TAR$^2$方法在时间与智能体维度重新分配奖励,理论证明其不改变最优策略,实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Mean Field Multi-Agent Reinforcement Learning
University College London(伦敦大学学院);Shanghai Jiao Tong University(上海交通大学)
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时,由于维数灾难和智能体交互的指数增长,学习变得难以处理。在本文中,我们提出了\emph{Mean Field Reinforcement Learning},其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的:个体代理的最优策略的学习取决于群体的动态,而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法,并分析了纳什均衡解的收敛性。高斯挤压,伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外,我们报告的第一个结果,解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Enhancing Text-based Reinforcement Learning Agents with Commonsense Knowledge
IBM(国际商业机器公司(IBM))
在本文中,我们认为最近的趋势,评价强化学习技术的进展,使用基于文本的环境和游戏作为评价环境。这种对文本的依赖将自然语言处理的进步带入了这些代理的范围,其中一个反复出现的线程是使用外部知识来模仿和改善人类水平的性能。我们提出了一个这样的实例化的代理,使用常识知识的概念网显示有前途的性能在两个基于文本的环境。
2020-05-02 cs.AI cs.CL cs.LG
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center(FEI大学中心)
受图神经网络在智能体通信方面的最新进展的启发,提出了一种多智能体通信能力的有向标记异构智能体图表示方法,其中节点标签表示智能体类,边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构,专门在完全合作的异构多智能体任务的通信,通过学习个人的转换,每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享,我们表现出相当或优越的性能,在环境中,有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Breaking the Curse of Many Agents: Provable Mean Embedding Q-Iteration for Mean-Field Reinforcement Learning
Northwestern University(西北大学);Princeton University(普林斯顿大学)
多智能体强化学习(MARL)取得了显著的经验成功。然而,MARL遭受了许多代理人的诅咒。在本文中,我们利用对称性的MARL代理。在最一般的形式,我们研究了平均场MARL问题。这样的平均场MARL被定义在平均场状态上,平均场状态是在连续空间上支持的分布。基于分布的均值嵌入,提出了求解均值场MARL的MF-FQI算法,并对MF-FQI算法进行了非渐近分析。我们强调,MF-FQI算法享有“祝福的许多代理”的属性,在这个意义上说,大量的观察代理提高MF-FQI算法的性能。
2020-06-21 cs.LG stat.ML
Personalized Path Recourse for Reinforcement Learning Agents
Yale University, School of Management(耶鲁大学管理学院)
本研究提出面向强化学习智能体的个性化路径追索方法,通过兼顾目标、相似性与个性化的奖励函数训练智能体生成适配不同行为模式的追索路径,可用于多场景下的序列修正优化以实现预期目标。
2024-11-03 cs.AI cs.LG
Simple Agent, Complex Environment: Efficient Reinforcement Learning with Agent States
Stanford University(斯坦福大学);New York University(纽约大学)
我们设计了一个简单的强化学习(RL)代理,实现了一个乐观的版本的$Q$ -学习,并建立通过后悔分析,这个代理可以在任何环境中的某种程度的能力。虽然我们利用文献中可证明有效的RL的概念,我们考虑了一个通用的代理环境接口,并提供了一个新的代理设计和分析。这种水平的一般性定位我们的研究结果,以告知未来的代理在复杂的现实环境中操作的设计。我们确定,随着时间的推移,我们的代理执行相对于政策,需要更长的时间来评估的竞争力。接近渐近性能所需的时间是多项式的代理的状态表示的复杂性和评估代理可以表示的最佳策略所需的时间。值得注意的是,它不依赖于环境的复杂性。代理的最终每周期性能损失由代理的状态表示所引入的失真的度量的常数倍来限定。这项工作是第一次建立一个算法在一个易于处理的时间框架内接近这个渐近条件。
2021-07-12 cs.AI cs.LG
Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
Harvard University(哈佛大学);Amazon Inc.(亚马逊公司);University of Toronto(多伦多大学)
多智能体强化学习(MARL)由于其在现实世界中的广泛应用而受到广泛关注。然而,实现代理之间的有效通信一直是MARL的首要问题。在这项工作中,我们提出了基于方差的控制(VBC),一个简单而有效的技术,以提高通信效率的MARL。通过在训练阶段限制Agent之间交换的消息的方差,可以有效地消除消息中的噪声分量,而有用的部分可以被Agent保留和利用以获得更好的性能。我们的评估使用一组具有挑战性的星际争霸II基准测试表明,我们的方法实现了$2-10\times$低于国家的最先进的MARL算法的通信开销,同时允许代理更好地合作,通过开发复杂的战略。
2019-11-01 cs.LG stat.ML
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University(重庆大学)
将深度强化学习(drl)扩展到多智能体领域的研究,解决了许多复杂问题,取得了巨大的成就。然而,这些研究几乎都只关注离散或连续的动作空间,很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此,在本文中,我们提出了两个算法:深度多代理混合软演员-评论家(MAHSAC)和多代理混合深度确定性策略梯度(MAHDDPG),以填补这一空白。这两种算法遵循集中训练和分散执行(CTDE)范式,可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的,这是一个简单的多智能体粒子世界,以及一些基本的模拟物理。实验结果表明,这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh(爱丁堡大学)
自主智能体的开发是人工智能和机器学习的核心研究领域,它可以与其他智能体交互以完成给定的任务。为了实现这一目标,自主智能体研究小组开发了用于自主系统控制的新型机器学习算法,特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为,目标和组成;以及基于内在动机,课程学习,因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述,并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA