Hierarchical Reinforcement Learning with Deep Nested Agents
Iowa State University(爱荷华州立大学)
近年来,深度分层强化学习得到了很多关注,因为它能够在非分层框架无法学习有用策略的挑战性环境中产生最先进的结果。然而,随着问题领域变得越来越复杂,深度分层强化学习可能会变得低效,导致收敛时间更长,性能更差。我们介绍了深嵌套代理框架,这是一个深层次的强化学习的变体,其中来自主代理的信息被传播到低级别的$nested$代理,将此信息到嵌套代理的状态。我们证明了深度嵌套代理框架的有效性和性能,通过将其应用于Minecraft中的三个场景,并与深度非分层单代理框架以及深度分层框架进行比较。
2018-05-18 cs.AI
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit(阿姆斯特丹自由大学)
针对可再生能源接入下电网拓扑控制的大动作空间难题,提出利用电网分层结构的分层MARL框架,并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出了一种新的分层深度强化学习(DRL)的设计用于电网电压控制。DRL代理被训练用于控制动作的快速和自适应选择,使得在扰动之后可以满足电压恢复标准。现有的电压控制技术受到操作速度、不同位置之间的最佳协调和可扩展性的问题的困扰。我们利用区域明智的分工结构的电力系统,提出了一个分层的日间行车灯设计,可以扩展到更大的网格模型。我们采用了一种增强的增广随机搜索算法,是专为电压控制问题的两级架构。我们训练区域分散的RL代理计算较低级别的政策,为个别地区,并同时训练一个更高级别的DRL代理,使用更新的较低级别的政策,以有效地协调控制行动所采取的较低级别的代理。IEEE基准39节点模型的3个区域的数值实验表明,所提出的分层方法的优点和各种复杂性。
2021-01-29 cs.LG cs.SY eess.SY
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展,但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是,传统的分层强化学习方法由于其风险性而不适用于自动驾驶:智能体必须避开多个障碍物,例如高度不可预测的其他智能体,因此安全区域很小,分散,并且随着时间的推移而变化。为了克服这一挑战,我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策,而且在状态空间中选择关注区域,在政策空间中选择大纲区域。随后,低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明,我们的方法可以从早期事件中找到近乎最佳的策略,优于基线分层强化学习方法,特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale(南方高等学院);University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出一种基于策略梯度的分散式强化学习框架,通过Proximal Policy Optimization整合目标选择与驱动,克服了传统DQN的离散动作限制,在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题,并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University(华盛顿州立大学)
强化学习(RL)虽然通常功能强大,但学习速度较慢,特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法,可以自主分解任务,利用关联规则挖掘,发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL(Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习)。它提取强化学习中子目标的时间和结构关系,以及多任务强化学习。特别是,它找到了子目标和它们之间的关系。实验结果表明,该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
如何有效地发现子目标是分层强化学习(HRL)中的一个挑战性问题。在本文中,我们表明,内在动机学习提高了探索的效率,导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外,我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);University of Maryland(马里兰大学)
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题,这通常会给强化学习带来重大挑战。我们提出了一个算法框架,称为分层指导,它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习(IL)和强化学习(RL)的不同组合,从而大大减少专家的努力和探索成本。使用长期基准测试,包括Montezuma的Revenge,我们证明了我们的方法可以比分层RL更快地学习,并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg(哈根贝格软件能力中心);Technological University of Dublin(都柏林理工大学)
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势,对可解释的维修决策。我们提出了一种新的分层建模方法,在高层次上,检测和解释故障的根本原因以及健康退化的涡扇发动机,而在低层次上,它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能,或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能,但是,具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Multi-lane Cruising Using Hierarchical Planning and Reinforcement Learning
胜任多车道巡航需要使用车道变化和车道内机动,以达到良好的速度和保持安全。提出了一种结合分层强化学习框架和状态-动作空间抽象的多车道自主巡航系统设计。虽然所提出的解决方案遵循行为决策,运动规划和控制的经典层次结构,它引入了一个关键的中间抽象的运动规划器内的状态动作空间离散化,根据高层次的行为决策。我们认为,这种设计允许有原则的运动规划模块化扩展,相比之下,使用单片行为克隆或一大套手写的规则。此外,我们证明了我们的状态-动作空间抽象允许训练模型的转移,而无需从几乎没有动态的模拟环境重新训练到具有更真实动态的模拟环境。总之,这些结果表明,我们提出的分层架构是一种很有前途的方式,使强化学习应用于复杂的多车道巡航在现实世界中。
2021-10-01 cs.LG cs.RO cs.SY
Deep Hierarchical Reinforcement Learning Algorithm in Partially Observable Markov Decision Processes
Kyung Hee University(庆熙大学);Queen’s University Belfast(贝尔法斯特女王大学)
针对分层结构任务中平面强化学习效果差、效率低,且现实任务多为部分可观测的问题,提出可同时适用于MDP和POMDP的深度分层强化学习算法,并在多种挑战性分层POMDP任务上开展评估。
2018-05-11 cs.AI
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University(斯泰伦博斯大学)
本文提出HGCPP框架,将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合,通过分层组织短期策略和高层动作规划,提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Convergence and stability of Q-learning in Hierarchical Reinforcement Learning
Institute for Systems Theory and Automatic Control, University of Stuttgart(斯图加特大学系统理论与自动控制研究所)
本文提出封建Q学习方案,分析其收敛与稳定性,并通过实验验证理论结果,为分层强化学习提供理论基础。
2026-11-13 cs.LG cs.SY eess.SY
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research(微软研究院);University of Florida(佛罗里达大学);JD AI Research(京东人工智能研究院)
我们提出了一个层次结构的强化学习方法来解决规划的挑战,为视觉讲故事的任务产生连贯的多句故事。在我们的框架内,给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念(即,主题)中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子,该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事(VIST)数据集。来自自动和人工评估的实证结果表明,与强平深度强化学习基线相比,所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而,在以前的分层模仿和强化学习的工作中,测试环境是在相对简单的2D游戏中,并且动作空间是离散的。此外,许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中,可能需要人类提供演示来教导机器人,因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中,我们探索了不同的模仿学习算法,并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验,要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明,使用Dagger和基于奖励的主动学习方法可以获得更好的性能,同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出分层Transformer元强化学习方法(HTrMRL),利用过去经验提升新任务适应性与泛化能力,在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
现实世界的任务往往是高度结构化的。分层强化学习(HRL)作为一种在强化学习(RL)中利用给定任务的分层结构的方法引起了研究兴趣。然而,识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中,我们提出了一种HRL方法,该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略,我们引入了加权重要性采样。在我们的HRL方法中,门控策略学习选择基于选项价值函数的选项策略,并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比,通过使用确定性选项策略而得出的。实验结果表明,我们的HRL方法可以学习的选项的多样性,它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning Framework for Stochastic Spaceflight Campaign Design
Georgia Institute of Technology(佐治亚理工学院)
针对存在不确定性的多任务航天任务设计问题,本文提出结合强化学习与混合整数线性规划(MILP)的分层框架,通过分层优化任务级与子任务级决策,为空间任务设计提供新的解决方案。
2022-02-17 cs.LG cs.SY eess.SY
Hierarchical Needs-driven Agent Learning Systems: From Deep Reinforcement Learning To Diverse Strategies
The University of Georgia(佐治亚大学)
需求描述了一个系统生存和进化的必要性,它激发一个代理人朝着一个目标采取行动,为行为提供目的和方向。根据马斯洛需求层次理论,一个智能体需要在当前层次上满足一定数量的需求,作为下一阶段--升级和进化--出现的条件。特别是深度强化学习(Deep Reinforcement Learning,DAL)可以帮助人工智能智能体(如机器人)组织和优化其行为和策略,以根据其当前状态和需求(预期效用或奖励)制定不同的策略。本文介绍了新的层次需求驱动的学习系统的基础上DAL和研究的实施在单机器人与一种新的方法称为贝叶斯软演员批评(BSAC)。然后,我们将这一主题扩展到多智能体系统(MAS),讨论了潜在的研究领域和方向。
2023-02-25 cs.AI cs.LG cs.MA
Safe Hierarchical Reinforcement Learning for CubeSat Task Scheduling Based on Energy Consumption
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)(卢森堡大学跨学科安全、可靠性与信任中心(SnT));Automation and Robotics Research Group (ARG)(自动化与机器人研究组);Space Systems Research Group (SpaSys)(空间系统研究组)
本文提出一种基于分层强化学习的CubeSat任务调度方法,结合SABE任务优先级排序和MLP能量消耗预测,实现安全容错的实时调度,仿真表明其收敛性和任务成功率优于MADDPG和随机调度。
2023-09-21 cs.AI cs.LG cs.MA
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab(vivo人工智能实验室)
实时的战略(RTS)游戏具有大的状态空间、动作空间和隐藏信息,需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型,掌握多人在线对战竞技场(MOBA)游戏,RTS游戏的子类型。本文的创新之处在于:(1)提出了一个层次化的框架,其中智能体通过模仿学习执行宏观策略,通过强化学习进行微观操作;(2)开发了一种简单的自学习方法,以获得更好的样本效率进行训练;(3)在没有游戏引擎或应用编程接口(API)的情况下,设计了一种用于多智能体合作的密集奖励函数。最后,各种实验已经被执行,以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI,实验表明,我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Algorithms for Batch Hierarchical Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
分层强化学习(HRL)利用时间抽象来解决大型马尔可夫决策过程(MDP),并提供可转移的子任务策略。在本文中,我们介绍了一种非策略HRL算法:分层Q值迭代(HQI)。我们表明,它是可以有效地学习递归最优策略的任何有效的层次分解的原始MDP,给定一个固定的数据集收集从一个平面的随机行为的政策。我们首先正式证明了该算法的收敛性表MDP。然后我们在Taxi域上的实验表明,HQI比平坦Q值迭代收敛得更快,并且易于进行状态抽象。此外,我们证明了我们的算法能够从相同的固定数据集学习不同层次结构的最佳策略,这使得模型比较无需重新收集数据。
2016-03-29 cs.AI
State Abstraction in MAXQ Hierarchical Reinforcement Learning
许多研究人员已经探索了具有时间抽象的分层强化学习(RL)方法,其中抽象动作被定义为在终止之前可以执行许多原始动作。然而,很少有人知道学习与状态抽象,在状态空间的方面被忽略。在以前的工作中,我们开发了分层RL的MAXQ方法。在本文中,我们定义了五个条件下,状态抽象可以结合MAXQ价值函数分解。我们证明了MAXQ-Q学习算法在这些条件下收敛,并通过实验表明,状态抽象是MAXQ-Q学习的成功应用的重要。
1999-05-21 cs.LG
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute(信息学知识技术研究所)
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式,用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而,缺乏结合这些范例的方法,目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献,我们解决了这个问题,并开发了一种将分层强化学习与好奇心相结合的方法。在这里,我们扩展了当代层次的演员批评的方法与前向模型,以发展层次的好奇心的概念。我们在几个连续空间环境中证明,对于大多数调查的基准问题,好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Offline Hierarchical Reinforcement Learning via Inverse Optimization
University of YYY(YYY大学);Institute of WWW(WWW研究院)
针对离线数据中高层动作不可观测且策略结构可能不一致的问题,本文提出 OHIO 框架,通过逆优化恢复隐式高层动作以构建可训练数据集,并在机器人与网络优化任务中验证其性能与鲁棒性。
2025-03-18 cs.LG cs.SY eess.SY
Automata-Guided Hierarchical Reinforcement Learning for Skill Composition
Boston University(波士顿大学);Department of Mechanical Engineering(机械工程系)
通过(深度)强化学习学习的技能通常在各个领域的泛化能力很差,当面临新任务时,重新训练是必要的。我们提出了一个框架,结合技术在\textit{formal methods}与\textit{reinforcement learning}(RL)。我们提供的方法允许使用逻辑表达式方便地指定任务,学习具有明确定义的内在奖励的分层策略(元控制器和低级控制器),并从现有的技能中构建新技能,几乎没有额外的探索。我们在一个简单的网格世界模拟以及AI2Thor中更复杂的厨房环境中评估了所提出的方法
2018-05-21 cs.AI
From Orbit Matching to Docking: A Hierarchical Reinforcement-Learning Approach to Multiphase Rendezvous Trajectory Design
Massachusetts Institute of Technology(麻省理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本研究提出分层强化学习框架,训练五个阶段专用策略,由高层管理者策略切换,实现从轨道匹配到对接的完整自主RPO轨迹设计,性能优于固定顺序启发式方法。
2026-10-14 cs.LG cs.RO cs.SY
A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
自动驾驶汽车需要处理各种交通状况,并做出安全有效的决策和操纵。然而,一方面,单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹,特别是当附近有许多交互式车辆时。另一方面,端到端的学习方法不能保证结果的安全性。为了解决这一挑战,我们提出了一个分层的行为规划框架,一组低级别的安全控制器和一个高级别的强化学习算法(H-CtRL)作为协调员的低级别控制器。安全性由底层优化/采样控制器保证,而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法,我们建立了一个模拟器,可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的,在各种现实的仿真场景,具有令人满意的性能,在安全性和效率。
2021-06-09 cs.AI cs.RO cs.SY
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning
Seoul National University(首尔国立大学);Artificial Intelligence Institute of Seoul National University (AIIS)(首尔国立大学人工智能研究所(AIIS));Automation and Systems Research Institute (ASRI)(自动化与系统研究所(ASRI))
分层强化学习(HRL)通过利用时间抽象在复杂控制任务中取得了显著的进展。然而,以前的HRL算法往往遭受严重的数据效率低下的环境变得很大。扩展组件$i.e.$、目标空间和事件长度对高级和低级策略中的一个或两个施加负担,因为这两个级别共享事件的总视野。本文提出了一种分层强化学习(DHRL)中使用图解耦视野的方法,该方法可以通过解耦高层和低级策略的视野并使用图弥合两个视野长度之间的差距来缓解这个问题。DHRL提供了一个可自由伸缩的高级动作间隔,这有助于在复杂任务中进行更长时间的抽象和更快的训练。我们的方法优于国家的最先进的HRL算法在典型的HRL环境。此外,DHRL实现了长时间和复杂的运动和操纵任务。
2022-11-19 cs.AI cs.LG
HAC Explore: Accelerating Exploration with Hierarchical Reinforcement Learning
MIT(麻省理工学院);CSAIL(计算机科学与人工智能实验室);Brown University(布朗大学)
稀疏的奖励和长时间的视野仍然是强化学习算法的挑战。探索奖金可以通过鼓励代理探索状态空间来帮助稀疏奖励设置,而分层方法可以通过将冗长的任务分解为较短的子任务来帮助长时间任务。我们提出了HAC探索(HACx),一种新的方法,结合这些方法,通过整合探索奖金方法随机网络蒸馏(RND)到分层方法分层演员-评论家(HAC)。在一组困难的模拟机器人任务中,HACx本身的性能优于任何一种组件方法,以及现有的结合层次结构和探索的方法。HACx是第一个解决需要超过1,000个动作的稀疏奖励、连续控制任务的RL方法。
2021-08-12 cs.AI
DIPPER: Direct Preference Optimization to Accelerate Primitive-Enabled Hierarchical Reinforcement Learning
DIPPER提出一种结合直接偏好优化与强化学习的层次化方法,通过原语信息正则化缓解非平稳性和不可行子目标生成问题,在复杂机器人任务上优于现有层次化和非层次化基线。
2024-12-31 cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Grounding Hierarchical Reinforcement Learning Models for Knowledge Transfer
Otto-Friedrich-Universität Bamberg(班贝格大学)
深度机器学习的方法使得能够有效地重用低级表示以生成更抽象的高级表示。最初,深度学习是被动应用的(例如,用于分类目的)。最近,它已被扩展到估计的强化学习(RL)的框架内的自主智能体的行动的价值。可以学习环境的显式模型以增强这样的价值函数。虽然“扁平”连接主义方法已经用于基于模型的强化学习,但到目前为止,只有无模型的强化学习变体才配备了深度学习的方法。我们提出了一种基于深度模型的强化学习的变体,使代理能够学习其环境的任意抽象层次表示。在本文中,我们目前的研究如何这种层次表示可以接地代理和它的环境之间的感觉运动的相互作用。
2014-12-19 cs.AI cs.LG cs.RO
Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning
University of Twente(特文特大学);Jönköping University(延雪平大学)
检测和维护是工业管道设备的两个关键方面。虽然机器人技术在管道检测机器人的机械设计方面取得了巨大的进步,但由于执行器数量多和所需的复杂操纵,这种机器人的自主控制仍然是一个巨大的挑战。为了解决这个问题,我们研究了深度强化学习的使用,以实现复杂拓扑结构的管道网络中的管道机器人的自主导航。此外,我们引入了一个分层的策略分解的基础上分层强化学习学习强大的高层次的导航技能。我们表明,在政策中引入的层次结构是通过管道解决导航任务的基础,实现导航性能优于人类水平的控制是必要的。
2021-07-08 cs.AI cs.RO
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University(乔治梅森大学)
我们在参数化的动作空间中探索深度强化学习。具体来说,我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务,其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上,国家的最先进的算法信任域策略优化(TRPO)和随机值梯度(SVG)的训练这样的架构。我们证明,这些方法优于国家的最先进的方法,参数化的行动DDPG,测试域。
2018-10-23 cs.AI cs.LG stat.ML
There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning
本文提出将LLM红队测试形式化为马尔可夫决策过程,采用分层强化学习训练生成式智能体,通过细粒度token级有害性奖励学习多轮攻击策略,以发现现有方法遗漏的微妙漏洞,实现更稳健的AI部署。
2026-10-14 cs.AI cs.LG
Hierarchical Reinforcement Learning with Hindsight
当奖励延迟且稀疏时,强化学习(RL)算法可能遭受较差的样本效率。我们介绍了一个解决方案,使代理学习时间上的扩展动作在多个抽象层次的样本高效和自动化的方式。我们的方法结合了通用的价值函数和事后学习,允许代理学习属于不同的时间尺度的政策并行。我们表明,我们的方法显着加速学习在各种离散和连续的任务。
2019-03-08 cs.AI cs.LG cs.NE
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);Southern University of Science and Technology(南方科技大学);Institute of Software, CAS(中国科学院软件研究所);University of Science and Technology of China(中国科学技术大学)
分层强化学习(HRL)在高质量分层结构(例如,子目标或选项)。然而,如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式,探索效率低,难以发现复杂环境中的层次结构。为了解决这个问题,我们提出了CDHRL,一个空缺驱动的层次化强化学习框架,利用空缺驱动的发现,而不是随机驱动的探索,有效地建立高质量的层次结构在复杂的环境。关键的见解是,环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系,并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明,CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech(佐治亚理工学院);Google(谷歌)
我们提出了一个框架,结合分层和多代理深度强化学习方法,使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置,该元控制器引导代理对之间的通信,使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索,以学习识别全局最优解决方案的策略,即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Hierarchical Reinforcement Learning for Deep Goal Reasoning: An Expressiveness Analysis
Lehigh University(利哈伊大学)
分层DQN(h-DQN)是前馈神经网络的两级结构,其中Meta级选择目标,并且较低的级采取行动来实现目标。我们展示了H-DQN无法解决的任务,举例说明了这种层次框架(HF)的局限性。我们描述了递归层次框架(RHF),概括了在Meta级别使用递归神经网络的架构。我们使用上下文相关文法分析了HF和RHF的表达能力。我们发现,RHF比HF更有表现力。我们进行实验比较的实施RHF与两个HF基线,结果证实了我们的理论研究结果。
2020-06-21 cs.AI
Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario
Universidad Central de Chile(智利中央大学);Universidade de Pernambuco(伯南布哥大学);University of New South Wales(新南威尔士大学)
强化学习是一种基于行为心理学的机器学习方法。它专注于学习代理,可以通过与环境交互来获取知识并学习执行新任务。然而,当强化学习用于关键环境中时会出现问题,在关键环境中,系统的用户需要对代理执行的动作具有更多的信息和可靠性。在这方面,可解释的强化学习试图向训练中的代理提供方法,以便以这样一种方式解释其行为,即没有机器学习经验的用户可以理解代理的行为。其中之一是基于记忆的可解释强化学习方法,该方法用于使用情景记忆计算每个状态-动作对的成功概率。在这项工作中,我们建议利用基于记忆的可解释的强化学习方法在一个层次化的环境中,需要首先解决一个更复杂的任务的子任务组成。最终目标是验证是否可以向代理提供在全局任务以及子任务中解释其操作的能力。所获得的结果表明,它是可能的,使用基于内存的方法在分层环境中的高层次的任务和计算成功的概率被用作解释代理的行为的基础。
2022-12-14 cs.AI cs.LG
Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent
Bielefeld University(比勒费尔德大学)
腿部运动在自然界中广泛存在,并激发了当前机器人的设计。这些足式机器人的控制器通常被实现为一个集中实例。然而,在自然界中,对运动的控制是以等级和分散的方式发生的。将这些生物学设计原理引入机器人控制系统激发了这项工作。我们解决的问题是否分散和分层控制是有益的足式机器人,并提出了一种新的分散,分层体系结构来控制模拟腿代理。三个不同的任务,不同的复杂性被设计为基准五个架构(集中式,分散式,分层和分层分散架构的两种不同组合)。结果表明,分散分层架构的不同级别有助于智能体的学习,确保更节能的运动以及对新的不可见环境的鲁棒性。此外,这种比较揭示了模块化在分层架构中解决复杂目标导向任务的重要性。我们提供了我们架构的开源代码实现(https://github.com/wzaielamri/hddrl)。
2022-09-21 cs.AI cs.LG cs.RO
Hierarchical Adversarially-Resilient Multi-Agent Reinforcement Learning for Cyber-Physical Systems Security
本文提出HAMARL框架,通过分层多智能体协调与对抗训练循环,有效应对信息物理系统中的自适应和零日攻击,显著提升攻击检测准确率与防御弹性。
2025-06-12 cs.AI cs.CR cs.LG
Near-Optimal Representation Learning for Hierarchical Reinforcement Learning
Google Brain(谷歌大脑)
研究目标条件分层强化学习中的表示学习问题。在这样的分层结构中,较高级别的控制器通过迭代地传达较低级别的策略被训练以达到的目标来解决任务。因此,表示的选择--观察空间到目标空间的映射--是至关重要的。为了研究这个问题,我们开发了一个概念的次优的表示,定义在预期回报的最优层次的政策,使用这种表示。我们推导出表达式的约束次优,并显示这些表达式可以被翻译为表示学习的目标,可以在实践中进行优化。许多困难的连续控制任务的结果表明,与现有方法相比,我们的表示学习方法在质量上更好地表示,在数量上更好地分层策略(参见https://sites.google.com/view/representation-hrl上的视频)。
2019-01-09 cs.AI
DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
Department of Computer Science University of Bath(计算机科学系巴斯大学);Department of Psychology University of Bath(心理学系巴斯大学)
DHP通过离散可达性检查和递归分解任务,提升分层强化学习代理在长距离视觉规划中的效率和泛化能力。
2025-12-19 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games
University of Technology Sydney(悉尼科技大学);Tencent Robotics X(腾讯Robotics X);University College London(伦敦大学学院);IHPC A*STAR(新加坡科技研究局高性能计算研究所)
我们研究了基于文本的游戏的强化学习(RL),这是在自然语言的上下文中的交互式模拟。虽然已经开发了不同的方法来表示环境信息和语言动作,但现有的RL代理没有任何推理能力来处理文本游戏。在这项工作中,我们的目标是进行明确的推理与知识图谱的决策,使代理的行动产生和支持的可解释的推理过程。我们提出了一个堆叠的层次注意力机制,通过利用知识图谱的结构来构建一个明确的表示的推理过程。我们广泛评估我们的方法在一些人造的基准游戏,实验结果表明,我们的方法比现有的基于文本的代理执行得更好。
2020-12-25 cs.AI cs.LG
Learning multiple gaits of quadruped robot using hierarchical reinforcement learning
Seoul National University(首尔大学)
基于强化学习的四足机器人速度指令跟踪控制器具有鲁棒性和可扩展性,受到越来越多的关注。然而,经过端到端训练的单个策略通常显示单个步态,而不管命令速度如何。这可能是一个次优的解决方案,考虑到最佳步态的存在,根据四足动物的速度。在这项工作中,我们提出了一个分层控制器的四足机器人,可以产生多个步态(即步伐,小跑,绑定),同时跟踪速度命令。我们的控制器由两个策略组成,每个策略作为中央模式生成器和局部反馈控制器,并使用分层强化学习进行训练。实验结果表明:1)最佳步态的存在,为特定的速度范围2)的效率,我们的分层控制器相比,由一个单一的政策,通常显示一个单一的步态控制器。代码是公开的。
2021-12-09 cs.AI cs.RO
Intelligent problem-solving as integrated hierarchical reinforcement learning
Universität Hamburg(汉堡大学);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
根据认知心理学和相关学科,生物制剂中复杂问题解决行为的发展取决于分层认知机制。分层强化学习是一种很有前途的计算方法,它最终可能会在人工智能体和机器人中产生类似的问题解决行为。然而,迄今为止,许多人类和非人类动物解决问题的能力显然优于人工系统。在这里,我们提出了步骤,整合生物启发的层次机制,使先进的解决问题的技能,人工代理。因此,我们首先回顾了认知心理学的文献,以强调成分抽象和预测处理的重要性。然后,我们将所获得的见解与当代分层强化学习方法。有趣的是,我们的研究结果表明,所有已确定的认知机制已被单独实施在孤立的计算架构,提出了一个问题,为什么没有一个统一的架构,将它们整合起来。作为我们的最后贡献,我们解决这个问题,提供一个综合的角度来看,发展这样一个统一的架构的计算挑战。我们希望我们的研究结果能够指导更复杂的认知启发分层机器学习架构的开发。
2022-08-18 cs.AI cs.LG cs.RO