Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute（信息学知识技术研究所）
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式，用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而，缺乏结合这些范例的方法，目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献，我们解决了这个问题，并开发了一种将分层强化学习与好奇心相结合的方法。在这里，我们扩展了当代层次的演员批评的方法与前向模型，以发展层次的好奇心的概念。我们在几个连续空间环境中证明，对于大多数调查的基准问题，好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Hierarchical clustering in particle physics through reinforcement learning
New York University（纽约大学）；Bloomberg（彭博）
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明，这个任务可以被描述为一个马尔可夫决策过程，并适应强化学习算法来解决它。特别是，我们表明，蒙特卡罗树搜索指导下的神经政策，可以构建高质量的层次聚类，并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Southern University of Science and Technology（南方科技大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Science and Technology of China（中国科学技术大学）
分层强化学习（HRL）在高质量分层结构（例如，子目标或选项）。然而，如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式，探索效率低，难以发现复杂环境中的层次结构。为了解决这个问题，我们提出了CDHRL，一个空缺驱动的层次化强化学习框架，利用空缺驱动的发现，而不是随机驱动的探索，有效地建立高质量的层次结构在复杂的环境。关键的见解是，环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系，并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明，CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
Abstract Value Iteration for Hierarchical Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的分层强化学习框架，用于连续状态和动作空间的控制。在我们的框架中，用户指定的子目标区域的状态的子集，然后，我们（i）学习选项，作为这些子目标区域之间的过渡，以及（ii）在由此产生的抽象决策过程（ADP）构建一个高层次的计划。一个关键的挑战是，ADP可能不是马尔可夫，我们提出了两个算法，规划在ADP解决。我们的第一个算法是保守的，使我们能够证明其性能的理论保证，这有助于通知子目标区域的设计。我们的第二个算法是一个实用的交织在抽象层面的规划和学习在具体的水平。在我们的实验中，我们证明了我们的方法在几个具有挑战性的基准测试中优于最先进的分层强化学习算法。
2021-02-25 cs.LG
Assessing the Robustness of Intelligence-Driven Reinforcement Learning
University of Brescia（布雷西亚大学）；Cardiff University（卡迪夫大学）
本文研究基于奖励机的智能驱动强化学习在军事噪声环境下的鲁棒性，初步结果提示需进一步研究证据推理与学习以强化现有方法。
2023-11-15 cs.AI cs.CR cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University（罗格斯大学）
本研究探索层次强化学习在时间序列预测中的应用，结合深度学习开发股票与车辆预测智能体，发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升，其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning
KTH（瑞典皇家理工学院）；KTH, Digital Futures（瑞典皇家理工学院，数字未来）
本文提出切换后继措施，用于在无需额外监督的情况下实现分层零样本强化学习，通过FB表示直接提取高层子目标选择策略和低层控制策略，提升任务泛化能力。
2026-05-13 cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在分层强化学习中，一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案，该方案基于Sukhbaatar et al.（2018）的非对称自我游戏，可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后，高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型，包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化，我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification
该研究提出HBPI-UCRL算法，通过并行学习高低层策略，在满足特定低层动力学条件时实现多项式样本复杂度，其样本效率优于非分层算法，为分层强化学习的经验成功提供理论支撑。
2026-08-03 cs.LG
Hierarchical Reinforcement Learning with Timed Subgoals
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
分层强化学习（HRL）在具有挑战性的长时间任务上具有很大的样本有效学习潜力。特别是，让一个更高的水平分配子目标到一个更低的水平已经被证明能够快速学习困难的问题。然而，这种基于子目标的方法是在考虑静态强化学习环境的情况下设计的，因此即使它们在现实世界的问题中无处不在，也要与代理的直接控制之外的动态元素进行斗争。在本文中，我们介绍了分层强化学习与定时子目标（HiTS），HRL算法，使代理，以适应其时间的动态环境，不仅指定什么目标状态是要达到的，而且何时。我们讨论了如何与较低水平的沟通，在这样的时间子目标的结果在一个更稳定的学习问题的较高水平。我们在一系列标准基准测试和三个新的具有挑战性的动态强化学习环境上的实验表明，我们的方法能够进行样本高效学习，而现有的基于子目标的HRL方法无法学习稳定的解决方案。
2021-12-06 cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题，这通常会给强化学习带来重大挑战。我们提出了一个算法框架，称为分层指导，它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习（IL）和强化学习（RL）的不同组合，从而大大减少专家的努力和探索成本。使用长期基准测试，包括Montezuma的Revenge，我们证明了我们的方法可以比分层RL更快地学习，并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Delay-Empowered Causal Hierarchical Reinforcement Learning
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）
本文提出DECHRL，通过建模状态转移的因果结构和随机延迟分布，提升在时间不确定性下的决策性能。
2026-05-12 cs.LG
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
针对稀疏奖励长视野强化学习挑战，提出两级分层强化学习框架，高级战略规划与低级SAC算法结合并利用熵正则化策略优化，经SAR-2数据集训练评估，HRL-SAC在多方面优于普通SAC，为相关任务提供有前途的解决方案。
2026-07-28 cs.LG cs.RO
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Safe Hierarchical Reinforcement Learning for CubeSat Task Scheduling Based on Energy Consumption
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)（卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Automation and Robotics Research Group (ARG)（自动化与机器人研究组）；Space Systems Research Group (SpaSys)（空间系统研究组）
本文提出一种基于分层强化学习的CubeSat任务调度方法，结合SABE任务优先级排序和MLP能量消耗预测，实现安全容错的实时调度，仿真表明其收敛性和任务成功率优于MADDPG和随机调度。
2023-09-21 cs.AI cs.LG cs.MA
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Learning how to Interact with a Complex Interface using Hierarchical Reinforcement Learning
DeepMind（深度思维）
分层强化学习（HRL）允许交互式代理将复杂问题分解为子任务的层次结构。高级任务可以调用低级任务的解决方案，就像它们是原始操作一样。在这项工作中，我们研究了实用的层次分解学习一个适当的方式来与一个复杂的接口进行交互。具体来说，我们训练HRL代理，可以与模拟Android设备中的应用程序接口。我们引入了一个分层分布式深度强化学习架构，它学习（1）与简单手指手势对应的子任务，以及（2）如何组合这些手势来解决几个Android任务。我们的方法依赖于目标条件，可以更普遍地用于将任何基础RL代理转换为HRL代理。我们使用AndroidEnv环境来评估我们的方法。对于实验，HRL代理使用流行的DQN算法的分布式版本来训练层次结构的不同组件。虽然原生动作空间对于简单的DQN代理来说是完全难以处理的，但我们的架构可以用来建立一种有效的方式来与不同的任务进行交互，从而显着提高同一DQN代理在不同抽象级别上的性能。
2022-04-21 cs.LG
Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）
强化学习（RL）技术已经被开发用于优化工业冷却系统，与传统的启发式策略相比，提供了大量的能量节省。工业控制中的一个主要挑战涉及由于机械约束而在现实世界中可行的学习行为。例如，某些操作只能每隔几个小时执行一次，而其他操作可以更频繁地执行。如果没有广泛的奖励工程和实验，RL代理可能无法学习机器的实际操作。为了解决这个问题，我们使用分层强化学习与多个代理，控制子集的行动，根据他们的操作时间尺度。我们的分层方法在现有基准上实现了节能，同时保持了限制，例如在模拟HVAC控制环境中在安全范围内运行制冷机。
2022-09-16 cs.AI cs.LG cs.MA
Optimal Hierarchical Learning Path Design with Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
电子学习系统能够为学生提供比传统课堂环境更具适应性和效率的学习体验。这样的系统的一个关键组成部分是学习策略，算法，设计的学习路径的基础上的信息，如学生的当前进展，他们的技能，学习材料等，在本文中，我们解决的问题，找到最佳的学习策略的电子学习系统。为此，我们首先开发了一个模型，学生的层次技能的电子学习系统。在层次技能模型和经典认知诊断模型的基础上，我们进一步发展了一个框架来建模不同熟练程度的层次技能。通过应用无模型强化学习方法，该方法不需要学生学习过渡过程的信息，从而找到了层次结构顶部的最优学习策略。通过数值实验证明了所提出的框架的有效性。
2018-10-12 cs.CY cs.LG stat.ML
Hierarchical Reinforcement Learning with Hindsight
当奖励延迟且稀疏时，强化学习（RL）算法可能遭受较差的样本效率。我们介绍了一个解决方案，使代理学习时间上的扩展动作在多个抽象层次的样本高效和自动化的方式。我们的方法结合了通用的价值函数和事后学习，允许代理学习属于不同的时间尺度的政策并行。我们表明，我们的方法显着加速学习在各种离散和连续的任务。
2019-03-08 cs.AI cs.LG cs.NE
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出分层Transformer元强化学习方法（HTrMRL），利用过去经验提升新任务适应性与泛化能力，在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
目标条件分层强化学习（HRL）在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而，在目标约束的HRL中，高层策略的动作空间往往很大，从而导致探索性差，导致训练效率低下。在本文中，我们提出了地标引导的历史强化学习（HIGL），这是一种新的框架，用于训练具有地标引导的减少的动作空间的高级策略，即，有希望的国家去探索。高级别指标的关键组成部分有两个方面：（a）对可供探索的地标进行抽样;（b）鼓励高级别政策为选定的地标制定一个次级目标。对于（a），我们考虑两个标准：整个访问状态空间的覆盖（即，状态的分散性）和状态的新颖性（即，状态的预测误差）。对于（b），我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明，我们的框架在各种控制任务中的表现优于现有技术，这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Hierarchical Message-Passing Policies for Multi-Agent Reinforcement Learning
IDSIA USI-SUPSI, Università della Svizzera italiana（瑞士意大利语区大学IDSIA USI-SUPSI）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
提出一种结合分层强化学习和消息传递的多智能体策略学习方法，通过分层图结构实现智能体间的协调与规划，并设计基于优势函数的新颖奖励分配方法，在基准测试中取得优于现有技术的性能。
2026-07-01 cs.LG
Hierarchical Reinforcement Learning of Locomotion Policies in Response to Approaching Objects: A Preliminary Study
Brown University（布朗大学）
兔子和鸟等动物可以立即产生运动行为，以响应动态的、接近的物体，例如人或岩石，尽管可能以前从未见过该物体并且对该物体的属性的感知有限。最近，深度强化学习已经使复杂的运动学系统，如人形机器人，成功地从A点移动到B点。受自然界中动物先天反应行为观察的启发，我们希望将机器人运动的这一进展扩展到外部动态对象的设置，这些对象的属性对机器人来说是部分可观察的。作为实现这一目标的第一步，我们在MuJoCo中构建了一个仿真环境，在这个环境中，有足式机器人必须避免被一个球击中。我们探讨了动物通常拥有的先前运动经验是否有利于在一个拟议的分层强化学习框架下学习反应控制策略。初步结果支持这样的说法，即使用这种分层强化学习方法，即使考虑到部分可观测性（基于半径的对象可见性），学习也变得更有效。
2022-03-20 cs.LG cs.RO
Combinatorial Optimization by Graph Pointer Networks and Hierarchical Reinforcement Learning
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
在这项工作中，我们介绍了使用强化学习（RL）训练的图指针网络（GPNs），用于解决旅行商问题（TSP）。GPN通过在输入上引入图形嵌入层来构建指针网络，该层捕获节点之间的关系。此外，近似解决约束组合优化问题，如TSP的时间窗口，我们训练层次的GPNs（HGPNs）使用RL，学习分层的政策，找到一个最佳的城市置换的约束。层次结构的每一层都设计有单独的奖励函数，从而实现稳定的训练。我们的研究结果表明，在小规模TSP 50/100问题上训练的GPN可以很好地推广到大规模TSP 500/1000问题，具有更短的行程长度和更快的计算时间。我们验证了对于有时间窗的TSP等约束TSP问题，通过分层RL训练找到的可行解优于以前的基线。本着可重复研究的精神，我们将我们的数据、模型和代码公开提供。
2019-11-12 cs.LG stat.ML
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题，本文提出课程驱动框架 CRISP，通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率，在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
针对长时程目标条件任务中分层强化学习的不稳定性与缺乏理论保证问题，提出RLA框架，通过低层策略与高层预期模型协同，基于价值几何一致性训练，实现全局最优策略的收敛。
2025-09-06 cs.LG
Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
目标条件分层强化学习（HRL）是一种扩展强化学习（RL）技术的有效方法。然而，它往往遭受训练效率低下的行动空间的高层次，即，目标空间通常很大。在一个大的目标空间中进行搜索，会给高级子目标生成和低级策略学习带来困难。在本文中，我们表明，这个问题可以有效地缓解限制高层次的行动空间从整个目标空间到一个$k$步骤相邻区域的当前状态使用邻接约束。我们从理论上证明了所提出的邻接约束保留了确定性MDP中的最优分层策略，并表明这种约束可以通过训练一个邻接网络来实际实现，该邻接网络可以区分相邻和非相邻子目标。离散和连续控制任务的实验结果表明，将相邻约束提高了性能的国家的最先进的HRL方法在确定性和随机环境。
2021-03-18 cs.LG stat.ML
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Hierarchical Reinforcement Learning Method for Autonomous Vehicle Behavior Planning
Carnegie Mellon University（卡内基梅隆大学）；General Motors（通用汽车）
在这项工作中，我们提出了一个分层的强化学习（HRL）结构，它能够在模拟环境中执行自主车辆规划任务，多个子目标。在这种层次结构中，网络能够1）同时学习具有多个子目标的任务; 2）在学习过程中根据子目标的变化提取状态的注意力; 3）将训练好的子目标网络重用于具有相同子目标的其他类似任务。这些状态被定义为从自主车辆的感知系统传输的经处理的观测。在HRL结构中，针对不同层次设计了一种混合奖励机制。与传统的强化学习方法相比，我们的算法是更有效的样本，因为它的模块化设计允许重用子目标的策略在类似的任务。结果表明，该方法比传统RL方法更快地收敛到最优策略。
2019-11-09 cs.LG cs.RO
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Grounding Hierarchical Reinforcement Learning Models for Knowledge Transfer
Otto-Friedrich-Universität Bamberg（班贝格大学）
深度机器学习的方法使得能够有效地重用低级表示以生成更抽象的高级表示。最初，深度学习是被动应用的（例如，用于分类目的）。最近，它已被扩展到估计的强化学习（RL）的框架内的自主智能体的行动的价值。可以学习环境的显式模型以增强这样的价值函数。虽然“扁平”连接主义方法已经用于基于模型的强化学习，但到目前为止，只有无模型的强化学习变体才配备了深度学习的方法。我们提出了一种基于深度模型的强化学习的变体，使代理能够学习其环境的任意抽象层次表示。在本文中，我们目前的研究如何这种层次表示可以接地代理和它的环境之间的感觉运动的相互作用。
2014-12-19 cs.AI cs.LG cs.RO
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University（乔治梅森大学）
我们在参数化的动作空间中探索深度强化学习。具体来说，我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务，其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上，国家的最先进的算法信任域策略优化（TRPO）和随机值梯度（SVG）的训练这样的架构。我们证明，这些方法优于国家的最先进的方法，参数化的行动DDPG，测试域。
2018-10-23 cs.AI cs.LG stat.ML
Interpretable Model-based Hierarchical Reinforcement Learning using Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
近年来，深度强化学习在广泛的应用中取得了巨大的成功。然而，它缺乏数据效率和可解释性。数据效率很重要，因为与环境交互的成本很高。此外，可解释性可以增加黑盒式深度RL模型的透明度，从而获得用户的信任。在这项工作中，我们提出了一个新的分层框架，通过符号RL，利用符号转换模型，以提高数据效率，并介绍了学习策略的可解释性。该框架由一个高级Agent、一个子任务求解器和一个符号转换模型组成。在不假设任何先验知识的状态转换，我们采用归纳逻辑程序设计（ILP）学习的符号状态转换的规则，引入可解释性，使学习的行为可理解的用户。在实证实验中，我们证实，所提出的框架提供了约30%至40%之间的数据效率比以前的方法。
2021-06-21 cs.LG
PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
PEAR提出一种两阶段方法，先对少量专家演示进行自适应重标记生成子目标监督，再联合强化学习与模仿学习优化分层智能体，在稀疏机器人控制等复杂任务中显著超越基线。
2025-02-09 cs.LG
Hierarchical Adversarially-Resilient Multi-Agent Reinforcement Learning for Cyber-Physical Systems Security
本文提出HAMARL框架，通过分层多智能体协调与对抗训练循环，有效应对信息物理系统中的自适应和零日攻击，显著提升攻击检测准确率与防御弹性。
2025-06-12 cs.AI cs.CR cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性，提出统一价值函数和广义贝尔曼方程，实现独立执行选择与改进，实验验证互补收益。
2026-10-06 cs.AI cs.LG
DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning
Seoul National University（首尔国立大学）；Artificial Intelligence Institute of Seoul National University (AIIS)（首尔国立大学人工智能研究所（AIIS））；Automation and Systems Research Institute (ASRI)（自动化与系统研究所（ASRI））
分层强化学习（HRL）通过利用时间抽象在复杂控制任务中取得了显著的进展。然而，以前的HRL算法往往遭受严重的数据效率低下的环境变得很大。扩展组件$i.e.$、目标空间和事件长度对高级和低级策略中的一个或两个施加负担，因为这两个级别共享事件的总视野。本文提出了一种分层强化学习（DHRL）中使用图解耦视野的方法，该方法可以通过解耦高层和低级策略的视野并使用图弥合两个视野长度之间的差距来缓解这个问题。DHRL提供了一个可自由伸缩的高级动作间隔，这有助于在复杂任务中进行更长时间的抽象和更快的训练。我们的方法优于国家的最先进的HRL算法在典型的HRL环境。此外，DHRL实现了长时间和复杂的运动和操纵任务。
2022-11-19 cs.AI cs.LG
