On Credit Assignment in Hierarchical Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）
分层强化学习（HRL）长期以来一直致力于推进强化学习。然而，它仍然是一个相当大的挑战，开发实用的算法，表现出这些承诺。为了提高我们对HRL的基本理解，我们从传统的多步强化学习的角度研究了分层信用分配。我们展示了例如，一步“分级备份”可以被看作是传统的多步备份，其中$n$随着时间的推移跳过连接，将每个后续状态连接到第一状态，而与其间的动作无关。此外，我们发现，推广层次结构的多步回报估计方法，需要我们考虑如何划分环境跟踪，以构建备份路径。我们利用这些洞察力来开发一个新的分层算法Hier $Q_k(λ)$，我们证明了分层信用分配本身就可以提高代理性能（即，当消除概括或探索时）。总之，我们的工作产生了对分层备份的本质的基本见解，并将其作为强化学习研究的额外基础。
2022-03-07 cs.AI cs.LG
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Southern University of Science and Technology（南方科技大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Science and Technology of China（中国科学技术大学）
分层强化学习（HRL）在高质量分层结构（例如，子目标或选项）。然而，如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式，探索效率低，难以发现复杂环境中的层次结构。为了解决这个问题，我们提出了CDHRL，一个空缺驱动的层次化强化学习框架，利用空缺驱动的发现，而不是随机驱动的探索，有效地建立高质量的层次结构在复杂的环境。关键的见解是，环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系，并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明，CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
Reinforcement Learning from Hierarchical Critics
University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）
在这项研究中，我们研究了使用全局信息来加快学习过程，并增加强化学习（RL）在竞争任务中的累积奖励。在行动者-批评者强化学习中，我们从两个层次上引入多个合作批评者，并提出了一种从层次批评者中进行强化学习（RLHC）算法。在我们的方法中，每个代理接收本地和全球的批评家关于竞争任务的价值信息，并访问多个合作的批评家在一个自上而下的层次结构。因此，每个代理不仅接收低级别的细节，而且还考虑从更高级别的协调，从而获得全局信息，以提高训练性能。然后，我们测试所提出的RLHC算法对基准算法，近端策略优化（PPO），在一个统一的环境中进行的网球和足球代理的比赛的两个实验方案。结果表明，RLHC在这两个竞争任务上都优于基准。
2020-03-01 cs.LG cs.MA stat.ML
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind（深度思维）
分层强化学习（HRL）代理有潜力展示吸引人的能力，如规划和探索与抽象，转移和技能重用。最近的成功与HRL在不同领域提供的证据表明，实际的，有效的HRL代理是可能的，即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功，但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线（H2 O2）来解决这个问题，这是一种分层深度强化学习代理，可以使用自己的经验从头开始发现和学习使用选项。我们发现，在DeepMind Hard Eight任务中，H2 O2与强大的非层次Muesli基线具有竞争力，我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战，并带来了新的视角，目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
Abstract Value Iteration for Hierarchical Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的分层强化学习框架，用于连续状态和动作空间的控制。在我们的框架中，用户指定的子目标区域的状态的子集，然后，我们（i）学习选项，作为这些子目标区域之间的过渡，以及（ii）在由此产生的抽象决策过程（ADP）构建一个高层次的计划。一个关键的挑战是，ADP可能不是马尔可夫，我们提出了两个算法，规划在ADP解决。我们的第一个算法是保守的，使我们能够证明其性能的理论保证，这有助于通知子目标区域的设计。我们的第二个算法是一个实用的交织在抽象层面的规划和学习在具体的水平。在我们的实验中，我们证明了我们的方法在几个具有挑战性的基准测试中优于最先进的分层强化学习算法。
2021-02-25 cs.LG
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University（天津大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Nanjing University（南京大学）
多智能体强化学习（MARL）通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时，这将更具挑战性。在本文中，我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象，我们分解成不同的时间尺度的层次结构的问题，并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构，以学习不同MARL范式下的层次化策略。此外，我们提出了一个新的经验重放机制，以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性：（1）各种多智能体垃圾收集任务，以及（2）具有挑战性的在线手机游戏，即，发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
Emergency action termination for immediate reaction in hierarchical reinforcement learning
Warsaw University of Technology（华沙理工大学）；Ensavid；Jagiellonian University（雅盖隆大学）；Tooploox；IDEAS NCBR（IDEAS国家数字与网络安全研究院）
在大型动态系统中，控制的递阶分解是不可避免的。在强化学习（RL）中，通常使用在较高策略级别定义并在较低策略级别实现的子目标来解决。实现这些目标可能需要相当长的时间，在此期间，无法核实这些目标是否仍然值得追求。然而，由于环境的随机性，这些目标可能会变得过时。在本文中，我们在最先进的方法中解决了这一差距，并提出了一种方法，在这种方法中，高层行动（因此，低层目标）的有效性不断在高层得到验证。如果行动，即较低层次的目标，变得不适当，它们将被更适当的目标所取代。通过这种方式，我们结合了分层强化学习（快速训练）和扁平强化学习（即时反应）的优势。我们研究我们的方法实验上的七个基准环境。
2022-11-11 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University（罗格斯大学）
本研究探索层次强化学习在时间序列预测中的应用，结合深度学习开发股票与车辆预测智能体，发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升，其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning
KTH（瑞典皇家理工学院）；KTH, Digital Futures（瑞典皇家理工学院，数字未来）
本文提出切换后继措施，用于在无需额外监督的情况下实现分层零样本强化学习，通过FB表示直接提取高层子目标选择策略和低层控制策略，提升任务泛化能力。
2026-05-13 cs.LG
Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification
该研究提出HBPI-UCRL算法，通过并行学习高低层策略，在满足特定低层动力学条件时实现多项式样本复杂度，其样本效率优于非分层算法，为分层强化学习的经验成功提供理论支撑。
2026-08-03 cs.LG
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute（信息学知识技术研究所）
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式，用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而，缺乏结合这些范例的方法，目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献，我们解决了这个问题，并开发了一种将分层强化学习与好奇心相结合的方法。在这里，我们扩展了当代层次的演员批评的方法与前向模型，以发展层次的好奇心的概念。我们在几个连续空间环境中证明，对于大多数调查的基准问题，好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Hierarchical clustering in particle physics through reinforcement learning
New York University（纽约大学）；Bloomberg（彭博）
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明，这个任务可以被描述为一个马尔可夫决策过程，并适应强化学习算法来解决它。特别是，我们表明，蒙特卡罗树搜索指导下的神经政策，可以构建高质量的层次聚类，并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
Hierarchical Adversarially-Resilient Multi-Agent Reinforcement Learning for Cyber-Physical Systems Security
本文提出HAMARL框架，通过分层多智能体协调与对抗训练循环，有效应对信息物理系统中的自适应和零日攻击，显著提升攻击检测准确率与防御弹性。
2025-06-12 cs.AI cs.CR cs.LG
Hierarchical Reinforcement Learning with Timed Subgoals
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
分层强化学习（HRL）在具有挑战性的长时间任务上具有很大的样本有效学习潜力。特别是，让一个更高的水平分配子目标到一个更低的水平已经被证明能够快速学习困难的问题。然而，这种基于子目标的方法是在考虑静态强化学习环境的情况下设计的，因此即使它们在现实世界的问题中无处不在，也要与代理的直接控制之外的动态元素进行斗争。在本文中，我们介绍了分层强化学习与定时子目标（HiTS），HRL算法，使代理，以适应其时间的动态环境，不仅指定什么目标状态是要达到的，而且何时。我们讨论了如何与较低水平的沟通，在这样的时间子目标的结果在一个更稳定的学习问题的较高水平。我们在一系列标准基准测试和三个新的具有挑战性的动态强化学习环境上的实验表明，我们的方法能够进行样本高效学习，而现有的基于子目标的HRL方法无法学习稳定的解决方案。
2021-12-06 cs.LG
Delay-Empowered Causal Hierarchical Reinforcement Learning
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）
本文提出DECHRL，通过建模状态转移的因果结构和随机延迟分布，提升在时间不确定性下的决策性能。
2026-05-12 cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）
强化学习（RL）技术已经被开发用于优化工业冷却系统，与传统的启发式策略相比，提供了大量的能量节省。工业控制中的一个主要挑战涉及由于机械约束而在现实世界中可行的学习行为。例如，某些操作只能每隔几个小时执行一次，而其他操作可以更频繁地执行。如果没有广泛的奖励工程和实验，RL代理可能无法学习机器的实际操作。为了解决这个问题，我们使用分层强化学习与多个代理，控制子集的行动，根据他们的操作时间尺度。我们的分层方法在现有基准上实现了节能，同时保持了限制，例如在模拟HVAC控制环境中在安全范围内运行制冷机。
2022-09-16 cs.AI cs.LG cs.MA
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在分层强化学习中，一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案，该方案基于Sukhbaatar et al.（2018）的非对称自我游戏，可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后，高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型，包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化，我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Learning how to Interact with a Complex Interface using Hierarchical Reinforcement Learning
DeepMind（深度思维）
分层强化学习（HRL）允许交互式代理将复杂问题分解为子任务的层次结构。高级任务可以调用低级任务的解决方案，就像它们是原始操作一样。在这项工作中，我们研究了实用的层次分解学习一个适当的方式来与一个复杂的接口进行交互。具体来说，我们训练HRL代理，可以与模拟Android设备中的应用程序接口。我们引入了一个分层分布式深度强化学习架构，它学习（1）与简单手指手势对应的子任务，以及（2）如何组合这些手势来解决几个Android任务。我们的方法依赖于目标条件，可以更普遍地用于将任何基础RL代理转换为HRL代理。我们使用AndroidEnv环境来评估我们的方法。对于实验，HRL代理使用流行的DQN算法的分布式版本来训练层次结构的不同组件。虽然原生动作空间对于简单的DQN代理来说是完全难以处理的，但我们的架构可以用来建立一种有效的方式来与不同的任务进行交互，从而显着提高同一DQN代理在不同抽象级别上的性能。
2022-04-21 cs.LG
Multi-agent Hierarchical Reinforcement Learning with Dynamic Termination
University of Oxford（牛津大学）
在多代理系统中，代理的最优策略通常取决于其他代理选择的策略。因此，多智能体系统研究中的一个关键问题是预测他人的行为，并对这些行为的变化迅速做出反应。一个明显的可能性是每个代理广播他们当前的意图，例如，在分层强化学习框架中当前执行的选项。然而，如果期权具有延长的持续时间并且是动态的，则这种方法会导致代理人的不确定性。虽然在每一步调整执行的选项从单代理的角度提高了灵活性，但选项的频繁变化可能会导致代理的实际行为与其广播意图之间的不一致。为了平衡灵活性和可预测性，我们提出了一个动态终止贝尔曼方程，允许代理人灵活地终止他们的选择。我们评估我们的模型经验上的一组多智能体的追求和出租车任务，并表明我们的代理学习灵活地适应需要不同的终止行为的场景。
2019-10-21 cs.AI cs.LG cs.MA
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
目标条件分层强化学习（HRL）在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而，在目标约束的HRL中，高层策略的动作空间往往很大，从而导致探索性差，导致训练效率低下。在本文中，我们提出了地标引导的历史强化学习（HIGL），这是一种新的框架，用于训练具有地标引导的减少的动作空间的高级策略，即，有希望的国家去探索。高级别指标的关键组成部分有两个方面：（a）对可供探索的地标进行抽样;（b）鼓励高级别政策为选定的地标制定一个次级目标。对于（a），我们考虑两个标准：整个访问状态空间的覆盖（即，状态的分散性）和状态的新颖性（即，状态的预测误差）。对于（b），我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明，我们的框架在各种控制任务中的表现优于现有技术，这要归功于地标引导的高效探索。
2021-12-05 cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题，这通常会给强化学习带来重大挑战。我们提出了一个算法框架，称为分层指导，它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习（IL）和强化学习（RL）的不同组合，从而大大减少专家的努力和探索成本。使用长期基准测试，包括Montezuma的Revenge，我们证明了我们的方法可以比分层RL更快地学习，并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Hierarchical Message-Passing Policies for Multi-Agent Reinforcement Learning
IDSIA USI-SUPSI, Università della Svizzera italiana（瑞士意大利语区大学IDSIA USI-SUPSI）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
提出一种结合分层强化学习和消息传递的多智能体策略学习方法，通过分层图结构实现智能体间的协调与规划，并设计基于优势函数的新颖奖励分配方法，在基准测试中取得优于现有技术的性能。
2026-07-01 cs.LG
Hierarchical Modular Reinforcement Learning Method and Knowledge Acquisition of State-Action Rule for Multi-target Problem
Prefectural University of Hiroshima（广岛县立大学）；Iyo Bank, Ltd.（伊予银行有限公司）
分层模块化强化学习（Hierarchical Modular Reinforcement Learning，HMRL）由两层学习组成，其中利润分享在高层规划猎物位置，Q学习方法在低层训练状态动作到目标。本文将HMRL扩展到多目标问题，考虑目标间的距离。该函数称为“AT场”，可以根据两个代理之间的距离和另一个代理的优势/劣势来估计代理的利益。此外，与状态-动作规则相关的知识由C4.5提取。在这种情况下的行动是通过使用所获得的知识来决定的。为了验证所提出的方法的有效性，一些实验结果的报告。
2018-04-08 cs.AI cs.LG cs.MA
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题，本文提出课程驱动框架 CRISP，通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率，在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
针对长时程目标条件任务中分层强化学习的不稳定性与缺乏理论保证问题，提出RLA框架，通过低层策略与高层预期模型协同，基于价值几何一致性训练，实现全局最优策略的收敛。
2025-09-06 cs.LG
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
针对稀疏奖励长视野强化学习挑战，提出两级分层强化学习框架，高级战略规划与低级SAC算法结合并利用熵正则化策略优化，经SAR-2数据集训练评估，HRL-SAC在多方面优于普通SAC，为相关任务提供有前途的解决方案。
2026-07-28 cs.LG cs.RO
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Interpretable Model-based Hierarchical Reinforcement Learning using Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
近年来，深度强化学习在广泛的应用中取得了巨大的成功。然而，它缺乏数据效率和可解释性。数据效率很重要，因为与环境交互的成本很高。此外，可解释性可以增加黑盒式深度RL模型的透明度，从而获得用户的信任。在这项工作中，我们提出了一个新的分层框架，通过符号RL，利用符号转换模型，以提高数据效率，并介绍了学习策略的可解释性。该框架由一个高级Agent、一个子任务求解器和一个符号转换模型组成。在不假设任何先验知识的状态转换，我们采用归纳逻辑程序设计（ILP）学习的符号状态转换的规则，引入可解释性，使学习的行为可理解的用户。在实证实验中，我们证实，所提出的框架提供了约30%至40%之间的数据效率比以前的方法。
2021-06-21 cs.LG
Coordinated Strategies in Realistic Air Combat by Hierarchical Multi-Agent Reinforcement Learning
IDSIA, USI-SUPSI（Dalle Molle人工智能研究所，提契诺大学-瑞士南部应用科学与艺术大学）；Armasuisse S+T（瑞士联邦国防采购局科学技术部）
针对真实空战中的态势感知与非线性动力学挑战，提出分层多智能体强化学习框架，结合异构动力学、课程学习与联赛对战，提升缠斗场景的学习效率与作战性能。
2025-10-22 cs.AI cs.HC cs.LG
PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
PEAR提出一种两阶段方法，先对少量专家演示进行自适应重标记生成子目标监督，再联合强化学习与模仿学习优化分层智能体，在稀疏机器人控制等复杂任务中显著超越基线。
2025-02-09 cs.LG
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo（富国银行）
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体，在标准环境中以更少参数超越经典基线，并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University（阿尔托大学）
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题，提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化，显著提升了样本效率和性能。
2025-05-27 cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出分层Transformer元强化学习方法（HTrMRL），利用过去经验提升新任务适应性与泛化能力，在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Optimal Hierarchical Learning Path Design with Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
电子学习系统能够为学生提供比传统课堂环境更具适应性和效率的学习体验。这样的系统的一个关键组成部分是学习策略，算法，设计的学习路径的基础上的信息，如学生的当前进展，他们的技能，学习材料等，在本文中，我们解决的问题，找到最佳的学习策略的电子学习系统。为此，我们首先开发了一个模型，学生的层次技能的电子学习系统。在层次技能模型和经典认知诊断模型的基础上，我们进一步发展了一个框架来建模不同熟练程度的层次技能。通过应用无模型强化学习方法，该方法不需要学生学习过渡过程的信息，从而找到了层次结构顶部的最优学习策略。通过数值实验证明了所提出的框架的有效性。
2018-10-12 cs.CY cs.LG stat.ML
Hierarchical Reinforcement Learning of Locomotion Policies in Response to Approaching Objects: A Preliminary Study
Brown University（布朗大学）
兔子和鸟等动物可以立即产生运动行为，以响应动态的、接近的物体，例如人或岩石，尽管可能以前从未见过该物体并且对该物体的属性的感知有限。最近，深度强化学习已经使复杂的运动学系统，如人形机器人，成功地从A点移动到B点。受自然界中动物先天反应行为观察的启发，我们希望将机器人运动的这一进展扩展到外部动态对象的设置，这些对象的属性对机器人来说是部分可观察的。作为实现这一目标的第一步，我们在MuJoCo中构建了一个仿真环境，在这个环境中，有足式机器人必须避免被一个球击中。我们探讨了动物通常拥有的先前运动经验是否有利于在一个拟议的分层强化学习框架下学习反应控制策略。初步结果支持这样的说法，即使用这种分层强化学习方法，即使考虑到部分可观测性（基于半径的对象可见性），学习也变得更有效。
2022-03-20 cs.LG cs.RO
Combinatorial Optimization by Graph Pointer Networks and Hierarchical Reinforcement Learning
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
在这项工作中，我们介绍了使用强化学习（RL）训练的图指针网络（GPNs），用于解决旅行商问题（TSP）。GPN通过在输入上引入图形嵌入层来构建指针网络，该层捕获节点之间的关系。此外，近似解决约束组合优化问题，如TSP的时间窗口，我们训练层次的GPNs（HGPNs）使用RL，学习分层的政策，找到一个最佳的城市置换的约束。层次结构的每一层都设计有单独的奖励函数，从而实现稳定的训练。我们的研究结果表明，在小规模TSP 50/100问题上训练的GPN可以很好地推广到大规模TSP 500/1000问题，具有更短的行程长度和更快的计算时间。我们验证了对于有时间窗的TSP等约束TSP问题，通过分层RL训练找到的可行解优于以前的基线。本着可重复研究的精神，我们将我们的数据、模型和代码公开提供。
2019-11-12 cs.LG stat.ML
Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning
University of Michigan（密歇根大学）
在分层强化学习（HRL）系统中使用非策略时间差（TD）方法的实验中，我们在可重复的条件下观察到了不必要的同策略学习。在这里，我们提出了几个TD的方法，防止无意的同策略学习发生的修改。这些修改在探索和学习之间造成了紧张。传统的TD方法需要致力于完成子任务，而无需探索，以便以高概率更新早期动作的Q值。一步期权内学习和时间二阶差分跟踪（TSDT）不受此限制。我们证明，我们的HRL系统是有效的，没有承诺完成子任务的悬崖行走域，相反，在文献中的广泛主张，它是学习效率的关键。此外，随着探索的进展，减少承诺，以提高在线性能和由此产生的政策在出租车领域，开辟了一个新的途径，研究时，它是更有益的继续与当前的子任务或重新计划。
2011-04-27 cs.LG
Improving Energy Efficiency in Femtocell Networks: A Hierarchical Reinforcement Learning Framework
VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；York-Zhejiang Lab for Cognitive Radio and Green Communications（约克-浙江认知无线电与绿色通信实验室）；Zhejiang University（浙江大学）
本文结合博弈论和随机学习研究了双层毫微微蜂窝网络的能量效率问题。基于Stackelberg博弈模型，采用分层强化学习框架研究了在最小信干噪比条件下宏蜂窝和毫微微蜂窝的联合平均效用最大化问题.在学习过程中，宏蜂窝充当领导者，毫微微蜂窝充当跟随者。在每个时间步，领导者承诺动态策略的基础上的最佳反应的追随者，而追随者相互竞争，没有进一步的信息，但领导者的战略信息。在本文中，我们提出了两个学习算法调度每个小区的随机功率电平，领导的宏小区。数值实验验证了所提出的研究，并表明这两种学习算法大大提高了毫微微蜂窝网络的能量效率。
2012-09-13 cs.LG
Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
目标条件分层强化学习（HRL）是一种扩展强化学习（RL）技术的有效方法。然而，它往往遭受训练效率低下的行动空间的高层次，即，目标空间通常很大。在一个大的目标空间中进行搜索，会给高级子目标生成和低级策略学习带来困难。在本文中，我们表明，这个问题可以有效地缓解限制高层次的行动空间从整个目标空间到一个$k$步骤相邻区域的当前状态使用邻接约束。我们从理论上证明了所提出的邻接约束保留了确定性MDP中的最优分层策略，并表明这种约束可以通过训练一个邻接网络来实际实现，该邻接网络可以区分相邻和非相邻子目标。离散和连续控制任务的实验结果表明，将相邻约束提高了性能的国家的最先进的HRL方法在确定性和随机环境。
2021-03-18 cs.LG stat.ML
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Hierarchical Reinforcement Learning Method for Autonomous Vehicle Behavior Planning
Carnegie Mellon University（卡内基梅隆大学）；General Motors（通用汽车）
在这项工作中，我们提出了一个分层的强化学习（HRL）结构，它能够在模拟环境中执行自主车辆规划任务，多个子目标。在这种层次结构中，网络能够1）同时学习具有多个子目标的任务; 2）在学习过程中根据子目标的变化提取状态的注意力; 3）将训练好的子目标网络重用于具有相同子目标的其他类似任务。这些状态被定义为从自主车辆的感知系统传输的经处理的观测。在HRL结构中，针对不同层次设计了一种混合奖励机制。与传统的强化学习方法相比，我们的算法是更有效的样本，因为它的模块化设计允许重用子目标的策略在类似的任务。结果表明，该方法比传统RL方法更快地收敛到最优策略。
2019-11-09 cs.LG cs.RO
