Decentralized Cooperative Planning for Automated Vehicles with Hierarchical Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
今天的自动驾驶汽车缺乏与他人进行隐性合作的能力。本文提出了一种基于蒙特卡罗树搜索（MCTS）的方法，用于异构环境中自动驾驶汽车的分布式协作规划。基于其他代理和解耦UCT（MCTS的一个变种）的合作建模，该算法评估的状态动作值的每个代理在一个合作和分散的方式，明确地建模交通参与者之间的相互依赖的行动。宏操作允许在多个时间步长上的时间扩展，并增加有效的搜索深度，需要更少的迭代来规划更长的视野。没有预定义的宏动作的策略，该算法同时学习宏动作上和宏动作内的策略。该方法在几种冲突场景下进行了评估，表明该算法可以在异构环境中实现有效的协同规划与学习的宏动作。
2018-07-25 cs.AI
Distributed Planning in Hierarchical Factored MDPs
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个原则和有效的规划算法的协作多智能体动力系统。在规划和执行阶段，所有的计算都分布在代理之间;每个代理只需要为系统的一小部分建模和规划。这些局部子系统中的每一个都很小，但是一旦它们组合在一起，它们就可以代表一个指数级更大的问题。子系统通过子系统层次结构连接。代理人之间的协调和沟通不是强加的，而是直接来自这个层次结构。一个全局一致的计划是通过消息传递算法实现的，其中消息对应于自然的局部奖励函数，并由局部线性规划计算;另一个消息传递算法允许我们执行产生的策略。当层次结构的两个部分共享相同的结构时，我们的算法可以重用计划和消息以加快计算速度。
2012-12-12 cs.AI
HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning
Meituan（美团）；University of Chinese Academy of Sciences（中国科学院大学）
提出层次化规划与信息折叠方法，通过子目标分解和历史折叠减少长上下文干扰，结合层次化反思和子目标过程奖励，提升LLM在多轮长视界任务中的表现。
2026-06-09 cs.AI
Hierarchical Planning for Resource Allocation in Emergency Response Systems
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）
城市规模的信息物理系统（CPS）中的一个经典问题是不确定性条件下的资源分配。通常，这些问题被建模为马尔可夫（或半马尔可夫）决策过程。虽然在线，离线和分散的方法已被应用于此类问题，但它们很难扩展到大型决策问题。我们提出了一个一般的层次规划方法，利用结构在城市级CPS问题的资源分配下的不确定性。我们使用的应急响应作为一个案例研究，并显示如何一个大的资源分配问题可以分为较小的问题。然后，我们创建一个原则性的框架来解决较小的问题，并处理它们之间的相互作用。最后，我们使用来自美国田纳西州纳什维尔的真实数据来验证我们的方法。我们的实验表明，所提出的方法优于国家的最先进的方法在应急响应领域。
2021-03-04 cs.AI
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息与决策系统工程学院）
在人机合作框架中，提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而，为了维持人类队友的认知需求以理解所提供的解释，先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外，这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中，我们认为，代理生成的解释，特别是复杂的，应抽象到与人类队友的愿望，以保持收件人的认知负荷的细节水平保持一致。因此，学习层次解释模型是一项具有挑战性的任务。此外，智能体需要遵循一致的高级策略，将学习到的队友偏好转移到新的场景中，而较低级别的详细计划则不同。我们的评估证实了理解解释的过程，特别是复杂和详细的解释，是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现，分层解释实现了更好的任务性能和行为的可解释性，同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Simple Hierarchical Planning with Diffusion
Rutgers University（罗格斯大学）；National University of Singapore（新加坡国立大学）；EPFL（瑞士洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）；KAIST（韩国科学技术院）
本文提出 Hierarchical Diffuser，一种结合分层与扩散规划优势的简单高效方法，通过高层跳跃式规划降低计算成本并扩大感受野，低层子目标引导微调，在离线强化学习基准上显著提升了训练与规划速度及组合分布外任务的泛化能力。
2024-01-05 cs.AI cs.LG
Constrained Hierarchical Monte Carlo Belief-State Planning
Stanford University（斯坦福大学）
本文提出COBeTS方法，利用分层选项结构将在线CPOMDP规划扩展到大规模连续机器人问题，在满足约束预算时保证随时安全，并通过分层监控实现运行时安全。
2024-02-26 cs.AI cs.RO
Hi-Drive: Hierarchical POMDP Planning for Safe Autonomous Driving in Diverse Urban Environments
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；SenseTime（商汤科技）
针对城市道路动态不确定性，提出层级式POMDP规划算法Hi-Drive，利用驾驶员模型推断驾驶风格并集成重要性采样轨迹优化，在真实基准上显著超越现有方法。
2025-10-15 cs.AI cs.RO
Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
对于自动驾驶汽车来说，有效的行为规划对于确保自我汽车的安全至关重要。在许多城市场景中，很难创建足够通用的启发式规则，特别是对于一些新的人类驾驶员发现困难的挑战性场景。在这项工作中，我们提出了一种基于强化学习（RL）的行为规划结构，它能够在模拟城市环境中进行分层结构的自主车辆行为规划。分层结构的应用允许满足行为规划系统的各个层。我们的算法可以比基于规则的方法更好地执行选择性决策，例如何时在相反方向接近的车辆之间左转，或者由于车道阻塞或在自我汽车前面的延迟而接近交叉路口时可能变道。这种行为很难评估为正确或不正确，但对于一些积极的专家人类驾驶员来说，他们可以有效和快速地处理这种情况。另一方面，与传统的强化学习方法相比，由于在训练过程中使用了混合奖励机制和启发式探索，我们的算法具有更高的样本效率。结果还表明，该方法比传统的RL方法更快地收敛到最优策略。
2020-11-09 cs.AI cs.RO
DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
Department of Computer Science University of Bath（计算机科学系巴斯大学）；Department of Psychology University of Bath（心理学系巴斯大学）
DHP通过离散可达性检查和递归分解任务，提升分层强化学习代理在长距离视觉规划中的效率和泛化能力。
2025-12-19 cs.AI cs.LG cs.RO
Dynamic Real-time Multimodal Routing with Hierarchical Hybrid Planning
Stanford University（斯坦福大学）；Ford Greenfield Labs（福特Greenfield实验室）
我们介绍了动态实时的【形】多模式路由（DREAMR）的问题，这需要规划和执行的不确定性下的自主智能体的路线。代理人可以访问一个随时间变化的运输车辆网络，在该网络中，它可以使用多种运输方式。例如，无人机可以飞行或乘坐地形车辆的路线段。DREAMR是一个具有离散和连续变量的不确定条件下的序贯决策难题。我们设计了一个新的分层混合规划框架来解决DREAMR问题，利用其结构分解。我们的框架由一个全局开环规划层，调用和监控本地闭环执行层。额外的抽象允许规划和执行的高效和无缝交织。我们为DREAMR问题创建了一个大规模的模拟，每个场景都有数百条运输路线和数千个连接点。我们的算法框架显着优于滚动时域控制基线，在经过的时间到达目的地和能源消耗的代理。
2019-05-04 cs.AI cs.RO
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Bidirectional Task-Motion Planning Based on Hierarchical Reinforcement Learning for Strategic Confrontation
School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）；Advanced Research Institute of Multidisciplinary Sciences and State Key Laboratory of CNS/ATM, Beijing Institute of Technology（多学科科学先进研究院和 CNS/ATM 国家重点实验室，北京理工大学）
本文提出基于分层强化学习的双向任务-运动规划方法，通过层次间动态交互、交叉训练和轨迹预测模型，在战略对抗中实现超过80%胜率和低于0.01秒决策时间，优于现有方法。
2025-08-27 cs.AI cs.RO
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Learning to Plan Hierarchically from Curriculum
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
我们提出了一个框架，学习计划层次结构的领域与未知的动态。我们提高规划性能，利用问题的结构，在几个方面：（一）我们简化了搜索计划，利用知识的技能目标，（二）较短的计划产生的积极执行层次规划，（三）我们学习过渡动态稀疏的本地模型，更好地概括。我们的框架将过渡动态分解为技能效果和成功条件，这允许通过推理效果进行快速规划，同时从与世界的交互中学习条件。我们提出了一个简单的方法来学习新的抽象技能，使用成功的轨迹源于完成课程的目标。然后，学习到的技能被提炼，以利用其他抽象技能并增强后续规划。我们表明，这两个条件和抽象的技能可以同时学习，而规划，即使在随机域。我们的方法在复杂性不断增加的实验中得到了验证，最多有2^100个状态，显示出优于经典非分层规划器或强化学习方法的规划。现实世界的问题的适用性证明在机器人机械手的模拟到真实的传输实验。
2019-06-18 cs.AI cs.LG cs.RO
Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；State Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院通用人工智能国家重点实验室）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Tsinghua University（清华大学）
针对混合动机环境下多智能体少样本适配难题，提出融合分层对手建模与MCTS规划的HOP算法，通过跨回合及回合内信念更新提升效率，在未见智能体交互与自博弈中表现更优，展现社会智能涌现潜力。
2024-07-12 cs.AI cs.MA
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling
Tongyi Lab（通义实验室）；Alibaba Group（阿里巴巴集团）
本文提出DecoupleSearch框架，通过双值模型解耦规划与搜索过程，利用蒙特卡洛树搜索评估每一步的质量，并通过分层束搜索迭代优化规划和搜索候选，验证了方法的有效性。
2026-05-18 cs.AI cs.CL cs.IR
Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making
Toyota Research Institute（丰田研究院）；Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making（学习规划，规划学习：自适应分层RL-MPC用于样本高效决策）
本文提出了一种融合强化学习和MPC规划的分层方法，通过自适应聚合MPPI样本提升策略鲁棒性，实现在复杂规划问题中提高样本效率和任务成功率。
2026-04-16 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with Abductive Planning
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；The University of Tokyo（东京大学）
将强化学习应用于现实问题的关键挑战之一是，随着任务变得复杂，学习一个好的策略所需的训练和错误量急剧增加。这个问题的一个潜在解决方案是将强化学习与自动符号规划相结合，并利用该领域的先验知识。然而，现有的方法在其适用性和表达性方面存在局限性。本文提出了一种基于溯因符号规划的分层强化学习方法。该规划器可以处理用户定义的评价函数，而不是基于Herbrand定理。因此，它可以利用奖励的先验知识，并且可以在状态空间未知的域中工作。我们的经验表明，我们的架构显着提高学习效率的评价域上的训练样本，其中状态空间是未知的，存在多个目标的量。
2018-06-28 cs.AI cs.LG stat.ML
Knowledge-Based Hierarchical POMDPs for Task Planning
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子学研究所）；Instituto Nacional de Enfermedades Respiratorias（国家呼吸系统疾病研究所）；University of Bristol（布里斯托大学）；Centro de Investigaciones en Matemáticas（数学研究中心）
任务规划的主要目标是建立一个动作序列，使智能体从初始状态到目标状态。在机器人技术中，这是特别困难的，因为动作通常有几种可能的结果，传感器容易产生误差的测量。部分可观测马尔可夫决策过程（POMDP）是常用的，由于他们的能力来模拟的不确定性的动作，修改和监控系统的状态。然而，由于求解POMDP在计算上是昂贵的，因此它们的使用对于大多数机器人应用来说变得令人望而却步。在本文中，我们提出了一个服务机器人的任务规划架构。在服务机器人设计的背景下，我们提出了一个计划来编码的机器人及其环境的知识，促进了信息的模块化和重用。此外，我们引入了一个新的递归定义的POMDP，使我们的体系结构，自主建立一个层次的POMDP，使它可以用来生成和执行计划，解决手头的任务。实验结果表明，与基线方法相比，通过遵循递归分层方法，该架构能够显着减少规划时间，同时在不确定性和大小不同的几种情况下保持（甚至提高）鲁棒性。
2021-04-09 cs.AI cs.RO
Learning hierarchical behavior and motion planning for autonomous driving
Zhejiang University（浙江大学）；Arizona State University（亚利桑那州立大学）
基于学习的驾驶解决方案是自动驾驶的一个新分支，它通过从数据中学习底层机制来简化驾驶建模。为了提高基于学习的驾驶解决方案的战术决策，我们引入分层行为和运动规划（HBMP）明确建模的行为，基于学习的解决方案。由于行为和运动的耦合行为空间，使用强化学习（RL）解决长时间驾驶任务的HBMP问题具有挑战性。我们通过整合一个经典的基于采样的运动规划器来转换HBMP问题，其中的最优成本被视为高级行为学习的奖励。因此，该公式减少了行动空间，并多样化的奖励，而不会失去HBMP的最优性。此外，我们提出了一种跨仿真平台和真实世界环境的输入传感数据的可共享表示，以便在基于事件的快速仿真器SUMO中训练的模型可以用于在基于动态的仿真器CARLA中初始化和加速RL训练。实验结果证明了该方法的有效性。此外，该模型被成功地转移到现实世界中，验证了泛化能力。
2020-05-08 cs.AI cs.RO
Trajectory Planning for Autonomous Vehicles Using Hierarchical Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Carnegie Mellon University（卡内基梅隆大学）
在不确定和动态条件下规划安全轨迹使得自动驾驶问题变得非常复杂。目前基于采样的方法，如快速探索随机树（RRT）是不理想的，因为这个问题的高计算成本。模仿学习等监督学习方法缺乏通用性和安全性保证。为了解决这些问题，为了确保一个强大的框架，我们提出了一个分层强化学习（HRL）结构结合比例积分微分（PID）控制器的轨迹规划。HRL有助于将自动驾驶任务划分为子目标，并支持网络学习高级选项和低级轨迹规划器选择的策略。子目标的引入减少了收敛时间，并使学习到的策略能够重用于其他场景。此外，所提出的规划器是鲁棒的，保证平稳的轨迹，并通过处理嘈杂的感知系统的自我车。采用PID控制器跟踪航路点，保证了轨迹的平滑性，减小了抖动。不完整观测的问题通过在网络中使用长短期记忆（LSTM）层来处理。高保真CARLA模拟器的结果表明，所提出的方法减少了收敛时间，生成更平滑的轨迹，并能够处理动态环境和噪声观测。
2020-11-09 cs.AI cs.RO
Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学与技术研究所）；Ulsan, South Korea（韩国釜山）
本文提出严格子目标执行（SSE）框架，通过前沿经验回放（FER）分离不可达与可接受的子目标，提高高层决策效率，从而在长horizon任务中实现更可靠的规划。
2026-05-20 cs.AI cs.LG
Hierarchical Object-Oriented POMDP Planning for Object Rearrangement
Oregon State University（俄勒冈州立大学）
针对部分可观测多房间环境中多物体重排问题，提出分层面向对象POMDP（HOO-POMDP）规划框架及MultiRoomR基准数据集，通过子目标生成、低级策略和抽象系统提升适应性，实验验证其在复杂场景中的稳健性能。
2025-08-25 cs.AI cs.LG cs.RO
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程中心，华盛顿大学）
本文提出基于分层主动推断的行动规划模型，结合环境层次模型与成功表示实现高效规划，展示了如何通过低层表示学习高层抽象状态，并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Dynamic planning in hierarchical active inference
Institute of Cognitive Sciences and Technologies（认知科学与技术研究所）；National Research Council of Italy（意大利国家研究委员会）；Sapienza University of Rome（罗马大学）
本文探讨主动推断中的动态规划，提出基于可供性利用和分层交互的分层混合表示方法，为复杂任务（如工具使用）建模提供了新方向。
2024-11-12 cs.AI cs.LG cs.RO
From proprioception to long-horizon planning in novel environments: A hierarchical RL model
Vicarious AI（Vicarious人工智能公司）
对于一个智能代理灵活，有效地在复杂的环境中运行，他们必须能够在多个层次的时间，空间和概念抽象的原因。在较低的层次上，智能体必须解释他们的本体感受输入并控制他们的肌肉，而在较高的层次上，智能体必须选择目标并计划如何实现这些目标。很明显，这些类型的推理中的每一种都适用于不同类型的表示、算法和输入。在这项工作中，我们介绍了一个简单的，三个层次的架构，反映了这些区别。低层控制器对连续的本体感受输入进行操作，使用无模型学习来获得有用的行为。这些又引起一组中级动态，其由中级控制器学习并用于模型预测控制，以选择在每个时间步激活的行为。高级控制器利用用于目标选择和路径规划的离散图形表示来指定中级控制器的目标。我们将我们的方法应用于Mujoco Ant环境中的一系列导航任务，与先前的无模型，基于模型和分层RL方法相比，始终证明了样本效率的显着提高。最后，作为一个说明性的例子，我们的架构的优势，我们将我们的方法应用到一个复杂的迷宫环境，需要有效的探索和长期规划。
2020-06-11 cs.AI cs.LG cs.RO
A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
自动驾驶汽车需要处理各种交通状况，并做出安全有效的决策和操纵。然而，一方面，单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹，特别是当附近有许多交互式车辆时。另一方面，端到端的学习方法不能保证结果的安全性。为了解决这一挑战，我们提出了一个分层的行为规划框架，一组低级别的安全控制器和一个高级别的强化学习算法（H-CtRL）作为协调员的低级别控制器。安全性由底层优化/采样控制器保证，而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法，我们建立了一个模拟器，可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的，在各种现实的仿真场景，具有令人满意的性能，在安全性和效率。
2021-06-09 cs.AI cs.RO cs.SY
Deep Hierarchical Planning from Pixels
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Covariant（协变机器人公司）
智能代理需要选择长序列的动作来解决复杂的任务。虽然人类很容易将任务分解为子目标，并通过数百万个肌肉命令来实现它们，但当前的人工智能仅限于数百个决策的任务，尽管有大量的计算预算。分层强化学习的研究旨在克服这一限制，但已被证明是具有挑战性的，目前的方法依赖于手动指定的目标空间或子任务，并且不存在通用的解决方案。我们介绍导演，一个实用的方法，学习层次结构的行为直接从像素内的潜在空间的学习世界模型规划。高级策略通过选择潜在目标来最大化任务和探索奖励，低级策略学习实现目标。尽管在潜在空间中操作，但决策是可解释的，因为世界模型可以将目标解码为图像以进行可视化。Director在具有稀疏奖励的任务上优于探索方法，包括从以自我为中心的相机和本体感受中使用四足机器人进行3D迷宫遍历，而无需访问先前工作所使用的全局位置或自上而下视图。Director还可以在各种环境中学习成功的行为，包括视觉控制，Atari游戏和DMLab级别。
2022-06-08 cs.AI cs.LG cs.RO
Discovering Hierarchical Process Models: an Approach Based on Events Clustering
HSE University（高等经济大学）
流程挖掘是计算机科学的一个领域，它处理基于自动生成的事件日志的流程模型的发现和分析。目前，许多公司使用这项技术来优化和改进他们的流程。然而，所发现的过程模型可能过于详细、复杂并且对于专家来说难以理解。在本文中，我们考虑的问题，发现一个层次的业务过程模型，从一个低级别的事件日志，即，基于存储在信息系统的事件日志中的信息，自动合成更可读和更易于理解的过程模型的问题。在过程挖掘的研究框架下，从不同的角度对发现结构更好、可读性更强的过程模型进行了深入的研究。在本文中，我们提出了一个算法，发现层次化的过程模型表示为两个层次的工作流网。该算法是基于预定义的事件ilustering，使集群定义一个子过程对应于一个高层次的过渡在网络的顶层。与现有的解决方案不同，我们的算法不会对过程控制流施加限制，并允许并发和迭代。
2023-03-12 cs.AI
Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院）
针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。
2026-08-11 cs.AI
Discovering Hierarchical Achievements in Reinforcement Learning via Contrastive Learning
Seoul National University（首尔大学）；KRAFTON（魁匠团）
针对程序生成环境中的层级成就发现问题，本文提出成就蒸馏对比学习方法，增强 PPO 对下一成就的预测能力，并在 Crafter 上以更少参数实现样本高效的最优性能。
2023-11-02 cs.AI cs.LG
Hierarchical Finite State Controllers for Generalized Planning
Universitat Pompeu Fabra（庞培法布拉大学）
有限状态控制器（FSC）是一种有效的表示顺序计划的方法.通过对过渡施加适当的条件，FSC还可以表示解决给定域中一系列规划问题的广义规划。在本文中，我们引入了{ \it分层FSC}的概念，通过允许控制器调用其他控制器来进行规划。我们表明，层次FSC可以表示广义计划比个人FSC更companimously。此外，我们的调用机制使得它可以生成层次FSC在一个模块化的方式，甚至应用递归。我们还介绍了一个编译，使一个经典的规划生成层次FSC，解决具有挑战性的广义规划问题。编译需要作为输入的一组规划问题，从一个给定的域和输出一个单一的经典规划问题，其解决方案对应于一个分层的FSC。
2019-11-07 cs.AI
Discovering Hierarchical Processes Using Flexible Activity Trees for Event Abstraction
Utrecht University（乌得勒支大学）；Technion – Israel Institute of Technology（以色列理工学院）
流程（如患者路径）可能非常复杂，包括数百个活动和数十个交错的子流程。虽然现有的进程发现算法已被证明可以在结构化进程的干净日志上构建高质量的模型，但当算法被应用于复杂进程的日志时，仍然存在挑战。创建一个多层次的流程表示可以帮助管理这种复杂性。然而，追求这一想法的当前方法遭受各种各样的弱点。特别是，它们不能很好地处理交织子过程。在本文中，我们提出了FlexHMiner，一个三步的方法来发现多层次的交错子进程的进程。我们在开源流程挖掘工具包ProM中实现了FlexHMiner。我们使用了七个真实的日志来比较使用领域知识，随机聚类和平面方法发现的分层模型的质量。我们的研究结果表明，FlexHMiner生成的分层过程模型相比，不利用层次结构的方法。
2020-10-16 cs.AI cs.DB
From Classical to Hierarchical: benchmarks for the HTN Track of the International Planning Competition
Univ. Grenoble Alpes（格勒诺布尔大学）；LIG（LIG实验室）
在这篇简短的论文中，我们概述了提交给2020年国际规划竞赛第一层次规划赛道的九个经典基准。所有这些基准测试都基于HDDL语言。基准的选择是基于向HTN社区发送的问卷调查。它们是：酒吧，儿童零食，漫游者，卫星，Blocksworld，仓库，抓地力，和徒步旅行。在本文的其余部分，我们对这些基准进行了简短的描述。一切都井然有序。
2021-03-09 cs.AI
Lexis: An Optimization Framework for Discovering the Hierarchical Structure of Sequential Data
GeorgiaTech（佐治亚理工学院）
表示为字符串的数据在生物学、语言学、文档挖掘、网络搜索和许多其他领域中大量存在。这样的数据通常具有层次结构，要么是因为它们是人工设计的，并以层次结构的方式组成，要么是因为存在一个潜在的进化过程，从简单的子字符串重复创建更复杂的字符串。我们提出了一个框架，称为“词汇”，产生一个优化的层次表示的一组给定的“目标”字符串。生成的层次结构“LIGHT-DAG”展示了如何通过连接中间子字符串来构造每个目标，从而最小化此类连接或DAG边的总数。Lexis优化问题与最小文法问题有关。在证明了两种代价公式的NP-困难性之后，我们提出了一种有效的贪心算法来构造LSD-DAG。我们还考虑了识别集体形成LSD-DAG的“核心”的中间结点（子串）的集合的问题，这在LSD-DAG的分析中是重要的。我们表明，Lexis框架可以应用于不同的应用程序，如优化合成的DNA片段在基因组文库中，层次结构发现蛋白质序列，基于字典的文本压缩，和特征提取从一组文件。
2016-06-11 cs.AI cs.DS
An Overview of Hierarchical Task Network Planning
Johann Bernoulli Institute for Mathematics and Computer Science（约翰·伯努利数学与计算机科学研究所）；University of Groningen（格罗宁根大学）
层次结构是用来更好地理解世界的最常见的结构。例如，在星系中，多星系统是以一个等级系统组织起来的。然后，政府和公司组织使用层次结构，而每天使用的互联网具有分层排列的域名空间。由于人工智能（AI）规划描绘了关于世界的信息和解决世界上一些问题的原因，因此近40年前引入了分层任务网络（HTN）规划来表示和处理层次结构。HTN需要丰富的领域知识来覆盖世界，这使得HTN规划非常有用，而且表现良好。然而，近40年的历史混淆了目前对HTN规划的理解，包括成就，规划模型，层次规划师之间的异同以及其当前和客观的形象。在这些问题之上，注意力吸引了层次规划的能力，以真正应对来自现实世界的应用程序的要求。我们提出了一个基于框架的方法来补救这种情况。首先，我们提供了一个基础，定义不同的正式模型的层次规划，并定义了两个模型，包括大部分的HTN规划师。其次，我们提供了一套概念，有助于解释HTN规划师从他们的搜索空间的方面。然后，我们分析和比较的规划者的基础上组织在五个部分，即域创作，表现力，能力，性能和适用性的各种属性。此外，我们选择Web服务组合作为一个现实世界和当前的应用，分类和比较的方法，采用HTN规划来解决服务组合的问题。最后，我们总结了我们的研究结果，并提出了未来工作的方向。
2014-03-28 cs.AI
Toward Discovering Options that Achieve Faster Planning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们提出了一个新的目标选项发现，强调在规划中使用选项的计算优势。在时序机中，规划的速度与用于实现良好策略的基本操作的数量成正比。对于情节任务，基本操作的数量取决于在情节中由策略组成的选项的数量以及在每个决策点处考虑的选项的数量。为了减少规划中的计算量，对于给定的一组情景任务和给定数量的选项，我们的目标更倾向于选择那些可以通过组成少数选项来实现高回报的选项，并且在每个决策点也更倾向于选择较小的选项。我们开发了一种算法，优化提出的目标。在经典的四室域的一个变体中，我们表明：1）较高的目标值通常与较少数量的基本规划操作相关联，所述基本规划操作由选项值迭代算法用于获得接近最优的价值函数，2）我们的算法实现了一个目标值，该目标值与两个人类设计的选项所实现的目标值相匹配3）选项所使用的计算量-我们的算法发现的选项的值迭代将其与人类设计的选项相匹配，4）我们的算法产生的选项也具有直观意义-它们似乎移动到房间的入口处并在入口处终止。
2022-09-29 cs.AI cs.LG
HDDL -- A Language to Describe Hierarchical Planning Problems
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Ulm University（乌尔姆大学）；The MITRE Corporation（MITRE公司）
层次规划的研究在近几年取得了长足的进展。许多最近的系统不再依赖于手工定制的建议来寻找解决方案，而是应该是具有复杂解决技术的独立于领域的系统。原则上，这种发展将使系统之间的比较更容易（因为领域不再是针对单个系统的），而且更重要的是，还可以集成到其他系统中，因为建模过程不那么繁琐（由于缺乏建议），并且没有（或更少）对模型创建的特定规划系统的承诺。然而，这些优势被破坏的缺乏一个共同的输入语言和功能集支持的不同的系统。在本文中，我们提出了一个扩展PDDL，用于非层次规划的描述语言，层次规划系统的需要。我们限制我们的语言的一个基本功能集共享的许多最近的系统，PDDL的EBNF语法定义的扩展，并讨论我们的扩展相对于几个规划师特定的输入语言从相关的工作。
2019-11-13 cs.AI
Hierarchical Planning in the IPC
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Ulm University（乌尔姆大学）；The MITRE Corporation（MITRE公司）
在过去的一年里，对层次规划的研究有所增加，导致规划人员的业绩有了很大的改善。然而，研究是不同的，规划者有点难以相互比较。这主要是由于没有一套标准的基准领域，甚至也没有一个共同的描述语言的层次规划问题。因此，可用的规划器支持广泛变化的功能集，并且（几乎）没有一个可以解决（甚至解析）为另一个规划器开发的任何问题。在本文中，我们建议创建一个新的轨道的IPC中，层次规划者将竞争。这场竞赛将产生一种标准化的描述语言，规划者对该语言核心特征的更广泛支持，一组基准问题，一种公平客观地比较HTN规划者的方法，以及规划者面临的新挑战。
2019-09-10 cs.AI
A Hierarchical Temporal Planning-Based Approach for Dynamic Hoist Scheduling Problems
Sun Yat-Sen University（中山大学）；Software Engineering Institute of Guangzhou（广州软件工程研究所）
随着自主设备的发展，提升机调度已成为电镀行业应用的瓶颈。虽然有一些方法提出了针对具有挑战性的问题，他们通常不能扩展到大规模的调度问题。在本文中，我们制定了提升机调度问题作为一个新的时间规划问题的形式，适应PDDL，并提出了一种新的分层时间规划方法，有效地解决调度问题。此外，我们还提供了一系列真实的基准测试实例，可用于评估问题的解决方案。我们表明，所提出的方法是能够有效地找到高质量的解决方案，为大规模的现实生活中的基准实例，与国家的最先进的基线相比。
2022-12-11 cs.AI
A Roadmap to Guide the Integration of LLMs in Hierarchical Planning
本文提出了一条引导大型语言模型在分层规划中整合的路线图，通过分类整合方法和建立基准测试，探索LLMs在分层规划中的应用潜力。
2025-11-22 cs.AI
Hierarchical Width-Based Planning and Learning
Universitat Pompeu Fabra（庞培法布拉大学）
基于宽度的搜索方法已经在广泛的测试平台中表现出最先进的性能，从经典的规划问题到基于图像的模拟器，如Atari游戏。这些方法的规模独立的状态空间的大小，但在问题的宽度呈指数。在实践中，运行宽度大于1的算法在计算上是难以处理的，这使得IW无法解决更大宽度的问题。在本文中，我们提出了一个分层算法，计划在两个层次的抽象。高级规划器使用从低级修剪决策中逐渐发现的抽象特征。我们说明了这种算法在经典的规划PDDL域，以及在基于像素的模拟器域。在经典规划中，我们展示了两个抽象层次上的IW（1）如何解决宽度为2的问题。对于基于像素的域，我们展示了如何结合一个学习的政策和一个学习的价值函数，建议的分层IW可以优于目前的平面IW为基础的规划者在雅达利游戏稀疏奖励。
2021-09-01 cs.AI
The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
研究探讨了大语言模型在无监督情况下发现多步规划策略的极限，发现模型在单次前向传递中能执行最多七步潜在规划，揭示了训练与测试时能力的差异。
2026-04-07 cs.AI cs.CL cs.LG
HH-SAE: Discovering and Steering Hierarchical Knowledge of Complex Manifolds
University of Glasgow（格拉斯哥大学）；University of International Relations（国际关系大学）；University College London（伦敦大学学院）
本文提出HH-SAE方法，通过分层结构解决高维领域中的特征密度冲突问题，通过分解流形层级提升跨域零样本AUC至0.9156，并在欺诈检测中实现高精度发现。
2026-05-11 cs.AI cs.LG
Learning and Reusing Policy Decompositions for Hierarchical Generalized Planning with LLM Agents
IBM
本文提出一种结合通用规划与分层任务分解的动态策略学习方法，通过自动分解学习可重用的策略组件，提升任务执行效率与准确性。
2026-05-07 cs.AI
FAPE: a Constraint-based Planner for Generative and Hierarchical Temporal Planning
LAAS-CNRS（法国国家科学研究中心自动化系统实验室）；Université de Toulouse（图卢兹大学）；INSA（法国国立应用科学学院）；CNRS（法国国家科学研究中心）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
时间规划提供了许多优点时，基于表达的表示。时间轴可以提供所需的表现力，但以搜索效率为代价。我们在这里提出了一个时间规划器，称为FAPE，它支持ANML建模语言的许多表达时间的功能，而不会失去效率。FAPE的表示连贯地集成了灵活的时间表与分层细化方法，可以提供有效的控制知识。提出了一种新的可达性分析技术，并用于开发因果网络来约束搜索空间。它被用于设计有根据的推理方法、推理方法和有效的搜索策略。在该领域的共同基准上的实验结果允许评估FAPE的组件和搜索策略，并将其与IPC规划者进行比较。结果表明，所提出的方法是有竞争力的表达较少的规划，往往优于分层控制知识时提供。FAPE是一个免费提供的系统，提供了其他功能，这里没有涉及，例如计划与行动的集成，以及在部分可观察环境中处理感知动作。
2020-10-25 cs.AI
Discovering Effective Policies for Land-Use Planning with Neuroevolution
Cognizant AI Labs；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）；Open Climate Fix（开放气候修复）；Cognizant Technology Solutions
该研究通过神经进化方法，结合代理模型与进化搜索，在Project Resilience平台上实现了针对不同区域的有效土地利用规划策略发现，可生成碳影响与土地变化量权衡的Pareto前沿，为土地规划提供概念验证工具。
2025-04-18 cs.AI cs.LG cs.NE
Curiosity-Driven Imagination: Discovering Plan Operators and Learning Associated Policies for Open-World Adaptation
Tufts University（塔夫茨大学）；AIT Austrian Institute of Technology GmbH（奥地利技术研究院有限公司）
本文提出一种结合低层神经网络内在好奇心模块与高层符号规划算子的混合系统，通过想象空间规划与奖励机生成，实现开放世界中的快速适应，并在机器人操作任务中验证其收敛速度与性能优于现有混合方法。
2025-03-06 cs.AI cs.RO
From Coarse to Fine: Self-Adaptive Hierarchical Planning for LLM Agents
Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大模型与智能治理重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部）；Gaoling School of Artificial, Renmin University of China（人大北京校区人工智能学院）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出AdaPlan-H，一种自适应分层规划机制，通过逐步细化策略提升复杂任务执行效率，减少过度规划，提供灵活高效的多步骤决策方案。
2026-04-25 cs.AI
HyperTree Planning: Enhancing LLM Reasoning via Hierarchical Thinking
University of Science and Technology of China（中国科学技术大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
提出 HyperTree Planning (HTP) 推理范式，通过构建超树结构规划大纲并引入自主规划框架，使 LLM 能够分层思考并有效处理复杂规划任务，在 TravelPlanner 基准上取得 SOTA 准确率。
2025-05-29 cs.AI
