On Planning with Preferences in HTN
University of Toronto（多伦多大学）
在本文中，我们解决的问题，产生首选的计划相结合的程序控制知识，层次任务网络（HTNs）与丰富的定性用户的喜好。我们的工作成果是一种语言，用于指定用户的喜好，定制HTN规划，连同一个可证明的最佳的基于偏好的规划，HTNeconomy，这是实现作为一个扩展的SHOP2。为了计算优先计划，我们提出了一种基于前向链接启发式搜索的方法。我们的启发式算法使用了一个可接受的评价函数来衡量对部分计划的偏好的满意度。我们的实证评估证明了我们的HTNESTERNATICAL的有效性。我们证明我们的方法的声音和最佳的计划，它产生的呼吁情况演算语义我们的偏好语言和HTN规划。虽然我们的实现建立在SHOP2上，但这里提出的语言和技术与广泛的HTN规划者相关。
2009-09-03 cs.AI
Towards a General Framework for HTN Modeling with LLMs
本文提出L2HP框架，用于改进LLM在分层规划建模中的能力，通过实验发现分层规划的建模难度显著高于自动规划。
2025-11-22 cs.AI cs.SE
Risk Awareness in HTN Planning
Service Computing Department, Institute of Architecture of Application Systems, University of Stuttgart（应用系统架构研究所服务计算系，斯图加特大学）
本文针对HTN规划中缺乏风险意识的问题，提出基于期望效用理论和动作成本概率分布的通用风险感知HTN规划框架，使智能体能按特定风险态度计算计划，并通过案例研究验证其可行性与表达能力。
2025-06-04 cs.AI
From Classical to Hierarchical: benchmarks for the HTN Track of the International Planning Competition
Univ. Grenoble Alpes（格勒诺布尔大学）；LIG（LIG实验室）
在这篇简短的论文中，我们概述了提交给2020年国际规划竞赛第一层次规划赛道的九个经典基准。所有这些基准测试都基于HDDL语言。基准的选择是基于向HTN社区发送的问卷调查。它们是：酒吧，儿童零食，漫游者，卫星，Blocksworld，仓库，抓地力，和徒步旅行。在本文的其余部分，我们对这些基准进行了简短的描述。一切都井然有序。
2021-03-09 cs.AI
SHOP2: An HTN Planning System
University of Maryland（马里兰大学）；Institute for Systems Research（系统研究学院）；IBM Watson Research Center（IBM沃森研究中心）
SHOP2规划系统在2002年国际规划竞赛中获得杰出表现奖之一。本文介绍了SHOP2的功能，使它能够在竞争中脱颖而出，特别是那些方面的SHOP2处理时间和度量规划域。
2011-06-24 cs.AI
On Guiding Search in HTN Temporal Planning with non Temporal Heuristics
Univ. Grenoble Alpes（格勒诺布尔大学）
针对时态HTN规划研究少、定义不统一、启发式开发难的问题，本文提出通用POCL方法，复用非时态启发式求解时态HTN问题，实验证明其性能优于现有方法。
2023-06-13 cs.AI
Task Modifiers for HTN Planning and Acting
Lehigh University（理海大学）；Wright State University（莱特州立大学）
在动态环境中，智能体改变其目标以响应意外事件的能力是可取的。为了提供这种能力，分层任务网络（HTN）的规划，我们提出了一个扩展的范式称为任务修改器，这是功能，接收任务列表和状态，并产生一个新的任务列表。我们专注于一个特定类型的问题，其中计划和执行是交织和处理外源事件的能力是至关重要的。为了确定这种方法的有效性，我们评估了我们的任务修改器实现在两个环境中的性能，其中之一是一个模拟，从传统的HTN域有很大的不同。
2022-02-09 cs.AI
Une approche totalement instanciée pour la planification HTN
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Intrinsec（Intrinsec公司）
已经开发了许多规划技术，以允许自主系统根据其对环境的感知来采取行动和做出决策。在这些技术中，HTN（{ \it Hierarchical Task Network}）规划是实践中使用最多的技术之一。不同于传统的规划方法。HTN通过将任务分解为子任务来操作，直到这些子任务中的每一个都可以实现动作。这种分层表示提供了规划问题的更丰富的表示，并允许更好地指导计划搜索，并为底层算法提供更多的知识。在本文中，我们提出了一种新的HTN规划方法，在传统的规划，我们实例化所有的规划运营商开始搜索过程之前。这种方法已经证明了它的有效性，在经典的规划，是必要的发展有效的规划和编码规划问题在其他形式主义，如CSP或SAT。实例化实际上被大多数现代规划者使用，但从未应用于基于HTN的规划框架。在这篇文章中，我们提出了一个通用的实例化算法，实现了许多简化技术，以减少过程的复杂性，从经典的规划中使用的启发。最后，我们提出了一些结果，从实验中使用的一系列问题，在国际规划竞赛与修改后的版本的SHOP计划器使用完全实例化的问题。
2018-10-22 cs.AI
An Efficient HTN to STRIPS Encoding for Concurrent Plans
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
层次任务网络（HTN）的形式主义是用来表达各种各样的规划问题的分解成subtakes的任务。已经提出了许多技术来解决这种层次规划问题。一种特殊的技术是将层次规划问题编码为经典的分层规划问题。这种技术的一个优点是直接受益于CNOPS规划人员的不断改进。然而，仍然有一些有效的和有表现力的编码。在本文中，我们提出了一个新的HTN到CNOPS编码允许生成并发计划。我们的实验表明，这种编码优于以前的方法分层IPC基准。
2022-06-14 cs.AI
Probabilistic contingent planning based on HTN for high-quality plans
针对部分可观测环境下规划质量差异问题，提出基于HTN的概率权变规划器HQCP，通过成本形式化、新型启发式与集成算法生成高质量规划，并经实验验证有效高效。
2023-09-28 cs.AI
Lose the Order, Keep the Hierarchy: Deordering HTN Plans
本文将经典规划的两种去序技术适配HTN场景，在IPC 2023基准上与Optiplan对比，实现了HTN规划顺序约束的大幅减少，同时关键路径长度也有一定降低。
2026-09-04 cs.AI
Refining HTN Methods via Task Insertion with Preferences
Sun Yat-sen University（中山大学）；IRIT（图卢兹计算机科学研究所）；University of Toulouse（图卢兹大学）
分层任务网络（HTN）规划在现实世界的规划中显示出其强大的功能。虽然领域专家有部分层次的领域知识，它是耗时的指定所有HTN方法，使他们不完整。另一方面，传统的HTN学习方法只关注陈述性目标，忽略了层次化的领域知识。在本文中，我们提出了一种新的学习框架，通过任务插入完善HTN方法，完全保留原始方法。由于它是很难识别不完整的方法，而不指定声明性目标的复合任务，我们引入了优先级偏好的概念，以捕捉方法的不完整性的可能性。具体地，框架首先计算优选完成简档w.r.t.对不完整的方法进行优化的优先选择。然后通过方法替换操作找到最小的精化方法集。实验分析表明，我们的方法是有效的，特别是在解决新的HTN规划实例。
2019-11-29 cs.AI
Towards Combining HTN Planning and Geometric Task Planning
LAAS/CNRS（法国国家科学研究中心系统架构与分析实验室）
在本文中，我们提出了一个符号规划器和几何任务规划器之间的接口，这是一个标准的轨迹规划器的不同之处在于，前者是能够执行抽象的实体-任务的几何推理。我们相信，这种方法有利于一个更有原则的接口，象征性的规划，同时也留下了更多的空间，几何规划师作出独立的决定。我们展示了两个规划者如何进行接口，以及他们的规划和回溯如何交错。我们还提供了使用组合系统的方法的见解，和实验结果作为基准与未来的扩展组合系统，以及几何任务规划。
2013-07-04 cs.AI
HTN Planning Domain for Deployment of Cloud Applications
Institute for Architecture of Application Systems（应用系统架构研究所）；University of Stuttgart（斯图加特大学）
云提供商在配置准备部署在其基础设施上的软件应用程序时面临着一个复杂的问题。分层任务网络规划可以为解决此类部署问题提供有效的手段。我们提出了一个HTN规划域模型部署问题，发现在现实的云环境。
2021-05-28 cs.AI cs.DC
HDDL 2.1: Towards Defining an HTN Formalism with Time
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ONERA（法国航空航天实验室）
现实世界中的规划应用，如工业和机器人，需要建模丰富多样的场景。它们的解决通常需要协调和并发的行动执行。在某些情况下，这样的规划问题自然地分解成一个层次的方式和层次任务网络（HTN）的形式主义表示。用于指定规划域的PDDL语言已经发展到涵盖不同的规划范例。然而，在确定解决方案时，在数字和时间限制并存的情况下，制定真实和复杂的情景仍然是一个挑战。我们的建议旨在填补现有规划语言与业务需求之间的差距。为此，我们建议从PDDL 2.1和ANML中汲取灵感，扩展HDDL以表达时间和数值表达式。本文讨论的语义和语法需要扩展HDDL，并说明这些需求与地球观测卫星规划问题的建模。
2022-06-03 cs.AI
An Accurate HDDL Domain Learning Algorithm from Partial and Noisy Observations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
层次任务网络（{ \sf HTN}）形式主义是非常有表现力的，用于表达各种各样的规划问题。与经典的{ \sf HTN}形式主义（其中只需要指定动作模型）不同，{ \sf HTN}形式主义还需要指定问题的任务及其分解为子任务的方法（称为{ \sf HTN}方法）。因此，专家们认为手工编码的{ \sf HTN}问题比经典规划问题更困难，更容易出错。为了解决这个问题，我们提出了一种新的方法（HierAMLSI）的语法归纳的基础上获得{ \sf HTN}规划领域的知识，通过学习行动模型和{ \sf HTN}方法与他们的先决条件。与其他方法不同，HierAMLSI能够以高水平或高精度学习具有噪声和部分输入观测的动作和方法。
2022-06-14 cs.AI
HDDL 2.1: Towards Defining a Formalism and a Semantics for Temporal HTN Planning
University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ONERA（法国航空航天研究院）；University of Toulouse（图卢兹大学）
针对现有HDDL无法表示数值与时序约束、难以满足现实应用需求的问题，本文借鉴PDDL 2.1扩展HDDL以支持相关表达式，并围绕HDDL 2.1的语法与语义展开讨论，推动时序HTN规划形式化体系建设。
2023-06-12 cs.AI
An Overview of Hierarchical Task Network Planning
Johann Bernoulli Institute for Mathematics and Computer Science（约翰·伯努利数学与计算机科学研究所）；University of Groningen（格罗宁根大学）
层次结构是用来更好地理解世界的最常见的结构。例如，在星系中，多星系统是以一个等级系统组织起来的。然后，政府和公司组织使用层次结构，而每天使用的互联网具有分层排列的域名空间。由于人工智能（AI）规划描绘了关于世界的信息和解决世界上一些问题的原因，因此近40年前引入了分层任务网络（HTN）规划来表示和处理层次结构。HTN需要丰富的领域知识来覆盖世界，这使得HTN规划非常有用，而且表现良好。然而，近40年的历史混淆了目前对HTN规划的理解，包括成就，规划模型，层次规划师之间的异同以及其当前和客观的形象。在这些问题之上，注意力吸引了层次规划的能力，以真正应对来自现实世界的应用程序的要求。我们提出了一个基于框架的方法来补救这种情况。首先，我们提供了一个基础，定义不同的正式模型的层次规划，并定义了两个模型，包括大部分的HTN规划师。其次，我们提供了一套概念，有助于解释HTN规划师从他们的搜索空间的方面。然后，我们分析和比较的规划者的基础上组织在五个部分，即域创作，表现力，能力，性能和适用性的各种属性。此外，我们选择Web服务组合作为一个现实世界和当前的应用，分类和比较的方法，采用HTN规划来解决服务组合的问题。最后，我们总结了我们的研究结果，并提出了未来工作的方向。
2014-03-28 cs.AI
Automatically Learning HTN Methods from Landmarks
Institute for Systems Research, Univ. of Maryland（马里兰大学系统研究学院）；Navy Center for Applied Research in AI, Naval Research Laboratory（美国海军研究实验室海军人工智能应用研究中心）
针对 HTN 规划方法依赖人工标注的问题，本文提出 CURRICULAMA，利用路标分析与课程学习自动生成并排序方法，证明其可靠且收敛率与 HTN-MAKER 相近。
2024-04-09 cs.AI
Task Interaction in an HTN Planner
Johann Bernoulli Institute for Mathematics and Computer Science（约翰·伯努利数学与计算机科学研究所）；University of Groningen（格罗宁根大学）
分层任务网络（HTN）规划使用任务分解来规划可执行的动作序列作为问题的解决方案。为了有效地推理，HTN规划者需要表达领域知识。例如，一个简化的HTN规划系统，如JSHOP2，使用这样的表现力，并避免了一些任务的相互作用，由于增加的复杂性的规划过程。我们解决的可能性，简化的域表示需要HTN规划师找到好的解决方案，特别是在现实世界中的域描述家庭和楼宇自动化环境。我们扩展了JSHOP2规划器，以推理当任务的效果已经由其他任务实现时发生的任务交互。然后，规划器修剪一些由于规划过程的交错性质而可能发生的冗余搜索。我们评估原始的和我们改进的计划在两个基准域。我们表明，我们的计划更好地使用简化的领域知识，并优于JSHOP2在一些相关的情况下。
2011-11-30 cs.AI cs.DC
HATP: An HTN Planner for Robotics
CNRS（法国国家科学研究中心）；LAAS（系统分析与体系结构实验室）；Univ de Toulouse（图卢兹大学）；INSA（国立应用科学学院）
层次任务网络规划是一种基于领域控制知识的层次化规划方法，它可以减少传统规划的搜索空间。这提供了一种直观的方法，用于指定关于机器人和智能体应如何执行任务的高级指令，同时也为规划者提供了足够的灵活性来选择较低级别的步骤及其排序。在本文中，我们提出了HATP（分层代理的任务规划）规划框架，扩展了传统的HTN规划域的表示和语义，使它们更适合机器人专家，并处理代理作为“第一类”实体的语言。前者是通过允许“社会规则”来定义，指定什么行为是可接受的/不可接受的域中的代理/机器人，并交错规划与几何推理，以验证在线-相对于一个详细的几何3D世界-人类/机器人的行动目前正在追求的HATP。
2014-06-12 cs.AI cs.RO
Knowledge Model Prompting Increases LLM Performance on Planning Tasks
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
TMK框架通过显式任务分解和因果推理提升LLM在规划任务中的性能，使其在复杂符号任务中达到97.3%的准确率。
2026-02-03 cs.AI
SibylSat: Using SAT as an Oracle to Perform a Greedy Search on TOHTN Planning
University Grenoble Alpes（格勒诺布尔大学）
本文提出SibylSat，一种基于SAT的贪心搜索方法，用于高效求解全序HTN规划问题，在IPC基准上优于现有方法，提升运行时间和计划质量。
2024-11-04 cs.AI
A Probabilistic Framework for Hierarchical Goal Recognition
Monash University（蒙纳士大学）；The University of Melbourne（墨尔本大学）
本文提出基于规划的概率框架，用于层次目标识别，结合层次任务网络结构与概率推理，提升目标识别性能。
2026-04-24 cs.AI cs.SC
Hierarchical Task Network Planning for Facilitating Cooperative Multi-Agent Reinforcement Learning
Jilin University（吉林大学）；Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对稀疏奖励带陷阱的协作MARL中智能体易落陷阱、难达目标的问题，提出融合HTN规划与元控制器的两层SOMARL框架，利用符号知识引导探索，在两个基准上性能显著优于现有方法。
2023-06-14 cs.AI cs.LG
SPINE: Online Semantic Planning for Missions with Incomplete Natural Language Specifications in Unstructured Environments
针对不完整自然语言任务的机器人在线规划难题，提出SPINE规划器，结合LLM推理隐含子任务与滚动时域框架，在大尺度杂乱户外环境中实现了效率翻倍、无需预建地图且交互更少的语义规划。
2025-03-21 cs.AI cs.RO
HTN-Orchestrate: A Hierarchical Task Network Framework for Multi-Agent Orchestration
Nanyang Technological University（南洋理工大学）；Apodex
该研究针对多智能体编排的子任务建模问题，提出HTN-Orchestrate两层框架，在五个基准测试中性能优于ReAct等方法，在BrowseComp和SUPERChem上准确率分别达89.73%、73.44%。
2026-10-20 cs.AI cs.CL
HyperTensioN and Total-order Forward Decomposition optimizations
University of Aberdeen（阿伯丁大学）；University of Cambridge（剑桥大学）
分层任务网络（HTN）规划者使用具有额外领域知识的分解过程来生成规划，以引导对规划任务的搜索。当领域专家开发HTN描述时，他们可能会重复描述相同的前提条件，或者很少使用或可能被分解的方法。通过利用三级编译器设计，我们可以轻松地支持更多的语言描述和预处理优化，当链接时可以大大提高这些领域的运行时效率。在本文中，我们使用HTN IPC 2020中使用的HyperTensioN HTN规划器来评估此类优化。
2022-07-01 cs.AI cs.MA cs.SY
FHHOP: A Factored Hybrid Heuristic Online Planning Algorithm for Large POMDPs
部分可观测马尔可夫决策过程（POMDPs）的规划仍然是人工智能社区的一个具有挑战性的话题，尽管最近在近似技术方面取得了令人印象深刻的进展。以前的研究表明，在线规划方法是有前途的，在处理大规模POMDP域有效地，因为他们作出决定“按需”，而不是主动为整个状态空间。提出了一种求解大型POMDPs的因子混合启发式在线规划算法。FHHOP通过将新的混合启发式搜索策略与最近开发的分解状态表示相结合来获得其功能。在几个基准问题上，FHHOP在可扩展性和质量方面都大大优于最先进的在线启发式搜索方法。
2012-10-16 cs.AI
HyP-DESPOT: A Hybrid Parallel Algorithm for Online Planning under Uncertainty
不确定性下的规划是机器人在不确定、动态环境中实现鲁棒性能的关键，但其计算代价很高。最先进的在线搜索算法，如DESPOT，大大提高了不确定性下规划的计算效率，使其成为机器人实践中的一个有价值的工具。这项工作通过利用CPU和GPU并行化更进一步，以便为具有大型状态，动作和观察空间的复杂任务实现近实时在线规划性能。具体来说，我们提出了混合并行DESPOT（HyP-DESPOT），一个大规模并行在线规划算法，集成了CPU和GPU的并行性在一个多层次的计划。它通过使用多核CPU同时遍历多个独立路径来执行并行DESPOT树搜索，并使用GPU在搜索树的叶节点处执行并行Monte-Carlo模拟。实验结果表明，HyP-DESPOT加快了高达几百倍的在线规划，与原来的DESPOT算法相比，在几个具有挑战性的机器人任务的仿真。
2018-02-17 cs.AI
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Combining Offline Models and Online Monte-Carlo Tree Search for Planning from Scratch
Xiamen University（厦门大学）
随机和部分可观测环境中的规划问题是人工智能的一个核心问题。解决这类问题的一个常用技术是首先构建一个精确的模型。虽然最近已经提出了一些方法来学习模型不确定性下的最佳行为，先验知识的环境仍然需要保证所提出的算法的性能。利用预测状态表示（Predictive State Representations~（PSR））方法的状态表示和模型预测的优点，本文提出了一种从头开始规划的方法，该方法首先离线学习PSR模型，然后结合在线蒙特卡罗树搜索进行模型不确定性规划。通过与模型不确定性规划方法的比较，证明了所提出方法的有效性及其收敛性。我们所提出的方法的有效性和可扩展性也进行了测试的RockSample问题，这是不可行的最先进的BA-POMDP为基础的方法。
2019-04-05 cs.AI
Learn a Prior for RHEA for Better Online Planning
USTC（中国科学技术大学）
滚动时域进化算法（RHEA）是一类用于实时游戏的在线规划方法，其性能与规划时域和允许的搜索时间密切相关。在本文中，我们建议通过训练一个价值网络和一个策略网络来离线学习RHEA的先验知识。价值网络用于通过提供未来回报的估计来减少规划范围，并且策略网络用于初始化种群，这有助于缩小搜索范围。该算法称为基于先验的RHEA（p-RHEA），通过迭代地执行规划和学习来训练策略和价值网络。在规划阶段，利用策略网络和价值网络进行水平受限搜索，以改进策略和收集训练样本。在学习阶段，利用收集的样本对策略网络和价值网络进行训练，以更好地学习先验知识。在OpenAI Gym MuJoCo任务上的实验结果表明，与RHEA相比，p-RHEA的性能得到了显著提高。
2019-02-22 cs.AI
Online Learning and Planning in Partially Observable Domains without Prior Knowledge
Xiamen University（厦门大学）
智能体如何在随机的、部分可观测的领域中最优地行动是一个具有挑战性的问题，解决这个问题的标准方法是首先学习领域模型，然后基于学习到的模型找到（近）最优策略。然而，离线学习模型通常需要存储整个训练数据，并且不能利用规划阶段生成的数据。此外，目前的研究通常假设学习的模型是准确的，或者预先假定对世界上不可观察部分的性质的了解。本文针对离散系统，利用预测状态表示（PSRs）的优点，提出了一种基于模型的规划方法，该方法的学习和规划阶段都可以在线执行，并且不需要底层系统的先验知识。实验结果表明，与最先进的方法相比，我们的算法实现了高水平的性能，没有提供先验知识，以及PSRs的理论优势。源代码可在https://github.com/DMU-XMU/PSR-MCTS-Online上获得。
2019-06-11 cs.AI
Spatial-Temporal Deep Intention Destination Networks for Online Travel Planning
Hangzhou Dianzi University（杭州电子科技大学）；Alibaba Group（阿里巴巴集团）
如今，人工神经网络被广泛用于用户的在线旅游规划。个性化出行规划有着广泛的实际应用，它受到多种因素的影响，如交通类型、目的地预测、预算限制和拥挤预测等。其中，用户的意向目的地预测是在线旅游平台的一项重要任务。原因在于，用户可能仅在旅行计划与他的真实意图目的地匹配时才对旅行计划感兴趣。因此，本文重点研究在线旅游平台用户意向目的地预测。具体来说，我们作为在线旅游平台（如Fliggy和Airbnb）为用户推荐旅行计划，计划由酒店套餐、景区套餐等各种度假项目组成，在旅行计划中预测实际意向目的地是一个挑战。首先，用户的意图目的地与他们的旅行状态高度相关（例如，计划旅行或完成旅行）。其次，用户在不同产品类型（例如训练票、签证申请）上的动作（例如点击、搜索）在目的地预测中具有不同的指示。第三，用户大多在公众假期前访问旅游平台，因此在线旅游平台的用户行为更加稀疏、低频和长周期。因此，我们提出了一种深度多序列融合神经网络（DMSN），从融合的多行为序列预测意图目的地。真实数据集被用来评估我们提出的DMSN模型的性能。实验结果表明，提出的DMSN模型可以达到较高的意图目的地预测精度。
2021-08-09 cs.AI
Position Paper: Online Modeling for Offline Planning
Bar-Ilan University（巴伊兰大学）
规划问题的定义和表示是人工智能规划研究的核心。一个关键部分是动作模型的表示。几十年来，声明式动作模型表示的改进带来了许多理论上的进步，以及有能力的、工作的、独立于领域的规划者。然而，尽管该领域已经成熟，但人工智能规划技术仍然很少在研究界之外使用，这表明当前的表示无法捕捉现实世界的需求，例如利用从数据中学习的复杂数学函数和模型。我们认为，这是因为建模过程被假定为在规划过程之前已经发生和完成，即，离线规划的离线建模。这种方法有几个固有的挑战，包括：声明性建模语言的表达能力有限;早期承诺建模选择和计算，这妨碍了为每个动作模型使用最合适的解决方案-这只能在规划期间知道;以及难以可靠地使用非声明性，学习模型。因此，我们建议改变人工智能规划流程，使其在离线规划中进行在线建模，即，在访问时，使用作为规划过程的一部分计算甚至生成的动作模型。这概括了现有的方法（离线建模）。拟议的定义承认新颖的规划过程，我们建议一个具体的实施，展示该方法。我们勾画了初步的结果，作为第一次尝试的一部分，按照这种方法与行动成本估算规划。最后，我们讨论开放的挑战。
2022-06-20 cs.AI
Online Planning Algorithms for POMDPs
McGill University（麦吉尔大学）；Laval University（拉瓦尔大学）
部分可观测马尔可夫决策过程（POMDPs）为随机域中不确定性下的序贯决策提供了一个丰富的框架。然而，解决POMDP往往是棘手的，除了小问题，由于其复杂性。在这里，我们专注于在线方法，减轻计算复杂性计算良好的本地政策在执行过程中的每个决策步骤。在线算法通常由前瞻搜索组成，以找到在环境中的每个时间步执行的最佳动作。我们在这里的目标是调查现有的各种在线POMDP方法，分析其属性，并讨论其优点和缺点;并彻底评估这些在线方法在不同的环境下的各种指标（返回，误差界减少，下界改进）。我们的实验结果表明，国家的最先进的在线启发式搜索方法可以有效地处理大POMDP域。
2014-01-15 cs.AI
A Bayesian Approach to Online Planning
General Motors（通用汽车公司）；Technion - Israel Institute of Technology（以色列理工学院）
提出一种基于Thompson sampling的贝叶斯在线规划方法，利用神经网络输出的不确定性估计改进Monte Carlo tree search，在ProcGen环境中显著提升了搜索效率。
2024-06-04 cs.AI
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology（以色列理工学院）
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划，通过扩展三种算法以优化风险度量，实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
Learning Cooperation and Online Planning Through Simulation and Graph Convolutional Network
University of Dhaka（达卡大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
多智能体马尔可夫决策过程（MMDP）已成为一种有效的建模方法的顺序决策算法的多智能体合作环境。在这一领域已经开发了许多基于集中式和分散式规划的算法。然而，动态变化的环境，加上指数大小的状态和联合行动空间，使这些算法难以提供效率和可扩展性。近年来，集中式规划算法FV-MCTS-MP和分散式规划算法\textit{Alternate maximization with Behavioural Cloning}（ABC）在求解MMDPs问题上取得了显著的性能。然而，它们不能适应动态变化的环境和会计代理之间缺乏沟通，分别。在此背景下，我们介绍了一个模拟为基础的在线规划算法，我们称之为SiCLOP，多智能体协作环境。具体来说，SiCROP定制蒙特卡罗树搜索（MCTS），并使用协调图（CG）和图神经网络（GCN）来学习合作，并提供MMDP问题的实时的解决方案。它还通过有效修剪动作空间来提高可伸缩性。此外，与FV-MCTS-MP和ABC不同，SiCROP支持迁移学习，这使得学习过的代理能够在不同的环境中运行。我们还提供了理论上的讨论，我们的算法的收敛性的背景下，多智能体设置。最后，我们广泛的实证结果表明，SiCLOP显着优于国家的最先进的在线规划算法。
2021-10-16 cs.AI
Safe POMDP Online Planning via Shielding
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
本文针对 POMCP 等在线规划缺乏安全保证的问题，提出四种基于几乎必然到达—规避规范的屏蔽方法并集成到 POMCP，在大型 POMDP 基准上实现安全保证且运行时开销可忽略。
2024-03-02 cs.AI
Rollout Heuristics for Online Stochastic Contingent Planning
Ben Gurion University（本·古里安大学）
针对POMCP依赖领域特定rollout启发式的问题，研究将POMDP建模为随机应急规划问题，提出两种领域无关的rollout启发式方法以提升决策效果。
2023-10-03 cs.AI
Leveraging Planning Landmarks for Hybrid Online Goal Recognition
Institute for Enterprise Systems, University of Mannheim（曼海姆大学企业系统研究所）；Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学研究组）
目标识别在许多应用领域（例如，普适计算、入侵检测、计算机游戏等）。在许多应用场景中，重要的是目标识别算法可以尽可能快地识别被观察的Agent的目标，并且具有最少的领域知识。因此，在本文中，我们提出了一种混合的方法，结合了一个象征性的规划地标为基础的方法和数据驱动的目标识别方法，在线目标识别，并评估它在现实世界中的烹饪场景。实验结果表明，该方法不仅在计算时间方面比现有技术更有效，而且还提高了目标识别性能。此外，我们表明，利用规划地标为基础的方法，这是迄今为止只评估人工基准域，也实现了良好的识别性能时，应用到现实世界的烹饪场景。
2023-01-25 cs.AI
Online Robust Planning under Model Uncertainty: A Sample-Based Approach
本文提出鲁棒稀疏采样（RSS），首个面向鲁棒MDP的在线规划算法，利用样本平均近似高效计算鲁棒值函数，在不确定动力学环境中优于标准稀疏采样。
2025-09-19 cs.AI
Data-driven Blockbuster Planning on Online Movie Knowledge Library
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Florida State University（佛罗里达州立大学）；Tsinghua University（清华大学）
在大数据时代，物流规划可以由数据驱动，以利用过去积累的知识。而在电影行业中，电影策划也可以利用现有的在线电影知识库来达到更好的效果。然而，由于大量的现有电影和促成每部电影的成功的各种现实世界因素，诸如电影类型、可用预算、制作团队，仅仅依靠传统的电影规划是无效的。（涉及演员、女演员、导演、编剧）等。本文中，我们研究“大片计划”（BlockbusterPlanning，BP）问题，以从以前的电影中学习，并以完全数据驱动的方式计划低预算但高回报的新电影。在深入研究了一个在线电影知识库的基础上，提出了一个新的电影规划框架“最大化电影配置熟悉度的大片规划”（BigMovie）。从投资的角度来看，BigMovie在给定预算的情况下最大化计划电影的估计总收入。它能够以0.26的平均绝对百分比误差（和0.16的预算）准确地估计电影总收入。同时，从制作团队的角度来看，BigMovie能够用团队成员熟悉的人/电影类型来组建优化的团队。历史协作记录被用来通过熟人张量来估计电影配置因素的熟人得分。我们制定的BP问题作为一个非线性二元规划问题，并证明其NP-困难。为了在多项式时间内解决它，BigMovie放松了硬二进制约束，并将BP问题作为三次规划问题来解决。在IMDB电影数据库上进行的大量实验表明，BigMovie能够有效地进行数据驱动的大片规划。
2018-10-24 cs.AI
Scalable Online Planning via Reinforcement Learning Fine-Tuning
Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
前瞻搜索是最近人工智能成功的关键组成部分，例如在国际象棋，围棋和扑克游戏中。然而，在这些游戏和许多其他设置中使用的搜索方法是表格式的。表格搜索方法不能很好地随搜索空间的大小缩放，并且随机性和部分可观测性加剧了这个问题。在这项工作中，我们通过强化学习在线模型为基础的政策神经网络的微调取代表格搜索，并表明这种方法优于国家的最先进的搜索算法在基准设置。特别是，我们使用我们的搜索算法，以实现一个新的国家的最先进的结果在自我发挥Hanabi，并显示我们的算法的一般性，也表明它优于表格搜索在雅达利游戏女士。
2021-09-30 cs.AI
Online Speedup Learning for Optimal Planning
Technion - Israel Institute of Technology（以色列理工学院）
领域无关规划是人工智能领域的一个基础领域。规划任务的描述由初始世界状态、目标和用于修改世界状态的一组操作组成。目标是找到一个行动序列，即一个计划，将初始世界状态转换为目标状态。在最优规划中，我们感兴趣的不仅仅是找到一个计划，而是找到一个最便宜的计划。目前，最优规划的一个突出方法是启发式状态空间搜索，由可接受的启发式函数指导。许多可接受的启发式算法已经被开发出来，每一个都有自己的优点和缺点，众所周知，一般来说，没有一个“最佳启发式”用于最佳规划。因此，对于给定的规划任务选择哪种启发式是一个困难的问题。这种困难可以通过组合几种启发式算法来避免，但这需要在每个状态下计算许多启发式估计，并且这样做所花费的时间与不同启发式算法的组合优势所节省的时间之间的权衡可能很高。我们提出了一种新的方法，降低了成本相结合的最优规划，同时保持其优势。使用一个理想化的搜索空间模型，我们制定了一个决策规则，选择最好的启发式计算在每个状态。然后，我们提出了一个积极的在线学习的方法来学习一个分类器的决策规则作为目标概念，并采用学习分类器来决定在每个状态下计算的启发式。我们评估这种技术的经验，并表明，它大大优于标准的方法，通过其逐点最大值相结合的几个prostitics。
2014-01-23 cs.AI
Online Planning in POMDPs with Self-Improving Simulators
Delft University of Technology（代尔夫特理工大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）
当时间预算有限时，我们如何在大型复杂的环境中有效地进行计划？考虑到环境的原始模拟器，这可能是计算上非常苛刻，我们建议在线学习一个近似的，但更快的模拟器，随着时间的推移而改进。为了可靠和有效地计划，而近似模拟器正在学习，我们开发了一种方法，自适应地决定使用哪个模拟器为每个模拟，基于一个统计，测量近似模拟器的准确性。这允许我们使用近似模拟器来代替原始模拟器，以便在当前环境下足够准确时进行更快的模拟，从而权衡模拟速度和准确性。在两个大的领域的实验结果表明，当与POMCP集成，我们的方法允许计划随着时间的推移提高效率。
2022-12-12 cs.AI
A Hybrid POMDP-BDI Agent Architecture with Online Stochastic Planning and Plan Caching
Centre for Artificial Intelligence Research（人工智能研究中心）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）；CSIR Meraka（南非科学与工业研究理事会梅拉卡研究所）
本文提出了一种在随机环境中控制自主智能体的智能体体系结构。该体系结构结合了部分可观察马尔可夫决策过程（POMDP）模型与信念-愿望-意图（BDI）框架。混合POMDP-BDI代理体系结构从两种方法中获得最佳功能，即从POMDP理论在线生成奖励最大化的行动课程，以及从BDI理论复杂的多目标管理。我们介绍了自引入基本架构以来所取得的进展，包括（i）同时追求多个目标的能力和（ii）用于存储预先编写的计划和存储最近生成的计划以供将来重用的计划库。一个版本的架构没有计划库的实施和评估使用模拟。仿真实验结果表明该方法是可行的。
2016-07-03 cs.AI
Online Bayesian Goal Inference for Boundedly-Rational Planning Agents
Massachusetts Institute of Technology（麻省理工学院）
人们通常通过观察他人的行为来推断他们的目标。值得注意的是，即使这些行动导致失败，我们也可以这样做，使我们能够在发现他人可能无法实现目标时帮助他们。我们如何才能赋予机器类似的能力？在这里，我们提出了一个架构，能够推断代理的目标在线从最佳和非最佳的行动序列。我们的架构模型代理有限理性规划者交错搜索与执行重新规划，从而占次优行为。这些模型被指定为概率程序，使我们能够代表和执行有效的贝叶斯推理代理的目标和内部规划过程。为了进行这样的推理，我们开发了顺序逆计划搜索（SIPS），顺序蒙特卡罗算法，利用这些模型的在线重新规划假设，限制计算增量扩展推断的计划，观察到新的行动。我们提出的实验表明，这种建模和推理架构优于贝叶斯逆强化学习基线，准确地从涉及失败和回溯的最佳和非最佳轨迹推断目标，同时在具有组成结构和稀疏奖励的域中进行推广。
2020-10-25 cs.AI
VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents
Australian National University（澳大利亚国立大学）；The University of Sydney（悉尼大学）
提出VOiLA框架，利用条件扩散模型学习POMDP模型，通过蒸馏加速采样并与向量化在线规划器集成，在三个基准任务和实物机器人上实现高效在线规划。
2026-10-16 cs.AI cs.RO
Influence-Augmented Online Planning for Complex Environments
Delft University of Technology（代尔夫特理工大学）
我们如何在一个可能涉及许多其他代理的复杂环境中实时的有效地计划控制代理？虽然现有的基于样本的规划者在大型POMDPs中取得了经验上的成功，但它们的性能严重依赖于快速模拟器。然而，现实世界的场景是复杂的，其模拟器往往是计算要求，这严重限制了在线规划的性能。在这项工作中，我们提出了影响增强的在线规划，一个原则性的方法，将整个环境的因素模拟器转换为本地模拟器，只采样最相关的观察和奖励的规划代理的状态变量，并捕捉传入的影响，从其余的环境使用机器学习方法。我们的主要实验结果表明，规划在这个不太准确，但更快的本地模拟器与POMCP导致更高的实时规划性能比规划在模拟整个环境。
2021-06-09 cs.AI cs.LG
Previous Knowledge Utilization In Online Anytime Belief Space Planning
Technion - Israel Institute of Technology（以色列理工学院）
针对连续空间在线规划中历史信息被丢弃的问题，提出一种基于MCTS的计算高效方法，通过重用历史规划数据，在保持高性能的同时显著减少计算时间，提升不确定环境下决策效率。
2024-12-21 cs.AI cs.RO
