约束分层蒙特卡洛信念状态规划
Constrained Hierarchical Monte Carlo Belief-State Planning
- Stanford University（斯坦福大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出COBeTS方法，利用分层选项结构将在线CPOMDP规划扩展到大规模连续机器人问题，在满足约束预算时保证随时安全，并通过分层监控实现运行时安全。
AI中文摘要：
约束部分可观测马尔可夫决策过程（CPOMDPs）中的最优规划在满足硬性成本约束的同时最大化奖励目标，从而推广了状态和转移不确定性下的安全规划。然而，在大规模或连续问题领域中，在线CPOMDP规划极其困难。在许多大型机器人领域中，分层分解可以通过在给定高层动作原语（options）的情况下使用低层控制工具来简化规划。我们提出约束选项信念树搜索（COBeTS），以利用这种分层结构并将基于在线搜索的CPOMDP规划扩展到大型机器人问题。我们证明，如果原始选项控制器被定义为满足分配的约束预算，那么COBeTS将随时满足约束。否则，COBeTS将引导搜索朝向安全的选项原语序列，并且可以使用分层监控来实现运行时安全。我们在多个安全关键的、带约束的部分可观测机器人领域中展示了COBeTS，表明它能够在连续CPOMDP中成功规划，而非分层基线方法则无法做到。
英文摘要：
Optimal plans in Constrained Partially Observable Markov Decision Processes (CPOMDPs) maximize reward objectives while satisfying hard cost constraints, generalizing safe planning under state and transition uncertainty. Unfortunately, online CPOMDP planning is extremely difficult in large or continuous problem domains. In many large robotic domains, hierarchical decomposition can simplify planning by using tools for low-level control given high-level action primitives (options). We introduce Constrained Options Belief Tree Search (COBeTS) to leverage this hierarchy and scale online search-based CPOMDP planning to large robotic problems. We show that if primitive option controllers are defined to satisfy assigned constraint budgets, then COBeTS will satisfy constraints anytime. Otherwise, COBeTS will guide the search towards a safe sequence of option primitives, and hierarchical monitoring can be used to achieve runtime safety. We demonstrate COBeTS in several safety-critical, constrained partially observable robotic domains, showing that it can plan successfully in continuous CPOMDPs while non-hierarchical baselines cannot.
