Adaptive Belief Discretization for POMDP Planning
University of Oslo（奥斯陆大学）
部分可观测马尔可夫决策过程（POMDP）是一个广泛使用的模型来表示环境和智能体的相互作用，在状态不确定性。由于代理不观察环境状态，其不确定性通常通过概率信念表示。虽然可能信念的集合是无限的，使得精确规划变得棘手，但信念空间的复杂性（以及规划复杂性）由其覆盖数表征。许多POMDP求解器统一离散的信念空间，并给出规划误差的覆盖数（通常是未知的）。相反，我们提出了一个自适应的信念离散化方案，并给出其相关的规划误差。此外，我们描述的覆盖数相对于POMDP参数。这允许我们在规划器上指定精确的内存需求，需要绑定价值函数错误。然后，我们提出了一种新的，计算效率高的求解器使用该计划。我们证明了我们的算法在各种情况下与最先进的算法具有很强的竞争力。
2021-04-15 cs.AI
Leveraging the Value of Information in POMDP Planning
本文提出基于信息价值的动态规划框架和VOIMCP算法，通过高效利用信息价值减少计算开销，提升POMDP规划性能。
2026-04-01 cs.AI
A Model Approximation Scheme for Planning in Partially Observable Stochastic Domains
部分可观测马尔可夫决策过程（POMDPs）是规划问题的自然模型，其中行动的影响是不确定的，世界的状态是不完全可观测的。精确求解POMDPs是困难的。本文提出了一种新的近似方案。其基本思想是将POMDP转换为另一个由Oracle提供额外信息的POMDP。预言机通知规划代理世界的当前状态在某个区域中。转换后的POMDP因此被称为区域可观察。它比原来的POMDP更容易解决。我们建议解决转换后的POMDP，并使用其最优策略来构造原POMDP的近似策略。通过控制预言机提供的额外信息量，可以在计算时间和近似质量之间找到适当的折衷。在算法贡献方面，我们详细研究了如何利用区域可观性求解变换后的POMDP。为了便于研究，我们还提出了一个新的精确算法一般POMDPs。该算法在概念上是简单的，但显着比以前的精确算法更有效。
1997-11-01 cs.AI
Memory Bounded Open-Loop Planning in Large POMDPs using Thompson Sampling
LMU Munich（慕尼黑大学）；MaibornWolff
像POMCP这样的部分可观察规划的最新方法是基于随机树搜索的。虽然这些方法在计算上是高效的，但是它们仍然可能构造相当大的搜索树，这可能由于有限的存储器资源而限制性能。在本文中，我们提出了部分可观察的堆叠汤普森采样（POSTS），内存有界的方法来开环规划大型POMDPs，优化了一个固定大小的堆栈汤普森采样强盗。我们在四个大的基准问题的经验评估后，并比较其性能与不同的基于树的方法。我们表明，POSTS实现竞争力的性能相比，基于树的开环规划，并提供了一个性能-内存权衡，使其适合于部分可观察的规划与高度受限的计算和内存资源。
2019-05-10 cs.AI
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
Online Planning Algorithms for POMDPs
McGill University（麦吉尔大学）；Laval University（拉瓦尔大学）
部分可观测马尔可夫决策过程（POMDPs）为随机域中不确定性下的序贯决策提供了一个丰富的框架。然而，解决POMDP往往是棘手的，除了小问题，由于其复杂性。在这里，我们专注于在线方法，减轻计算复杂性计算良好的本地政策在执行过程中的每个决策步骤。在线算法通常由前瞻搜索组成，以找到在环境中的每个时间步执行的最佳动作。我们在这里的目标是调查现有的各种在线POMDP方法，分析其属性，并讨论其优点和缺点;并彻底评估这些在线方法在不同的环境下的各种指标（返回，误差界减少，下界改进）。我们的实验结果表明，国家的最先进的在线启发式搜索方法可以有效地处理大POMDP域。
2014-01-15 cs.AI
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Safe POMDP Online Planning via Shielding
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
本文针对 POMCP 等在线规划缺乏安全保证的问题，提出四种基于几乎必然到达—规避规范的屏蔽方法并集成到 POMCP，在大型 POMDP 基准上实现安全保证且运行时开销可忽略。
2024-03-02 cs.AI
Planning under Distribution Shifts with Causal POMDPs
School of Electrical Engineering and Computer Science (EECS)（电气工程与计算机科学学院）
提出因果POMDP框架，通过干预表示环境变化，在部分可观测下维持PWLC性质，实现分布偏移下的规划与更新。
2026-08-19 cs.AI
Scalable Solution Methods for Dec-POMDPs with Deterministic Dynamics
本文针对确定性转移与观测的多智能体规划问题定义 Det-Dec-POMDP，并基于联合策略均衡搜索提出可扩展求解器 IDPP，以支持大规模问题。
2025-08-29 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method
Hong Kong University of Science & Technology（香港科技大学）
人们对使用部分可观察马尔可夫决策过程（POMDP）作为随机域规划的正式模型非常感兴趣。本文主要研究POMDPs的最优策略。我们提出了几个改进的增量修剪，目前最有效的精确算法求解POMDPs。
2013-01-30 cs.AI
A Hybrid POMDP-BDI Agent Architecture with Online Stochastic Planning and Plan Caching
Centre for Artificial Intelligence Research（人工智能研究中心）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）；CSIR Meraka（南非科学与工业研究理事会梅拉卡研究所）
本文提出了一种在随机环境中控制自主智能体的智能体体系结构。该体系结构结合了部分可观察马尔可夫决策过程（POMDP）模型与信念-愿望-意图（BDI）框架。混合POMDP-BDI代理体系结构从两种方法中获得最佳功能，即从POMDP理论在线生成奖励最大化的行动课程，以及从BDI理论复杂的多目标管理。我们介绍了自引入基本架构以来所取得的进展，包括（i）同时追求多个目标的能力和（ii）用于存储预先编写的计划和存储最近生成的计划以供将来重用的计划库。一个版本的架构没有计划库的实施和评估使用模拟。仿真实验结果表明该方法是可行的。
2016-07-03 cs.AI
Anytime Planning for Decentralized POMDPs using Expectation Maximization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
分散POMDPs提供了一个表达框架，多代理顺序决策。虽然有限时域DECPOMDPs已经取得了显著的成功，进展仍然缓慢的无限时域的情况下，主要是由于固有的复杂性，优化随机控制器代表代理政策。我们提出了一个很有前途的新一类算法的无限地平线的情况下，重铸的优化问题的推理混合DBNs。这种方法的一个有吸引力的特点是直接采用现有的推理技术在DBN解决DEC-POMDP和支持更丰富的表示，如因子或连续的状态和动作。我们还推导出期望最大化（EM）算法来优化联合政策表示为DBN。在基准域上的实验表明，EM与最先进的求解器相比毫不逊色。
2012-03-15 cs.AI
Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps
INRIA-Lorraine（洛林法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
我们考虑的问题，找到一个n-agent联合政策的最优有限时域控制的分散Pomdp（Dec-Pomdp）。这是一个非常复杂的问题（NEXP困难，n >= 2）。在本文中，我们提出了一个新的数学规划方法的问题。我们的方法是基于两个想法：第一，我们代表每个代理的政策在序列的形式，而不是在树的形式，从而获得一个非常紧凑的表示的联合政策。其次，使用这种紧凑的表示，我们解决这个问题的组合优化的情况下，我们制定了一个混合整数线性规划（MILP）。MILP的最优解直接产生Dec-Pomdp的最优联合策略。计算经验表明，制定和解决MILP需要显着更少的时间来解决基准Dec-Pomdp问题比现有的算法。例如，地平线4的多智能体老虎问题用MILP在72秒内解决，而现有的算法需要几个小时才能解决。
2007-07-17 cs.AI
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology（以色列理工学院）
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划，通过扩展三种算法以优化风险度量，实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
Tru-POMDP: Task Planning Under Uncertainty via Tree of Hypotheses and Open-Ended POMDPs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；East China Normal University（华东师范大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
Tru-POMDP通过结合LLM生成的信念与开放性POMDP规划，有效应对任务规划中的不确定性，提升规划效率与鲁棒性。
2026-03-01 cs.AI cs.RO
Incremental Clustering and Expansion for Faster Optimal Planning in Dec-POMDPs
Maastricht University（马斯特里赫特大学）；Delft University of Technology（代尔夫特理工大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）
本文提出了最佳的解决方案的分散部分可观察马尔可夫决策过程（Dec-POMDPs），这是一般模型的协作多智能体规划下的不确定性的方法的最新技术。建立了广义多智能体A*（GMAA*）算法，它减少了问题的一棵树的一次性协作贝叶斯游戏（CBG），我们描述了几个进步，大大扩大了范围的Dec-POMDPs，可以最佳地解决。首先，我们引入无损增量聚类的CBG解决GMAA*，实现指数加速而不牺牲最优性。其次，我们在GMAA* 搜索树中引入了节点的增量扩展，这避免了扩展所有子节点的需要，在最坏的情况下，子节点的数量在节点深度上是双指数的。这在可能的聚类很少时特别有益。此外，我们引入了新的混合启发式表示，更紧凑，从而使较大的Dec-POMDPs的解决方案。我们提供了理论保证，当使用一个合适的启发式，增量聚类和增量扩展产量算法，都是完整的和搜索等价的。最后，我们提出了广泛的实证结果表明，GMAA*-ICE，一个算法，综合了这些进步，可以最佳地解决Dec-POMDPs前所未有的大小。
2014-02-04 cs.AI
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University（斯坦福大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出ConstrainedZero算法，通过神经网络学习CC-POMDP的最优值、策略和失败概率，并结合$Δ$-MCTS自适应调整安全阈值，在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
Planning in POMDPs Using Multiplicity Automata
Tel-Aviv University（特拉维夫大学）；University of Pennsylvania（宾夕法尼亚大学）
部分可观察MDP（POMDP）中的规划和学习是AI和运筹学社区中最具挑战性的任务之一。虽然这些问题的解决方案是棘手的一般情况下，可能有特殊的情况下，如结构化POMDPs，可以有效地解决。一种自然且可能有效的表示POMDP的方法是通过预测状态表示（PSR）-最近受到越来越多关注的表示。在这项工作中，我们POMDPs的多重自动机-表明POMDPs可以表示的多重自动机，没有增加的表示大小。此外，我们证明了多重自动机的大小等于预测状态表示的秩。因此，我们将预测状态表示和POMDPs与有理有据的多重自动机文献联系起来。基于多重自动机表示，我们提供了一个规划算法，这是指数的多重自动机的排名，而不是POMDP的状态数。其结果是，每当预测状态表示是对数的标准POMDP表示，我们的规划算法是有效的。
2012-07-04 cs.AI cs.FL
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在线，基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望，但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题，其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题，我们提出了一种新的可扩展的方法，基于样本的规划和因子化的价值函数，利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下，但也在贝叶斯强化学习设置。实验结果表明，我们能够提供高质量的解决方案，大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents
Australian National University（澳大利亚国立大学）；The University of Sydney（悉尼大学）
提出VOiLA框架，利用条件扩散模型学习POMDP模型，通过蒸馏加速采样并与向量化在线规划器集成，在三个基准任务和实物机器人上实现高效在线规划。
2026-10-16 cs.AI cs.RO
Addressing Myopic Constrained POMDP Planning with Recursive Dual Ascent
Stanford University（斯坦福大学）
针对全局对偶参数导致的近视动作选择和次优决策问题，提出依赖历史的对偶变量并通过递归对偶上升优化，实验证明该方法改善了探索并提升了安全性。
2024-03-26 cs.AI
Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees
Technion – Israel Institute of Technology（以色列理工学院）
针对在线POMDP规划中期望成本掩盖高风险状态的问题，提出对每步信念上的即时成本应用CVaR，保留期望累积回报为目标，使任何基于期望的规划器仅通过改变成本计算即可实现风险敏感，并给出有限时间性能保证。
2026-09-30 cs.AI
Improving Automated Driving through POMDP Planning with Human Internal States
Stanford University（斯坦福大学）
这项工作研究的假设，部分可观察马尔可夫决策过程（POMDP）规划与人类驾驶员的内部状态，可以显着提高安全性和效率，在自动高速公路驾驶。我们在一个模拟场景中评估了这一假设，在这个场景中，自动驾驶汽车必须安全地连续进行三次车道变换。通过观测加宽部分可观测蒙特卡罗规划（POMCPOW）算法得到了POMDP的近似解。这种方法优于过度自信和保守的MDP基线，并匹配或优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的发生率降低一半或将成功率提高50%。
2022-06-09 cs.AI cs.RO
Open Problem: Approximate Planning of POMDPs in the class of Memoryless Policies
University of California, Irvine（加州大学尔湾分校）；French Institute for Research in Computer Science and Automation (Inria)（法国国家信息与自动化研究所）
规划在决策理论的大类中起着重要的作用。规划在机器人和顺序决策领域的最近工作中引起了广泛的关注。近年来，强化学习（RL）作为一种智能体与环境的交互问题，引起了人们对规划方法的进一步关注。通常在RL中，可以假设环境的生成模型，例如图形模型，然后RL代理的任务是学习模型参数并基于这些学习的参数找到最佳策略。基于环境行为，智能体可以假设各种类型的生成模型，例如静态环境的多臂强盗，或动态环境的马尔可夫决策过程（MDP）。这些流行的模型的优点是它们的简单性，这导致易于学习的参数和找到最优策略的方法。这些模型的缺点也是它们的简单性：这些模型通常不适合并低估了实际的环境行为。例如，在机器人技术中，智能体通常具有对环境内部状态的噪声观测，并且MDP不是合适的模型。更复杂的模型，如部分可观测马尔可夫决策过程（POMDP）可以弥补这一缺陷。与MDP相比，将此模型拟合到环境中，其中将部分观察给予代理，通常会带来显着的性能改善，有时甚至是无限的改善。一般来说，POMDP模型的最优策略的计算是困难的，完全非凸的，即使是无记忆的政策类。公开的问题是提出一种方法来找到一个精确的或近似的最优随机无记忆策略的POMDP模型。
2016-08-17 cs.AI
Monte Carlo Information-Oriented Planning
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用实验室）；École Normale Supérieure de Lyon（里昂高等师范学校）
在这篇文章中，我们讨论如何解决信息收集问题表示为rho-POMDPs，部分可观察马尔可夫决策过程（POMDPs）的扩展，其奖励rho取决于信念状态。用于求解POMDPs的基于点的方法已经扩展到当其奖励rho在B中是凸的或当其是Lipschitz连续的时，将rho-POMDPs作为信念MDPs来求解。在本文中，我们建立在POMCP算法提出了一个蒙特卡罗树搜索的rho-POMDP，旨在有效的在线规划，可用于任何rho函数。由于信念依赖的奖励，需要适应（i）一次传播多个状态，以及（ii）防止价值估计的偏差。当ρ连续时，给出了ε-最优值的渐近收敛性证明。实验进行分析的算法在手，并表明他们优于近视的方法。
2021-03-21 cs.AI
Bridging Commonsense Reasoning and Probabilistic Planning via a Probabilistic Action Language
Arizona State University（亚利桑那州立大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
为了响应动态变化的现实世界环境，智能代理需要执行复杂的顺序决策任务，这些任务通常由常识知识指导。在这方面的研究导致了称为“交错常识推理和概率规划”（icorpp）的框架，它使用P-log表示常识知识和马尔可夫决策过程（MDP）或部分可观察MDP（POMDP）在不确定性下进行规划。icorpp的一个主要限制是它的实现需要非平凡的工程努力来桥接常识推理和概率规划形式主义。在本文中，我们提出了一个统一的框架，集成icorpp的推理和规划组件。特别是，我们扩展了概率动作语言pBC+来表达效用，信念状态和观察POMDP模型。继承动作语言的优点，新的动作语言提供了一个详细的宽容表示POMDP，反映常识知识。这个想法导致了系统pbcplus 2 pomdp的设计，它将pBC+动作描述编译成POMDP模型，该模型可以直接由现成的POMDP求解器处理，以计算pBC+动作描述的最佳策略。实验结果表明，该方法保留了icorpp的优点，同时避免了在常识推理器和概率规划器之间进行人工连接。
2019-07-31 cs.AI
Pessimistic Iterative Planning with RNNs for Robust POMDPs
Radboud University Nijmegen（奈杰姆大学拉德博德）
针对鲁棒POMDPs需记忆性且鲁棒性策略的问题，提出悲观迭代规划（PIP）框架及rFSCNet算法，交替选悲观POMDPs并优化循环神经网络计算有限状态控制器，实证性能优于基线及现有求解器。
2025-08-26 cs.AI cs.LG
Adaptive mine planning under geological uncertainty: A POMDP framework for sequential decision-making
Geology & Sustainable Mining Institute (GSMI), University Mohammed VI Polytechnic (UM6P)（地质与可持续采矿研究所（GSMI），穆罕默德六世理工学院（UM6P））；Department of Earth and Planetary Sciences, Stanford University（地球与行星科学系，斯坦福大学）
本文提出将采矿调度建模为部分可观测马尔可夫决策过程，通过混合SA-POMDP架构实现自适应决策，减少预期现实差距并提升净现值。
2026-05-13 cs.AI
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）是机器人在不确定性条件下进行决策的基本框架，但当需要进行长期规划时，POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率，我们如何获得良好的宏动作？本文提出了Macro-Action Generator-Critic（MAGIC），它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说，MAGIC端到端地学习宏动作生成器，使用在线计划器的性能作为反馈。在在线规划过程中，生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明，与原始动作和手工宏动作相比，学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种混合在线部分可观测马尔可夫决策过程（POMDP）规划系统，解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子，我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器（例如，混合A*）与关于不确定性的特设假设，然后使用在线基于树的POMDP求解器来推理不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应更快的实时方法，使POMDP规划者能够控制更多的自由度（例如，速度和航向），以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域，显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术（例如，ProbabilityRoadmaps或FastMarchingMethod）作为先验，用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的，比以前的方法更有效，即使在密集拥挤的动态环境中，规划的视野很长。
2022-06-20 cs.AI cs.RO
Vectorized Online POMDP Planning
School of Computing, Australian National University（澳大利亚国立大学计算机学院）
提出向量化在线POMDP规划器（VOPP），通过全向量化计算消除并行瓶颈，实现大规模并行在线规划，计算效率比现有最先进并行求解器高至少20倍。
2026-06-03 cs.AI cs.RO
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出PO-PDDL符号化POMDP框架，通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型，实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
An On-Line POMDP Solver for Continuous Observation Spaces
College of Engineering & Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程（POMDP）。虽然求解POMDP在计算上是棘手的，但在过去的二十年中，在开发近似POMDP求解器方面已经取得了实质性的进展。然而，计算具有连续观测空间的问题的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于离散化的观察空间或人为地限制在规划期间考虑的观察的数量来计算易处理的策略。在本文中，我们提出了一个新的在线POMDP求解器，称为懒惰的信念提取连续POMDP（LABECOP），它结合了蒙特卡洛树搜索和粒子滤波的方法来构建一个政策reprentation，它不需要离散化的观察空间，并避免限制在规划过程中考虑的观察数量。三个不同的问题，涉及连续观测空间的实验表明，LABECOP执行类似或优于国家的最先进的POMDP求解器。
2020-11-04 cs.AI cs.RO
Bounded Planning in Passive POMDPs
The Hebrew University（希伯来大学）
在被动POMDPs中，行为不会影响世界状态，但仍然会产生成本。当智能体受到信息处理约束的约束时，它只能保持信念的近似值。我们提出了一个变分原理的问题，保持的信息，这是最有用的成本最小化，并介绍了一个有效的和简单的算法，找到一个最佳的。
2012-06-27 cs.AI cs.LG stat.ML
Scalable Rao-Blackwellized Online Planning for High-Dimensional POMDPs
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究扩展RB-POMDP框架，采用混合连续-离散信念表示，结合FastSLAM 2.0，在机器人搜救任务中实现高维POMDP下的高效在线规划，性能优于纯采样方法。
2026-09-02 cs.AI cs.RO
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology（以色列理工学院）
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题，提出HB-MCP算法，结合MCTS与UCB探索奖励维持混合信念并引导树生长，在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Hi-Drive: Hierarchical POMDP Planning for Safe Autonomous Driving in Diverse Urban Environments
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；SenseTime（商汤科技）
针对城市道路动态不确定性，提出层级式POMDP规划算法Hi-Drive，利用驾驶员模型推断驾驶风格并集成重要性采样轨迹优化，在真实基准上显著超越现有方法。
2025-10-15 cs.AI cs.RO
Knowledge-Based Hierarchical POMDPs for Task Planning
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子学研究所）；Instituto Nacional de Enfermedades Respiratorias（国家呼吸系统疾病研究所）；University of Bristol（布里斯托大学）；Centro de Investigaciones en Matemáticas（数学研究中心）
任务规划的主要目标是建立一个动作序列，使智能体从初始状态到目标状态。在机器人技术中，这是特别困难的，因为动作通常有几种可能的结果，传感器容易产生误差的测量。部分可观测马尔可夫决策过程（POMDP）是常用的，由于他们的能力来模拟的不确定性的动作，修改和监控系统的状态。然而，由于求解POMDP在计算上是昂贵的，因此它们的使用对于大多数机器人应用来说变得令人望而却步。在本文中，我们提出了一个服务机器人的任务规划架构。在服务机器人设计的背景下，我们提出了一个计划来编码的机器人及其环境的知识，促进了信息的模块化和重用。此外，我们引入了一个新的递归定义的POMDP，使我们的体系结构，自主建立一个层次的POMDP，使它可以用来生成和执行计划，解决手头的任务。实验结果表明，与基线方法相比，通过遵循递归分层方法，该架构能够显着减少规划时间，同时在不确定性和大小不同的几种情况下保持（甚至提高）鲁棒性。
2021-04-09 cs.AI cs.RO
Simplifying Complex Observation Models in Continuous POMDP Planning with Probabilistic Guarantees and Practice
Technion Autonomous Systems Program (TASP), Technion - Israel Institute of Technology（以色列理工学院自主系统项目（TASP），以色列理工学院）；Department of Aerospace Engineering, Technion - Israel Institute of Technology（以色列理工学院航空航天工程系）
本研究提出基于统计总变差距离的概率界，允许在连续POMDP规划中使用简化观测模型，同时保留形式化质量保证，并演示了其在在线求解器中的集成。
2025-05-24 cs.AI cs.RO
DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Institute for Advanced Study（高等研究院）；Massachusetts Institute of Technology（麻省理工学院）
求解连续POMDPs的一个主要困难是推断未观察到的真实状态的多模态分布，并使规划算法依赖于感知的不确定性。我们投POMDP过滤和规划问题作为两个密切相关的顺序蒙特卡罗（SMC）过程，一个在真实的状态和其他未来的最佳轨迹，并结合这两个部分的优点，在一个新的模型命名为DualSMC网络。特别是，我们首先介绍了一种对抗性粒子滤波器，它利用了其内部组件之间的对抗关系。基于过滤结果，我们提出了一种规划算法，该算法扩展了以前的SMC规划方法[Piche等人，2018年]连续POMDPs与不确定性依赖的政策。至关重要的是，DualSMC不仅可以处理复杂的观察，如图像输入，而且它仍然具有高度的可解释性。它被证明是有效的，在三个连续的POMDP域：地板定位域，3D明暗导航域，和修改后的Reacher域。
2020-05-07 cs.AI cs.LG cs.RO
Partially Observable Reference Policy Programming: Solving POMDPs Sans Numerical Optimisation
Australian National University（澳大利亚国立大学）
本文提出部分可观测参考策略规划求解器，通过深度采样未来历史并渐进更新策略，将性能损失界从采样误差最大值改进为平均值，并在大规模动态环境问题中显著超越现有在线基准。
2025-07-16 cs.AI
Compositional Learning-based Planning for Vision POMDPs
UC Berkeley（加州大学伯克利分校）；CU Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
部分可观测马尔可夫决策过程（POMDP）是一个强大的框架，用于捕获涉及状态和转移不确定性的决策问题。然而，大多数当前POMDP规划者不能有效地处理现实世界应用中普遍存在的高维图像观测，并且通常需要与环境交互的冗长的在线培训。在这项工作中，我们提出了视觉树搜索（VTS），组合学习和规划过程，结合生成模型离线学习与在线基于模型的POMDP规划。深度生成观测模型评估蒙特卡罗树搜索规划器中的可能性并预测未来图像观测。我们证明了VTS对训练过程中不存在的不同类型的图像噪声具有鲁棒性，并且可以适应不同的奖励结构，而无需重新训练。这种新方法显著且稳定地优于几种基线最先进的视觉POMDP算法，同时使用一小部分训练时间。
2022-12-03 cs.AI cs.LG cs.RO
Multi-Resolution POMDP Planning for Multi-Object Search in 3D
Brown University（布朗大学）
在家庭中工作的机器人必须找到架子上、桌子下和橱柜里的物体。在这样的环境中，在3D尺度下进行有效搜索，同时应对有限的视野和搜索多个对象的复杂性至关重要。目标搜索的原则性方法经常使用部分可观察马尔可夫决策过程（POMDP）作为计算搜索策略的基础框架，但限制了二维中的搜索空间。在本文中，我们提出了一种用于在具有截头体形视场的3D区域中进行多目标搜索的POMDP公式。为了有效地解决这个POMDP，我们提出了一种基于在线蒙特卡罗树搜索的多分辨率规划算法。在这种方法中，我们设计了一种新的基于八叉树的信念表示，以捕捉目标对象在不同分辨率水平的不确定性，然后推导出抽象的POMDPs在较低的分辨率与显着更小的状态和观察空间。在一个模拟的3D域的评估表明，我们的方法发现对象更有效，更成功的一组基线相比，在相同的计算要求下，在更大的情况下，没有分辨率层次。我们展示了我们的方法在移动机器人上找到放置在两个10米$^2 \times 2$ m区域不同高度的物体，通过移动它的基地和驱动它的躯干。
2022-03-18 cs.AI cs.RO
Rao-Blackwellized POMDP Planning
针对 POMDP 求解中 SIRPF 面临的粒子匮乏与高计算成本问题，本研究提出 RB-POMDP 近似求解器，通过 Rao-Blackwellization 优化信念更新与在线规划，实验证明其能以更少粒子维持准确近似并显著提升规划质量。
2025-03-03 cs.AI cs.LG cs.RO
Optimal and Approximate Q-value Functions for Decentralized POMDPs
University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico（里斯本高等理工学院）；Technical University of Crete（克里特理工大学）
决策理论规划是一种流行的方法，顺序决策问题，因为它处理的不确定性，在传感器和行动的原则。在MDP和POMDP等单智能体框架中，规划可以通过求助于Q-价值函数来执行：通过动态规划以递归方式计算最优Q-值函数Q*，然后从Q* 中提取最优策略。在本文中，我们研究是否可以定义类似的Q-价值函数的分散POMDP模型（Dec-POMDP），以及如何从这样的价值函数中提取政策。我们定义了两种形式的最佳Q-价值函数的Dec-POMDPs：一个是一个规范的描述作为Q-价值函数的最佳纯联合政策和另一个是顺序合理的，从而给出了一个配方的计算。然而，除了最小的问题之外，这种计算对所有问题都是不可行的。因此，我们分析了各种近似Q-价值函数，允许有效的计算。我们描述了它们之间的关系，并证明了它们都提供了最优Q-价值函数Q* 的上界。最后，统一以前的一些方法来解决Dec-POMDPs，我们描述了一个家庭的算法，从这样的Q-价值函数提取政策，并进行实验评估现有的测试问题，包括一个新的消防基准问题。
2011-10-31 cs.AI
Conditional Deep Generative Models for Belief State Planning
Aeronautics and Astronautics Stanford University（航空航天系 斯坦福大学）；Institute for Computational & Mathematical Engineering (ICME) Stanford University（计算与数学工程研究所（ICME） 斯坦福大学）
针对高维状态 POMDP 的信念表示难题，提出用条件深度生成模型 cDGMs 学习后验信念并采样，在矿产勘探任务中优于粒子滤波。
2025-05-16 cs.AI
A Scalable Method for Solving High-Dimensional Continuous POMDPs Using Local Approximation
Washington University in St. Louis（圣路易斯华盛顿大学）
部分可观测马尔可夫决策过程（POMDP）通常通过找到相应的信念MDP的近似全局解来求解。本文针对具有连续状态、动作和观测空间的POMDP问题，提出了一种新的规划算法。由于这样的域具有固有的局部性概念，我们可以使用局部优化方法找到近似解。我们参数化的信念分布为高斯混合，并使用扩展卡尔曼滤波器（EKF）近似的信念更新。由于EKF是一阶滤波器，因此我们可以通过分析对观测值进行边缘化。通过在政策执行期间使用反馈控制和状态估计，我们可以恢复有效地取决于传入观察的行为，尽管是无条件的规划。局部优化提供了没有保证的全局最优性，但它允许我们处理域，至少是一个数量级大于目前最先进的。我们证明了我们的算法的可扩展性，考虑模拟手眼协调域与16个连续的状态维度和6个连续的动作维度。
2012-03-15 cs.AI
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology（以色列理工学院）
本文提出随时求解器ρPOMCPOW，通过动态细化信念表示和增量计算依赖信念奖励，在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
Online POMDP Planning via Simplification
Department of Computer Science（计算机科学系）；Department of Aerospace EngineeringTechnion - Israel Institute of Technology（以色列理工学院航空航天工程系）；Technion - Israel Institute of Technology（以色列理工学院）；Technion - Israel Institute of Technology, Haifa 32000, Israel（以色列理工学院（海法））
在本文中，我们考虑在线规划部分可观察域。解决相应的POMDP问题是一个非常具有挑战性的任务，特别是在在线设置。我们的主要贡献是一种新的算法方法，简化的信息理论信念空间规划（SITH-BSP），其目的是加快POMDP规划考虑信念依赖的奖励，而不影响解决方案的准确性。我们这样做是通过数学联系的简化元素的问题，以相应的对应的原始问题。具体来说，我们专注于信念简化，并使用它来制定相应的原始信念依赖奖励的界限。在计算最优策略的过程中，这些界限又被用来在信念树上执行分支修剪。我们进一步引入了自适应简化的概念，同时重新使用不同简化级别之间的计算，并利用它来修剪，在每个级别的信念树，所有分支，但一个。因此，我们的方法是保证找到原问题的最佳解决方案，但与实质性的加速。作为第二个关键的贡献，我们推导出新的分析界微分熵，考虑到基于采样的信念表示，我们相信是自己的利益。我们验证我们的方法在模拟中使用这些界限和简化对应于减少样本的数量，表现出显着的计算加速，同时产生最佳的解决方案。
2021-05-11 cs.AI cs.RO
Online Planning in POMDPs with State-Requests
AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学AI实验室）；TU Delft（代尔夫特理工大学）；City of Amsterdam（阿姆斯特丹市）
针对高成本状态请求下部分可观测环境的在线规划问题，提出基于图搜索的 AEMS-SR 算法，避免了搜索空间指数增长，理论证明其 ε 最优性，并在实验中优于 AEMS 和 POMCP。
2024-07-26 cs.AI cs.LG
Improved POMDP Tree Search Planning with Prioritized Action Branching
Stanford University（斯坦福大学）；General Motors（通用汽车）
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。本文提出了一种称为PA-POMCPOW的方法来对动作空间的子集进行采样，该动作空间提供了不同的开发和探索混合物，以包含在搜索树中。所提出的方法首先评估的行动空间，根据一个评分函数，这是一个线性组合的预期回报和预期的信息增益。然后在树扩展期间将具有最高分数的动作添加到搜索树。实验表明，PA-POMCPOW是能够超越现有的国家的最先进的解决方案的问题与大的离散动作空间。
2020-10-07 cs.AI cs.LG
Hierarchical Object-Oriented POMDP Planning for Object Rearrangement
Oregon State University（俄勒冈州立大学）
针对部分可观测多房间环境中多物体重排问题，提出分层面向对象POMDP（HOO-POMDP）规划框架及MultiRoomR基准数据集，通过子目标生成、低级策略和抽象系统提升适应性，实验验证其在复杂场景中的稳健性能。
2025-08-25 cs.AI cs.LG cs.RO
