Adaptive Discretization using Voronoi Trees for Continuous POMDPs
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
求解连续部分可观测马尔可夫决策过程（POMDPs）是一个挑战，特别是对于高维连续动作空间。为了缓解这一困难，我们提出了一个新的基于采样的在线POMDP求解器，称为自适应离散Voronoi树（ADVT）。它使用蒙特卡罗树搜索结合动作空间的自适应离散化以及乐观优化来有效地对高维连续动作空间进行采样并计算要执行的最佳动作。具体来说，我们自适应离散化的动作空间为每个采样的信念使用一个分层分区称为Voronoi树，这是一个二进制空间分区，隐式地保持一个单元格的分区作为沃罗诺伊图的两个点从细胞采样。ADVT使用细胞的估计直径来形成细胞内的动作价值函数的置信上限，指导蒙特卡罗树搜索扩展和动作空间的进一步离散化。与现有求解器相比，这使ADVT能够更好地利用与动作价值函数相关的本地信息，从而能够更快地识别动作空间中最有希望的区域。Voronoi树保持划分和估计每个细胞的直径的成本低，即使在高维空间中，需要许多采样点来覆盖空间。ADVT还通过采用观察渐进扩展策略以及信念的加权粒子表示来处理连续观察空间。实验结果表明，ADVT的规模大大优于高维连续的动作空间，相比国家的最先进的方法。
2023-02-21 cs.AI
Smoother Entropy for Active State Trajectory Estimation and Obfuscation in POMDPs
University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）
本研究将POMDP中状态轨迹估计的促进或阻碍问题编码为平滑熵优化，通过信念状态重构为可处理的MDP，实现更优的主动估计与混淆。
2023-02-12 cs.AI cs.IT cs.SY
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology（以色列理工学院）
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题，提出HB-MCP算法，结合MCTS与UCB探索奖励维持混合信念并引导树生长，在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Compositional Learning-based Planning for Vision POMDPs
UC Berkeley（加州大学伯克利分校）；CU Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
部分可观测马尔可夫决策过程（POMDP）是一个强大的框架，用于捕获涉及状态和转移不确定性的决策问题。然而，大多数当前POMDP规划者不能有效地处理现实世界应用中普遍存在的高维图像观测，并且通常需要与环境交互的冗长的在线培训。在这项工作中，我们提出了视觉树搜索（VTS），组合学习和规划过程，结合生成模型离线学习与在线基于模型的POMDP规划。深度生成观测模型评估蒙特卡罗树搜索规划器中的可能性并预测未来图像观测。我们证明了VTS对训练过程中不存在的不同类型的图像噪声具有鲁棒性，并且可以适应不同的奖励结构，而无需重新训练。这种新方法显著且稳定地优于几种基线最先进的视觉POMDP算法，同时使用一小部分训练时间。
2022-12-03 cs.AI cs.LG cs.RO
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Incremental Clustering and Expansion for Faster Optimal Planning in Dec-POMDPs
Maastricht University（马斯特里赫特大学）；Delft University of Technology（代尔夫特理工大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）
本文提出了最佳的解决方案的分散部分可观察马尔可夫决策过程（Dec-POMDPs），这是一般模型的协作多智能体规划下的不确定性的方法的最新技术。建立了广义多智能体A*（GMAA*）算法，它减少了问题的一棵树的一次性协作贝叶斯游戏（CBG），我们描述了几个进步，大大扩大了范围的Dec-POMDPs，可以最佳地解决。首先，我们引入无损增量聚类的CBG解决GMAA*，实现指数加速而不牺牲最优性。其次，我们在GMAA* 搜索树中引入了节点的增量扩展，这避免了扩展所有子节点的需要，在最坏的情况下，子节点的数量在节点深度上是双指数的。这在可能的聚类很少时特别有益。此外，我们引入了新的混合启发式表示，更紧凑，从而使较大的Dec-POMDPs的解决方案。我们提供了理论保证，当使用一个合适的启发式，增量聚类和增量扩展产量算法，都是完整的和搜索等价的。最后，我们提出了广泛的实证结果表明，GMAA*-ICE，一个算法，综合了这些进步，可以最佳地解决Dec-POMDPs前所未有的大小。
2014-02-04 cs.AI
Partially Observable Monte-Carlo Graph Search
本文提出离线采样算法POMCGS，通过动态折叠蒙特卡洛搜索树构建策略图，并结合动作渐进加宽与观测聚类处理大型及连续POMDP，实验表明其策略质量可媲美先进在线算法。
2025-07-28 cs.AI cs.RO
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种混合在线部分可观测马尔可夫决策过程（POMDP）规划系统，解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子，我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器（例如，混合A*）与关于不确定性的特设假设，然后使用在线基于树的POMDP求解器来推理不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应更快的实时方法，使POMDP规划者能够控制更多的自由度（例如，速度和航向），以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域，显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术（例如，ProbabilityRoadmaps或FastMarchingMethod）作为先验，用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的，比以前的方法更有效，即使在密集拥挤的动态环境中，规划的视野很长。
2022-06-20 cs.AI cs.RO
Explainable Representation of Finite-Memory Policies for POMDPs using Decision Trees
Technical University of Munich（慕尼黑技术大学）；Nanyang Technological University（南洋理工大学）；Masaryk University（马萨里克大学）
本文提出通过决策树和Mealy机结合的方法，为POMDPs中的有限内存策略提供可解释且更小的表示，提升策略的可解释性。
2026-04-29 cs.AI cs.LG cs.RO
The Actor Search Tree Critic (ASTC) for Off-Policy POMDP Learning in Medical Decision Making
Imperial College London（帝国理工学院）
非策略强化学习能够从次优经验中获得接近最优的策略，从而为人工智能在医疗保健中的应用提供了机会。以前的工作主要是将患者与临床医生的互动框定为马尔可夫决策过程，而真正的生理状态不一定完全可以从临床数据中观察到。我们捕捉这种情况与部分可观察的马尔可夫决策过程，其中代理优化其行动的信念表示为从个人的历史轨迹推断的患者状态的分布。高斯混合模型拟合的观测数据。此外，我们考虑到这样一个事实，即药物剂量的细微差别可能会导致显着不同的效果，通过直接在政策空间，即演员的高斯近似建模连续的政策。为了解决无限数量的可能的信念状态，使精确值迭代棘手的挑战，我们评估和计划，只有每一个遇到的信念，通过启发式搜索树，严格维护下限和上限的真实值的信念。我们进一步求助于函数近似来更新值边界估计，即评论家，使得树搜索可以通过边缘节点处的更紧凑的边界来改进，边缘节点将被反向传播到根。演员和评论家参数都是通过基于梯度的方法学习的。我们提出的政策从真正的重症监护病房数据训练，能够支配剂量的血管加压药和静脉输液败血症患者，导致最佳的患者结果。
2018-06-03 cs.AI
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Belief Embedding Tree Search
University of Alberta（阿尔伯塔大学）；Charles University（查理大学）；EquiLibre Technologies, Inc.（EquiLibre科技公司）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本研究提出信念嵌入树搜索（BETS），一种用生成式分布嵌入表示信念的蒙特卡洛规划器，在RockSample等6种POMDP任务上，BETS优于BetaZero等基线规划器，尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
An On-Line POMDP Solver for Continuous Observation Spaces
College of Engineering & Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程（POMDP）。虽然求解POMDP在计算上是棘手的，但在过去的二十年中，在开发近似POMDP求解器方面已经取得了实质性的进展。然而，计算具有连续观测空间的问题的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于离散化的观察空间或人为地限制在规划期间考虑的观察的数量来计算易处理的策略。在本文中，我们提出了一个新的在线POMDP求解器，称为懒惰的信念提取连续POMDP（LABECOP），它结合了蒙特卡洛树搜索和粒子滤波的方法来构建一个政策reprentation，它不需要离散化的观察空间，并避免限制在规划过程中考虑的观察数量。三个不同的问题，涉及连续观测空间的实验表明，LABECOP执行类似或优于国家的最先进的POMDP求解器。
2020-11-04 cs.AI cs.RO
Adaptive Sampling using POMDPs with Domain-Specific Considerations
University of Southern California（南加利福尼亚大学）
我们研究改进蒙特卡罗树搜索为基础的部分可观测马尔可夫决策过程（POMDPs）的求解器，当应用于自适应采样问题。我们提出了改进部署分配，行动探索算法，计划承诺。第一种方法根据代理在一个事件中采取的操作数量分配不同数量的卷展。我们发现，在获得有关环境的一些初始信息后，推出更有价值。因此，展开数量的线性增加，即在每个步骤分配固定数量，不适合自适应采样任务。第二个改变的行动，代理选择探索时，建立规划树。我们发现，通过使用分配的推出数量的知识，代理可以更有效地选择探索的行动。第三个改进是确定代理应该从一个计划中采取多少行动。通常，代理将计划从计划树中执行第一个操作，然后从新状态再次调用计划器。使用统计技术，我们表明，这是可能的，以大大减少推出的数量，通过增加从一个单一的规划树采取的行动，而不影响代理的最终奖励。最后，我们通过实验证明，从水下机器人的模拟和真实的水生数据，这些改进可以结合起来，导致更好的自适应采样。该工作的代码可在https://github.com/uscresl/AdaptiveSamplingPOMCP上获得
2021-09-23 cs.AI cs.RO
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia（佐治亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
部分可观测马尔可夫决策过程（POMDPs）提供了一个原则性的框架，顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置，称为交互式POMDP（I-POMDP），取代POMDP的信念空间与交互式层次的信念系统，代表一个代理人的信念，对物理世界，对其他代理人的信念，以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波（PF）的I-POMDPs的近似解的一般方法。我们引入了交互式PF，它降低了交互式信念层次结构和样本的水平，并在每个级别上传播信念。交互式PF能够降低信念空间复杂度，但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见，同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒，但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
Hindsight is Only 50/50: Unsuitability of MDP based Approximate POMDP Solvers for Multi-resolution Information Gathering
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；The Robotics Institute（机器人研究所）
部分可观测马尔可夫决策过程（POMDPs）提供了一个优雅的框架，在不确定环境中的顺序决策建模。在线求解POMDPs是一个活跃的研究领域，并且考虑到现实世界问题的大小，使用近似求解器。最近，已经提出了一些方法来解决POMDP使用MDP求解器结合模仿学习。基于MDP的POMDP解算器在某些情况下工作良好，而在其他情况下则灾难性地失败。这种求解器的主要故障点是MDP求解器缺乏获取信息的动机，因为在他们的假设下，环境要么已经尽可能多地已知，要么在下一步之后不确定性就会消失。然而，为了解决POMDP问题，获取信息可以导致有效的解决方案。在本文中，我们推导出一组条件，MDP为基础的POMDP求解器是可证明的次优。然后，我们使用著名的老虎问题来证明这种次优。我们表明，多分辨率，预算信息收集不能使用基于MDP的POMDP求解器。本文的贡献有助于确定POMDP问题的属性，使用基于MDP的POMDP求解器是不合适的，从而可以更好地设计选择。
2018-04-07 cs.AI
Leveraging the Value of Information in POMDP Planning
本文提出基于信息价值的动态规划框架和VOIMCP算法，通过高效利用信息价值减少计算开销，提升POMDP规划性能。
2026-04-01 cs.AI
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
Bayesian Reinforcement Learning in Factored POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
贝叶斯方法为强化学习中的探索-利用权衡提供了一个原则性的解决方案。然而，典型的方法要么假设一个完全可观察的环境，要么规模很差。这项工作介绍了因子贝叶斯自适应POMDP模型，一个框架，能够利用底层结构，同时学习部分可观测系统的动态。我们还提出了一个信念跟踪方法来近似联合后验状态和模型变量，和适应的蒙特卡罗树搜索解决方案的方法，这两者一起能够解决潜在的问题接近最优。我们的方法能够有效地学习给定的因子分解，或者同时学习因子分解和模型参数。我们证明，这种方法是能够优于目前的方法和解决问题，以前是不可行的。
2018-11-14 cs.AI
B$^3$RTDP: A Belief Branch and Bound Real-Time Dynamic Programming Approach to Solving POMDPs
MIT Media Lab（麻省理工学院媒体实验室）
部分可观测马尔可夫决策过程（POMDPs）为自主智能体提供了一个有前途的世界表示，因为它们可以模拟过渡和感知的不确定性。计算POMDP问题的最优解在计算上可能是昂贵的，因为它们需要在（可能是无限的）信念空间上进行推理。已经提出了几种方法来克服这个困难，如离散化的信念空间，基于点的信念抽样，和蒙特卡罗树搜索。RTDP-Bel算法的实时的【形】动态规划方法通过将价值函数存储在具有离散化置信键的哈希表中来近似该价值函数。我们提出了一个扩展的RTDP-Bel算法，我们称之为信念分支和界限RTDP（B $^3$ RTDP）。我们的算法使用有界价值函数表示，并利用这两个新的方式：搜索绑定技术的基础上的行动选择收敛概率，并利用早期的行动收敛称为\textit{Convergence Frontier}的方法。最后，我们的经验表明，B $^3$ RTDP可以实现更大的回报，在更短的时间比国家的最先进的SARSOP解决已知的POMDP问题。
2022-10-22 cs.AI
Addressing Myopic Constrained POMDP Planning with Recursive Dual Ascent
Stanford University（斯坦福大学）
针对全局对偶参数导致的近视动作选择和次优决策问题，提出依赖历史的对偶变量并通过递归对偶上升优化，实验证明该方法改善了探索并提升了安全性。
2024-03-26 cs.AI
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona（威尼斯大学）
本文提出用基于事件演算的 LTL 片段生成持续宏动作，并通过 ILP 从少量轨迹中学习，以引导 MCTS 求解 POMDP，在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.（日立有限公司）
我们提出了Mask Atari，这是一个新的基准，可以帮助解决基于深度强化学习（DRL）的方法的部分可观察马尔可夫决策过程（POMDP）问题。为了实现POMDP问题的仿真环境，基于Atari 2600游戏构建了Mask Atari，该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域，特别是在POMDP中设置了主动信息收集（AIG）。鉴于目前还不存在这样的方法，Mask Atari提供了一个具有挑战性的，有效的基准来评估专注于上述问题的方法。此外，掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试，这意味着评估不偏离感知能力，并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能，并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
GammaZero: Learning To Guide POMDP Belief Space Search With Graph Representations
GammaZero通过图表示框架学习引导POMDP规划，利用统一的图信念表示实现跨问题规模的泛化，通过图神经网络和解码器架构从专家示范中学习价值函数和策略，指导蒙特卡洛树搜索。
2026-03-29 cs.AI
Planning under Distribution Shifts with Causal POMDPs
School of Electrical Engineering and Computer Science (EECS)（电气工程与计算机科学学院）
提出因果POMDP框架，通过干预表示环境变化，在部分可观测下维持PWLC性质，实现分布偏移下的规划与更新。
2026-08-19 cs.AI
Monte Carlo Information-Oriented Planning
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用实验室）；École Normale Supérieure de Lyon（里昂高等师范学校）
在这篇文章中，我们讨论如何解决信息收集问题表示为rho-POMDPs，部分可观察马尔可夫决策过程（POMDPs）的扩展，其奖励rho取决于信念状态。用于求解POMDPs的基于点的方法已经扩展到当其奖励rho在B中是凸的或当其是Lipschitz连续的时，将rho-POMDPs作为信念MDPs来求解。在本文中，我们建立在POMCP算法提出了一个蒙特卡罗树搜索的rho-POMDP，旨在有效的在线规划，可用于任何rho函数。由于信念依赖的奖励，需要适应（i）一次传播多个状态，以及（ii）防止价值估计的偏差。当ρ连续时，给出了ε-最优值的渐近收敛性证明。实验进行分析的算法在手，并表明他们优于近视的方法。
2021-03-21 cs.AI
Multi-Resolution POMDP Planning for Multi-Object Search in 3D
Brown University（布朗大学）
在家庭中工作的机器人必须找到架子上、桌子下和橱柜里的物体。在这样的环境中，在3D尺度下进行有效搜索，同时应对有限的视野和搜索多个对象的复杂性至关重要。目标搜索的原则性方法经常使用部分可观察马尔可夫决策过程（POMDP）作为计算搜索策略的基础框架，但限制了二维中的搜索空间。在本文中，我们提出了一种用于在具有截头体形视场的3D区域中进行多目标搜索的POMDP公式。为了有效地解决这个POMDP，我们提出了一种基于在线蒙特卡罗树搜索的多分辨率规划算法。在这种方法中，我们设计了一种新的基于八叉树的信念表示，以捕捉目标对象在不同分辨率水平的不确定性，然后推导出抽象的POMDPs在较低的分辨率与显着更小的状态和观察空间。在一个模拟的3D域的评估表明，我们的方法发现对象更有效，更成功的一组基线相比，在相同的计算要求下，在更大的情况下，没有分辨率层次。我们展示了我们的方法在移动机器人上找到放置在两个10米$^2 \times 2$ m区域不同高度的物体，通过移动它的基地和驱动它的躯干。
2022-03-18 cs.AI cs.RO
Supervisor Synthesis of POMDP based on Automata Learning
University of Notre Dame（圣母大学）
本文提出基于概率计算树逻辑的POMDP监督器合成框架，采用确定性有限自动机作为控制器，通过L*学习算法确定自动机的结构，以满足安全关键应用的性能保证。
2017-03-24 cs.AI cs.FL cs.SY
Towards Cost Sensitive Decision Making
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
针对传统RL无法兼顾特征获取成本与决策收益的问题，提出AA-POMDP框架与基于深度生成模型的分层RL算法，在主动获取特征的部分观测环境中实现了更优的决策性能。
2024-10-04 cs.AI cs.LG
LeTS-Drive: Driving in a Crowd by Learning from Tree Search
National University of Singapore（新加坡国立大学）
在拥挤的环境中自动驾驶，例如，一个繁忙的交通路口，是机器人技术尚未解决的挑战。机器人车辆必须与动态和部分可观察的环境，嘈杂的传感器和许多代理人抗衡。一个原则性的方法是将其形式化为部分可观测马尔可夫决策过程（POMDP），并通过在线信念树搜索来解决它。为了在这种极具挑战性的环境中处理大量人群并实现实时性能，我们提出了LeTS-Drive，它集成了在线POMDP规划和深度学习。它包括两个阶段。在离线阶段，我们学习一个政策和相应的价值函数通过模仿信念树搜索。在在线阶段，学习的策略和价值函数指导信念树搜索。LeTS-Drive利用规划的鲁棒性和学习的运行时效率来增强两者的性能。仿真实验结果表明，LeTS-Drive优于单独的规划或模仿学习，并开发出复杂的驾驶技能。
2019-05-29 cs.AI cs.LG cs.RO
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University（斯坦福大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出ConstrainedZero算法，通过神经网络学习CC-POMDP的最优值、策略和失败概率，并结合$Δ$-MCTS自适应调整安全阈值，在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
Generalized Mean Estimation in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tampere University（坦佩雷大学）
我们考虑蒙特卡罗树搜索（MCTS）应用于马尔可夫决策过程（MDP）和部分可观测MDP（POMDP），以及著名的树的上置信界（UCT）算法。在UCT中，通过扩展节点来逐步建立一棵包含节点（状态）和边（动作）的树，并通过基于子节点平均值的备份策略来更新节点的值。然而，它已被证明，有足够的样本，最大的运营商产生更准确的节点值估计比平均。而不是解决这些值的估计之一，我们更进一步提出了一种新的备份策略，它使用幂平均算子，计算平均值和最大值之间的值。我们称我们的新方法为Power-UCT，并讨论了如何使用幂平均算子有助于加快MCTS的学习。我们从理论上分析我们的方法提供保证收敛到最佳。最后，我们实证证明了我们的方法在著名的MDP和POMDP基准的有效性，表现出显着的改善性能和收敛速度w.r.t.最先进的算法。
2020-07-13 cs.AI
Finite-Time Analysis of MCTS in Continuous POMDP Planning
Technion Autonomous Systems Program (TASP)（技术离子自主系统计划（TASP））；Technion – Israel Institute of Technology（技术离子–以色列理工学院）；Stephen B. Klein Faculty of Aerospace Engineering（史蒂文·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文针对连续POMDP规划中的MCTS，提出有限时间分析，通过扩展多项式探索奖励和引入抽象分区框架，提供理论保证，提出Voro-POMCPOW算法在连续观测空间中实现有效探索。
2026-05-08 cs.AI cs.RO
Online POMDP Planning with Anytime Deterministic Optimality Guarantees
Technion Autonomous Systems Program (TASP)（技术学院自主系统计划）；Stephen B. Klein Faculty of Aerospace Engineering（斯蒂芬·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文为离散POMDP推导近似解与最优解间的确定性界限，提供可附加于现有算法的确定性保证，以极小开销提升决策性能。
2025-10-27 cs.AI cs.RO
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto（多伦多大学）
本文提出统一原理建立主动推理与强化学习的理论联系，在连续空间POMDP中克服两者局限，通过最小化期望自由能结合利用与探索行为，实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
BADDr: Bayes-Adaptive Deep Dropout RL for POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
虽然强化学习（RL）在可扩展性方面取得了很大进展，但探索和部分可观测性仍然是活跃的研究课题。相比之下，贝叶斯RL（BRL）提供了一个原则性的答案，状态估计和探索-开发权衡，但努力扩展。为了应对这一挑战，已经提出了具有各种先前假设的BRL框架，并取得了不同的成功。这项工作提出了一个表示不可知的制定BRL下部分可观测性，统一以前的模型下一个理论的保护伞。为了证明其实际意义，我们还提出了一种新的推导，贝叶斯自适应深度丢弃rl（BADDr），基于丢弃网络。在这种参数化下，与以前的工作相比，对状态和动态的信念是一个更具可扩展性的推理问题。我们通过蒙特卡罗树搜索选择行动，并实证表明，我们的方法是竞争力与国家的最先进的BRL方法在小的域，同时能够解决更大的。
2022-02-17 cs.AI cs.LG
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments
University of Oxford（牛津大学）
本文提出CAR-DESPOT，一种基于因果建模与推理的AR-DESPOT在线POMDP规划扩展方法，通过离线学习因果模型参数化，有效消除未观测混淆变量引起的误差，生成比AR-DESPOT更鲁棒且性能更高的策略。
2023-07-27 cs.AI cs.LG cs.RO
Online algorithms for POMDPs with continuous state, action, and observation spaces
Aeronautics and Astronautics Dept. Stanford University（航空航天系 斯坦福大学）
本文提出POMCPOW和PFT-DPW算法，通过加权粒子过滤解决连续状态空间POMDPs的求解问题，验证了改进方法的有效性。
2018-09-06 cs.AI cs.RO cs.SY
Human-in-the-Loop Synthesis for Partially Observable Markov Decision Processes
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Worcester Polytechnic Institute (WPI)（伍斯特理工学院）
我们研究规划问题，其中自主智能体内的环境，是受不确定性和不完全可观察的。部分可观察马尔可夫决策过程（POMDP）是捕捉此类问题的自然形式模型。由于POMDPs中潜在的巨大甚至无限的信念空间，具有安全保证的合成通常在计算上是难以处理的。我们提出了一种方法，旨在规避这一困难：在虚拟环境中可以部分或完全模拟的情况下，我们积极整合人类用户来控制代理。当用户反复尝试在模拟中安全地引导代理时，我们从人工输入中收集数据。通过行为克隆，我们将数据转化为POMDP的策略。该策略解决了POMDP的所有不确定性和不可观测性，从而得到离散时间马尔可夫链（MC）。该MC的有效验证通过证明或证伪给定的系统规范来定量地洞察推断出的人类策略的质量。对于这种情况下，该战略的质量是不够的，我们提出了一种改进方法，使用反例提交给人类。实验表明，通过将人类纳入POMDP验证循环，我们在可扩展性方面提高了几个数量级的最新技术水平。
2018-02-27 cs.AI
Adaptive mine planning under geological uncertainty: A POMDP framework for sequential decision-making
Geology & Sustainable Mining Institute (GSMI), University Mohammed VI Polytechnic (UM6P)（地质与可持续采矿研究所（GSMI），穆罕默德六世理工学院（UM6P））；Department of Earth and Planetary Sciences, Stanford University（地球与行星科学系，斯坦福大学）
本文提出将采矿调度建模为部分可观测马尔可夫决策过程，通过混合SA-POMDP架构实现自适应决策，减少预期现实差距并提升净现值。
2026-05-13 cs.AI
Rollout Heuristics for Online Stochastic Contingent Planning
Ben Gurion University（本·古里安大学）
针对POMCP依赖领域特定rollout启发式的问题，研究将POMDP建模为随机应急规划问题，提出两种领域无关的rollout启发式方法以提升决策效果。
2023-10-03 cs.AI
REBA: A Revealed Belief Automaton Framework for Online Planning in Continuous POMDPs
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Computer Science and Artificial Intelligence, Liaoning Normal University（辽宁师范大学计算机科学与人工智能学院）；Human-Centered AI Lab, Department of Ecosystem Management, Climate and Biodiversity, BOKU University（BOKU大学生态系统管理与气候生物多样性系人本人工智能实验室）；Institute of Human-Centered Computing, Graz University of Technology（格拉茨技术大学人本计算研究所）
提出REBA框架，通过信息论门在线分析连续信念空间并建立可靠锚点，构建有限信念自动机，结合ω-正则规范实现无需预定义离散抽象的在线规划，在巡逻和导航任务中性能提升17%-47.4%。
2026-06-23 cs.AI
Tru-POMDP: Task Planning Under Uncertainty via Tree of Hypotheses and Open-Ended POMDPs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；East China Normal University（华东师范大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
Tru-POMDP通过结合LLM生成的信念与开放性POMDP规划，有效应对任务规划中的不确定性，提升规划效率与鲁棒性。
2026-03-01 cs.AI cs.RO
Policy Design for Active Sequential Hypothesis Testing using Deep Learning
USC Information Sciences Institute（美国南加州大学信息科学研究所）
本文研究了如何利用深度学习设计更有效的主动顺序假设检验策略，通过比较新提出的启发式方法与现有方法，展示了在某些场景下性能的显著提升。
2018-10-11 cs.AI cs.IT cs.LG
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程（POMDPs）对世界状态不确定性下的规划问题进行了形式化建模，但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用，其求解具有挑战性。在本文中，我们提出了一个有效的差分动态规划（DDP）算法的信任空间规划POMDP的不确定性在一个离散的潜在状态，连续的状态，行动，观察，和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术，以优化一个可能的观测和信念空间轨迹树的应急计划，并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题（例如，目标或障碍的配置），动态的不确定性（例如，混合系统的动态模式），以及交互的不确定性，其中其他代理的行为取决于潜在的意图。基准测试表明，我们的算法优于流行的启发式方法规划下的不确定性，从一个自主变道任务的结果表明，我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Combining Offline Models and Online Monte-Carlo Tree Search for Planning from Scratch
Xiamen University（厦门大学）
随机和部分可观测环境中的规划问题是人工智能的一个核心问题。解决这类问题的一个常用技术是首先构建一个精确的模型。虽然最近已经提出了一些方法来学习模型不确定性下的最佳行为，先验知识的环境仍然需要保证所提出的算法的性能。利用预测状态表示（Predictive State Representations~（PSR））方法的状态表示和模型预测的优点，本文提出了一种从头开始规划的方法，该方法首先离线学习PSR模型，然后结合在线蒙特卡罗树搜索进行模型不确定性规划。通过与模型不确定性规划方法的比较，证明了所提出方法的有效性及其收敛性。我们所提出的方法的有效性和可扩展性也进行了测试的RockSample问题，这是不可行的最先进的BA-POMDP为基础的方法。
2019-04-05 cs.AI
Action-Gradient Monte Carlo Tree Search for Non-Parametric Continuous (PO)MDPs
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本文提出AGMCTS框架，结合全局树搜索与局部梯度优化，解决连续状态空间下的规划问题，理论贡献包括动作评分梯度定理、多重要性采样树和可计算的动作评分梯度。
2026-05-16 cs.AI cs.RO
Multi-Robot Active Information Gathering with Periodic Communication
University of Hamburg（汉堡大学）；Tampere University of Technology（坦佩雷理工大学）
共享共同目标的机器人团队可以从团队成员的活动协调中受益，帮助团队更可靠或更快地达到目标。我们解决的问题，协调一个团队的机器人定期通信能力执行信息收集任务的行动。我们铸造的问题作为一个多智能体的最优决策问题的信息理论的目标函数。我们表明，适当的技术解决分散的部分可观察马尔可夫决策过程（Dec-POMDPs）是适用于这样的信息收集问题。我们量化的有用性协调信息收集通过仿真研究，并证明了该方法在现实世界中的目标跟踪域的可行性。
2017-03-07 cs.AI cs.RO
Bayesian Optimized Monte Carlo Planning
Stanford University（斯坦福大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。蒙特卡罗树搜索，通过从动作空间采样来构建策略搜索树，尝试逐步加宽以提高缩放。渐进式扩展搜索的性能取决于动作采样策略，通常需要特定于问题的采样器。在这项工作中，我们提出了一个通用的方法，有效的行动抽样的基础上贝叶斯优化。所提出的方法使用高斯过程来对动作-价值函数的信念进行建模，并选择将最大化最优动作值的预期改进的动作。我们实现了一个新的在线树搜索算法称为贝叶斯优化蒙特卡罗规划（BOMCP）所提出的方法。几个实验表明，BOMCP能够更好地扩展到大的动作空间POMDPs比现有的最先进的树搜索求解器。
2020-10-07 cs.AI
Memory Bounded Open-Loop Planning in Large POMDPs using Thompson Sampling
LMU Munich（慕尼黑大学）；MaibornWolff
像POMCP这样的部分可观察规划的最新方法是基于随机树搜索的。虽然这些方法在计算上是高效的，但是它们仍然可能构造相当大的搜索树，这可能由于有限的存储器资源而限制性能。在本文中，我们提出了部分可观察的堆叠汤普森采样（POSTS），内存有界的方法来开环规划大型POMDPs，优化了一个固定大小的堆栈汤普森采样强盗。我们在四个大的基准问题的经验评估后，并比较其性能与不同的基于树的方法。我们表明，POSTS实现竞争力的性能相比，基于树的开环规划，并提供了一个性能-内存权衡，使其适合于部分可观察的规划与高度受限的计算和内存资源。
2019-05-10 cs.AI
