Vectorized Online POMDP Planning
School of Computing, Australian National University（澳大利亚国立大学计算机学院）
提出向量化在线POMDP规划器（VOPP），通过全向量化计算消除并行瓶颈，实现大规模并行在线规划，计算效率比现有最先进并行求解器高至少20倍。
2026-06-03 cs.AI cs.RO
Scalable Rao-Blackwellized Online Planning for High-Dimensional POMDPs
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究扩展RB-POMDP框架，采用混合连续-离散信念表示，结合FastSLAM 2.0，在机器人搜救任务中实现高维POMDP下的高效在线规划，性能优于纯采样方法。
2026-09-02 cs.AI cs.RO
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）是机器人在不确定性条件下进行决策的基本框架，但当需要进行长期规划时，POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率，我们如何获得良好的宏动作？本文提出了Macro-Action Generator-Critic（MAGIC），它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说，MAGIC端到端地学习宏动作生成器，使用在线计划器的性能作为反馈。在在线规划过程中，生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明，与原始动作和手工宏动作相比，学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
Simplified POMDP Planning with an Alternative Observation Space and Formal Performance Guarantees
Technion（以色列理工学院）
本文提出一种通过切换到更紧凑的替代观测空间和简化模型来加速POMDP规划的新方法，引入信念树拓扑概念并推导出最优Q函数界限作为自适应机制，在保持解质量的同时实现显著加速。
2024-10-11 cs.RO
Stochastic 2-D Motion Planning with a POMDP Framework
University of Pennsylvania（宾夕法尼亚大学）
运动规划是具有挑战性的情况下，不完善的状态信息。决策应基于置信状态，根据系统动力学和传感器测量的噪声演变。在本文中，我们提出了QV-Tree搜索算法，它结合了最先进的离线和在线近似方法POMDP。而不是在树搜索中的全节点扩展，只有可能的未来观察通过向前采样。此修改有助于减少在线计算时间并允许GPU加速。我们使用代表性的例子表明，建议QV树搜索能够积极本地化的机器人，以达到目标位置的高概率。所提出的方法的结果进行了比较与A* 和MDP算法，这两个处理状态不确定性直接。比较结果表明，QV-Tree搜索能够以更高的成功率和更少的步骤驱动机器人到达目标。
2018-09-29 cs.RO
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
Beyond Fixed Goal Delivery: Online POMDP Planning for Target Interception in Crowds
Dept. of Aerospace Engineering Sciences（航空航天工程科学系）；Dept. of Computer Science, University of Colorado Boulder（科罗拉多大学博尔德分校计算机科学系）
研究拥挤环境中目标拦截问题，将其建模为部分可观测马尔可夫决策过程，用树搜索在线求解。对比顺序路径速度规划器和统一规划器，发现高密度时前者安全拦截率低、耗时多，揭示了空间限制的结构局限性。
2026-07-22 cs.RO
Online POMDP Planning with Anytime Deterministic Optimality Guarantees
Technion Autonomous Systems Program (TASP)（技术学院自主系统计划）；Stephen B. Klein Faculty of Aerospace Engineering（斯蒂芬·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文为离散POMDP推导近似解与最优解间的确定性界限，提供可附加于现有算法的确定性保证，以极小开销提升决策性能。
2025-10-27 cs.AI cs.RO
Online POMDP Planning via Simplification
Department of Computer Science（计算机科学系）；Department of Aerospace EngineeringTechnion - Israel Institute of Technology（以色列理工学院航空航天工程系）；Technion - Israel Institute of Technology（以色列理工学院）；Technion - Israel Institute of Technology, Haifa 32000, Israel（以色列理工学院（海法））
在本文中，我们考虑在线规划部分可观察域。解决相应的POMDP问题是一个非常具有挑战性的任务，特别是在在线设置。我们的主要贡献是一种新的算法方法，简化的信息理论信念空间规划（SITH-BSP），其目的是加快POMDP规划考虑信念依赖的奖励，而不影响解决方案的准确性。我们这样做是通过数学联系的简化元素的问题，以相应的对应的原始问题。具体来说，我们专注于信念简化，并使用它来制定相应的原始信念依赖奖励的界限。在计算最优策略的过程中，这些界限又被用来在信念树上执行分支修剪。我们进一步引入了自适应简化的概念，同时重新使用不同简化级别之间的计算，并利用它来修剪，在每个级别的信念树，所有分支，但一个。因此，我们的方法是保证找到原问题的最佳解决方案，但与实质性的加速。作为第二个关键的贡献，我们推导出新的分析界微分熵，考虑到基于采样的信念表示，我们相信是自己的利益。我们验证我们的方法在模拟中使用这些界限和简化对应于减少样本的数量，表现出显着的计算加速，同时产生最佳的解决方案。
2021-05-11 cs.AI cs.RO
Online Hybrid-Belief POMDP with Coupled Semantic-Geometric Models
Department of Aerospace Engineering, Technion - Israel Institute of Technology（航空航天工程系，技术离子理工学院）；Department of Aerospace Engineering and with the Department of Data and Decision Science（航空航天工程系和数据与决策科学系）；Technion - Israel Institute of Technology（技术离子理工学院）
本文提出一种新颖的混合信念形式，用于具有耦合语义-几何模型的POMDP规划，实现多项式复杂度的高效价值函数和安全概率估计，同时保持与穷举方法相当的精度。
2025-10-08 cs.RO
Towards Intention Recognition for Robotic Assistants Through Online POMDP Planning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Institute of Computer Science, University of Osnabrück（奥斯纳布吕克大学计算机科学学院）
针对工业场景中机器人助手需应对干扰、噪声观测等挑战，本文提出基于在线POMDP规划的部分可观测模型实现意图识别，通过交织信息收集与主动任务达成主动目标识别，展示初步实验结果并讨论相关挑战。
2024-11-26 cs.AI cs.RO
Partially Observable Monte-Carlo Graph Search
本文提出离线采样算法POMCGS，通过动态折叠蒙特卡洛搜索树构建策略图，并结合动作渐进加宽与观测聚类处理大型及连续POMDP，实验表明其策略质量可媲美先进在线算法。
2025-07-28 cs.AI cs.RO
Simplifying Complex Observation Models in Continuous POMDP Planning with Probabilistic Guarantees and Practice
Technion Autonomous Systems Program (TASP), Technion - Israel Institute of Technology（以色列理工学院自主系统项目（TASP），以色列理工学院）；Department of Aerospace Engineering, Technion - Israel Institute of Technology（以色列理工学院航空航天工程系）
本研究提出基于统计总变差距离的概率界，允许在连续POMDP规划中使用简化观测模型，同时保留形式化质量保证，并演示了其在在线求解器中的集成。
2025-05-24 cs.AI cs.RO
CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments
University of Oxford（牛津大学）
本文提出CAR-DESPOT，一种基于因果建模与推理的AR-DESPOT在线POMDP规划扩展方法，通过离线学习因果模型参数化，有效消除未观测混淆变量引起的误差，生成比AR-DESPOT更鲁棒且性能更高的策略。
2023-07-27 cs.AI cs.LG cs.RO
Open-loop POMDP Simplification and Safe Skipping of Replanning with Formal Performance Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
本文提出一种基于拓扑信念树的自适应开放环简化框架，通过形式性能保证减少POMDP规划复杂度，并首次实现重规划跳过机制，提升POMDP规划的可计算性和效率。
2026-04-01 cs.RO
Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control
本文提出了一种基于信念空间的分层控制架构，通过信念控制李雅普诺夫函数和屏障函数实现安全关键控制，提升机器人在部分可观测环境中的任务成功率和安全性。
2026-03-11 cs.RO
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种混合在线部分可观测马尔可夫决策过程（POMDP）规划系统，解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子，我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器（例如，混合A*）与关于不确定性的特设假设，然后使用在线基于树的POMDP求解器来推理不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应更快的实时方法，使POMDP规划者能够控制更多的自由度（例如，速度和航向），以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域，显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术（例如，ProbabilityRoadmaps或FastMarchingMethod）作为先验，用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的，比以前的方法更有效，即使在密集拥挤的动态环境中，规划的视野很长。
2022-06-20 cs.AI cs.RO
Online algorithms for POMDPs with continuous state, action, and observation spaces
Aeronautics and Astronautics Dept. Stanford University（航空航天系 斯坦福大学）
本文提出POMCPOW和PFT-DPW算法，通过加权粒子过滤解决连续状态空间POMDPs的求解问题，验证了改进方法的有效性。
2018-09-06 cs.AI cs.RO cs.SY
Compositional Learning-based Planning for Vision POMDPs
UC Berkeley（加州大学伯克利分校）；CU Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
部分可观测马尔可夫决策过程（POMDP）是一个强大的框架，用于捕获涉及状态和转移不确定性的决策问题。然而，大多数当前POMDP规划者不能有效地处理现实世界应用中普遍存在的高维图像观测，并且通常需要与环境交互的冗长的在线培训。在这项工作中，我们提出了视觉树搜索（VTS），组合学习和规划过程，结合生成模型离线学习与在线基于模型的POMDP规划。深度生成观测模型评估蒙特卡罗树搜索规划器中的可能性并预测未来图像观测。我们证明了VTS对训练过程中不存在的不同类型的图像噪声具有鲁棒性，并且可以适应不同的奖励结构，而无需重新训练。这种新方法显著且稳定地优于几种基线最先进的视觉POMDP算法，同时使用一小部分训练时间。
2022-12-03 cs.AI cs.LG cs.RO
HARPS: An Online POMDP Framework for Human-Assisted Robotic Planning and Sensing
University of Colorado Boulder（科罗拉多大学博尔德分校）
提出HARPS框架，结合在线POMDP、多模态语义交互与贝叶斯融合，使机器人利用人类标注的软数据改善环境信念，仿真和人类实验显示显著提升目标捕获效率。
2023-03-28 cs.AI cs.HC cs.RO
Safe Policy Synthesis in Multi-Agent POMDPs via Discrete-Time Barrier Functions
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDP）是一种用于受不确定性和部分观测影响的异构自主智能体的高级规划的建模范式。尽管他们的建模效率，MPOMDPs没有得到显着的关注，在安全关键的设置。在本文中，我们使用屏障功能，以确保安全的MPOMDPs设计的政策。值得注意的是，我们的方法不依赖于信念空间的离散化，或有限的记忆。为此，我们制定了充分和必要条件的安全性的一个给定的集合的基础上离散时间的障碍函数（DTBF），我们证明了我们的配方也允许布尔组成的DTBF代表更复杂的安全集。我们表明，所提出的方法可以实现在线的一个序列的一步贪心算法作为一个独立的安全控制器或作为一个安全过滤器给定的名义规划政策。我们说明了所提出的方法的效率DTBF的基础上，使用高保真度仿真异构机器人。
2019-09-12 cs.RO
Recursively-Constrained Partially Observable Markov Decision Processes
University of Colorado Boulder（科罗拉多大学博尔德分校）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
针对C-POMDP违反最优子结构导致在线重规划无效的问题，提出RC-POMDP模型，引入依赖历史代价约束，确保确定性最优策略并遵循Bellman原理，同时提出基于点的动态规划算法，实验证明其能产生更理想行为。
2024-06-05 cs.AI cs.RO
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology（以色列理工学院）
本文提出随时求解器ρPOMCPOW，通过动态细化信念表示和增量计算依赖信念奖励，在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology（以色列理工学院）
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题，提出HB-MCP算法，结合MCTS与UCB探索奖励维持混合信念并引导树生长，在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes
Vanderbilt University（范德堡大学）
针对POMDP在线求解中粒子滤波因重要性重采样导致退化的问题，提出通过构建桥接分布的退火重要性重采样方法，适应高信息量观测，在多个挑战性领域显著优于现有方法。
2025-03-25 cs.AI cs.LG cs.RO
Multi-Resolution POMDP Planning for Multi-Object Search in 3D
Brown University（布朗大学）
在家庭中工作的机器人必须找到架子上、桌子下和橱柜里的物体。在这样的环境中，在3D尺度下进行有效搜索，同时应对有限的视野和搜索多个对象的复杂性至关重要。目标搜索的原则性方法经常使用部分可观察马尔可夫决策过程（POMDP）作为计算搜索策略的基础框架，但限制了二维中的搜索空间。在本文中，我们提出了一种用于在具有截头体形视场的3D区域中进行多目标搜索的POMDP公式。为了有效地解决这个POMDP，我们提出了一种基于在线蒙特卡罗树搜索的多分辨率规划算法。在这种方法中，我们设计了一种新的基于八叉树的信念表示，以捕捉目标对象在不同分辨率水平的不确定性，然后推导出抽象的POMDPs在较低的分辨率与显着更小的状态和观察空间。在一个模拟的3D域的评估表明，我们的方法发现对象更有效，更成功的一组基线相比，在相同的计算要求下，在更大的情况下，没有分辨率层次。我们展示了我们的方法在移动机器人上找到放置在两个10米$^2 \times 2$ m区域不同高度的物体，通过移动它的基地和驱动它的躯干。
2022-03-18 cs.AI cs.RO
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出PO-PDDL符号化POMDP框架，通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型，实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
POMDP-based Object Search with Growing State Space and Hybrid Action Domain
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, 200240, People's Republic of China（自动化与智能感知学院，上海交通大学，上海，200240，中华人民共和国）；School of Computing, Australian National University (ANU), Canberra, ACT, 2601, Australia（计算学院，澳大利亚国立大学（ANU），堪培拉，ACT，2601，澳大利亚）；Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai, 200240, People's Republic of China（系统控制与信息处理重点实验室，中华人民共和国教育部，上海，200240，中华人民共和国）；Robotics Institute, University of Technology Sydney, Australia（机器人研究所，悉尼技术大学，澳大利亚）
本文提出GNPF-kCT算法，通过结合神经过程网络和k中心聚类，解决复杂室内环境中移动机器人高效定位目标物体的问题，实验证明其在目标搜索任务中优于现有方法。
2026-04-16 cs.RO
Risk Aware Adaptive Belief-dependent Probabilistically Constrained Continuous POMDP Planning
Technion - Israel Institute of Technology（以色列理工学院）
虽然风险意识是一个在线操作代理的基础，但在具有挑战性的连续域和部分可观测性下，它受到的关注较少。本文提出了一种新的公式和解决方案的风险厌恶的信念依赖的概率约束连续POMDP。我们解决了一个苛刻的设置依赖于信念的奖励和约束算子。概率置信度参数使我们的公式真正规避风险，比最先进的机会约束更灵活。我们严格的分析表明，在最严格的概率置信度的情况下，我们的配方是非常接近的机会约束。然而，我们的概率公式允许更快，更准确的自适应接受或修剪的行动履行或违反约束。此外，在任意置信参数下，我们没有找到与我们的方法类似的任何方法。我们提出了算法的解决方案，我们的配方在连续域。我们还使用重要性采样将机会约束方法提升到连续环境中。此外，我们提出的所有算法都可以使用粒子表示的参数和非参数信念。最后，我们给出了机会约束连续POMDP的一个近似，并对其进行了严格的分析和模拟。仿真结果表明，我们的算法表现出前所未有的celebrations相比，基线，在碰撞方面具有相同的性能。
2023-02-21 cs.AI cs.RO
Sparse tree search optimality guarantees in POMDPs with continuous observation spaces
University of California, Berkeley（加州大学伯克利分校）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
针对连续状态与观测空间 POMDP 中观测似然加权缺乏理论证明的问题，本文提出并分析 POWSS，证明其能高概率准确估计 Q 值并随计算增加趋近最优。
2023-06-05 cs.LG cs.RO cs.SY
Online Risk-Bounded Motion Planning for Autonomous Vehicles in Dynamic Environments
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种在线风险受限的运动规划方法，通过结合意图识别算法和POMDP求解器，生成安全高效的路径规划方案，尤其在无保护左转和变道等复杂环境中表现更优。
2019-04-04 cs.AI cs.RO cs.SY
Rao-Blackwellized POMDP Planning
针对 POMDP 求解中 SIRPF 面临的粒子匮乏与高计算成本问题，本研究提出 RB-POMDP 近似求解器，通过 Rao-Blackwellization 优化信念更新与在线规划，实验证明其能以更少粒子维持准确近似并显著提升规划质量。
2025-03-03 cs.AI cs.LG cs.RO
A POMDP-based hierarchical planning framework for manipulation under pose uncertainty
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
针对视觉受限环境下的位姿不确定性操作问题，提出基于POMDP的分层信念表示与闭环规划框架，利用3D体积空间与粒子集结合降低计算量，在真实世界实现93%成功率并显著提升解质量。
2024-09-27 cs.RO
Adaptive Discretization using Voronoi Trees for Continuous-Action POMDPs
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
求解具有连续动作的部分可观测马尔可夫决策过程（POMDP）是一个挑战，特别是对于高维动作空间。为了缓解这一困难，我们提出了一个新的基于采样的在线POMDP求解器，称为自适应离散Voronoi树（ADVT）。它使用蒙特卡罗树搜索结合动作空间的自适应离散化以及乐观优化来有效地对高维连续动作空间进行采样并计算要执行的最佳动作。具体来说，我们自适应离散化的行动空间为每个采样的信念，我们称之为一个Voronoi树的分层分区。Voronoi树是二进制空间划分（BSP），其隐式地将单元的划分保持为从单元采样的两个点的沃罗诺伊图。这种划分策略保持了划分和估计每个单元大小的低成本，即使在需要许多采样点来很好地覆盖空间的高维空间中也是如此。ADVT使用单元的估计大小来形成单元的动作值的置信度上界，并且进而使用置信度上界来指导动作空间的蒙特卡罗树搜索扩展和进一步离散化。该策略使ADVT能够更好地利用动作空间中的局部信息，从而使动作空间离散化更具自适应性，因此与现有求解器相比，在计算良好的POMDP解决方案时更有效。四种类型的基准问题的模拟实验表明，ADVT优于和规模大大优于高维连续动作空间，相比，最先进的连续动作POMDP求解器。
2022-09-13 cs.AI cs.RO
Optimality Guarantees for Particle Belief Approximation of POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Stanford University（斯坦福大学）
本文界定了POMDP与其有限样本粒子信念MDP（PB-MDP）近似之间的误差，借此将基于采样的MDP算法适配至POMDP，提供了收敛性保证，并通过Sparse-PFT算法验证了其性能。
2023-10-19 cs.AI cs.RO cs.SY
Uncertainty-Aware Online Merge Planning with Learned Driver Behavior
Stanford University（斯坦福大学）
安全可靠的自动驾驶解决方案是下一代智能交通系统的关键组成部分。这种系统中的自动驾驶车辆必须实时的推理复杂和动态的驾驶场景，并预测附近驾驶员的行为。人类驾驶行为是高度细致入微的，具体到个人的交通参与者。例如，驾驶员可能会在合并车辆的存在下表现出合作或不合作的行为。必须对这些行为进行评估，并将其纳入安全有效驾驶的规划过程中。在这项工作中，我们提出了一个框架，估计在高速公路上的司机的合作水平和计划合并演习与司机的潜在行为明确建模。潜在的参数估计问题，解决了使用粒子滤波器近似的概率分布的合作水平。一个部分可观测马尔可夫决策过程（POMDP），其中包括潜在的状态估计在线求解，以提取合并车辆的政策。我们评估我们的方法在高保真汽车模拟器对方法是不可知的潜在状态或依赖于$\textit{a priori}$假设演员的行为。
2022-07-11 cs.RO
LeTS-Drive: Driving in a Crowd by Learning from Tree Search
National University of Singapore（新加坡国立大学）
在拥挤的环境中自动驾驶，例如，一个繁忙的交通路口，是机器人技术尚未解决的挑战。机器人车辆必须与动态和部分可观察的环境，嘈杂的传感器和许多代理人抗衡。一个原则性的方法是将其形式化为部分可观测马尔可夫决策过程（POMDP），并通过在线信念树搜索来解决它。为了在这种极具挑战性的环境中处理大量人群并实现实时性能，我们提出了LeTS-Drive，它集成了在线POMDP规划和深度学习。它包括两个阶段。在离线阶段，我们学习一个政策和相应的价值函数通过模仿信念树搜索。在在线阶段，学习的策略和价值函数指导信念树搜索。LeTS-Drive利用规划的鲁棒性和学习的运行时效率来增强两者的性能。仿真实验结果表明，LeTS-Drive优于单独的规划或模仿学习，并开发出复杂的驾驶技能。
2019-05-29 cs.AI cs.LG cs.RO
Task-Directed Exploration in Continuous POMDPs for Robotic Manipulation of Articulated Objects
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
不确定性的表示和推理是自主智能体在部分可观测环境中与噪声传感器的关键。部分可观测马尔可夫决策过程（POMDPs）作为一个通用的框架，代表问题中的不确定性是一个重要因素。基于在线样本的POMDP方法已经成为解决大型POMDP的有效方法，并已被证明可以扩展到连续域。然而，这些解决方案很难在具有显著不确定性的问题中找到长期计划。探索地理学可以帮助指导规划，但许多现实世界的设置包含重大的任务无关的不确定性，可能会分散任务目标。在本文中，我们提出了一种在线POMDP求解器，能够处理需要长期规划的领域，具有显着的任务相关和任务无关的不确定性。我们展示了我们的解决方案在几个时间上的扩展版本的玩具POMDP问题，以及机器人操作的铰接对象使用神经感知前端构建一个可能的模型分布。我们的研究结果表明，BLOG优于目前基于样本的在线POMDP求解器在几个任务。
2022-12-08 cs.RO
Measurement Simplification in ρ-POMDP with Performance Guarantees
Department of Aerospace Engineering, Technion - Israel Institute of Technology（以色列理工学院航空航天工程学院）
针对 ρ-POMDP 中高维观测导致规划代价指数增长的问题，本文提出观测空间划分及信息论奖励解析界，构建可收敛的分层高效规划方法，并在主动 SLAM 中验证显著加速。
2024-06-17 cs.AI cs.RO
Barrier Functions for Multiagent-POMDPs with DTL Specifications
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDPs）提供了一个框架来表示异构自治代理的不确定性和部分观察。在本文中，给定一个名义上的政策，由人类操作员或传统的规划方法，我们提出了一种技术的基础上，障碍函数设计一个最小的干扰安全盾，确保满足高层次的规格，线性分布时序逻辑（LDTL）。为此，我们使用充分和必要条件的基础上离散时间障碍函数（DTBFs）和制定有限时间DTBF研究有限时间收敛到一个集合的充分条件的给定集合的不变性。然后，我们表明，不同的LDTL任务/安全规范可以被铸造成一组不变或有限时间可达性问题。我们证明，所提出的方法安全屏蔽合成可以实现在线的一步贪婪算法的序列。我们证明了所提出的方法的有效性，使用实验涉及一个团队的机器人。
2020-03-19 cs.MA cs.RO cs.SY
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
Active Noise Floor Estimation for Reliability-Optimal POMDPs: A Value-of-Noise-Information Approach
Department of Mechanical and Nuclear Engineering, Tennessee Technological University（机械与核工程系，田纳西技术大学）
研究针对未知物理噪声参数的可靠性最优POMDP，提出证书感知有源消歧框架，定义噪声信息价值（VoNI），通过界定VoNI表明其在不同区域的决策价值，双层决策者依后验触发探测，模拟显示该方法能更早检测噪声跳跃等，降低误差和减少探测动作。
2026-07-14 cs.RO cs.SY eess.SY
Optimal Continuous State POMDP Planning with Semantic Observations: A Variational Approach
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种基于变分方法的最优规划策略，针对语义观测下的连续状态部分可观测马尔可夫决策过程（CPOMDP）进行改进，通过变分贝叶斯方法解决混合连续-离散概率模型的表示和推理问题，提升了动态决策任务的效率和鲁棒性。
2019-08-07 cs.AI cs.RO cs.SY
Multi-Objective Multi-Agent Planning for Jointly Discovering and Tracking Mobile Object
The University of Adelaide（阿德莱德大学）；Curtin University（科廷大学）
我们认为具有挑战性的问题，在线规划的一个团队的代理自主搜索和跟踪的实际约束下的检测范围有限的车载传感器的移动对象的数量随时间变化。一个标准的POMDP与价值函数，鼓励发现或准确跟踪的移动对象是不足以同时满足搜索未发现的移动对象，同时保持跟踪发现的对象的冲突的目标。规划问题进一步复杂化的误检测或错误检测的范围有限的传感器和传感器测量固有的噪声引起的对象。我们制定了一个新的多目标POMDP基于信息论的标准，和一个在线多目标跟踪滤波器的问题。由于控制多智能体是一个众所周知的组合优化问题，分配控制行动的代理需要一个贪心算法。我们证明了我们提出的多目标价值函数是一个单调的次模集函数，因此，贪心算法可以实现（1-1/e）近似最大化的次模多目标函数。
2019-11-22 cs.MA cs.RO cs.SY
Simplified Continuous High Dimensional Belief Space Planning with Adaptive Probabilistic Belief-dependent Constraints
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测域不确定性下的在线决策，也称为信念空间规划，是机器人学和人工智能中的一个基本问题。由于未来存在大量看似合理的解释，计算最优行动方案给智能体带来了巨大的计算负担。此外，在许多情况下，例如，在信息收集中，需要引入依赖于信念的约束。基于这一需求，本文考虑了最近提出的概率信念依赖约束POMDP。我们提出了一种技术，自适应地接受或放弃一个候选动作序列的概率信念依赖的约束，扩展一个完整的未来观测样本集之前，没有任何损失的准确性。此外，使用我们提出的框架，我们贡献了一种自适应方法来找到最大可行回报（例如，信息增益）在风险价值方面的候选动作序列具有实质性的加速。最重要的是，我们引入了一个自适应简化技术的概率约束设置。这种方法可以证明返回一个相同质量的解决方案，同时大大加快在线决策。我们的通用框架适用于任何信念依赖约束连续POMDP参数信念，以及粒子表示的非参数信念。在信息理论约束的背景下，我们提出的框架随机量化，如果沿规划范围的累积信息增益是足够显着的（例如，信息收集，主动SLAM）。我们将我们的方法应用到主动SLAM，一个具有高度挑战性的高维信念空间规划问题。广泛的现实模拟证实了我们提出的想法的优越性。
2023-02-13 cs.AI cs.RO
Learning Online Belief Prediction for Efficient POMDP Planning in Autonomous Driving
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）；University of California, Berkeley（加州大学伯克利分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
针对自动驾驶 POMDP 决策，本文提出融合循环记忆与在线信念更新的 Transformer 行为预测模型，并用宏动作 MCTS、多模态轨迹近似及 DQN 先验提升规划性能与效率。
2024-06-18 cs.RO
Robotic manipulation of multiple objects as a POMDP
Aalto University（阿尔托大学）
本文研究了在拥挤的环境中多个未知物体的操纵。由于视觉观察中的未知对象和遮挡导致的不完整知识，对象观察是不完美的，并且动作成功是不确定的，使得规划具有挑战性。我们建模的问题作为一个部分可观察的马尔可夫决策过程（POMDP），它允许一个一般的奖励为基础的优化目标，并考虑到时间演化和部分观测的不确定性。除了依赖于遮挡的观察和动作成功概率之外，我们的POMDP模型还自动适应对象特定的动作成功概率。为了应对不断变化的系统动力学和性能约束，我们提出了一种新的在线POMDP方法基于粒子滤波，产生紧凑的政策。该方法是在模拟和物理实验中的情况下，移动脏盘子到洗碗机验证。结果表明：1）贪婪启发式操纵方法是不够的，多对象操纵需要多步POMDP规划，以及2）在线规划是有益的，因为它允许基于实际经验来适应系统动力学模型。
2014-07-08 cs.RO
Increasing the Value of Information During Planning in Uncertain Environments
Oberlin College（欧柏林学院）
针对信息收集与使用存在时间延迟导致信息价值被忽视的问题，提出在POMCP算法的UCB1启发式中加入Entropy的新算法，显著提升了在线规划性能。
2024-09-14 cs.AI cs.MA cs.RO
LEADER: Learning Attention over Driving Behaviors for Planning under Uncertainty
Oregon State University（俄勒冈州立大学）；Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）
人类行为的不确定性对拥挤的城市环境中的自动驾驶提出了重大挑战。部分可观测马尔可夫决策过程（POMDPs）为不确定性下的规划提供了一个原则性框架，通常利用蒙特卡洛采样来实现复杂任务的在线性能。然而，采样也会因可能遗漏关键事件而引起安全问题。为了解决这个问题，我们提出了一种新的算法，学习注意力驾驶bEADER（LEADER），学会参加关键的人类行为在规划。LEADER学习一个神经网络生成器，以在实时情况下对人类行为提供关注。它将注意力整合到一个信念空间规划器中，使用重要性采样来使推理偏向关键事件。为了训练算法，我们让注意力生成器和规划器形成一个最小-最大博弈。通过解决最小-最大博弈，LEADER学会了在没有人类标签的情况下执行风险感知规划。
2022-10-29 cs.LG cs.RO
Action-Gradient Monte Carlo Tree Search for Non-Parametric Continuous (PO)MDPs
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本文提出AGMCTS框架，结合全局树搜索与局部梯度优化，解决连续状态空间下的规划问题，理论贡献包括动作评分梯度定理、多重要性采样树和可计算的动作评分梯度。
2026-05-16 cs.AI cs.RO
Offline Reinforcement Learning from Images with Latent Space Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
离线强化学习（Offline Reinforcement Learning，RL）是指从环境交互的静态数据集中学习策略的问题。离线RL可以广泛使用和重用历史数据集，同时还可以减轻与在线探索相关的安全问题，从而扩展RL的现实世界适用性。离线RL的大多数先前工作都集中在具有紧凑状态表示的任务上。然而，直接从图像等丰富的观察空间中学习的能力对于机器人等现实世界的应用至关重要。在这项工作中，我们建立在基于模型的离线RL算法的最新进展，并将其扩展到高维视觉观察空间。基于模型的离线强化学习算法在基于状态的任务中已经取得了最新的成果，具有很强的理论保证。然而，它们关键依赖于量化模型预测中的不确定性的能力，这对于图像观察来说尤其具有挑战性。为了克服这一挑战，我们提出学习一个潜在状态动力学模型，并表示潜在空间中的不确定性。我们的方法在实践中是易于处理的，并对应于最大化未知POMDP中的ELBO下限。在一系列具有挑战性的基于图像的运动和操作任务的实验中，我们发现我们的算法显着优于以前的离线无模型RL方法以及最先进的在线基于视觉模型的RL方法。此外，我们还发现，我们的方法在使用预先存在的数据集的真实机器人上基于图像的抽屉关闭任务上表现出色。包括视频在内的所有结果都可以在https://sites.google.com/view/lompo/上找到。
2020-12-21 cs.AI cs.LG cs.RO
Human-Centered Autonomy for UAS Target Search
University of Colorado Boulder（科罗拉多大学博尔德分校）；Boulder Emergency Squad（博尔德应急小队）
针对无人机搜救需持续人工监督、搜索效率低的问题，提出以人为中心的自主框架，融合多类人工输入与地理数据生成偏好分布，增强POMDP规划器，仿真显示受害者发现量提升18%、引导效率达现有方法15倍。
2024-03-07 cs.HC cs.RO
HyPlan: Hybrid Learning-Assisted Planning Under Uncertainty for Safe Autonomous Driving
Saarland University, Computer Science Dept.（萨尔兰大学计算机科学系）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；French National Centre for Scientific Research (CNRS)（法国国家科学研究中心）
HyPlan通过结合多智能体行为预测、深度强化学习和POMDP规划，实现安全且高效的自动驾驶导航
2026-02-06 cs.AI cs.RO
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测马尔可夫决策过程（POMDP）是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索（MCTS）的思想。这些求解器快速收敛到信念树的最有希望的分支，避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励，并假设信念依赖的奖励只不过是对状态奖励的期望。因此，它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中，我们嵌入的范式简化MCTS算法。特别是，我们提出了简化的信息理论粒子滤波树（SITH-PFT），一种新的变体的MCTS算法，考虑信息理论的奖励，但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算，并且仅根据算法的要求而收紧。至关重要的是，我们保证了与MCTS完全相同的信念树和解决方案，MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说，可以容易地插入任何收敛到回报界限的算法，以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
