Multilevel Monte-Carlo for Solving POMDPs Online
Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程（POMDP）。虽然求解POMDP在计算上是棘手的，但在过去的二十年中，在开发近似POMDP求解器方面已经取得了实质性的进展。然而，计算具有复杂动态的系统的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于大量的前向模拟和标准蒙特卡罗方法来计算机器人可以执行的动作的预期结果。对于具有复杂动态的系统，例如，那些具有非线性动力学的系统不允许封闭形式的解决方案，即使是单一的正向模拟也可能非常昂贵。当然，这一问题加剧了长期规划的问题。本文旨在缓解上述困难。为此，我们提出了一种新的在线POMDP求解器，称为多级POMDP规划器（MLPP），它结合了众所周知的蒙特卡洛树搜索与多级蒙特卡洛的概念，以加快我们的能力，在生成近似最优的POMDP与复杂的动态解决方案。基于POMDP的扭矩控制，导航和抓取四个不同的问题的实验表明，MLPP大大优于最先进的POMDP求解器。
2019-07-23 cs.RO
Sequential Bayesian Optimisation as a POMDP for Environment Monitoring with UAVs
University of Sydney（悉尼大学）
贝叶斯优化最近得到了很大的普及，作为一种全局优化技术的功能，是昂贵的评估或未知的先验。虽然经典BO关注的是接下来在哪里收集观察结果，但它没有考虑机器人系统的实际约束，例如在物理上可以从哪里收集样本，也没有考虑执行轨迹时问题的顺序性质。在现场机器人和其他现实生活中，物理和轨迹约束是固有的问题。本文解决了这些问题，制定贝叶斯优化连续轨迹部分可观测马尔可夫决策过程（POMDP）的框架内。使用蒙特卡罗树搜索（MCTS），我们适应使用一个奖励函数平衡探索和剥削解决由此产生的POMDP。用无人机监测空间现象的实验说明了我们的BO-POMDP算法如何优于竞争技术。
2017-03-13 cs.RO
When to Localize? A POMDP Approach
University of Maryland（马里兰大学）
提出基于受约束POMDP和Cost-Constrained POMCP求解器的方法，帮助机器人在成本高昂或危险多变的环境中决定何时定位，以最小化定位动作并控制失败概率。
2024-11-13 cs.RO
POMDP-Guided Active Force-Based Search for Robotic Insertion
School of System Design and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学系统设计与智能制造学院）；Department of Computer Science, the University of Hong Kong（香港大学计算机科学系）；Cheng Kar-Shun Robotics Institute, Hong Kong University of Science and Technology（香港科技大学郑家纯机器人研究院）
针对高不确定性机器人插入任务，提出将接触构型静态稳定性基元纳入POMDP并由FSM与笛卡尔阻抗控制实现的主动力搜索策略，仿真表明其更快、更短且更鲁棒。
2024-04-05 cs.RO
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出PO-PDDL符号化POMDP框架，通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型，实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control
本文提出了一种基于信念空间的分层控制架构，通过信念控制李雅普诺夫函数和屏障函数实现安全关键控制，提升机器人在部分可观测环境中的任务成功率和安全性。
2026-03-11 cs.RO
Stochastic 2-D Motion Planning with a POMDP Framework
University of Pennsylvania（宾夕法尼亚大学）
运动规划是具有挑战性的情况下，不完善的状态信息。决策应基于置信状态，根据系统动力学和传感器测量的噪声演变。在本文中，我们提出了QV-Tree搜索算法，它结合了最先进的离线和在线近似方法POMDP。而不是在树搜索中的全节点扩展，只有可能的未来观察通过向前采样。此修改有助于减少在线计算时间并允许GPU加速。我们使用代表性的例子表明，建议QV树搜索能够积极本地化的机器人，以达到目标位置的高概率。所提出的方法的结果进行了比较与A* 和MDP算法，这两个处理状态不确定性直接。比较结果表明，QV-Tree搜索能够以更高的成功率和更少的步骤驱动机器人到达目标。
2018-09-29 cs.RO
Knowledge-Based Hierarchical POMDPs for Task Planning
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子学研究所）；Instituto Nacional de Enfermedades Respiratorias（国家呼吸系统疾病研究所）；University of Bristol（布里斯托大学）；Centro de Investigaciones en Matemáticas（数学研究中心）
任务规划的主要目标是建立一个动作序列，使智能体从初始状态到目标状态。在机器人技术中，这是特别困难的，因为动作通常有几种可能的结果，传感器容易产生误差的测量。部分可观测马尔可夫决策过程（POMDP）是常用的，由于他们的能力来模拟的不确定性的动作，修改和监控系统的状态。然而，由于求解POMDP在计算上是昂贵的，因此它们的使用对于大多数机器人应用来说变得令人望而却步。在本文中，我们提出了一个服务机器人的任务规划架构。在服务机器人设计的背景下，我们提出了一个计划来编码的机器人及其环境的知识，促进了信息的模块化和重用。此外，我们引入了一个新的递归定义的POMDP，使我们的体系结构，自主建立一个层次的POMDP，使它可以用来生成和执行计划，解决手头的任务。实验结果表明，与基线方法相比，通过遵循递归分层方法，该架构能够显着减少规划时间，同时在不确定性和大小不同的几种情况下保持（甚至提高）鲁棒性。
2021-04-09 cs.AI cs.RO
Partially Observable Markov Decision Processes in Robotics: A Survey
Universität Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Aalto University（阿尔托大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
噪声感测、不完善的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的数学框架，建模和解决机器人决策和控制任务下的不确定性。在过去的十年中，它已经看到了许多成功的应用，包括定位和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人机交互。这项调查的目的是弥合POMDP模型和算法的发展之间的差距，在一端和应用程序在其他不同的机器人决策任务。它分析了这些任务的特点，并将它们与POMDP框架的数学和算法属性联系起来，以实现有效的建模和解决方案。对于从业者来说，调查提供了一些关键的任务特征，以决定何时以及如何成功地将POMDPs应用于机器人任务。对于POMDP算法设计者来说，调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并为进一步研究指出了有前途的新方向。
2022-09-21 cs.AI cs.RO cs.SY
POMDP Model Learning for Human Robot Collaboration
University of Notre Dame（圣母大学）
近年来，人类机器人协作（HRC）迅速成为控制，机器人和心理学交叉的热门研究领域。虽然大多数现有的工作集中在低层次的人类意识的运动规划或HRC界面设计，我们特别感兴趣的是一个正式的设计HRC高层次的复杂任务，在那里是至关重要的，以获得一个准确的，同时易于处理的人体模型。而不是假设的人的模型是给定的，我们问它是否是合理的，从观察到的感知数据，如手势，眼球运动，头部运动的人在关注学习的人的模型。作为我们的第一步，我们在这项工作中采用了部分可观察马尔可夫决策过程（POMDP）模型，越来越多的证据表明，从心理学研究人类行为的马尔可夫属性。此外，POMDP提供了一个通用的建模框架，顺序决策的状态是隐藏的，行动有随机的结果。与大多数POMDP模型学习文献不同的是，我们没有假设POMDP模型中的状态、转移结构或状态数的界是已知的。相反，我们使用贝叶斯非参数学习方法从数据中决定潜在的人类状态。然后，我们采用的启发可能近似正确（PAC）学习的方法，以获得不仅是一个估计的转移概率，但也与估计的置信区间。然后，应用从估计模型导出的控制策略的性能被保证为足够接近真实模型。最后，利用驾驶辅助试验台采集的数据对模型进行训练，验证了该学习方法的有效性。
2018-03-30 cs.HC cs.RO
Towards Intention Recognition for Robotic Assistants Through Online POMDP Planning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Institute of Computer Science, University of Osnabrück（奥斯纳布吕克大学计算机科学学院）
针对工业场景中机器人助手需应对干扰、噪声观测等挑战，本文提出基于在线POMDP规划的部分可观测模型实现意图识别，通过交织信息收集与主动任务达成主动目标识别，展示初步实验结果并讨论相关挑战。
2024-11-26 cs.AI cs.RO
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）是机器人在不确定性条件下进行决策的基本框架，但当需要进行长期规划时，POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率，我们如何获得良好的宏动作？本文提出了Macro-Action Generator-Critic（MAGIC），它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说，MAGIC端到端地学习宏动作生成器，使用在线计划器的性能作为反馈。在在线规划过程中，生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明，与原始动作和手工宏动作相比，学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
Scalable Rao-Blackwellized Online Planning for High-Dimensional POMDPs
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究扩展RB-POMDP框架，采用混合连续-离散信念表示，结合FastSLAM 2.0，在机器人搜救任务中实现高维POMDP下的高效在线规划，性能优于纯采样方法。
2026-09-02 cs.AI cs.RO
Deep reinforcement learning for the olfactory search POMDP: a quantitative benchmark
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；IRPHE（艾克斯-马赛大学流体力学与声学研究所）
嗅觉搜索POMDP（部分可观察马尔可夫决策过程）是一个顺序决策问题，旨在模仿昆虫在湍流中搜索气味源所面临的任务，其解决方案已应用于嗅探机器人。由于精确的解决方案是遥不可及的，挑战在于找到最好的近似解决方案，同时保持合理的计算成本。我们提供了基于深度强化学习的求解器与传统POMDP近似求解器的定量基准测试。我们表明，深度强化学习是标准方法的一种有竞争力的替代方法，特别是在生成适合机器人的轻量级策略方面。
2023-03-20 cs.RO physics.bio-ph physics.flu-dyn
Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives
Rice University（莱斯大学）
在不确定性下规划鲁棒执行是构建自主机器人的基本挑战。部分可观测马尔可夫决策过程（POMDP）为许多应用中的不确定性建模提供了一个标准框架。在这项工作中，我们研究POMDPs的安全可达性的目标，这需要一个概率高于一定的阈值，最终达到一个目标状态，同时保持访问不安全状态的概率低于一定的阈值。这POMDP制定是不同于传统的POMDP模型的最优性目标，我们表明，在某些情况下，安全可达性目标的POMDP可以提供更好的保证安全性和可达性比现有的POMDP模型通过一个例子。POMDP的一个关键算法问题是策略综合，这需要在一个巨大的信念空间（概率分布）上进行推理。为了解决这一挑战，我们引入了一个目标约束的信念空间的概念，其中只包含信念可达到的初始信念下所需的执行，可以实现给定的安全可达性目标。我们的方法competently表示这个空间在一个有界的地平线上使用符号约束，并采用增量可满足性模理论（SMT）求解器，有效地搜索一个有效的policy.We评估我们的方法使用的案例研究，涉及部分可观察的机器人领域与不确定的障碍。结果表明，我们的方法可以合成政策在大的信念空间与少量的SMT求解器调用集中在目标约束的信念空间。
2018-05-09 cs.AI cs.RO
Safe POMDP Online Planning among Dynamic Agents via Adaptive Conformal Prediction
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
针对多动态智能体环境下 POMDP 在线规划的安全问题，提出利用 ACP 量化轨迹预测不确定性并即时构建安全屏障，在真实行人数据实验中兼顾回报与概率安全保证。
2024-09-06 cs.RO
CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments
University of Oxford（牛津大学）
本文提出CAR-DESPOT，一种基于因果建模与推理的AR-DESPOT在线POMDP规划扩展方法，通过离线学习因果模型参数化，有效消除未观测混淆变量引起的误差，生成比AR-DESPOT更鲁棒且性能更高的策略。
2023-07-27 cs.AI cs.LG cs.RO
HARPS: An Online POMDP Framework for Human-Assisted Robotic Planning and Sensing
University of Colorado Boulder（科罗拉多大学博尔德分校）
提出HARPS框架，结合在线POMDP、多模态语义交互与贝叶斯融合，使机器人利用人类标注的软数据改善环境信念，仿真和人类实验显示显著提升目标捕获效率。
2023-03-28 cs.AI cs.HC cs.RO
Towards Plug'n Play Task-Level Autonomy for Robotics Using POMDPs and Generative Models
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
为了使机器人能够实现高级目标，工程师通常编写应用现有专业技能的脚本，例如导航，目标检测和操作以实现这些目标。编写好的脚本是具有挑战性的，因为它们必须智能地平衡物理机器人的动作和传感器的固有随机性，以及它所拥有的有限信息。原则上，人工智能规划可以用来应对这一挑战，并自动生成良好的行为策略。但这需要跨越三个障碍。首先，AI必须了解每项技能对世界的影响。第二，我们必须在理解技能的抽象层次与其代码中使用的低级状态变量之间架起桥梁。第三，需要大量的集成工作来将所有组件联系在一起。我们描述了一种将机器人技能集成到工作自主机器人控制器中的方法，该控制器计划其技能以实现指定的任务，并具有四个关键优势。1)我们的生成技能文档语言（GSDL）使用概率程序设计语言的思想使代码文档更简单，紧凑，更具表现力。2)一个富有表现力的抽象映射（AM）弥合了低级机器人代码和抽象AI规划模型之间的差距。3)任何适当记录的技能都可以由控制器使用，而无需任何额外的编程工作，提供即插即用体验。4)POMDP求解器调度技能执行，同时适当地平衡部分可观察性、随机行为和噪声感测。
2022-07-20 cs.AI cs.RO cs.SE
POMDP-based Object Search with Growing State Space and Hybrid Action Domain
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, 200240, People's Republic of China（自动化与智能感知学院，上海交通大学，上海，200240，中华人民共和国）；School of Computing, Australian National University (ANU), Canberra, ACT, 2601, Australia（计算学院，澳大利亚国立大学（ANU），堪培拉，ACT，2601，澳大利亚）；Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai, 200240, People's Republic of China（系统控制与信息处理重点实验室，中华人民共和国教育部，上海，200240，中华人民共和国）；Robotics Institute, University of Technology Sydney, Australia（机器人研究所，悉尼技术大学，澳大利亚）
本文提出GNPF-kCT算法，通过结合神经过程网络和k中心聚类，解决复杂室内环境中移动机器人高效定位目标物体的问题，实验证明其在目标搜索任务中优于现有方法。
2026-04-16 cs.RO
VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents
Australian National University（澳大利亚国立大学）；The University of Sydney（悉尼大学）
提出VOiLA框架，利用条件扩散模型学习POMDP模型，通过蒸馏加速采样并与向量化在线规划器集成，在三个基准任务和实物机器人上实现高效在线规划。
2026-10-16 cs.AI cs.RO
Simplified POMDP Planning with an Alternative Observation Space and Formal Performance Guarantees
Technion（以色列理工学院）
本文提出一种通过切换到更紧凑的替代观测空间和简化模型来加速POMDP规划的新方法，引入信念树拓扑概念并推导出最优Q函数界限作为自适应机制，在保持解质量的同时实现显著加速。
2024-10-11 cs.RO
Social Navigation Planning Based on People's Awareness of Robots
University of Texas at Austin（德克萨斯大学奥斯汀分校）
当移动机器人在人类附近移动时，它们会冒着粗暴地挡住人类道路的风险;但并非所有人在机器人周围的行为都是一样的。没有注意到机器人的人是最难预测的。本文研究了移动机器人如何在动态环境中通过预测人类行为来生成可接受的路径。在这里，人的行为可能包括身体行为和心理行为，我们侧重于后者。我们引入了一个简单的安全交互模型：当人类似乎不知道机器人时，它应该避免走得太近。在这项研究中，机器人周围的人检测和跟踪使用传感器融合和过滤技术。为了处理动态环境中的不确定性，部分可观测马尔可夫决策过程模型（POMDP）被用来制定在共享环境中的导航规划问题。在POMDP中，人们对机器人的意识被推断并包括为状态和奖励模型。所提出的计划，使机器人改变其导航计划的基础上，其感知每个人的机器人意识。据我们所知，这是一种新的能力。我们进行模拟和实验，使用丰田人类支持机器人（HSR），以验证我们的方法。我们证明了所提出的框架是能够实时运行。
2018-09-24 cs.RO
Multi-Resolution POMDP Planning for Multi-Object Search in 3D
Brown University（布朗大学）
在家庭中工作的机器人必须找到架子上、桌子下和橱柜里的物体。在这样的环境中，在3D尺度下进行有效搜索，同时应对有限的视野和搜索多个对象的复杂性至关重要。目标搜索的原则性方法经常使用部分可观察马尔可夫决策过程（POMDP）作为计算搜索策略的基础框架，但限制了二维中的搜索空间。在本文中，我们提出了一种用于在具有截头体形视场的3D区域中进行多目标搜索的POMDP公式。为了有效地解决这个POMDP，我们提出了一种基于在线蒙特卡罗树搜索的多分辨率规划算法。在这种方法中，我们设计了一种新的基于八叉树的信念表示，以捕捉目标对象在不同分辨率水平的不确定性，然后推导出抽象的POMDPs在较低的分辨率与显着更小的状态和观察空间。在一个模拟的3D域的评估表明，我们的方法发现对象更有效，更成功的一组基线相比，在相同的计算要求下，在更大的情况下，没有分辨率层次。我们展示了我们的方法在移动机器人上找到放置在两个10米$^2 \times 2$ m区域不同高度的物体，通过移动它的基地和驱动它的躯干。
2022-03-18 cs.AI cs.RO
MEMBOT: Memory-Based Robot in Intermittent POMDP
Department of Computer Science Stanford University（计算机科学系 斯坦福大学）
针对机器人控制中的间歇性部分可观测问题，提出模块化记忆架构 MEMBOT，通过两阶段训练将信念推断与策略学习解耦，在观测丢失率较高时仍保持优异性能。
2025-09-14 cs.AI cs.RO
Stochastic Motion Planning under Partial Observability for Mobile Robots with Continuous Range Measurements
GRASP Lab, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
在本文中，我们解决的问题，随机运动规划下的部分可观性，更具体地说，如何导航的移动机器人配备了连续范围传感器，如激光雷达。与现有的许多机器人运动规划方法相比，我们明确考虑了机器人状态的不确定性，通过将系统建模为POMDP。通用POMDP求解器的最新工作通常限于离散观测空间，并且由于LIDAR的连续测量而不容易适用于所提出的问题。在这项工作中，我们建立在现有的蒙特卡罗树搜索方法，POMCP，并提出了一个新的算法POMCP++。我们的算法可以处理连续观测空间与一个新的测量选择策略。POMCP++算法通过在推出阶段去除隐式完美状态假设来克服推出策略的值估计中的过度乐观。通过证明POMCP++是一个蒙特卡罗树搜索算法，从理论上对POMCP++进行了验证。通过与其他方法的比较，也可以应用到所提出的问题，我们表明，POMCP++产生显着更高的成功率和总回报。
2020-12-02 cs.RO
Stochastic Finite State Control of POMDPs with LTL Specifications
California Institute of Technology（加州理工学院）
部分可观测马尔可夫决策过程（POMDPs）为不确定性和不完美感知下的自主决策提供了一个建模框架，例如机器人操作和自动驾驶汽车。然而，POMDPs的最优控制是众所周知的棘手。本文考虑了POMDP的次优随机有限状态控制器（sFSC）的定量合成问题，使得满足线性时序逻辑（LTL）公式的一组高级规范的概率最大化。我们开始铸造后一个问题的优化和使用松弛的泊松方程和麦考密克信封的基础上。然后，我们提出了一个随机有界的政策迭代算法，导致sFSC的大小和任何时间的算法，其中控制器的性能提高与连续迭代的控制增长，但可以停止由用户基于时间或内存的考虑。我们说明了所提出的方法的机器人导航的案例研究。
2020-01-21 cs.AI cs.FL cs.RO
Planning for robotic exploration based on forward simulation
Tampere University of Technology（坦佩雷理工大学）
本文提出基于POMDP的探索规划方法，结合信息论目标函数和正向模拟算法，通过改进的互信息近似方法提升机器人在部分已知环境中的探索效率。
2016-06-29 cs.RO cs.SY eess.SY
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
An On-Line POMDP Solver for Continuous Observation Spaces
College of Engineering & Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程（POMDP）。虽然求解POMDP在计算上是棘手的，但在过去的二十年中，在开发近似POMDP求解器方面已经取得了实质性的进展。然而，计算具有连续观测空间的问题的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于离散化的观察空间或人为地限制在规划期间考虑的观察的数量来计算易处理的策略。在本文中，我们提出了一个新的在线POMDP求解器，称为懒惰的信念提取连续POMDP（LABECOP），它结合了蒙特卡洛树搜索和粒子滤波的方法来构建一个政策reprentation，它不需要离散化的观察空间，并避免限制在规划过程中考虑的观察数量。三个不同的问题，涉及连续观测空间的实验表明，LABECOP执行类似或优于国家的最先进的POMDP求解器。
2020-11-04 cs.AI cs.RO
Monte-Carlo Robot Path Planning
Technische Universität Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
路径规划是机器人行为设计的重要算法。基于采样的方法，如快速探索随机树（RRT）或概率路线图，是路径规划问题的主要算法解决方案。尽管它的指数收敛速度，RRT只能找到次优路径。另一方面，$\textrm{RRT}^*$，一个广泛使用的RRT的扩展，保证概率的完整性，找到最佳路径，但在实践中遭受在复杂的环境中缓慢的收敛。此外，现实世界的机器人环境往往是部分可观察的或描述不佳的动态，铸造应用程序的$\textrm{RRT}^*$在复杂的任务次优。研究了机器人路径规划中常用的蒙特卡罗树搜索（MCTS）算法。值得注意的是，我们研究蒙特卡罗路径规划（MCPP）的分析和证明，一方面，它的指数收敛速度的最优路径完全可观察的马尔可夫决策过程（MDP），另一方面，它的概率完备性，找到可行的路径在部分可观察的MDP（POMDP）假设有限的距离可观察性（证明草图）。我们的算法的贡献，使我们能够采用最近提出的MCTS的变种，不同的探索策略，机器人路径规划。我们的实验评估在模拟的2D和3D环境与7自由度（DOF）的机械手，以及在现实世界的机器人路径规划任务，证明了优越性的MCPP POMDP任务。
2022-08-04 cs.RO
Proactive Intention Recognition for Joint Human-Robot Search and Rescue Missions through Monte-Carlo Planning in POMDP Environments
University of Essex（埃塞克斯大学）
主动感知他人的意图是在非结构化、动态和新颖的环境中有效互动的关键技能。这项工作提出了将这种技能嵌入到搜索和救援任务的支持机器人中的第一步。事实上，预测应对方的意图将使勘探方法能够确定和优先考虑与应对方更相关的领域，从而与任务更相关，从而制定更安全、更有力和更有效的联合勘探战略。更具体地说，本文提出了一种主动的意图识别范式感知，即使在感官的限制，不仅目标的位置，但也第一响应者的动作，这可以提供信息，他/她的意图（例如，到达的位置，他/她期望的目标）。这种机制是通过采用基于蒙特卡罗的规划技术的扩展部分可观察的环境，其中的奖励函数增加了熵减少奖金。我们在模拟中测试了几种配置的奖励增强，信息理论和不，以及信念状态近似，并获得了实质性的改进的基本方法。
2019-08-27 cs.AI cs.HC cs.LG
Planning for Decentralized Control of Multiple Robots Under Uncertainty
CSAIL（计算机科学与人工智能实验室）
我们描述了一个概率框架综合控制策略一般多机器人系统，给定的环境和传感器模型和成本函数。分散式部分可观测马尔可夫决策过程（Dec-POMDPs）是决策过程的一般模型，其中一组代理必须在存在不确定性的情况下合作优化某些目标（由共享奖励或成本函数指定），但其中通信限制意味着代理不能共享其状态，因此执行必须以分散的方式进行。虽然Dec-POMDP通常难以解决现实世界的问题，但最近关于Dec-POMDP中使用宏动作的研究显着增加了可以作为Dec-POMDP实际解决的问题的大小。我们描述了这个一般模型，并展示了如何，与大多数现有的方法，专门针对一个特定的问题类，它可以合成控制策略，使用任何机会协调存在的问题，同时平衡的不确定性的结果，传感器信息，和其他代理人的信息。我们使用三个变化的仓库任务，表明这种类型的一个单一的计划可以产生合作的行为，使用任务分配，直接沟通，和信令，适当的。
2014-02-12 cs.AI cs.MA cs.RO
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Online Hybrid-Belief POMDP with Coupled Semantic-Geometric Models
Department of Aerospace Engineering, Technion - Israel Institute of Technology（航空航天工程系，技术离子理工学院）；Department of Aerospace Engineering and with the Department of Data and Decision Science（航空航天工程系和数据与决策科学系）；Technion - Israel Institute of Technology（技术离子理工学院）
本文提出一种新颖的混合信念形式，用于具有耦合语义-几何模型的POMDP规划，实现多项式复杂度的高效价值函数和安全概率估计，同时保持与穷举方法相当的精度。
2025-10-08 cs.RO
Tru-POMDP: Task Planning Under Uncertainty via Tree of Hypotheses and Open-Ended POMDPs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；East China Normal University（华东师范大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
Tru-POMDP通过结合LLM生成的信念与开放性POMDP规划，有效应对任务规划中的不确定性，提升规划效率与鲁棒性。
2026-03-01 cs.AI cs.RO
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Think Fast and Far: Long-Horizon Online POMDP Planning via Rapid State Sampling
Australian National University（澳大利亚国立大学）；Rice University（里士大学）
提出一种基于快速状态采样的在线POMDP求解器ROP-RAS3，通过宏动作生成和信念空间采样，有效解决长时域POMDP问题，在多种高维连续/离散混合空间中显著优于现有方法。
2026-06-03 cs.RO
Non-Linearity Measure for POMDP-based Motion Planning
Research School of Computer Science（计算机科学研究学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
不确定条件下的运动规划是机器人可靠运行的关键。尽管在过去的十年中取得了重大进展，但对于具有复杂动态的系统来说，这个问题仍然很困难。大多数最先进的方法执行搜索，依赖于大量的前向模拟。对于具有复杂动态特性的系统，这通常需要昂贵的数值积分，这大大减慢了规划过程。已经提出了可以缓解上述问题的基于线性化的方法。然而，目前尚不清楚线性化如何影响生成的运动策略的质量，以及何时这种简化是可接受的。我们提出了一个非线性度量，称为基于统计距离的非线性度量（SNM），可以识别线性化是有益的，应该避免。我们发现，当问题被框定为部分可观测马尔可夫决策过程，原始模型和线性化模型的最优策略之间的值差可以上界的函数线性SNM。与现有的措施在各种情况下的比较表明，SNM更适合于估计线性化求解器的有效性。为了测试SNM在运动规划中的适用性，我们提出了一个简单的在线规划器，使用SNM作为一个启发式之间切换的一般和线性化为基础的求解器。对具有二阶动力学和4-DOF和7-DOF扭矩控制机械手的类车机器人的结果表明，SNM可以适当地决定是否以及何时使用基于线性化的求解器。
2020-05-29 cs.RO
Safe Policy Synthesis in Multi-Agent POMDPs via Discrete-Time Barrier Functions
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDP）是一种用于受不确定性和部分观测影响的异构自主智能体的高级规划的建模范式。尽管他们的建模效率，MPOMDPs没有得到显着的关注，在安全关键的设置。在本文中，我们使用屏障功能，以确保安全的MPOMDPs设计的政策。值得注意的是，我们的方法不依赖于信念空间的离散化，或有限的记忆。为此，我们制定了充分和必要条件的安全性的一个给定的集合的基础上离散时间的障碍函数（DTBF），我们证明了我们的配方也允许布尔组成的DTBF代表更复杂的安全集。我们表明，所提出的方法可以实现在线的一个序列的一步贪心算法作为一个独立的安全控制器或作为一个安全过滤器给定的名义规划政策。我们说明了所提出的方法的效率DTBF的基础上，使用高保真度仿真异构机器人。
2019-09-12 cs.RO
Strategic Shaping of Human Prosociality: A Latent-State POMDP Framework
Honda Research Institute USA, Inc.（本田美国研究院）；Department of Cognitive Science, University of California, Irvine（加州大学尔湾分校认知科学系）
本文提出一种隐态POMDP框架，用于机器人战略性地塑造人类亲社会性，通过学习转移和观测动态，提升合作效果。
2026-03-02 cs.HC cs.RO cs.SY
Synthesising Robust Controllers for Robot Collectives with Recurrent Tasks: A Case Study
University of Bremen（不来梅大学）
本文针对具有优化目标、循环性和安全性约束的机器人群体，提出将随机双玩家博弈简化为POMDP单玩家博弈进行高层控制器综合，并通过公共建筑清洁案例提供大规模建模与综合指导。
2024-11-21 cs.AI cs.MA cs.RO
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Lazy Heuristic Search for Solving POMDPs with Expensive-to-Compute Belief Transitions
Carnegie Mellon University（卡内基梅隆大学）
针对POMDP中信念转移计算代价过高导致规划时间长的问题，提出Lazy RTDP-Bel和Lazy LAO*算法，利用Q值估计推迟昂贵计算，在保持解质量的同时显著提升规划速度。
2025-05-30 cs.RO
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology（以色列理工学院）
本文提出随时求解器ρPOMCPOW，通过动态细化信念表示和增量计算依赖信念奖励，在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments
Brown University（布朗大学）
LEGS-POMDP通过整合语言、手势和视觉信息，在部分可观测环境中实现高效的开放世界对象搜索，显著提升了多模态感知和不确定性处理能力。
2026-03-05 cs.HC cs.RO
Vectorized Online POMDP Planning
School of Computing, Australian National University（澳大利亚国立大学计算机学院）
提出向量化在线POMDP规划器（VOPP），通过全向量化计算消除并行瓶颈，实现大规模并行在线规划，计算效率比现有最先进并行求解器高至少20倍。
2026-06-03 cs.AI cs.RO
Vector Autoregressive POMDP Model Learning and Planning for Human-Robot Collaboration
University of Notre Dame（圣母大学）
人机协作是近年来控制、机器人学和心理学交叉领域的一个研究热点。在HRC中，获得一个有表达力但同时又易于处理的人类模型是至关重要的。在本文中，我们提出了一个称为向量自回归POMDP（VAR-POMDP）模型，这是一个传统的POMDP模型的扩展，考虑到观测之间的相关性。VAR-POMDP模型比传统的连续观测POMDP模型在特征表达能力上更强，因为传统的连续观测POMDP模型是VAR-POMDP模型的特例。同时，所提出的VAR-POMDP模型也是易于处理的，因为我们表明它可以有效地从数据中学习，并且我们可以将基于点的值迭代（PBVI）扩展到VAR-POMDP规划。特别是，在本文中，我们建议使用贝叶斯非参数学习来决定潜在的人类状态，并使用从人类演示中收集的数据来学习VAR-POMDP模型。然后，我们考虑规划方面的PCTL，这是广泛使用的机器人的安全性和可达性的要求。最后，使用所提出的模型HRC的优势进行了验证的实验结果，使用从驾驶员辅助试验台收集的数据。
2019-04-28 cs.RO
Simplifying Complex Observation Models in Continuous POMDP Planning with Probabilistic Guarantees and Practice
Technion Autonomous Systems Program (TASP), Technion - Israel Institute of Technology（以色列理工学院自主系统项目（TASP），以色列理工学院）；Department of Aerospace Engineering, Technion - Israel Institute of Technology（以色列理工学院航空航天工程系）
本研究提出基于统计总变差距离的概率界，允许在连续POMDP规划中使用简化观测模型，同时保留形式化质量保证，并演示了其在在线求解器中的集成。
2025-05-24 cs.AI cs.RO
Adaptive Robot Assistance: Expertise and Influence in Multi-User Task Planning
University of Waterloo（滑铁卢大学）
本文提出一个考虑人类专业性和机器人影响力的POMDP框架，并采用注意力切换策略，以提升多用户任务规划中的团队绩效，适用于中小型工业。
2023-10-16 cs.MA cs.RO
Beyond Fixed Goal Delivery: Online POMDP Planning for Target Interception in Crowds
Dept. of Aerospace Engineering Sciences（航空航天工程科学系）；Dept. of Computer Science, University of Colorado Boulder（科罗拉多大学博尔德分校计算机科学系）
研究拥挤环境中目标拦截问题，将其建模为部分可观测马尔可夫决策过程，用树搜索在线求解。对比顺序路径速度规划器和统一规划器，发现高密度时前者安全拦截率低、耗时多，揭示了空间限制的结构局限性。
2026-07-22 cs.RO
MIRROR: Reflecting Hidden Symmetries from Offline Robot Interaction Data
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
MIRROR是从机器人离线交互数据中学习对称群在POMDP中对观测和动作的耦合变换的框架，在Robosuite任务上提升了对称性质量与策略成功率，其策略可零样本部署到真实Kinova GEN3机械臂
2026-10-14 cs.RO
Distillation-PPO: A Novel Two-Stage Reinforcement Learning Framework for Humanoid Robot Perceptive Locomotion
Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
本文提出Distillation-PPO两阶段框架，结合MDP教师策略监督与POMDP强化学习，提升人形机器人感知运动的训练效率、稳定性及实际泛化能力。
2025-03-11 cs.RO
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
