Contingency Planning Using Bi-level Markov Decision Processes for Space Missions
Stanford University(斯坦福大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
本文提出双层 MDP 框架,用于解决行星巡视器任务中因动作空间大和时间范围长导致的计算难题,并在 RoverGridWorld 上验证了其计算可处理性与近最优策略。
2024-02-26 cs.AI cs.RO
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology(香港科技大学)
规划问题中的行动的影响是不确定的,可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术,利用目标导向加速值迭代,解决马尔可夫决策过程的标准算法。实证研究表明,这些技术可以显着提高速度。
2013-02-06 cs.AI
Selective Dyna-style Planning Under Limited Model Capacity
The University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Harvey Mudd College(哈维穆德学院)
在基于模型的强化学习中,使用不完美的环境模型进行规划可能会损害学习进度。但是,即使模型是不完美的,它仍然可能包含对规划有用的信息。在本文中,我们研究的想法,选择性地使用一个不完美的模型。智能体应该在状态空间中模型有用的部分进行规划,但避免在模型有害的部分使用模型。一个有效的选择性规划机制需要估计预测的不确定性,这是由任意的不确定性,参数的不确定性,模型的不充分性,以及其他来源。先前的工作集中在选择性规划的参数不确定性。在这项工作中,我们强调模型不足的重要性。我们发现,异方差回归可以信号预测的不确定性所产生的模型不足,这是互补的,这是检测的方法设计的参数不确定性,这表明,考虑参数的不确定性和模型不足可能是一个更有前途的方向,有效的选择性规划比任何一个孤立的。
2021-03-07 cs.AI cs.LG stat.ML
Uncertainty-Aware Motion Planning for Autonomous Driving in Mixed Traffic Environment
Central South University(中南大学);City University of Macau(澳门城市大学)
提出不确定性感知运动规划(UAMP),通过量化人类意图不确定性并引入不确定性校准值学习,提升自动驾驶在混合交通中的安全性和舒适性。
2026-06-08 cs.AI cs.RO
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑在马尔可夫决策过程(MDP)的在线规划。在在线计划中,智能体只关注其当前状态,从该状态开始仔细考虑可能的策略集,当被打断时,使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾,这是代理的预期性能损失时,选择的行动,而不是一个最佳的,遵循。到目前为止,国家的最先进的在线规划算法一般MDPs要么是最好的努力,或保证随着时间的推移,简单的遗憾,只有多项式率减少。在这里,我们介绍了一个新的蒙特卡罗树搜索算法,BRUE,保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案,MCTS2e,其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明,BRUE不仅提供了优越的性能保证,但在实践中也是非常有效的,并有利地比较国家的最先进的。“由此产生的一组算法,BRUE(alpha),概括了BRUE,提高了其减少率上限的指数因子,并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Metareasoning for Planning Under Uncertainty
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
传统的在线规划模型下的不确定性假设,代理可以停止和计划,而不会产生成本的时间花费规划。然而,在大多数现实世界的设置中,计划时间并不是免费的。例如,自主无人机即使在思考时也会受到自然力(如重力)的影响,并且必须为抵消这些力量而付出代价,或者努力应对默许它们所导致的状态变化。在这些环境中的政策优化需要元推理-一个权衡规划成本和可能实现的潜在政策改进的过程。我们形式化和分析马尔可夫决策过程(MDP)的元推理问题。我们的工作包括以前研究的特殊情况下的元推理,并表明,在一般情况下,元推理是最多多项式比解决MDPs与任何给定的算法,无视思维的成本。由于我们讨论的原因,最佳一般元推理被证明是不切实际的,激励近似。我们提出了近似元推理程序,依赖于特殊属性的BRTDP规划算法,并探讨我们的方法对各种问题的有效性。
2015-05-03 cs.AI
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程(POMDPs)对世界状态不确定性下的规划问题进行了形式化建模,但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用,其求解具有挑战性。在本文中,我们提出了一个有效的差分动态规划(DDP)算法的信任空间规划POMDP的不确定性在一个离散的潜在状态,连续的状态,行动,观察,和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术,以优化一个可能的观测和信念空间轨迹树的应急计划,并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题(例如,目标或障碍的配置),动态的不确定性(例如,混合系统的动态模式),以及交互的不确定性,其中其他代理的行为取决于潜在的意图。基准测试表明,我们的算法优于流行的启发式方法规划下的不确定性,从一个自主变道任务的结果表明,我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Deep Learning Decision Support System for Open-Pit Mining Optimisation: GPU-Accelerated Planning Under Geological Uncertainty
University of Technology Sydney(悉尼科技大学)
本研究提出了一种基于深度学习的决策支持系统,利用变分自编码器和混合元启发式算法,在地质不确定性下实现GPU加速的露天矿优化规划。
2025-11-23 cs.AI
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
提出PO-PDDL符号化POMDP框架,通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型,实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
Simultaneous Task Allocation and Planning Under Uncertainty
我们提出了新的技术任务分配和规划的多机器人系统在不确定的环境中运行。任务分配与规划同时进行,这提供了有关单个机器人行为的更详细信息,但也利用了任务之间的独立性来有效地完成任务。我们使用马尔可夫决策过程来模拟机器人的行为和线性时序逻辑来指定任务和安全约束。基于形式化验证的技术和工具,我们展示了如何生成一系列的多机器人策略,如果单个机器人失败,则迭代地改进它们以重新分配任务,并提供概率保证机器人团队的性能(和安全操作)。我们实现我们的方法,并评估它的基准多机器人的例子。
2018-08-10 cs.AI cs.RO
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));DeepMind(深度思维)
我们介绍了平均回报MDP的学习和规划算法,包括1)第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法,2)第一个证明收敛的偏离策略无模型预测算法,3)第一个离策略学习算法,收敛到实际的价值函数,而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差,而不是传统的错误时,更新的平均奖励的估计。我们的证明技术是Abounadi,Bertsekas和Borkar(2001)的一个轻微的概括。在实验中的一个控制器的控制任务,我们展示了一些困难时,可能会出现依赖于参考状态的方法,并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
一般强化学习(GRL)领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”,它永远不会重复。一方面,这种通用性允许GRL对几乎所有可能的领域进行建模,例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面,在一般情况下,在GRL的近最优策略是完整的历史,这不仅阻碍了学习,而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此,它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合(ESA)框架已经将这一想法扩展到非马尔可夫抽象,而不影响通过(代理)MDP进行规划的可能性。ESA的一个显著特征是,它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界(其中$A$是动作数,$γ$是折扣因子,$\varepsilon$是最优间隙),其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的,我们表明,这个约束是非常松散的。我们提出了一种新的非MDP抽象,它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外,我们表明,这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
Planning with State Abstractions for Non-Markovian Task Specifications
Brown University(布朗大学)
通常,我们使用也可以跨越不同抽象级别的时态语言为机器人指定任务。示例命令"go to the kitchen before going to second floor“包含空间抽象,因为”floor“由单独的房间组成,这些房间也可以单独引用(例如“kitchen”)。还有一个时间顺序的事件,定义为“之前”一词。以前的工作已经使用线性时态逻辑(LTL)来解释时间语言(如“之前”),和抽象马尔可夫决策过程(AMDPs)解释层次抽象(如“厨房”和“二楼”),分别。为了同时处理这两种类型的命令,我们引入了抽象产品马尔可夫决策过程(AP-MDP),这是一种能够在不同抽象层次上表示非马尔可夫奖励函数的新方法。AP-MDP框架将LTL转换为相应的自动机,创建LTL规范和环境MDP的产品马尔可夫决策过程(MDP),并将问题分解为子问题,以实现具有抽象的有效规划。在超过95%的任务中,AP-MDP比解决LTL问题的非分层方法执行得更快,并且这个数字只会随着环境域的大小增加而增加。我们还提出了一个神经序列到序列模型训练语言命令翻译成LTL表达,和一个新的语料库的非马尔可夫语言命令跨越不同层次的抽象。我们测试我们的框架与收集的语言命令在无人机上,证明我们的方法使机器人能够有效地解决时间命令在不同的抽象层次。
2019-05-28 cs.AI cs.RO
Lifted Forward Planning in Relational Factored Markov Decision Processes with Concurrent Actions
University of Hamburg(汉堡大学);University of Münster(穆尔斯特大学)
本文提出Foreplan,一种高效的关联前向规划器,通过一阶表示方法解决大规模对象下的策略计算问题,并提供近似版本以保证误差可控。
2026-02-23 cs.AI
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程(SSP MDP)的概率推理。此外,我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中,视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP,并广泛用于人工智能社区。此外,我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
HyPlan: Hybrid Learning-Assisted Planning Under Uncertainty for Safe Autonomous Driving
Saarland University, Computer Science Dept.(萨尔兰大学计算机科学系);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);French National Centre for Scientific Research (CNRS)(法国国家科学研究中心)
HyPlan通过结合多智能体行为预测、深度强化学习和POMDP规划,实现安全且高效的自动驾驶导航
2026-02-06 cs.AI cs.RO
Look Before Leap: Look-Ahead Planning with Uncertainty in Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
提出不确定性感知的k步前瞻规划与探索性策略优化框架,通过权衡模型不确定性与价值误差,在机器人操作和Atari游戏中以更少交互超越现有方法。
2025-03-26 cs.AI cs.LG
POMDP-lite for Robust Robot Planning under Uncertainty
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
部分可观察马尔可夫决策过程(POMDP)为不确定性下的规划提供了一个有原则的通用模型。然而,在最坏的情况下,求解一般的POMDP在计算上是难以处理的。本文介绍了POMDP-lite,POMDPs的一个子类,其中隐藏的状态变量是恒定的或只改变确定性。我们表明,POMDP-lite相当于一组完全可观察的马尔可夫决策过程索引的隐藏参数,是有用的建模各种有趣的机器人任务。我们开发了一个简单的基于模型的贝叶斯强化学习算法来解决POMDP-lite模型。该算法在大规模POMDP-lite模型上具有高达$10^{20}$的状态,并优于最先进的通用POMDP算法。我们进一步表明,该算法是近贝叶斯最优在适当的条件下。
2016-02-23 cs.AI
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University(多特蒙德工业大学)
离线强化学习(RL)提供了一个从离线数据中学习决策的框架,因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车(SDV)学习一种策略,这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中,可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法,该方法利用规划。然而,目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划(UMBRELLA)方法,该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Existence and Finiteness Conditions for Risk-Sensitive Planning: Results and Conjectures
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Southern California(南加利福尼亚大学)
具有风险敏感规划目标的决策理论规划对于构建自主智能体或决策支持系统具有重要意义。然而,这条研究路线在很大程度上被人工智能和运筹学界所忽视,因为具有风险敏感规划目标的规划比具有风险中性规划目标的规划更复杂。为了弥补这种情况,我们推导出的条件,保证最佳的预期效用的总计划执行奖励存在和有限的完全可观察的马尔可夫决策过程模型的非线性效用函数。在具有正报酬和负报酬的马尔可夫决策过程模型中,我们的大多数结果只适用于平稳策略,但我们猜想它们可以推广到非平稳策略。
2012-07-04 cs.AI
Risk-Averse Planning Under Uncertainty
California Institute of Technology(加州理工学院);NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室)
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存,因此是不可判定的。为了克服这个困难,我们提出了一种基于有界策略迭代的方法来设计随机但有限状态(记忆)控制器,它利用了标准的凸优化方法。给定一个内存预算和最优性准则,该方法修改随机有限状态控制器,导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Analytic Planning under Uncertainty with Moment Closure
McGill University(麦吉尔大学);Mila – Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
本文提出一种基于矩闭合的不确定性下解析规划方法,通过二次动作值参数化实现闭式贝尔曼备份,在连续控制中降低目标方差,为感知分布的规划提供了合理框架。
2026-08-04 cs.AI cs.LG
Reflect-then-Plan: Offline Model-Based Planning through a Doubly Bayesian Lens
Google Research(谷歌研究院);University of Waterloo(滑铁卢大学)
本文提出双贝叶斯离线基于模型规划方法 RefPlan,将规划视为贝叶斯后验估计并在部署时利用实时观测更新环境动态信念,从而提升保守离线 RL 策略在有限数据、高不确定性和动态变化环境中的性能与鲁棒性。
2025-06-06 cs.AI cs.LG
Natural Language Generation as Planning under Uncertainty Using Reinforcement Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出并评估了一个新的模型,自然语言生成(NLG)在口语对话系统,统计规划的基础上,从当前生成的上下文(例如,用户和表面实现)的嘈杂的反馈。我们研究了它在一个标准的NLG问题中的使用:如何向用户呈现信息(在这种情况下是一组搜索结果),考虑到话语长度,传达的信息量和认知负荷之间的复杂权衡。我们通过分析现有的MATCH数据来设置这些权衡。然后,我们使用强化学习(RL)训练NLG策略,该策略使其行为适应来自当前生成上下文的噪声反馈。将这一政策与这一领域以往工作中的几条基线进行了比较。学习策略的性能明显优于所有先前的方法。
2016-06-15 cs.AI cs.CL
Uncertainty-sensitive Learning and Planning with Ensembles
Institute of Mathematics Polish Academy of Sciences(波兰科学院数学研究所);Faculty of Mathematics, Informatics and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院)
我们提出了一个强化学习框架,在离散环境中,一个代理商作出战略和战术决策。前者通过使用价值函数来表现自己,而后者则由树搜索规划器提供动力。这些工具相辅相成。规划模块执行本地\textit{what-if}分析,这允许避免战术陷阱并增强价值函数的备份。价值函数本质上是全局的,它补偿了规划者固有的局部性。为了进一步巩固这种协同作用,我们引入了一个探索机制,其中有两个独特的组成部分:不确定性建模和风险度量。为了模拟不确定性,我们使用价值函数集成,并反映风险,我们使用提出了几个泛函,总结了集成所隐含的。我们表明,我们的方法执行良好的硬勘探环境:深海,玩具蒙特祖玛的复仇,推箱子。在所有的情况下,我们获得了学习的速度和性能的提升。
2020-03-04 cs.AI cs.LG stat.ML
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto(学习、具身自主与预测(LEAF)实验室,多伦多大学)
提出UBP2方法,通过联合推理奖励、动力学和值函数的不确定性来主动引导探索,在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO
Dynamic Obstacle Avoidance through Uncertainty-Based Adaptive Planning with Diffusion
Purdue University(普渡大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
提出基于不确定性的自适应生成规划方法,通过动态调整扩散模型的重新规划频率,在保持避障性能的同时减少计算开销,实现更安全的动态环境导航。
2024-09-25 cs.AI cs.LG cs.RO
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Decision-Theoretic Planning with non-Markovian Rewards
National ICT Australia(澳大利亚国家信息通信技术研究院);The Australian National University(澳大利亚国立大学)
奖励依赖于历史而不仅仅是当前状态的决策过程被称为非马尔可夫奖励决策过程(NMRDP)。在决策理论规划中,许多期望的行为更自然地表示为执行序列的属性,而不是状态的属性,NMRDPs形成了一个更自然的模型比通常采用的完全马尔可夫决策过程(MDP)模型。虽然更易于处理的解决方案的方法开发的MDPs不直接适用于非马尔可夫奖励的存在下,一些解决方案的方法已经提出了在文献中的NMRDPs。这些都利用了时间逻辑中的非马尔可夫奖励函数的紧凑规范,自动将NMRDP转换为等效的MDP,并使用有效的MDP求解方法来求解。本文介绍了NMRDPP(非马尔可夫奖励决策过程规划器),一个软件平台的开发和实验的方法,决策理论规划与非马尔可夫奖励。当前版本的NMRDPP实现,在一个单一的接口,一个家庭的方法的基础上现有的以及新的方法,我们详细描述。这些方法包括动态规划、启发式搜索和结构化方法。使用NMRDPP,我们比较的方法,并确定某些问题的功能,影响其性能。NMRDPPs对非马尔可夫奖励的处理受到TLPlan规划器中特定于域的搜索控制知识的处理的启发,它将其作为特例。在第一届国际概率规划竞赛中,NMRDPP能够在独立于域和手工编码的轨道上竞争并表现良好,后者使用搜索控制知识。
2011-09-11 cs.AI
Efficient Hierarchical Robot Motion Planning Under Uncertainty and Hybrid Dynamics
Department of Mechanical Engineering(机械工程系);Department of Computer Science(计算机科学系);University of Texas at Austin, USA(得克萨斯大学奥斯汀分校)
本文提出了一种分层POMDP规划器,用于在存在不确定性的情况下为混合动力学模型生成成本优化的运动计划,通过将非线性动力学分解为离散的局部动力学模型,从而有效减少状态不确定性。
2018-10-08 cs.AI cs.RO cs.SY
Active Markov Information-Theoretic Path Planning for Robotic Environmental Sensing
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学)
最近的研究在多机器人探索和地图集中在采样环境领域,这是典型的高斯过程(GP)建模。现有的信息理论的探索策略,学习基于GP的环境场地图采用非马尔可夫问题结构,因此规模差的历史观测的长度。因此,使用这些策略进行原位、实时主动采样在计算上变得不切实际。为了减轻这种计算负担,本文提出了一种基于马尔可夫的方法,有效的信息理论的路径规划主动采样的GP为基础的领域。我们分析了解决基于马尔可夫路径规划问题的时间复杂度,并分析表明,它的规模优于得出的非马尔可夫策略,随着规划范围的长度增加。对于一类称为样带采样任务的探索任务,我们提供了理论上的保证,我们的主动采样性能的马尔可夫为基础的政策,从理想的环境场条件和采样任务设置可以建立限制其性能下降,由于违反马尔可夫假设。对实际温度和浮游生物密度场数据的实证评估表明,我们的基于马尔可夫的政策通常可以实现主动采样性能相比,广泛使用的非马尔可夫贪婪政策在不太有利的现实条件和任务设置,同时享受显着的计算增益。
2011-01-28 cs.AI cs.LG cs.MA
HyP-DESPOT: A Hybrid Parallel Algorithm for Online Planning under Uncertainty
不确定性下的规划是机器人在不确定、动态环境中实现鲁棒性能的关键,但其计算代价很高。最先进的在线搜索算法,如DESPOT,大大提高了不确定性下规划的计算效率,使其成为机器人实践中的一个有价值的工具。这项工作通过利用CPU和GPU并行化更进一步,以便为具有大型状态,动作和观察空间的复杂任务实现近实时在线规划性能。具体来说,我们提出了混合并行DESPOT(HyP-DESPOT),一个大规模并行在线规划算法,集成了CPU和GPU的并行性在一个多层次的计划。它通过使用多核CPU同时遍历多个独立路径来执行并行DESPOT树搜索,并使用GPU在搜索树的叶节点处执行并行Monte-Carlo模拟。实验结果表明,HyP-DESPOT加快了高达几百倍的在线规划,与原来的DESPOT算法相比,在几个具有挑战性的机器人任务的仿真。
2018-02-17 cs.AI
Uncertainty as a Planning Signal: Multi-Turn Decision Making for Goal-Oriented Conversation
The Ohio State University(俄亥俄州立大学)
本文提出CUP框架,通过结合语言模型与结构化规划,解决目标导向对话中不确定性与信息获取之间的平衡问题,提升对话成功率并减少交互轮次。
2026-08-13 cs.AI cs.CL
Planning under Continuous Time and Resource Uncertainty: A Challenge for AI
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);QSS Group Inc.(QSS集团公司)
我们概述了一类问题,典型的火星漫游者的操作,是有问题的,目前的规划方法下的不确定性。现有的方法失败,因为他们遭受一个或多个以下限制:1)他们依赖于非常简单的行动和时间模型,2)他们假设不确定性表现在离散的行动结果,3)他们只适用于非常小的问题。对于许多现实世界的问题,这些假设并不成立。特别是,当计划火星漫游者的活动时,上述假设都是无效的:1)动作可以是并发的,并且具有不同的持续时间,2)关于动作持续时间和连续资源(如电力)的消耗存在不确定性,以及3)典型的日常计划涉及大约一百个动作。这类问题可能是特别感兴趣的UAI社区,因为经典的和决策理论的规划技术可能是有用的,在解决it.We描述的流动站问题,讨论以前的工作规划下的不确定性,并提出了一个详细的,但非常小的例子说明了一些困难,找到好的计划。
2012-12-12 cs.AI
Qualitative Probabilistic Networks for Planning Under Uncertainty
MIT Laboratory for Computer Science(麻省理工学院计算机科学实验室)
贝叶斯网络为关于可能性的定性断言提供了概率语义。基于这些断言的代数的定性推理器可以得出关于动作的影响的进一步结论。虽然这些结论比从完全概率分布中计算出来的结论要弱得多,但它们对于建议潜在的行动、消除明显较差的计划、识别重要的权衡和解释概率模型仍然很有价值。
2013-03-27 cs.AI
Risk-averse Behavior Planning for Autonomous Driving under Uncertainty
Qualcomm AI Research(高通人工智能研究院);Qualcomm Automotive Research(高通汽车研究院)
自动驾驶车辆必须在周围环境中导航,并具有共享道路的其他物体的部分可观测性。自动驾驶车辆测量中的不确定性来源包括传感器融合误差、由于天气或目标检测延迟而导致的有限传感器范围、遮挡以及诸如其他人类驾驶员意图之类的隐藏参数。行为规划必须考虑所有来源的不确定性,在决定未来的车辆操纵。本文提出了一个可扩展的框架,风险规避行为规划下的不确定性,结合QMDP,无迹变换和蒙特卡罗树搜索(MCTS)。结果表明,置信上限(UCB)扩大树的结果在嘈杂的Q值估计的MCTS和QMDP的性能下降。提出了一种改进的MCTS动作选择过程,以实现鲁棒性能。
2018-12-04 cs.AI cs.RO
High Level Path Planning with Uncertainty
University of British Columbia(不列颠哥伦比亚大学)
对于高层次的路径规划,环境通常被建模为距离图,路径规划问题归结为计算距离图中的最短路径。这种建模的一个主要缺点是无法对实践中经常遇到的不确定性进行建模。在本文中,一个新的工具,称为U-young,提出了环境建模。U-图是距离图的扩展,具有处理一种不确定性的能力。通过将不确定环境建模为U图,将导航问题建模为马尔可夫决策过程,可以精确地定义一个新的导航计划最优性准则,更重要的是,可以给出一个计算导航任务最优计划的通用算法。
2013-03-20 cs.AI
Graduated Fidelity Lattices for Motion Planning under Uncertainty
Centro Singular de Investigación en Tecnoloxías da Información (CiTIUS)(信息技术卓越研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
提出了一种基于状态格的移动机器人运动规划新方法。碰撞概率的可靠估计考虑到机器人的形状,和保真度适应环境的复杂性,提高规划效率,同时保持性能。安全和最优路径发现的知情搜索算法,提出了一种新的多分辨率启发式。不同的场景和机器人形状的结果,显示所提出的方法的有效性。
2019-05-31 cs.AI cs.RO
Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation
School of Artificial Intelligence, Henan University of Technology(河南工业大学人工智能学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究所)
本文提出CURE方法,通过分解认知与内在不确定性并细分认知不确定性,利用随机网络蒸馏和MLP回归头估计不确定性,在厨房操作和桌面重排实验中验证了其与实际执行结果更紧密的对齐。
2025-10-09 cs.AI cs.RO
Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring
University of Sevilla(塞维利亚大学)
本研究针对水生环境监测中的信息路径规划,提出用深度集成替代高斯过程以提供校准的不确定性,实验表明该方法将重建误差降低83%,且蒙特卡洛树搜索在低计算成本下达到最优规划性能。
2026-10-07 cs.AI cs.IR
A Neuro-Symbolic Framework for Reasoning under Perceptual Uncertainty: Bridging Continuous Perception and Discrete Symbolic Planning
The University of Hong Kong(香港大学);Guangzhou College of Commerce(广州商学院)
针对AI系统中连续感知与离散符号推理的连接挑战,提出一种神经符号框架,通过概率符号状态提取与不确定性感知规划器实现感知到规划的不确定性建模与传播,在桌面机器人操纵任务中取得优于POMDP基线的性能,且具通用性。
2025-11-18 cs.AI
Real-World Deployment of a Hierarchical Uncertainty-Aware Collaborative Multiagent Planning System
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);DEVCOM Army Research Laboratory (ARL)(DEVCOM陆军研究实验室);United States Military Academy(美国军事学院)
本文提出并部署了一种分层不确定性感知协同多智能体规划系统,通过规划器层次结构与鲁棒设计,在真实世界未知环境中实现长距离协同导航。
2024-04-26 cs.AI cs.MA cs.RO
Planning with Uncertainty: Symmetries, Policy Inference, and Solution Compression
INF/UFRGS(乌尔巴诺-弗兰西斯科·里格尔大学信息学院)
本文提出基于显式最佳优先策略空间搜索的FOND规划方法,通过定义策略等价关系、利用群论计算状态对称性、多项式时间策略推断以及整数规划实现部分状态策略压缩,显著提升求解效率。
2026-06-02 cs.AI
Robust and Adaptive Planning under Model Uncertainty
Stanford University(斯坦福大学)
模型不确定性下的规划是许多决策和学习应用中的一个基本问题。在本文中,我们提出了鲁棒自适应蒙特卡罗规划(RAMCP)算法,它允许计算风险敏感的贝叶斯自适应政策,最佳权衡探索,剥削和鲁棒性。RAMCP制定的风险敏感规划问题作为一个两个玩家的零和游戏,其中一个对手扰动代理的信念模型。我们介绍两个版本的RAMCP算法。第一个,RAMCP-F,收敛到一个最佳的风险敏感的政策,而不必重建搜索树的基础上的信念模型被扰动。第二个版本,RAMCP-I,提高了计算效率的成本失去理论保证,但产生的经验结果相比,RAMCP-F。RAMCP是证明了一个N拉多臂土匪问题,以及病人的治疗方案。
2019-01-09 cs.AI cs.LG
Exact and Bounded Collision Probability for Motion Planning under Gaussian Uncertainty
University of Genoa(热那亚大学)
计算无碰撞轨迹对于安全航行至关重要。我们提出了一种方法来计算碰撞概率高斯分布的运动和传感器的不确定性与机器人和静态障碍物的形状近似为椭球。碰撞条件被制定为椭球体之间的距离,与以前的方法不同,我们提供了一种方法来计算准确的碰撞概率。此外,我们提供了一个严格的上限,可以更快地计算在线规划。还提供了与其他最先进的方法的比较。在不同的配置和障碍物的数量下,所提出的方法进行了评估模拟。
2021-10-12 cs.AI cs.RO
A game-theoretic approach to timeline-based planning with uncertainty
University of Udine(乌迪内大学);University of Roma Tre(罗马第三大学);National Research Council(国家研究委员会);The University of Western Australia(西澳大学)
在基于时间线的规划中,域被描述为一组独立但相互作用的组件,其随时间的行为(时间线集)由一组时间约束控制。基于时间线的计划系统的一个显著特征是通过合成灵活计划的控制策略来整合计划与执行的能力。然而,灵活的计划只能代表时间的不确定性,而更复杂的形式的非确定性需要处理更广泛的现实问题。在本文中,我们提出了一种新的博弈论的方法,以时间线为基础的规划问题,概括了最先进的,同时统一处理时间的不确定性和非确定性。我们定义了一个一般概念的时间线为基础的游戏,我们表明,这些游戏的获胜策略的概念是严格的更一般的控制策略的动态可控的灵活的计划。此外,我们发现,建立这样的获胜策略的存在性的问题是可判定的使用双指数量的空间。
2019-05-27 cs.AI cs.GT
Tru-POMDP: Task Planning Under Uncertainty via Tree of Hypotheses and Open-Ended POMDPs
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);East China Normal University(华东师范大学);Beijing University of Posts and Telecommunications(北京邮电大学)
Tru-POMDP通过结合LLM生成的信念与开放性POMDP规划,有效应对任务规划中的不确定性,提升规划效率与鲁棒性。
2026-03-01 cs.AI cs.RO
Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving Vehicles
Tsinghua University(清华大学);Toyota Motor Technical Research And Service (Shanghai) CO.,Ltd.(丰田汽车技术研发(上海)有限公司)
自动驾驶的典型轨迹规划通常依赖于预测周围障碍物的未来行为。最近,深度学习技术由于其令人印象深刻的性能而被广泛用于设计预测模型。然而,这样的模型可能会失败的“长尾”驾驶情况下,训练数据是稀疏或不可用,导致规划失败。为此,这项工作提出了一个轨迹规划器,考虑预测模型的不确定性所产生的数据不足,更安全的性能。首先,集成网络结构估计由于训练数据不足而导致的预测模型的不确定性。然后设计了一个轨迹规划器,以考虑预测不确定性引起的最坏情况。结果表明,在数据不足导致预测不确定的情况下,该方法能够提高轨迹规划的安全性。同时,在数据充分的情况下,该框架不会导致过于保守的结果。该技术有助于提高现实世界长尾数据分布下自动驾驶汽车的安全性和可靠性。
2022-07-28 cs.AI
Path Planning under Time-Dependent Uncertainty
University of Michigan(密歇根大学)
在图中寻找最短路径的标准算法要求路径的成本在边成本中是可加的,并且通常假设成本是确定性的。我们考虑的问题,不确定的边缘成本,潜在的概率之间的依赖关系的成本。虽然这些依赖关系违反了标准的动态规划分解,我们确定了一个较弱的随机一致性条件,证明了一个广义的动态规划方法的基础上随机优势。我们提出了一个修正的路径规划算法,并证明它产生最优路径下的时间依赖的不确定成本。我们测试的算法,将其应用到随机总线网络的模型,并提出经验的性能结果比较它的一些替代品。最后,我们考虑将这些概念扩展到不确定性下更一般的一类启发式搜索问题。
2013-02-20 cs.AI
PlanU: Large Language Model Reasoning through Planning under Uncertainty
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(福建智慧城市感知与计算重点实验室,信息学院,厦门大学);Key Laboratory of Multimedia Trusted Perception and Efficient Computing, XMU(多媒体可信感知与高效计算重点实验室,XMU);School of Computer, National University of Defense Technology(计算机学院,国防科技大学)
针对LLM在不确定性下多步推理表现不佳的问题,提出基于MCTS的规划方法PlanU,通过分位数分布建模节点回报并引入UCC分数平衡探索与利用,有效提升了不确定性下的LLM推理性能。
2025-11-05 cs.AI
Partially Observable Task and Motion Planning with Uncertainty and Risk Awareness
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
针对传统TAMP完全可观测、动作确定的假设局限,提出具备不确定性与风险感知的TAMPURA策略,在任务和控制器层进行不确定性推理,实验表明其性能优于确定性规划等方法,并在真实机器人问题中得到验证。
2024-10-06 cs.AI cs.RO
DiffusionRollout: Uncertainty-Aware Rollout Planning in Long-Horizon PDE Solving
DiffusionRollout通过自适应选择步长策略,提升长时间尺度PDE求解的预测可靠性与准确性。
2026-02-14 cs.AI cs.LG
Timeline-based Planning and Execution with Uncertainty: Theory, Modeling Methodologies and Practice
自动规划是人工智能自诞生以来的主要研究领域之一。自动规划研究旨在开发通用推理机(即,能够自动解决复杂问题。一般来说,规划者依赖于一个概括性的模型,它描述了世界的可能状态以及为了改变世界的状态而可以采取的行动。给定一个模型和一个已知的初始状态,规划者的目标是综合一组实现特定目标状态所需的行动。传统的规划方法大致与上面的描述相对应。基于时间线的方法是一种特殊的规划范式,能够在一个统一的解决过程中整合因果和时间推理。这种方法已成功地应用于许多现实世界的情况下,虽然相关的规划概念缺乏一个共同的解释。事实上,应用该技术的现有框架之间存在显着差异。每个框架都依赖于自己对基于时间表的规划的解释,因此不容易比较这些系统。因此,这项工作的目的是调查的时间线为基础的方法来规划解决几个方面,从语义的相关规划概念的建模和求解技术。具体而言,这项博士工作的主要贡献包括:(i)能够处理时间不确定性的基于时间线的方法的正式表征的建议;(ii)分层建模和求解方法的建议;(iii)开发用于计划和执行的通用框架;(iv)在现实世界的制造场景中验证这种方法。
2019-05-14 cs.AI
Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators
Northeastern University(东北大学);MIT(麻省理工学院);Princeton University(普林斯顿大学)
本文提出一种利用VLM估计不确定性并构建符号信念表示的新颖框架,结合信念空间规划器生成包含战略性信息收集的规划,有效解决开放世界中部分可观测的机器人移动操作问题。
2025-04-04 cs.AI cs.RO