Finding Approximate POMDP solutions Through Belief Compression
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
标准价值函数方法寻找部分可观测马尔可夫决策过程(POMDPs)的政策,通常被认为是棘手的大型模型。这些算法的棘手性在很大程度上是在整个信念空间上计算精确的最优策略的结果。然而,在现实世界的POMDP问题,计算最优策略的完整的信念空间往往是不必要的良好的控制,即使是复杂的政策类的问题。控制器所经历的信念通常位于嵌入在高维信念空间中的结构化的低维子空间附近。找到仅针对该子空间的最优价值函数的良好近似比计算完整的价值函数容易得多。我们介绍了一种新的方法来解决大规模POMDPs通过降低信仰空间的维数。我们使用指数族主成分分析(Collins,Dasgupta和Schapire,2002)来表示稀疏的,高维的信念空间,使用信念状态的小集合的学习特征。然后,我们仅根据低维信念特征进行规划。通过在这个低维空间中进行规划,我们可以找到POMDP模型的策略,这些策略比传统技术可以处理的模型大几个数量级。我们演示了使用该算法的合成问题和移动机器人导航任务。
2011-10-04 cs.AI
B$^3$RTDP: A Belief Branch and Bound Real-Time Dynamic Programming Approach to Solving POMDPs
MIT Media Lab(麻省理工学院媒体实验室)
部分可观测马尔可夫决策过程(POMDPs)为自主智能体提供了一个有前途的世界表示,因为它们可以模拟过渡和感知的不确定性。计算POMDP问题的最优解在计算上可能是昂贵的,因为它们需要在(可能是无限的)信念空间上进行推理。已经提出了几种方法来克服这个困难,如离散化的信念空间,基于点的信念抽样,和蒙特卡罗树搜索。RTDP-Bel算法的实时的【形】动态规划方法通过将价值函数存储在具有离散化置信键的哈希表中来近似该价值函数。我们提出了一个扩展的RTDP-Bel算法,我们称之为信念分支和界限RTDP(B $^3$ RTDP)。我们的算法使用有界价值函数表示,并利用这两个新的方式:搜索绑定技术的基础上的行动选择收敛概率,并利用早期的行动收敛称为\textit{Convergence Frontier}的方法。最后,我们的经验表明,B $^3$ RTDP可以实现更大的回报,在更短的时间比国家的最先进的SARSOP解决已知的POMDP问题。
2022-10-22 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam(阿姆斯特丹大学)
部分可观测马尔可夫决策过程(POMDPs)形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上,提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段,确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是,一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反,Perseus只备份信念集中的(随机选择的)点子集,足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Utilization of domain knowledge to improve POMDP belief estimation
Honda Research Institute Japan(日本本田研究所)
部分可观测马尔可夫决策过程(POMDP)框架是一种常见的不确定性决策方法。最近,多项研究表明,通过将相关领域知识整合到POMDP信念估计中,我们可以提高学习策略的性能。在这项研究中,我们提出了一种新的方法集成领域知识的概率信念更新POMDP框架中使用杰弗里的规则和规范化。我们表明,领域知识可以利用,以减少数据需求,提高性能的POMDP策略学习与RL。
2023-02-17 cs.AI cs.LG
GammaZero: Learning To Guide POMDP Belief Space Search With Graph Representations
GammaZero通过图表示框架学习引导POMDP规划,利用统一的图信念表示实现跨问题规模的泛化,通过图神经网络和解码器架构从专家示范中学习价值函数和策略,指导蒙特卡洛树搜索。
2026-03-29 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University(斯坦福大学)
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合,用于高维POMDP的信念状态规划,通过Q加权访问计数策略训练,在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Restricted Value Iteration: Theory and Algorithms
Washington University(华盛顿大学);Hong Kong University of Science & Technology(香港科技大学)
值迭代是一种寻找POMDPs近似最优策略的常用算法。由于需要考虑整个置信空间,这需要解决大量的线性规划,因此效率低下。本文研究了限制于信念子集的值迭代问题。我们表明,连同适当选择的信念子集,限制值迭代产生接近最优的政策,我们给出了一个条件,以确定是否一个给定的信念子集将带来节省空间和时间。我们还将限制值迭代应用于两类有趣的POMDPs,即信息POMDPs和近可辨别的POMDPs。
2011-06-30 cs.AI
Anytime Point-Based Approximations for Large POMDPs
McGill University(麦吉尔大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
部分可观测马尔可夫决策过程长期以来被认为是现实世界规划和控制问题的丰富框架,特别是在机器人领域。然而,在这个框架中的精确解通常是计算上难以处理的,但最小的问题。一种用于加速POMDP求解的众所周知的技术涉及在特定的信念点执行值备份,而不是在整个信念单形上执行值备份。然而,这种方法的效率在很大程度上取决于点的选择。本文提出了一套新的技术,选择信息的信念点,在实践中工作得很好。点选择过程与基于点的值备份相结合,形成一个有效的随时POMDP算法称为基于点的值迭代(PBVI)。本文的第一个目的是介绍这种算法,并提出了一个理论分析证明选择的信念选择技术。本文的第二个目的是提供一个彻底的实证比较PBVI和其他国家的最先进的POMDP方法,特别是英仙座算法,在努力突出他们的相似性和差异。使用标准POMDP域和现实的机器人任务进行评估。
2011-10-04 cs.AI
Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees
Technion – Israel Institute of Technology(以色列理工学院)
针对在线POMDP规划中期望成本掩盖高风险状态的问题,提出对每步信念上的即时成本应用CVaR,保留期望累积回报为目标,使任何基于期望的规划器仅通过改变成本计算即可实现风险敏感,并给出有限时间性能保证。
2026-09-30 cs.AI
Interpreting systems as solving POMDPs: a step towards a formal understanding of agency
Cross Labs, Cross Compass, Tokyo 104-0045, Japan(Cross Labs, Cross Compass, 日本东京);Earth-Life Science Institute, Tokyo Institute of Technology, Tokyo 152-8550, Japan(地球生命科学研究所, 东京技术大学, 日本东京)
本文基于部分可观察马尔可夫过程(POMDPs)理论,提出将系统解释为同时具备信念、目标和行动的POMDP解,从而为“系统成为智能体”提供更一般的形式化定义。
2025-07-11 cs.AI
REBA: A Revealed Belief Automaton Framework for Online Planning in Continuous POMDPs
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science and Artificial Intelligence, Liaoning Normal University(辽宁师范大学计算机科学与人工智能学院);Human-Centered AI Lab, Department of Ecosystem Management, Climate and Biodiversity, BOKU University(BOKU大学生态系统管理与气候生物多样性系人本人工智能实验室);Institute of Human-Centered Computing, Graz University of Technology(格拉茨技术大学人本计算研究所)
提出REBA框架,通过信息论门在线分析连续信念空间并建立可靠锚点,构建有限信念自动机,结合ω-正则规范实现无需预定义离散抽象的在线规划,在巡逻和导航任务中性能提升17%-47.4%。
2026-06-23 cs.AI
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology(以色列理工学院)
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题,提出HB-MCP算法,结合MCTS与UCB探索奖励维持混合信念并引导树生长,在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Region-Based Incremental Pruning for POMDPs
University of Massachusetts(马萨诸塞大学)
我们提出了一个重大的改进增量修剪算法求解部分可观测马尔可夫决策过程。我们的技术目标交叉和步骤的动态规划(DP)更新,POMDP算法的复杂性的一个关键来源。我们的算法不是在修剪交叉和时对整个信念空间进行推理,而是将信念空间划分为更小的区域,并在每个区域中进行独立的修剪。我们评估的新技术的分析和实验的好处,并表明,它产生非常显着的性能增益。结果有助于POMDP算法的可扩展性域,不能处理的最好的现有技术。
2012-07-11 cs.AI
Expected Free Energy as Belief-Dependent Utility for rho-POMDPs
University of Colorado Boulder(科罗拉多大学博尔德分校)
研究在部分可观测性下智能体信息收集决策问题,核心方法是用主动推理最小化期望自由能,此方法被证明等同于求解特定rho-POMDP,实验表明该方法在多种环境中表现良好,能提供基于信念的效用,避免过度探索。
2026-07-21 cs.AI
Belief-State Query Policies for User-Aligned POMDPs
针对现实场景中部分可观测且需满足用户需求的规划问题,提出基于参数化信念状态查询(BSQ)策略的框架,通过理论分析得出隐式离散参数搜索空间有限的结论,进而设计优化算法并验证其计算可行性。
2025-04-15 cs.AI
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中,我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程(POMDPs),这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大,为了减少训练时间,过滤掉了相似信念。实验结果表明,该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Conditional Deep Generative Models for Belief State Planning
Aeronautics and Astronautics Stanford University(航空航天系 斯坦福大学);Institute for Computational & Mathematical Engineering (ICME) Stanford University(计算与数学工程研究所(ICME) 斯坦福大学)
针对高维状态 POMDP 的信念表示难题,提出用条件深度生成模型 cDGMs 学习后验信念并采样,在矿产勘探任务中优于粒子滤波。
2025-05-16 cs.AI
Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives
Rice University(莱斯大学)
在不确定性下规划鲁棒执行是构建自主机器人的基本挑战。部分可观测马尔可夫决策过程(POMDP)为许多应用中的不确定性建模提供了一个标准框架。在这项工作中,我们研究POMDPs的安全可达性的目标,这需要一个概率高于一定的阈值,最终达到一个目标状态,同时保持访问不安全状态的概率低于一定的阈值。这POMDP制定是不同于传统的POMDP模型的最优性目标,我们表明,在某些情况下,安全可达性目标的POMDP可以提供更好的保证安全性和可达性比现有的POMDP模型通过一个例子。POMDP的一个关键算法问题是策略综合,这需要在一个巨大的信念空间(概率分布)上进行推理。为了解决这一挑战,我们引入了一个目标约束的信念空间的概念,其中只包含信念可达到的初始信念下所需的执行,可以实现给定的安全可达性目标。我们的方法competently表示这个空间在一个有界的地平线上使用符号约束,并采用增量可满足性模理论(SMT)求解器,有效地搜索一个有效的policy.We评估我们的方法使用的案例研究,涉及部分可观察的机器人领域与不确定的障碍。结果表明,我们的方法可以合成政策在大的信念空间与少量的SMT求解器调用集中在目标约束的信念空间。
2018-05-09 cs.AI cs.RO
Deceptive Kernel Function on Observations of Discrete POMDP
New York University(纽约大学)
研究了部分可观测马尔可夫决策过程中对主体的欺骗问题。在离散POMDP模型中引入欺骗性核函数(核),用于智能体的观测。基于Agent使用的值迭代、价值函数逼近和POMCP三种特征算法,分析了其信念被作为内核输出的虚假观测所误导,并预测了其对Agent奖励和潜在其他性能可能造成的威胁。我们验证了我们的期望,并通过实验两个POMDP问题的欺骗探索更有害的影响。结果表明,应用于Agent观测的核函数会影响Agent的信念,从而大大降低Agent的收益;同时,核函数的某些实现也会导致Agent的其他异常行为。
2020-08-12 cs.AI
A Scalable Method for Solving High-Dimensional Continuous POMDPs Using Local Approximation
Washington University in St. Louis(圣路易斯华盛顿大学)
部分可观测马尔可夫决策过程(POMDP)通常通过找到相应的信念MDP的近似全局解来求解。本文针对具有连续状态、动作和观测空间的POMDP问题,提出了一种新的规划算法。由于这样的域具有固有的局部性概念,我们可以使用局部优化方法找到近似解。我们参数化的信念分布为高斯混合,并使用扩展卡尔曼滤波器(EKF)近似的信念更新。由于EKF是一阶滤波器,因此我们可以通过分析对观测值进行边缘化。通过在政策执行期间使用反馈控制和状态估计,我们可以恢复有效地取决于传入观察的行为,尽管是无条件的规划。局部优化提供了没有保证的全局最优性,但它允许我们处理域,至少是一个数量级大于目前最先进的。我们证明了我们的算法的可扩展性,考虑模拟手眼协调域与16个连续的状态维度和6个连续的动作维度。
2012-03-15 cs.AI
Monte Carlo Information-Oriented Planning
Université de Lorraine(洛林大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室);École Normale Supérieure de Lyon(里昂高等师范学校)
在这篇文章中,我们讨论如何解决信息收集问题表示为rho-POMDPs,部分可观察马尔可夫决策过程(POMDPs)的扩展,其奖励rho取决于信念状态。用于求解POMDPs的基于点的方法已经扩展到当其奖励rho在B中是凸的或当其是Lipschitz连续的时,将rho-POMDPs作为信念MDPs来求解。在本文中,我们建立在POMCP算法提出了一个蒙特卡罗树搜索的rho-POMDP,旨在有效的在线规划,可用于任何rho函数。由于信念依赖的奖励,需要适应(i)一次传播多个状态,以及(ii)防止价值估计的偏差。当ρ连续时,给出了ε-最优值的渐近收敛性证明。实验进行分析的算法在手,并表明他们优于近视的方法。
2021-03-21 cs.AI
Tru-POMDP: Task Planning Under Uncertainty via Tree of Hypotheses and Open-Ended POMDPs
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);East China Normal University(华东师范大学);Beijing University of Posts and Telecommunications(北京邮电大学)
Tru-POMDP通过结合LLM生成的信念与开放性POMDP规划,有效应对任务规划中的不确定性,提升规划效率与鲁棒性。
2026-03-01 cs.AI cs.RO
Rollout Sampling Policy Iteration for Decentralized POMDPs
我们提出了分散式铺开抽样策略迭代(DecRSPI)-一种新的算法,多智能体决策问题正式的DEC-POMDPs。DecRSPI旨在提高可扩展性并解决缺乏显式模型的问题。该算法使用蒙特卡罗方法来产生一个样本的可达信念状态。然后,它计算一个联合政策的基础上,每个信念状态的推出估计。一个新的政策表示允许我们代表解决方案的复杂性。该算法的主要优点是它的线性时间复杂度的代理数量,其有限的内存使用和良好的解决方案的质量。它可以解决现有规划算法难以解决的较大问题。实验结果证实了该方法的有效性和可扩展性。
2012-03-15 cs.AI
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University(宾夕法尼亚州立大学);Technical University of Munich(慕尼黑工业大学)
提出深度置信马尔可夫模型DBMM,利用变分推断和神经网络从观测数据中高效推断POMDP置信状态,并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Adaptive mine planning under geological uncertainty: A POMDP framework for sequential decision-making
Geology & Sustainable Mining Institute (GSMI), University Mohammed VI Polytechnic (UM6P)(地质与可持续采矿研究所(GSMI),穆罕默德六世理工学院(UM6P));Department of Earth and Planetary Sciences, Stanford University(地球与行星科学系,斯坦福大学)
本文提出将采矿调度建模为部分可观测马尔可夫决策过程,通过混合SA-POMDP架构实现自适应决策,减少预期现实差距并提升净现值。
2026-05-13 cs.AI
Leveraging the Value of Information in POMDP Planning
本文提出基于信息价值的动态规划框架和VOIMCP算法,通过高效利用信息价值减少计算开销,提升POMDP规划性能。
2026-04-01 cs.AI
Simplification of Risk Averse POMDPs with Performance Guarantees
Technion - Israel Institute of Technology(以色列理工学院)
本文针对部分可观测马尔可夫决策过程中CVaR风险规避决策计算困难的问题,提出一种基于廉价信念-MDP转移模型的简化框架,推导CVaR价值函数界限并提供理论性能保证。
2024-06-08 cs.AI
Risk Aware Adaptive Belief-dependent Probabilistically Constrained Continuous POMDP Planning
Technion - Israel Institute of Technology(以色列理工学院)
虽然风险意识是一个在线操作代理的基础,但在具有挑战性的连续域和部分可观测性下,它受到的关注较少。本文提出了一种新的公式和解决方案的风险厌恶的信念依赖的概率约束连续POMDP。我们解决了一个苛刻的设置依赖于信念的奖励和约束算子。概率置信度参数使我们的公式真正规避风险,比最先进的机会约束更灵活。我们严格的分析表明,在最严格的概率置信度的情况下,我们的配方是非常接近的机会约束。然而,我们的概率公式允许更快,更准确的自适应接受或修剪的行动履行或违反约束。此外,在任意置信参数下,我们没有找到与我们的方法类似的任何方法。我们提出了算法的解决方案,我们的配方在连续域。我们还使用重要性采样将机会约束方法提升到连续环境中。此外,我们提出的所有算法都可以使用粒子表示的参数和非参数信念。最后,我们给出了机会约束连续POMDP的一个近似,并对其进行了严格的分析和模拟。仿真结果表明,我们的算法表现出前所未有的celebrations相比,基线,在碰撞方面具有相同的性能。
2023-02-21 cs.AI cs.RO
Qualitative Possibilistic Mixed-Observable MDPs
IRIT – Paul Sabatier University(IRIT - 图卢兹第三大学(保罗·萨巴蒂埃大学));Onera – The French Aerospace Lab(法国国家航空航天研究中心)
可能性和定性POMDP(pi-POMDP)是POMDP的对应物,用于模拟由于缺乏过去的经验或数据汇集不足而导致代理的初始信念或观察概率不精确的情况。然而,像概率POMDPs,最佳解决pi-POMDPs是棘手的:有限的信念状态空间指数增长与系统的状态数。在本文中,一个可能性版本的混合可观测MDP的解决这个问题:解决pi-POMDP的复杂性,其中一些状态变量是完全可观测的,然后可以显着降低。一个值迭代算法,这个新的配方下无限地平线提出和最优性的返回策略(指定的标准)示出假设存在一个“停留”的行动在一些目标状态。实验工作最后表明,这种可能性模型优于概率POMDPs通常用于机器人技术中,对于目标识别问题,代理的意见是不精确的。
2013-09-26 cs.AI
Under-Approximating Expected Total Rewards in POMDPs
RWTH Aachen University(亚琛工业大学)
我们考虑这个问题:在部分可观测马尔可夫决策过程(POMDP)中,达到目标状态的最优期望总回报是否低于给定阈值?我们通过计算这些总的预期回报的近似值来解决这个通常不可判定的问题。这是通过抽象POMDP的无限信念MDP的有限展开来完成的。关键问题是找到合适的价值函数的欠逼近。我们提供两种技术:一个简单的(截止)技术,使用一个良好的政策对POMDP,和一个更先进的技术(信念裁剪),使用最小的变化之间的信念的概率。我们使用混合整数线性规划(MILP)找到这样的最小概率的变化,并通过实验表明,我们的技术规模相当不错,同时提供严格的下限预期的总回报。
2022-01-21 cs.AI cs.LO
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier(IRIT - 保罗·萨巴捷大学)
在这篇文章中,我们提出了一个定性(有序)部分可观察马尔可夫决策过程模型(POMDP),其中的不确定性,以及代理的偏好,建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍,即使在有限的状态空间中,所获得的POMDP的信念状态空间是无限的。相反,在可能性框架中,即使指数地大于状态空间,信念状态空间仍然是有限的。
2013-01-23 cs.AI
No Compromise in Solution Quality: Speeding Up Belief-dependent Continuous POMDPs via Adaptive Multilevel Simplification
Technion(以色列理工学院)
本文提出自适应多级简化理论,加速信念依赖的连续POMDP在线规划,在不牺牲解质量的前提下,通过新型上下界替代信息论奖励计算,实现显著加速。
2024-05-22 cs.AI cs.RO
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University(罗格斯大学);Electronics and Telecommunications Research Institute(电子与电信研究所);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
以对象为中心的世界模型提供了场景的结构化表示,并且可以成为强化学习和规划的重要支柱。然而,现有的方法遭受部分可观察的环境中,由于缺乏信念状态。在本文中,我们提出了结构化的世界信念,一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗(SMC)推断,我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处,我们还提出了一个新的以对象为中心的动力学模型,认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪,我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中,我们表明,以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外,我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
A Tractable POMDP for a Class of Sequencing Problems
Stanford University(斯坦福大学)
我们考虑一个部分可观察马尔可夫决策问题(POMDP)模型的一类排序问题。虽然POMDPs通常是棘手的,我们的配方承认听话的解决方案。我们将状态空间降维到一个更小的维度,而不是在一个高维的信念状态集合上保持一个价值函数,其中基于网格的动态规划技术是有效的。我们开发了一个误差界的近似结果,并讨论了应用模型的问题,有针对性的广告。
2013-01-10 cs.AI
Online POMDP Planning via Simplification
Department of Computer Science(计算机科学系);Department of Aerospace EngineeringTechnion - Israel Institute of Technology(以色列理工学院航空航天工程系);Technion - Israel Institute of Technology(以色列理工学院);Technion - Israel Institute of Technology, Haifa 32000, Israel(以色列理工学院(海法))
在本文中,我们考虑在线规划部分可观察域。解决相应的POMDP问题是一个非常具有挑战性的任务,特别是在在线设置。我们的主要贡献是一种新的算法方法,简化的信息理论信念空间规划(SITH-BSP),其目的是加快POMDP规划考虑信念依赖的奖励,而不影响解决方案的准确性。我们这样做是通过数学联系的简化元素的问题,以相应的对应的原始问题。具体来说,我们专注于信念简化,并使用它来制定相应的原始信念依赖奖励的界限。在计算最优策略的过程中,这些界限又被用来在信念树上执行分支修剪。我们进一步引入了自适应简化的概念,同时重新使用不同简化级别之间的计算,并利用它来修剪,在每个级别的信念树,所有分支,但一个。因此,我们的方法是保证找到原问题的最佳解决方案,但与实质性的加速。作为第二个关键的贡献,我们推导出新的分析界微分熵,考虑到基于采样的信念表示,我们相信是自己的利益。我们验证我们的方法在模拟中使用这些界限和简化对应于减少样本的数量,表现出显着的计算加速,同时产生最佳的解决方案。
2021-05-11 cs.AI cs.RO
ESCORT: Efficient Stein-variational and Sliced Consistency-Optimized Temporal Belief Representation for POMDPs
Vanderbilt University(范德比大学)
针对POMDP中复杂多模态信念表示难题,提出基于粒子的ESCORT框架,通过相关性感知投影和时间一致性约束扩展SVGD,无需重采样即可动态适应,提升信念近似精度与决策质量。
2025-10-24 cs.AI cs.LG cs.RO
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology(以色列理工学院)
本文提出随时求解器ρPOMCPOW,通过动态细化信念表示和增量计算依赖信念奖励,在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
Optimality Guarantees for Particle Belief Approximation of POMDPs
University of California, Berkeley(加州大学伯克利分校);University of Colorado Boulder(科罗拉多大学博尔德分校);Stanford University(斯坦福大学)
本文界定了POMDP与其有限样本粒子信念MDP(PB-MDP)近似之间的误差,借此将基于采样的MDP算法适配至POMDP,提供了收敛性保证,并通过Sparse-PFT算法验证了其性能。
2023-10-19 cs.AI cs.RO cs.SY
Belief Embedding Tree Search
University of Alberta(阿尔伯塔大学);Charles University(查理大学);EquiLibre Technologies, Inc.(EquiLibre科技公司);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本研究提出信念嵌入树搜索(BETS),一种用生成式分布嵌入表示信念的蒙特卡洛规划器,在RockSample等6种POMDP任务上,BETS优于BetaZero等基线规划器,尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
Towards Optimal Performance and Action Consistency Guarantees in Dec-POMDPs with Inconsistent Beliefs and Limited Communication
Technion - Israel Institute of Technology(技术学院-以色列理工学院)
本文提出了一种去中心化框架,用于在具有不一致信念和有限通信的Dec-POMDPs中实现最优联合行动选择,提供行动一致性和性能的概率保证,并在需要时触发通信。
2025-12-23 cs.AI cs.MA cs.RO
The Actor Search Tree Critic (ASTC) for Off-Policy POMDP Learning in Medical Decision Making
Imperial College London(帝国理工学院)
非策略强化学习能够从次优经验中获得接近最优的策略,从而为人工智能在医疗保健中的应用提供了机会。以前的工作主要是将患者与临床医生的互动框定为马尔可夫决策过程,而真正的生理状态不一定完全可以从临床数据中观察到。我们捕捉这种情况与部分可观察的马尔可夫决策过程,其中代理优化其行动的信念表示为从个人的历史轨迹推断的患者状态的分布。高斯混合模型拟合的观测数据。此外,我们考虑到这样一个事实,即药物剂量的细微差别可能会导致显着不同的效果,通过直接在政策空间,即演员的高斯近似建模连续的政策。为了解决无限数量的可能的信念状态,使精确值迭代棘手的挑战,我们评估和计划,只有每一个遇到的信念,通过启发式搜索树,严格维护下限和上限的真实值的信念。我们进一步求助于函数近似来更新值边界估计,即评论家,使得树搜索可以通过边缘节点处的更紧凑的边界来改进,边缘节点将被反向传播到根。演员和评论家参数都是通过基于梯度的方法学习的。我们提出的政策从真正的重症监护病房数据训练,能够支配剂量的血管加压药和静脉输液败血症患者,导致最佳的患者结果。
2018-06-03 cs.AI
QANTIS: Hardware-Calibrated Sequential POMDP Belief Updates on IBM Heron
IBM(国际商业机器公司)
研究在IBM Heron硬件上,QANTIS能否跨顺序Tiger POMDP重复使用校准信念更新服务。通过案例研究比较不同放大方式,结果表明全步FPAA能保留后验,给出了硬件校准信念更新原语的操作包络。
2026-07-09 cs.AI quant-ph
Rao-Blackwellized POMDP Planning
针对 POMDP 求解中 SIRPF 面临的粒子匮乏与高计算成本问题,本研究提出 RB-POMDP 近似求解器,通过 Rao-Blackwellization 优化信念更新与在线规划,实验证明其能以更少粒子维持准确近似并显著提升规划质量。
2025-03-03 cs.AI cs.LG cs.RO
How to Explore with Belief: State Entropy Maximization in POMDPs
Politecnico di Milano(米兰理工大学);Technion – Israel Institute of Technology(以色列理工学院)
本文研究了部分可观测环境下的状态熵最大化问题,提出了一种基于信念状态的高效策略梯度方法,并形式化分析了近似差距、优化景观与幻觉问题。
2024-06-04 cs.AI cs.LG
Tighter Value-Function Approximations for POMDPs
Radboud University(拉德堡德大学);Lund University(隆德大学);University of Copenhagen(哥本哈根大学);Eindhoven University of Technology(埃因霍温理工大学);Ruhr-University Bochum(波鸿鲁尔大学)
针对POMDPs求解中可靠上价值边界计算成本高且紧度与成本存在权衡的问题,提出比快速知情边界更紧的新上价值边界,实证显示其可加速多种基准上的最先进POMDP求解器。
2025-02-10 cs.AI
Value-Directed Sampling Methods for POMDPs
Brown University(布朗大学)
我们考虑的问题,近似的信念状态监测,使用粒子滤波的目的是实现一个政策的部分可观察马尔可夫决策过程(POMDP)。虽然粒子滤波已经成为人工智能中用于监测动态系统的广泛使用的工具,但很少有人关注它们在决策环境中的使用。假设存在一个价值函数,我们推导出与过滤使用重要性采样的决策质量的误差界。我们还描述了一个自适应程序,可用于动态确定所需的样本数,以满足特定的误差范围。经验证据支持这种技术作为一种有利可图的手段,指导抽样工作,它是需要区分政策。
2013-01-10 cs.AI
Adaptive Discretization using Voronoi Trees for Continuous POMDPs
The University of Queensland(昆士兰大学);Australian National University(澳大利亚国立大学)
求解连续部分可观测马尔可夫决策过程(POMDPs)是一个挑战,特别是对于高维连续动作空间。为了缓解这一困难,我们提出了一个新的基于采样的在线POMDP求解器,称为自适应离散Voronoi树(ADVT)。它使用蒙特卡罗树搜索结合动作空间的自适应离散化以及乐观优化来有效地对高维连续动作空间进行采样并计算要执行的最佳动作。具体来说,我们自适应离散化的动作空间为每个采样的信念使用一个分层分区称为Voronoi树,这是一个二进制空间分区,隐式地保持一个单元格的分区作为沃罗诺伊图的两个点从细胞采样。ADVT使用细胞的估计直径来形成细胞内的动作价值函数的置信上限,指导蒙特卡罗树搜索扩展和动作空间的进一步离散化。与现有求解器相比,这使ADVT能够更好地利用与动作价值函数相关的本地信息,从而能够更快地识别动作空间中最有希望的区域。Voronoi树保持划分和估计每个细胞的直径的成本低,即使在高维空间中,需要许多采样点来覆盖空间。ADVT还通过采用观察渐进扩展策略以及信念的加权粒子表示来处理连续观察空间。实验结果表明,ADVT的规模大大优于高维连续的动作空间,相比国家的最先进的方法。
2023-02-21 cs.AI
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London(帝国理工学院)
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的,限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程(POMDPs),并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理,我们建立了一个变分生成模型,并使用递归神经网络(RNN)增强状态表示,并结合了序列自动编码的辅助损失。同时,我们优化了一个连续的药物水平的政策与行动者-评论家的方法,其中策略梯度从一个稳定的政策外估计的优势函数,与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法,使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量,并使用政策外政策评估(OPPE)评估学习的政策。结果表明,建模为POMDP产生更好的性能比MDP,并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Multi-Agent Decentralized Belief Propagation on Graphs
Qualcomm(高通);Northwestern University(西北大学)
我们考虑的问题的交互式部分可观察马尔可夫决策过程(I-POMDPs),其中代理位于通信网络的节点。具体来说,我们假设所有消息都有一个特定的消息类型。此外,每个代理根据交互式信念状态、本地观察到的信息以及通过网络从其邻居接收到的消息做出单独的决策。在这种情况下,代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。我们提出了一个分散的信念传播算法,并证明了我们的算法的收敛性。最后,我们展示了我们的框架的多个应用程序。我们的工作似乎是第一次研究分散的信念传播算法的网络多智能体I-POMDPs。
2020-11-10 cs.AI cs.LG
Resolving Multiple-Dynamic Model Uncertainty in Hypothesis-Driven Belief-MDPs
University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文针对假设驱动信念MDP中多动态模型不确定性导致的历史维度灾难问题,提出一种新的信念MDP形式化方法,能够同时推理多个假设、平衡假设确定与底层POMDP性能,并可通过稀疏树搜索求解。
2024-11-21 cs.AI cs.RO
Robust Reinforcement Learning in POMDPs with Incomplete and Noisy Observations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在现实世界的场景中,具有连续控制的强化学习的观测数据通常是有噪声的,并且其中一部分可能随着时间的推移而动态丢失,这违反了许多当前为此开发的方法的假设。在部分可观测马尔可夫决策过程(POMDP)的框架内,采用基于模型的方法,利用新提出的具有局部逼近的替代损失函数,从不完全和噪声观测中估计过渡模型,并借助信念估算学习策略和价值函数.对于后者的目的,生成模型的构建和无缝地纳入POMDP的信念更新过程,这使得强大的执行,即使在显着的不完整性和噪声。所提出的方法的有效性进行了验证的基准任务的集合,表明我们的方法优于几个比较的方法在各种具有挑战性的情况下。
2019-02-15 cs.AI cs.LG stat.ML
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程(POMDPs)对世界状态不确定性下的规划问题进行了形式化建模,但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用,其求解具有挑战性。在本文中,我们提出了一个有效的差分动态规划(DDP)算法的信任空间规划POMDP的不确定性在一个离散的潜在状态,连续的状态,行动,观察,和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术,以优化一个可能的观测和信念空间轨迹树的应急计划,并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题(例如,目标或障碍的配置),动态的不确定性(例如,混合系统的动态模式),以及交互的不确定性,其中其他代理的行为取决于潜在的意图。基准测试表明,我们的算法优于流行的启发式方法规划下的不确定性,从一个自主变道任务的结果表明,我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona(威尼斯大学)
本文提出用基于事件演算的 LTL 片段生成持续宏动作,并通过 ILP 从少量轨迹中学习,以引导 MCTS 求解 POMDP,在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
Quiota LLC(Quiota公司)
提出基于部分可观测马尔可夫决策过程(POMDP)的智能体AI模型验证框架,将自主决策分解为信息、信念、预测、动作和效用组件独立验证,并通过投资组合管理案例展示其有效性。
2026-06-17 cs.AI cs.LG q-fin.RM