计算后验确定性POMDPs的可达性值
Approximating the Reachability Value of Posterior-Deterministic POMDPs
AI总结：
本文提出后验确定性POMDPs，证明其可达性值可任意精度近似，涵盖MDPs及经典示例如Tiger POMDP。
摘要：
部分可观测马尔可夫决策过程（POMDPs）是处理不确定性下的序列决策的基本模型。然而，许多POMDPs的验证和合成问题都是不可判定或计算困难的。Madani等人（2003）的开创性结果指出，给定POMDP和目标状态集，无法计算最大到达概率或甚至近似到非平凡常数。这与完全可观测马尔可夫决策过程（MDPs）形成鲜明对比，后者可达性值可在多项式时间内计算。本文引入后验确定性POMDPs，一种新型POMDPs类别。主要技术贡献是证明对于后验确定性POMDPs，给定状态集的最大到达概率可任意精度近似。一个POMDP是后验确定性的，如果下一个状态能由当前状态、采取的动作和接收到的观察唯一确定。尽管POMDPs中实际状态通常不确定，后验确定性属性表明一旦真实状态已知，它将永远已知。这种简单自然的定义包含所有MDPs，并捕捉经典非平凡示例如Tiger POMDP（Kaelbling等人，1998），使其成为已知最大POMDPs类别之一，其中可达性值可近似。
英文摘要：
We introduce posterior-deterministic POMDPs, and we show that for this class of POMDPs, the maximal probability of reaching a given set of states can be approximated up to arbitrary precision. A POMDP is posterior-deterministic if the next state can be uniquely determined by the current state, the action taken, and the observation received. In particular, once the current state is known, it remains known forever. The class contains, for instance, multiple-environment MDPs equipped with a prior distribution over the environments, quasi-deterministic POMDPs, and the episodic version of the classical Tiger POMDP (Kaelbling et al. 1998).
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
