利用Lehmann精度对POMDP最优策略下界的新充分条件
New Sufficient Conditions for Lower Bounding the Optimal Policy of a POMDP using Lehmann Precision
AI总结:
本文提出新的充分条件,使部分可观测马尔可夫决策过程(POMDP)的最优策略能够被我的策略下界所限制。Lehmann精度和正定支配两个新条件完全解决了Lovejoy 1987和Rieder 1991中两个关键假设的问题。在受控感知POMDP中,Lehmann精度利用了价值函数的凸性和单调性,而经典Blackwell支配仅利用了凸性。通过数值例子展示了Lehmann精度成立但Blackwell支配不成立的情况,从而说明了主要结果在受控感知应用中的实用性。
摘要:
本文提供了新的充分条件,使得部分可观测马尔可夫决策过程(POMDP)的最优策略能够被我的策略下界所限制。所提出的两个新条件,即Lehmann精度和正定支配,完全解决了Lovejoy 1987和Rieder 1991中两个关键假设的问题。在受控感知POMDP中,Lehmann精度利用了价值函数的凸性和单调性,而经典的Blackwell支配仅利用了凸性。通过数值例子展示了Lehmann精度成立但Blackwell支配不成立的情况,从而说明了主要结果在受控感知应用中的实用性。
英文摘要:
This paper provides new sufficient conditions so that the optimal policy of a partially observed Markov decision process (POMDP) can be lower bounded by a myopic policy. The two new proposed conditions, namely, Lehmann precision and copositive dominance, completely fix the problems with two crucial assumptions in the well known papers of Lovejoy 1987 and Rieder 1991. For controlled sensing POMDPs, Lehmann precision exploits both convexity and monotonicity of the value function, whereas the classical Blackwell dominance only exploits convexity. Numerical examples are presented where Lehmann precision holds but Blackwell dominance does not hold, thereby illustrating the usefulness of the main result in controlled sensing applications.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。