arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 1806.00052math.OC
收藏

关于马尔可夫链的可达性:一种长期平均方法

On reachability of Markov chains: A long-run average approach

Daniel Avila, Mauricio Junca

AI总结:

本文研究离散时间马尔可夫控制模型的可达性问题,利用长期平均报酬问题的值函数刻画吸引域与逃逸集,解决在避障约束下最大化到达目标概率的问题,并通过线性规划求解有限情形及实例验证。

摘要:

我们考虑一个具有可数状态空间和可数动作空间的离散时间马尔可夫控制模型。利用一个合适的长期平均报酬问题的值函数,我们研究了各种可达性/可控性问题。首先,我们刻画了系统的吸引域和逃逸集,以及一个称为 $p$-吸引域的推广,均使用上述值函数。其次,我们解决了在避开集合 $B$ 的同时最大化到达集合 $A$ 的概率的问题。最后,我们考虑了前述问题的约束版本,其中我们要求到达集合 $B$ 的概率是有界的。在有限情形下,我们使用线性规划公式来求解这些问题。最后,我们将结果应用于一个在随机影响下导航的物体实例。

英文摘要:

We consider a Markov control model in discrete time with countable both state space and action space. Using the value function of a suitable long-run average reward problem, we study various reachability/controllability problems. First, we characterize the domain of attraction and escape set of the system, and a generalization called $p$-domain of attraction, using the aforementioned value function. Next, we solve the problem of maximizing the probability of reaching a set $A$ while avoiding a set $B$. Finally, we consider a constrained version of the previous problem where we ask for the probability of reaching the set $B$ to be bounded. In the finite case, we use linear programming formulations to solve these problems. Finally, we apply our results to a example of an object that navigates under stochastic influence.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑