arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2105.01593cs.LGstat.ML
收藏

线性函数逼近下随机最短路问题的后悔界

Regret Bounds for Stochastic Shortest Path Problems with Linear Function Approximation

University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(得克萨斯大学奥斯汀分校)

Daniel Vial, Advait Parulekar, Sanjay Shakkottai, R. Srikant

摘要:

我们提出了一种算法,使用线性函数近似(LFA)的随机最短路径(SSP)。在最小的假设下,它获得了次线性的遗憾,是计算效率高,并使用平稳的政策。据我们所知,这是LFA文献中的第一个这样的算法(用于SSP或其他配方)。我们的算法是一个特殊的情况下,一个更一般的,它实现了遗憾的平方根的情节的数量给予访问一定的计算预言。

英文摘要:

We propose an algorithm that uses linear function approximation (LFA) for stochastic shortest path (SSP). Under minimal assumptions, it obtains sublinear regret, is computationally efficient, and uses stationary policies. To our knowledge, this is the first such algorithm in the LFA literature (for SSP or other formulations). Our algorithm is a special case of a more general one, which achieves regret square root in the number of episodes given access to a certain computation oracle.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑