arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2610.26029stat.MLcs.LG
收藏

基于后验采样的有限回合马尔可夫决策过程中依赖实例的后悔最优性研究

Towards instance-dependent regret optimality in Episodic MDPs with Posterior Sampling

IRIT, Université de Toulouse, CNRS, Toulouse INP(图卢兹大学 IRIT);LAAS-CNRS, Université de Toulouse, CNRS(图卢兹大学 LAAS-CNRS);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL(里尔大学 CRIStAL);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学 LIG)

Victor Boone, Cyrille Kone, Waris Radji, Odalric-Ambrym Maillard, Dorian Baudry

AI总结:

针对有限回合MDP中依赖实例最优性方法缺失的问题,提出π₀-PSRL算法,证明其依赖实例后悔界,为匹配回合式RL渐近下界迈出一步。

摘要:

我们研究有限回合马尔可夫决策过程(MDPs)中的后悔最小化问题。尽管存在极小极大最优算法,但目前仍缺乏可处理的依赖实例最优性方法。针对这一空白,我们提出π₀-PSRL,这是一种后验采样强化学习(PSRL)的变体,它利用后验样本来决定何时需要探索,同时在探索回合中遵循固定参考策略π₀。这将探索测试(当采样MDP与经验MDP的最优策略不同时触发)与用于收集信息的策略选择解耦,从而解决了标准PSRL的局限性——采样得到的最优策略可能并非探索的最优选择。我们证明了π₀-PSRL的依赖实例后悔界,确定了由π₀引起的对数探索成本,并朝着匹配回合式强化学习的渐近下界迈出了一步。我们的证明技术展示了一种用于推导回合式MDP中依赖问题的后悔界的新颖证明结构,以及狄利克雷随机变量的集中结果,这些结果可能具有独立的研究价值。

英文摘要:

We study regret minimization in finite-horizon episodic Markov Decision Processes (MDPs). While minimax-optimal algorithms are known, tractable approaches to instance-dependent optimality are still lacking. Motivated by this gap, we introduce $π_0$-PSRL, a variant of PSRL that uses posterior samples to decide when exploration is needed, while following a fixed reference policy $π_0$ during exploration episodes. This decouples the test for exploration, triggered when the sampled and empirical MDPs have different optimal policies, from the choice of the policy used to gather information. The resulting design addresses a limitation of standard PSRL, where the sampled optimal policy may not be the optimal choice for exploration. We prove instance-dependent regret bounds for $π_0$-PSRL, identifying the logarithmic exploration cost induced by $π_0$ and taking a step toward matching asymptotic lower bounds for episodic RL. Our proof techniques showcase a novel proof structure to derive problem-dependent regret bounds in episodic MDPs, and concentration results for Dirichlet random variables, that may be of independent interest.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑