连接模仿与在线强化学习：一个乐观的故事
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
AI总结：
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
摘要：
本文研究如下问题：给定来自不完美专家的离线演示数据集，在 MDP 中利用该数据集来引导在线学习性能的最佳方式是什么。我们首先提出一种基于知情后验采样的 RL 算法 iPSRL，该算法使用离线数据集以及用于生成该离线数据集的专家行为策略信息。如果专家足够胜任，其累积贝叶斯遗憾会随离线数据集规模 N 呈指数级快速下降至零。由于该算法在计算上不切实际，我们随后提出 iRLSVI 算法，可将其视为用于在线 RL 的 RLSVI 算法与模仿学习的结合。实验结果表明，与两个基线相比——不使用离线数据，以及使用离线数据集但不利用生成策略信息——所提出的 iRLSVI 算法能够显著降低遗憾。我们的算法首次连接了在线 RL 与模仿学习。
英文摘要：
In this paper, we address the following problem: Given an offline demonstration dataset from an imperfect expert, what is the best way to leverage it to bootstrap online learning performance in MDPs. We first propose an Informed Posterior Sampling-based RL (iPSRL) algorithm that uses the offline dataset, and information about the expert's behavioral policy used to generate the offline dataset. Its cumulative Bayesian regret goes down to zero exponentially fast in N, the offline dataset size if the expert is competent enough. Since this algorithm is computationally impractical, we then propose the iRLSVI algorithm that can be seen as a combination of the RLSVI algorithm for online RL, and imitation learning. Our empirical results show that the proposed iRLSVI algorithm is able to achieve significant reduction in regret as compared to two baselines: no offline data, and offline dataset but used without information about the generative policy. Our algorithm bridges online RL and imitation learning for the first time.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
