轨迹数据足以在具有线性 $q^π$-可实现性和集中性的固定视界离线强化学习中进行统计有效的策略评估
Trajectory Data Suffices for Statistically Efficient Policy Evaluation in Fixed-Horizon Offline RL with Linear $q^π$-Realizability and Concentrability
AI总结：
本文研究在轨迹数据假设下，利用线性 $q^π$-可实现性和集中性，实现固定视界离线强化学习中策略评估的统计有效学习，并改进了策略优化的样本复杂度分析。
摘要：
我们研究了具有函数近似的固定视界离线强化学习（RL），用于策略评估和策略优化。先前的工作表明，当唯一的假设是数据具有良好的覆盖性（集中性）且每个策略的状态-动作值函数是线性可实现的（$q^π$-可实现性）时，对于这些问题中的任何一个，统计有效的学习都是不可能的（Foster et al., 2021）。最近，Tkachuk et al. (2024) 给出了一个用于策略优化的统计有效学习器，前提是数据被假定为以轨迹形式给出。在这项工作中，我们在相同的假设下提出了一个用于策略评估的统计有效学习器。此外，我们表明，通过更紧的分析，可以改进 Tkachuk et al. (2024) 用于策略优化的学习器的样本复杂度。
英文摘要：
We study finite-horizon offline reinforcement learning (RL) with function approximation for both policy evaluation and policy optimization. Prior work established that statistically efficient learning is impossible for either of these problems when the only assumptions are that the data has good coverage (concentrability) and the state-action value function of every policy is linearly realizable ($q^π$-realizability) (Foster et al., 2021). Recently, Tkachuk et al. (2024) gave a statistically efficient learner for policy optimization, if in addition the data is assumed to be given as trajectories. In this work we present a statistically efficient learner for policy evaluation under the same assumptions. Further, we show that the sample complexity of the learner used by Tkachuk et al. (2024) for policy optimization can be improved by a tighter analysis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
