折扣因子的泰勒展开
Taylor Expansion of Discount Factors
AI总结：
本文研究强化学习中折扣因子不一致的影响，提出插值目标函数族，并据此改进价值函数估计与策略优化，带来性能提升及对深度RL算法的深入理解。
摘要：
在实际的强化学习（RL）中，用于估计价值函数的折扣因子往往不同于用于定义评估目标的折扣因子。在本工作中，我们研究了这种折扣因子差异在学习过程中的影响，并发现了一族在两个不同折扣因子的价值函数之间进行插值的目标函数。我们的分析提出了估计价值函数和执行策略优化更新的新方法，这些方法展示了实证性能提升。该框架还为常用的深度RL启发式修改策略优化算法提供了新的见解。
英文摘要：
In practical reinforcement learning (RL), the discount factor used for estimating value functions often differs from that used for defining the evaluation objective. In this work, we study the effect that this discrepancy of discount factors has during learning, and discover a family of objectives that interpolate value functions of two distinct discount factors. Our analysis suggests new ways for estimating value functions and performing policy optimization updates, which demonstrate empirical performance gains. This framework also leads to new insights on commonly-used deep RL heuristic modifications to policy optimization algorithms.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
