arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2312.05397cs.LG
收藏

神经网络时间差分学习的性能研究

On the Performance of Temporal Difference Learning With Neural Networks

Boston University(波士顿大学)

Haoxing Tian, Ioannis Ch. Paschalidis, Alex Olshevsky

AI总结:

本文分析带固定半径球投影的神经时间差分学习的收敛性,给出依赖最佳网络逼近误差和隐藏层宽度的逼近界。

摘要:

神经时间差分(TD)学习是一种用于策略评估的近似时间差分方法,它使用神经网络进行函数逼近。事实证明,对神经时间差分学习进行分析颇具挑战性。在本文中,我们对神经时间差分学习进行了收敛分析,其中采用了到 $B(θ_0, ω)$ 上的投影,$B(θ_0, ω)$ 是以初始点 $θ_0$ 为中心、半径固定为 $ω$ 的球。我们给出了一个 $O(ε) + \tilde{O}(1/\sqrt{m})$ 的逼近界,其中 $ε$ 是 $B(θ_0, ω)$ 内最佳神经网络的逼近质量,而 $m$ 是网络中所有隐藏层的宽度。

英文摘要:

Neural Temporal Difference (TD) Learning is an approximate temporal difference method for policy evaluation that uses a neural network for function approximation. Analysis of Neural TD Learning has proven to be challenging. In this paper we provide a convergence analysis of Neural TD Learning with a projection onto $B(θ_0, ω)$, a ball of fixed radius $ω$ around the initial point $θ_0$. We show an approximation bound of $O(ε) + \tilde{O} (1/\sqrt{m})$ where $ε$ is the approximation quality of the best neural network in $B(θ_0, ω)$ and $m$ is the width of all hidden layers in the network.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑