Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto(多伦多大学)
本文探讨了时差误差的两种解释在深度强化学习中的差异,指出非线性架构可能导致两者数值不同,影响算法性能。
2026-03-23 cs.AI cs.LG
Investigating practical linear temporal difference learning
Indiana University(印第安纳大学)
非策略强化学习有许多应用,包括:从演示中学习示教学习,并行学习多目标搜索策略,以及表示预测知识。最近出现了大量新的策略评估算法,填补了强化学习中长期存在的算法空白:将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差(TD)更新相结合。本文包含两个主要贡献。首先,我们推导出两个新的混合TD政策评估算法,填补了这一系列算法的空白。其次,我们进行了实证比较,得出这些新的线性TD方法应首选在不同的情况下,并提出具体的建议,实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Temporal Difference Learning as Gradient Splitting
Boston University(波士顿大学)
线性函数逼近的时间差分学习是一种常用的方法,用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释,这种方法在分裂的梯度适当选择的功能。作为这种解释的结果,梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的,更全面的解释,为什么时间差异的工作,我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置,其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$,其中$γ$是折扣因子。我们表明,TD学习的一个微小的变化,估计价值函数的平均值分别有一个收敛时间,其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
Temporal Second Difference Traces
University of Michigan(密歇根大学)
Q学习是一种可靠但低效的非策略时间差方法,每次只支持一步奖励。使用近因启发法替换跟踪更有效,但可靠性较低。在这项工作中,我们介绍了无模型,非政策的时间差方法,更好地利用经验比沃特金斯的Q(λ)。我们引入了乐观Q(λ)和时间二阶差分迹(TSDT)。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类,而是存储(s,a,r,s ',δ),以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时,如在MAXQ中,还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q(λ)。噪声悬崖行走域中的结果对于TSDT来说不太有利,但证明了乐观Q(λ)的有效性,这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta(阿尔伯塔大学)
多步时间差(TD)学习是强化学习中的一种重要方法,因为它将单步TD学习与蒙特卡罗方法相结合,使得中间算法可以优于任何极端。它们解决了依赖当前估计(可能很差)和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中,代理的目标是学习与生成其行为的策略不同的策略,更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中,我们介绍了前决策控制变量的多步TD算法,并比较他们与现有的方法。我们的研究结果表明,包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta(阿尔伯塔大学);University of Toronto(多伦多大学);Huawei Technologies Canada, Ltd.(加拿大华为技术有限公司)
我们探讨了固定时域时间差(TD)方法,强化学习算法,用于一种新的值函数,该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数,这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导,所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题(也被称为“致命的三元组”)的影响。虽然固定时域方法需要存储额外的价值函数,但这为代理提供了额外的预测能力,而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题,并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计,我们的研究结果建立固定地平线TD方法作为一个可行的新的方式,避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
Backstepping Temporal Difference Learning
KAIST(韩国科学技术院)
针对离策略线性函数近似下时序差分(TD)学习的发散问题,本研究从控制理论视角统一现有算法,并基于反步技术提出新收敛算法,实验验证其在标准TD学习不稳定环境中的收敛性。
2025-04-18 cs.AI cs.LG
Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis
UC Berkeley(加州大学伯克利分校);The Voleon Group(沃利昂集团)
我们解决问题的政策评估折扣马尔可夫决策过程中,并提供实例依赖的保证生成模型下的$\ell_\infty$错误。我们建立了渐近和非渐近版本的局部极大极小的政策评估下限,从而提供了一个依赖于实例的基线比较算法。理论启发的模拟表明,广泛使用的时间差(TD)算法是严格的次优时,在非渐近设置进行评估,即使与Polyak-Ruppert平均。我们通过引入和分析方差缩减形式的随机逼近来解决这个问题,表明它们在对数因子下实现了非渐近的、依赖于实例的最优性。
2020-03-16 cs.LG math.OC stat.ML
Toward Causal-Aware RL: State-Wise Action-Refined Temporal Difference
探索在强化学习(RL)中扮演着重要的角色,但目前针对RL中连续控制任务的探索策略主要基于朴素各向同性高斯噪声,忽略了动作空间与任务之间的因果关系,并将动作的各个维度视为同等重要。在这项工作中,我们建议对原始动作空间进行干预,以发现动作空间和任务奖励之间的因果关系。我们提出了状态行为细化(SWAR)方法,该方法解决了行为空间冗余问题并促进了强化学习中的因果关系发现。我们将强化学习任务中的因果关系发现归结为一个依赖于状态的动作空间选择问题,并提出了两个实用的算法。第一种方法,TD-SWAR,检测任务相关的动作在时间差异学习,而第二种方法,Dyn-SWAR,通过动态模型预测揭示重要的行动。从经验上讲,这两种方法都提供了理解RL代理所做决策的方法,并提高了动作冗余任务的学习效率。
2022-10-28 cs.AI cs.LG
The Statistical Benefits of Quantile Temporal-Difference Learning for Value Estimation
Google DeepMind(谷歌DeepMind)
本文研究强化学习策略评估,证明分位数时序差分学习(QTD)即使仅关注均值回报,也能在表格型设定下优于经典TD学习,揭示了学习完整回报分布的统计优势。
2023-05-28 cs.LG stat.ML
Predictive State Temporal Difference Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的价值函数逼近方法,将线性时间差分强化学习与子空间辨识相结合。在实际应用中,由于状态是高维或部分可观测的,使得强化学习(RL)变得复杂。因此,RL方法被设计为与状态的特征而不是状态本身一起工作,并且学习的成功或失败通常取决于所选特征的适用性。通过比较,子空间识别(SSID)方法的目的是选择一个功能集,保留尽可能多的信息,关于状态。在本文中,我们将这两种方法联系起来,研究具有大量特征的强化学习问题,其中每个特征对于价值函数近似可能只有很小的用处。针对这种情况,我们引入了一种新的算法,称为预测状态时间差(PSTD)学习。与用于预测状态表示的SSID一样,PSTD找到一个线性压缩运算符,该运算符将一大组特征投影到保留最大预测信息量的一小组特征。与RL中一样,PSTD然后使用Bellman递归来估计价值函数。我们讨论了PSTD与RL和SSID中的先前方法之间的连接。我们证明了PSTD是统计上一致的,进行了几个实验,说明它的属性,并证明了它的潜力,一个困难的最佳停止问题。
2011-01-18 cs.AI cs.LG
Discerning Temporal Difference Learning
Northwestern Polytechnical University(西北工业大学)
针对TD($λ$)忽略历史状态重要性的问题,提出discerning TD learning(DTD)算法,通过灵活的强调函数有效分配误差传播,改善了价值估计并加速了学习。
2024-02-10 cs.AI cs.LG
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University(浙江大学)
最近,一个新的多步时间学习算法,称为$Q(σ)$,统一$n$ -步骤树备份(当$σ=0$)和$n$ -步骤Sarsa(当$σ=1$)通过引入一个采样参数$σ$。然而,与其他多步时间差学习算法类似,$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进,将其与资格迹相结合,提出了一种新的算法$Q(σ,λ)$,其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$(当$σ=1$)和$Q^π(λ)$(当$σ=0$)。此外,我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明,使用中间值$σ$,$Q(σ,λ)$创建了现有算法的混合,可以比极端($σ=0$或$1$)更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
策略梯度定理(Sutton等人,2000)规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设,引入了可能导致收敛到差解的分布偏移。在本文中,我们提出了一种新的方法,重建的策略梯度从开始状态,而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化,由于新的梯度Bellman方程,可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流,我们开发的第一个估计,回避了分布偏移的问题,在一个无模型的方式。我们证明,在一定的可实现性条件下,我们的估计是无偏的,无论抽样策略。我们的经验表明,我们的技术实现了优越的偏差方差权衡和性能的存在下,关闭政策的样本。
2022-07-07 cs.AI cs.LG
Temporal Difference Variational Auto-Encoder
DeepMind(深度思维)
为了在复杂的环境中行动和计划,我们认为智能体应该有一个具有三个特征的世界的心理模拟器:(a)它应该建立一个代表世界状况的抽象状态;(b)它应该形成一个代表世界不确定性的信念;(c)它应该超越简单的逐步模拟,并表现出时间抽象。由于缺乏满足所有这些要求的模型,我们提出了TD-VAE,这是一种生成序列模型,它学习包含关于未来几步状态的明确信念的表示,并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练,使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对时序差分(TD)学习的有限时间行为研究缺口及经验回放理论影响不明问题,本文通过马尔可夫噪声项分解,给出带经验回放TD学习的有限时间误差界,证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
Improved Predictive Deep Temporal Neural Networks with Trend Filtering
Ulsan National Institute of Science and Technology, UNIST(蔚山科学技术院);Korea Advanced Institute of Science and Technology, KAIST(韩国科学技术院);INEEJI
多变量时间序列预测,其目的是预测未来的值给定以前和当前的几个单变量时间序列数据,已经研究了几十年,其中一个例子是ARIMA。由于很难衡量在快速波动的金融时间序列数据中噪声与信息信号混合的程度,因此设计一个好的预测模型并不是一件简单的任务。近年来,许多研究人员对递归神经网络和基于注意力的神经网络产生了兴趣,并将其应用于金融预测。已经有许多尝试利用这些方法来捕获长期的时间依赖性,并选择多变量时间序列数据中更重要的功能,以作出准确的预测。在本文中,我们提出了一种新的预测框架,基于深度神经网络和趋势过滤,将噪声时间序列数据转换为分段线性方式。我们发现,当训练数据通过趋势滤波进行时间处理时,深度时间神经网络的预测性能得到改善。为了验证我们的框架的效果,三个深时间神经网络,国家的最先进的模型预测时间序列金融数据,使用和比较包含趋势过滤作为输入功能的模型。对真实世界多变量时间序列数据的实验表明,该方法是有效的,并显着优于现有的基线方法。
2020-10-16 cs.AI cs.LG
Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory
Northwestern University(西北大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
本文利用平均场理论证明,在过参数化两层神经网络下,时序差分和Q学习能以次线性速率全局最小化均方投影贝尔曼误差,且特征表示收敛到最优表示,推广了神经正切核机制下的既有结果。
2024-04-01 cs.LG math.OC stat.ML
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University(上海交通大学);CMA-Shanghai(上海国家应用数学中心)
梯度下降或其变体在训练神经网络中很受欢迎。然而,在具有神经网络近似的深度Q学习中,一种类型的强化学习,梯度下降(也称为残差梯度(RG))几乎没有用于解决贝尔曼残差最小化问题。相反,时间差分(TD),不完全梯度下降方法占主导地位。在这项工作中,我们进行了大量的实验,以表明TD优于RG,即当训练导致一个小的贝尔曼残差时,TD找到的解决方案具有更好的政策,对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别,即在强化学习中,小的Bellman残差对应于一个坏的策略,而在监督学习中,测试损失函数是一个衡量性能的标准指标。我们还实证研究,TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明,深度Q学习解决方案的性能与训练动态密切相关,不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Kalman Temporal Differences
由于强化学习缺乏可扩展性,在线值(和Q-)函数近似在过去十年中受到越来越多的关注。本文介绍了一种新的近似方案,即卡尔曼时间差(KTD)框架,具有以下特点:样本效率,非线性近似,非平稳处理和不确定性管理。第一KTD为基础的算法提供了确定性马尔可夫决策过程(MDP),产生有偏估计的情况下,随机转换。然后描述了求解随机MDP的扩展KTD框架(XKTD)。收敛分析的特殊情况下,确定性和随机过渡。相关算法在经典基准上进行了实验。它们在展示所宣布的功能的同时,与最先进的技术相比毫不逊色。
2014-01-16 cs.LG
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University(哥伦比亚大学)
时间差分学习(TD)是一种简单的迭代算法,用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一,但其理论分析已被证明具有挑战性,并且很少有统计效率的保证。在这项工作中,我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解,我们的分析反映了分析随机梯度下降算法的标准技术,因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究,称为TD($λ$),以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
On Convergence of Emphatic Temporal-Difference Learning
University of Alberta(阿尔伯塔大学)
我们考虑有限空间折扣马尔可夫决策过程中的策略评估的时间差分学习算法。这种算法最近由Sutton,Mahmood和White(2015)提出,作为线性函数近似的离线时间差学习发散问题的改进解决方案。本文给出了ETD($λ$)和ELSTD($λ$)两个并行算法的第一个收敛性证明.我们证明了,在一般的关闭政策条件下,在$L^1$的ELSTD($λ$)迭代的收敛性,和几乎必然收敛的近似价值函数计算的两个算法使用一个无限长的轨迹。我们的分析涉及新的技术与应用程序超出了算法的引导,例如,第一个证明标准TD($λ$)也收敛下的政策培训$λ$足够大。
2017-12-28 cs.LG
Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization
University of Southern California(南加州大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
我们研究了多智能体强化学习中的策略评估问题,其中一组智能体具有联合观察的状态和私有的本地动作和奖励,通过连接的无向网络上的本地计算和通信来协作学习给定策略的值函数。这个问题出现在各种大规模的多智能体系统,包括电网,智能交通系统,无线传感器网络和多智能体机器人。当状态-动作空间维数较大时,采用线性函数逼近的时间差分学习方法得到了广泛的应用。在本文中,我们开发了一种新的分布式时间差学习算法,并量化其有限时间性能。我们的算法结合了分布式随机原始对偶方法与同伦为基础的方法,以适应性地调整学习率,以尽量减少均方投影贝尔曼误差从一个因果的政策轨迹采取新鲜的在线样本。我们明确地考虑到马尔可夫性质的采样和改善最著名的有限时间误差界从$O(1/\sqrt{T})$到~ $O(1/T)$,其中$T$是迭代的总次数。
2021-11-04 cs.LG cs.MA math.OC
Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability
HSE University(高等经济大学);Centre de Mathématiques Appliquées(应用数学中心);CNRS(法国国家科学研究中心);École polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Université Paris-Saclay(巴黎萨克雷大学);Laboratoire de mathématiques d’Orsay(奥尔赛数学实验室);Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对折扣马尔可夫决策过程中的线性 TD 策略评估,提出通用步长加 Polyak-Ruppert 尾部平均的简单算法,获得近最优方差、偏差项及样本复杂度高概率界。
2024-06-15 cs.LG math.OC stat.ML
Exact Formulas for Finite-Time Estimation Errors of Decentralized Temporal Difference Learning with Linear Function Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了多智能体强化学习(MARL)中的策略评估问题,推导了线性函数近似下分散时间差分(TD)学习的有限时间均方估计误差的精确闭合公式。我们的分析取决于这样一个事实,即分散TD学习方法可以被视为一个马尔可夫跳跃线性系统(MJLS)。然后应用标准的MJLS理论量化分散TD方法在每个时间步的估计误差的均值和协方差矩阵。我们的精确公式上的算法性能的各种影响进行了讨论。一个有趣的发现是,在充分必要的稳定条件下,均方TD估计误差将以特定的指数速率收敛到精确的极限。
2022-04-20 cs.LG cs.SY eess.SY
Adaptive Lambda Least-Squares Temporal Difference Learning
Google DeepMind(谷歌DeepMind);The Technion(以色列理工学院)
时间差分学习($λ$)是强化学习领域的一种基本算法。然而,设置TD的$λ$参数(其控制TD更新的时间尺度)通常留给从业者。我们正式的$λ$选择问题作为一个偏差方差权衡的解决方案是值的$λ$,导致最小的均方值误差(MSVE)。为了解决这个权衡,我们建议应用留一轨迹交叉验证(LOTO-CV)来搜索$λ$值的空间。不幸的是,这种方法对于大多数实际应用来说在计算上过于昂贵。对于最小二乘TD(LSTD),我们表明,LOTO-CV可以有效地实现自动调整$λ$和应用函数优化方法,有效地搜索空间的$λ$值。由此产生的算法,ALLSTD,是无参数的,我们的实验表明,ALLSTD是显着的计算速度比天真的LOTO-CV实现,同时实现类似的性能。
2016-12-30 cs.AI cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University(印第安纳大学)
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中,在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下,我们有有效的和合理的理解算法,以适应学习率参数,在线学习过程中。这种元学习方法可以提高学习的鲁棒性,并使当前任务专业化,提高学习速度。对于我们在这里研究的时间差学习算法,还有另一个参数$λ$,它在实践中同样会影响学习速度和稳定性。不幸的是,与学习率参数不同,$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解,因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现(1)增量更新,(2)与函数近似的兼容性,以及(3)在开和关策略采样下保持学习的稳定性。在本文中,我们提供了一个新的目标函数优化$λ$作为一个功能的状态,而不是时间。我们推导出一个新的增量,线性复杂度$λ$ -适应算法,不需要离线批量更新或访问的模型的世界,并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之,我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Temporal Difference Uncertainties as a Signal for Exploration
DeepMind(深度思维)
强化学习中探索的一种有效方法是依赖于智能体对最优策略的不确定性,这可以在表格设置中产生接近最优的探索策略。然而,在涉及函数逼近器的非表格设置中,获得准确的不确定性估计几乎是一个具有挑战性的问题。在本文中,我们强调,价值估计很容易偏置和时间不一致。鉴于此,我们提出了一种新的方法来估计不确定性的价值函数,依赖于诱导分布的时间差误差。该探索信号控制状态-动作转换,以便隔离由于代理参数的不确定性而导致的值的不确定性。因为我们的不确定性度量是以状态-动作转换为条件的,所以我们不能直接作用于这个度量。相反,我们将其作为一个内在的奖励和治疗探索作为一个单独的学习问题,引起代理的时间差的不确定性。我们引入了一个独特的探索策略,学习收集具有高估计不确定性的数据,这使得课程在整个学习过程中平稳变化,并在完美值估计的限制下消失。我们评估了我们的方法在硬勘探任务,包括深海和雅达利2600环境,发现我们提出的探索形式有利于多样化和深入的探索。
2021-07-01 cs.AI cs.LG stat.ML
Nonlinear Distributional Gradient Temporal-Difference Learning
Faculty of Electrical Engineering, Technion(以色列理工学院电气工程学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
我们设计了梯度时间差(TD)学习的分布变体。在最近的研究\citep{bellemare2017distributional}中,分布式强化学习已经被证明优于常规学习。在策略评估方面,我们利用Bellman误差目标函数的分布形式,利用Cram{é}r距离设计了两种新的算法:分布GTD 2和分布TDC,该算法继承了非线性梯度TD算法和分布RL方法的优点。在控制设置,我们提出了分布式Greedy-GQ使用类似的推导。我们证明了分布GTD 2和TDC的渐近几乎必然收敛到一般光滑函数逼近器的局部最优解,其中包括神经网络,已被广泛应用于最近的研究,以解决现实生活中的RL问题。在每一步中,上述三种算法的计算复杂性均与时间成线性关系。因此,对于神经网络,可以有效地实现函数逼近器的参数数目。
2019-04-03 cs.AI cs.LG stat.ML
Correcting Momentum in Temporal Difference Learning
Mila(米拉人工智能研究所);McGill University(麦吉尔大学)
深度强化学习中常用的优化工具是动量,它包括累积和贴现过去的梯度,在每次迭代时重新应用它们。我们认为,与监督学习不同,时间差(TD)学习中的动量累积梯度变得双重陈旧:不仅损失的梯度会因参数更新而变化,损失本身也会因自举而变化。我们首先证明了这种现象的存在,然后提出了一个一阶动量修正项。我们发现,这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是,深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Predicting Periodicity with Temporal Difference Learning
University of Alberta(阿尔伯塔大学)
时间差分(TD)学习是强化学习中的一种重要方法,因为它结合了动态规划和蒙特卡罗方法的思想,允许在线和增量无模型学习。TD学习的一个关键思想是,它以价值函数的形式学习有关环境的预测知识,从中可以导出其行为以解决长期顺序决策问题。代理的兴趣范围,即TD学习代理预测未来的即时或长期程度,通过贴现率参数进行调整。在本文中,我们介绍了另一种观点的贴现率,从数字信号处理的洞察力,包括复值贴现。我们的研究结果表明,将贴现率设置为适当选择的复数,可以通过TD学习在线和增量估计感兴趣信号的离散傅里叶变换(DFT)。因此,我们扩展了知识的类型表示的价值函数,我们发现是特别有用的识别周期性的奖励序列的影响。
2018-09-20 cs.AI cs.LG eess.SP
PID Accelerated Temporal Difference Algorithms
University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对长时程强化学习任务中传统 TD 学习收敛缓慢的问题,本文借鉴控制理论中的 PID 思想提出 PID TD Learning 和 PID Q-Learning 算法,并给出收敛性理论分析及噪声下自适应增益方法,实验验证了其加速效果。
2024-09-03 cs.AI cs.LG cs.SY
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind(深度思维);Google Research(谷歌研究院);Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据,并专注于各种问题的时间差分(TD)学习和蒙特卡洛(MC)政策评估。已知这两种方法可实现互补的偏差-方差权衡特性,其中TD倾向于实现较低的方差但可能较高的偏差。在本文中,我们认为,较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题,提出了一种算法,自适应切换TD和MC在每个状态,从而减轻传播的错误。我们的方法是基于学习的置信区间,检测偏差的TD估计。我们在各种政策评估任务中证明,这种简单的自适应算法在事后看来与最佳方法具有竞争力,这表明学习的置信区间是一种强大的技术,用于调整政策评估,以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);MIT(麻省理工学院);Boston University(波士顿大学)
本文通过实证和理论证明,Transformer在策略评估任务训练中,其前向传播能够发现并实现时序差分学习算法,从而支持上下文强化学习(ICRL)中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California(南加州大学);Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
针对潜在状态演化速率可变环境的近似推理问题,提出元强化学习方法DynaMITE-RL,通过会话建模及三项关键修改,在多领域显著提升样本效率与推理回报,优于现有基线。
2024-12-04 cs.LG
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology(代尔夫特理工大学)
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习(TDRL),我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观,即,德尔塔,在三个方面:现实(stochemical正确),乐观(假设行动控制)和过于乐观(假设结果控制)。我们发现,对于赌博任务的个人与“健康”的控制知觉,即,行动乐观,不发展赌博行为,而具有“不健康”控制感的人,即,结果乐观,做。我们发现,高强度的感觉和低水平的恐惧共同发生,由于乐观的风险感知。我们发现,过度乐观的风险感知(结果乐观)导致冒险和持续的赌博行为,除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
CHAIN: Exploring Global-Local Spatio-Temporal Information for Improved Self-Supervised Video Hashing
Huazhong University of Science and Technology(华中科技大学);University of Electronic Science and Technology of China(电子科技大学)
提出 CHAIN 自监督视频哈希框架,通过对比学习捕获全局时空信息,并结合帧顺序验证与场景变化正则化建模局部细节,在四个基准上取得最优性能。
2023-10-29 cs.AI cs.CV
Finite Sample Analysis of Linear Temporal Difference Learning with Arbitrary Features
University of Virginia(弗吉尼亚大学)
本文首次在任意特征下为线性TD($\lambda$)算法建立$L^2$收敛速率,无需线性无关假设,适用于折扣和平均奖励设置,并提出针对解集的随机逼近收敛结果。
2025-10-14 cs.AI cs.LG stat.ML
Truncated Emphatic Temporal Difference Methods for Prediction and Control
University of Oxford(牛津大学)
强调时间差分(TD)方法是一类涉及使用后续跟踪的非策略强化学习(RL)方法。尽管理论上的成功,在解决臭名昭著的致命的三位一体的off-policy强化学习的方法,仍然有两个开放的问题。首先,followon跟踪通常具有较大的方差,这使得它们难以在实践中使用。其次,尽管Yu(2015)证实了一些预测问题的渐近TD方法的渐近收敛性,但仍然没有任何预测问题的渐近TD方法的有限样本分析,更不用说控制了。在本文中,我们解决这两个开放的问题,同时通过使用截断后续跟踪的椭圆形TD方法。与原始的followon跟踪,这取决于所有以前的历史,截断followon跟踪只依赖于有限的历史,减少方差,使有限样本分析,我们提出的预测和控制的连续TD方法。
2022-05-10 cs.LG
Control Theoretic Analysis of Temporal Difference Learning
本文提出一个有限时间的控制理论框架来分析时序差分(TD)学习算法,利用线性系统控制的概念揭示TD学习机制,为强化学习提供新见解。
2023-09-08 cs.AI cs.LG cs.SY
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}(ETD)算法\citep{SuttonMW15},其中包括原来的ETD($λ$),以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD,其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下,投影不动点方程的基础\ETD \涉及到一个收缩算子,使我们能够提出的第一个渐近误差界(偏差)\ETD。我们的结果表明,原来的ETD算法总是涉及到一个压缩算子,其偏见是有界的。此外,通过控制$β$,我们提出的推广允许权衡偏差方差减少,从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Gradient Temporal Difference with Momentum: Stability and Convergence
Indian Institute of Science(印度科学理工学院)
梯度时间差分(Gradient Temporal Difference,TD)算法是一类在强化学习中用于策略评估的随机逼近(Stochastic Approximation,SA)算法。在这里,我们考虑梯度TD算法与一个额外的重球动量项,并提供选择的步长和动量参数,以确保这些算法几乎肯定渐近收敛。在这样做时,我们将重球梯度TD迭代分解为具有不同步长的三个单独的迭代。我们首先分析这些迭代下一个时标SA设置使用当前文献的结果。然而,一个时间尺度的情况是限制性的,可以通过查看迭代的三个时间尺度分解来提供更一般的分析。在这个过程中,我们提供了一般的三时标SA的稳定性和收敛性的第一个条件。然后,我们证明了重球梯度TD算法是收敛的,使用我们的三时标SA分析。最后,我们评估这些算法的标准强化学习问题和报告的性能改善香草算法。
2021-11-22 cs.LG
Generalized Kalman filter based temporal difference reinforcement learning
University of Twente(特温特大学);University of Vienna(维也纳大学)
研究基于条件期望理论的广义TD强化学习框架,将价值和Q值函数视为不确定量,用随机推理估计,能递归估计价值函数条件期望及二阶概率矩,通过离散化随机问题验证,可扩展经典卡尔曼时间差分学习到更广泛随机系统。
2026-07-24 cs.CE cs.LG
A Temporal Difference Method for Stochastic Continuous Dynamics
University of Tokyo(东京大学)
针对基于HJB方程的强化学习需已知动力学的问题,提出免模型时间差分方法,实现指数收敛,桥接随机控制与免模型RL。
2025-10-26 cs.LG
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning
Qraft Technologies Data Team(Qraft Technologies数据团队)
研究用于不确定性感知强化学习的广义高斯时间差分误差,引入基于广义高斯分布的状态条件形状头,用数值修改的GGD损失作在线替代,构建加权启发式方法并提出BIEV正则化,形状感知变体在部分基准测试中表现更优。
2026-07-27 cs.AI cs.LG math.PR
Adaptive Tree Backup Algorithms for Temporal-Difference Reinforcement Learning
Northeastern University(东北大学);Khoury College of Computer Sciences(库利计算机科学学院)
Q($σ$)是最近提出的一种时间差学习方法,它在从预期备份和采样备份中学习之间进行插值。已经表明,插值参数$σ\in [0,1]$的中间值在实践中表现得更好,因此通常认为$σ$用作偏差-方差折衷参数以实现这些改进。在我们的工作中,我们反驳了这一概念,表明选择$σ=0$最小化方差而不增加偏差。这表明,$σ$对学习一定有一些尚未完全理解的其他影响。作为替代方案,我们假设存在一个新的权衡:较大的$σ$值有助于克服价值函数的初始化差,以较高的统计方差为代价。为了自动平衡这些考虑因素,我们提出了自适应树备份(ATB)方法,其加权备份随着代理获得经验而发展。我们的实验表明,自适应策略可以比依赖于固定或时间退火的$σ$值更有效。
2022-06-04 cs.LG
Temporal Difference Learning for High-Dimensional PIDEs with Jumps
Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院);Department of Mathematics, University of California, Santa Barbara(加州大学圣巴巴拉分校数学系);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
本文提出基于时序差分学习的深度学习框架,利用Lévy过程和深度神经网络求解带跳跃的高维PIDEs,在100维实验中相对误差达O(10^{-3}),并展现出低计算成本与强鲁棒性。
2024-03-29 cs.LG cs.NA math.NA
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science(印度科学学院)
从不同策略(行为策略)获得的数据样本中学习给定策略(目标策略)的价值函数是强化学习(RL)中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分(TD)学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时,产生的目标政策(称为对政策的预测)。然而,在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中,我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式,以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算,进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Collision Probability Distribution Estimation via Temporal Difference Learning
University of the Bundeswehr Munich(联邦国防军慕尼黑大学);Institute for Autonomous Systems Technology (TAS)(自主系统技术研究所)
提出CollisionPro框架,利用时间差分学习在强化学习背景下估计累积碰撞概率分布,为自动驾驶等机器人应用提供高样本效率和可靠预测的安全感知方案。
2024-07-29 cs.LG cs.RO
Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)已成功地用于解决许多连续控制任务。尽管其令人印象深刻的结果,但是,关于RL在连续问题上的样本复杂性的基本问题仍然是开放的。我们研究RL的性能,在这种情况下,考虑的行为最小二乘时间差(LSTD)估计的经典线性二次型调节器(LQR)的问题,从最优控制。我们给出了第一个有限时间分析的样本数量需要估计的价值函数为固定的静态状态反馈政策内$\varepsilon$ -相对误差。在推导结果的过程中,我们给出了沿快速混合随机过程样本路径形成的经验协方差矩阵的最小特征值集中于零以上时的一般特征,推广了Koltchinskii和Mendelson在独立协变量情形下的结果.最后,我们提供的实验证据表明,我们的分析正确地捕捉定性行为的LSTD在几个LQR实例。
2017-12-22 cs.LG stat.ML
Temporal Disentanglement of Representations for Improved Generalisation in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
强化学习(RL)代理通常无法很好地概括训练期间未观察到的状态空间中的环境变化。这个问题对于基于图像的RL来说尤其成问题,其中仅一个变量(例如背景颜色)的改变就可以改变图像中的许多像素。改变的像素可能会导致代理对图像的潜在表示发生剧烈变化,从而导致学习策略失败。为了学习更强大的表示,我们引入了TEmporal解纠缠(TED),这是一种自我监督的辅助任务,可以利用RL观察的顺序性来解纠缠图像表示。我们发现,经验,RL算法利用TED作为辅助任务,更快地适应环境变量的变化与持续训练相比,国家的最先进的表示学习方法。由于TED强制执行了一个解纠缠的表示结构,我们的实验还表明,用TED训练的策略更好地概括了与任务无关的变量的不可见值(例如背景颜色)以及影响最佳策略的变量的不可见值(例如目标位置)。
2023-02-27 cs.LG
An Analysis of Quantile Temporal-Difference Learning
Google DeepMind(谷歌DeepMind);McGill University(麦吉尔大学);Reliant AI
本文针对缺乏理论支撑的分布式强化学习算法QTD,通过随机近似与非光滑分析证明其以概率1收敛于相关动态规划族的不动点,为该算法奠定理论基础。
2024-05-20 cs.LG stat.ML
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG