Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability
HSE University（高等经济大学）；Centre de Mathématiques Appliquées（应用数学中心）；CNRS（法国国家科学研究中心）；École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；Laboratoire de mathématiques d’Orsay（奥尔赛数学实验室）；Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对折扣马尔可夫决策过程中的线性 TD 策略评估，提出通用步长加 Polyak-Ruppert 尾部平均的简单算法，获得近最优方差、偏差项及样本复杂度高概率界。
2024-06-15 cs.LG math.OC stat.ML
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
Correcting Momentum in Temporal Difference Learning
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
深度强化学习中常用的优化工具是动量，它包括累积和贴现过去的梯度，在每次迭代时重新应用它们。我们认为，与监督学习不同，时间差（TD）学习中的动量累积梯度变得双重陈旧：不仅损失的梯度会因参数更新而变化，损失本身也会因自举而变化。我们首先证明了这种现象的存在，然后提出了一个一阶动量修正项。我们发现，这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是，深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}（ETD）算法\citep{SuttonMW15}，其中包括原来的ETD（$λ$），以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD，其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下，投影不动点方程的基础\ETD \涉及到一个收缩算子，使我们能够提出的第一个渐近误差界（偏差）\ETD。我们的结果表明，原来的ETD算法总是涉及到一个压缩算子，其偏见是有界的。此外，通过控制$β$，我们提出的推广允许权衡偏差方差减少，从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Investigating practical linear temporal difference learning
Indiana University（印第安纳大学）
非策略强化学习有许多应用，包括：从演示中学习示教学习，并行学习多目标搜索策略，以及表示预测知识。最近出现了大量新的策略评估算法，填补了强化学习中长期存在的算法空白：将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差（TD）更新相结合。本文包含两个主要贡献。首先，我们推导出两个新的混合TD政策评估算法，填补了这一系列算法的空白。其次，我们进行了实证比较，得出这些新的线性TD方法应首选在不同的情况下，并提出具体的建议，实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文针对分布强化学习的分位数时间差分学习，建立同步与异步QTD的函数中心极限定理，提出无需存储完整轨迹的在线推断方法，实现高效统计推断。
2026-10-19 cs.LG stat.ML
Temporal Second Difference Traces
University of Michigan（密歇根大学）
Q学习是一种可靠但低效的非策略时间差方法，每次只支持一步奖励。使用近因启发法替换跟踪更有效，但可靠性较低。在这项工作中，我们介绍了无模型，非政策的时间差方法，更好地利用经验比沃特金斯的Q（λ）。我们引入了乐观Q（λ）和时间二阶差分迹（TSDT）。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类，而是存储（s，a，r，s '，δ），以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时，如在MAXQ中，还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q（λ）。噪声悬崖行走域中的结果对于TSDT来说不太有利，但证明了乐观Q（λ）的有效性，这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta（阿尔伯塔大学）
多步时间差（TD）学习是强化学习中的一种重要方法，因为它将单步TD学习与蒙特卡罗方法相结合，使得中间算法可以优于任何极端。它们解决了依赖当前估计（可能很差）和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中，代理的目标是学习与生成其行为的策略不同的策略，更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中，我们介绍了前决策控制变量的多步TD算法，并比较他们与现有的方法。我们的研究结果表明，包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已成功地用于解决许多连续控制任务。尽管其令人印象深刻的结果，但是，关于RL在连续问题上的样本复杂性的基本问题仍然是开放的。我们研究RL的性能，在这种情况下，考虑的行为最小二乘时间差（LSTD）估计的经典线性二次型调节器（LQR）的问题，从最优控制。我们给出了第一个有限时间分析的样本数量需要估计的价值函数为固定的静态状态反馈政策内$\varepsilon$ -相对误差。在推导结果的过程中，我们给出了沿快速混合随机过程样本路径形成的经验协方差矩阵的最小特征值集中于零以上时的一般特征，推广了Koltchinskii和Mendelson在独立协变量情形下的结果.最后，我们提供的实验证据表明，我们的分析正确地捕捉定性行为的LSTD在几个LQR实例。
2017-12-22 cs.LG stat.ML
An Analysis of Quantile Temporal-Difference Learning
Google DeepMind（谷歌DeepMind）；McGill University（麦吉尔大学）；Reliant AI
本文针对缺乏理论支撑的分布式强化学习算法QTD，通过随机近似与非光滑分析证明其以概率1收敛于相关动态规划族的不动点，为该算法奠定理论基础。
2024-05-20 cs.LG stat.ML
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University（浙江大学）
最近，一个新的多步时间学习算法，称为$Q(σ)$，统一$n$ -步骤树备份（当$σ=0$）和$n$ -步骤Sarsa（当$σ=1$）通过引入一个采样参数$σ$。然而，与其他多步时间差学习算法类似，$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进，将其与资格迹相结合，提出了一种新的算法$Q(σ,λ)$，其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$（当$σ=1$）和$Q^π(λ)$（当$σ=0$）。此外，我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明，使用中间值$σ$，$Q(σ,λ)$创建了现有算法的混合，可以比极端（$σ=0$或$1$）更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
Temporal Difference Updating without a Learning Rate
IDSIA（达勒·莫尔人工智能研究所）
我们从统计原理推导出一个时间差异学习的方程。具体来说，我们从变分原理开始，然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程，所谓的TD（lambda），然而它缺少指定学习率的参数alpha。在这个自由参数的地方，现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD（lambda），并发现它提供了优越的性能在各种设置。最后，我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此，我们将更新方程与Watkins的Q（lambda）和Sarsa（lambda）结合起来，发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
Accelerated Distributional Temporal Difference Learning with Linear Function Approximation
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文针对线性函数近似下的分布式TD学习开展有限样本分析，融入方差缩减技术得到与大支撑集大小无关的紧样本复杂度界，证明学习完整回报分布难度不高于学习期望，为分布式强化学习统计效率提供新见解。
2025-11-16 cs.LG stat.ML
Implicit Updates for Average-Reward Temporal Difference Learning
Hwanwoo Kim（† 作者）；Dongkyu Derek Cho（† 作者）；Eric Laber（† 作者）
本文提出平均奖励隐式TD(λ)算法，通过隐式不动点更新在放宽步长条件下实现数据自适应稳定，提升数值稳定性与策略评估效率。
2025-10-07 cs.LG stat.ML
Kalman Temporal Differences
由于强化学习缺乏可扩展性，在线值（和Q-）函数近似在过去十年中受到越来越多的关注。本文介绍了一种新的近似方案，即卡尔曼时间差（KTD）框架，具有以下特点：样本效率，非线性近似，非平稳处理和不确定性管理。第一KTD为基础的算法提供了确定性马尔可夫决策过程（MDP），产生有偏估计的情况下，随机转换。然后描述了求解随机MDP的扩展KTD框架（XKTD）。收敛分析的特殊情况下，确定性和随机过渡。相关算法在经典基准上进行了实验。它们在展示所宣布的功能的同时，与最先进的技术相比毫不逊色。
2014-01-16 cs.LG
On Convergence of Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
我们考虑有限空间折扣马尔可夫决策过程中的策略评估的时间差分学习算法。这种算法最近由Sutton，Mahmood和White（2015）提出，作为线性函数近似的离线时间差学习发散问题的改进解决方案。本文给出了ETD（$λ$）和ELSTD（$λ$）两个并行算法的第一个收敛性证明.我们证明了，在一般的关闭政策条件下，在$L^1$的ELSTD（$λ$）迭代的收敛性，和几乎必然收敛的近似价值函数计算的两个算法使用一个无限长的轨迹。我们的分析涉及新的技术与应用程序超出了算法的引导，例如，第一个证明标准TD（$λ$）也收敛下的政策培训$λ$足够大。
2017-12-28 cs.LG
Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们研究了多智能体强化学习中的策略评估问题，其中一组智能体具有联合观察的状态和私有的本地动作和奖励，通过连接的无向网络上的本地计算和通信来协作学习给定策略的值函数。这个问题出现在各种大规模的多智能体系统，包括电网，智能交通系统，无线传感器网络和多智能体机器人。当状态-动作空间维数较大时，采用线性函数逼近的时间差分学习方法得到了广泛的应用。在本文中，我们开发了一种新的分布式时间差学习算法，并量化其有限时间性能。我们的算法结合了分布式随机原始对偶方法与同伦为基础的方法，以适应性地调整学习率，以尽量减少均方投影贝尔曼误差从一个因果的政策轨迹采取新鲜的在线样本。我们明确地考虑到马尔可夫性质的采样和改善最著名的有限时间误差界从$O(1/\sqrt{T})$到~ $O(1/T)$，其中$T$是迭代的总次数。
2021-11-04 cs.LG cs.MA math.OC
Statistical Inference for Policy Evaluation with Temporal Difference Learning
Reinforcement Learning Journal（强化学习期刊）
本文研究了时差学习中Polyak-Ruppert平均算法的统计性质，提出更高效的协方差矩阵估计方法，并推导了更精确的收敛保证，用于构建价值函数近似线性参数的置信区间。
2026-06-21 cs.LG stat.ML
Parameter-free Gradient Temporal Difference Learning
University of Alberta（阿尔伯塔大学）；Mila（米拉研究所）
强化学习处于几个挑战的交叉点。许多感兴趣的应用涉及非常大的状态空间，需要函数近似，使易于处理的计算。此外，学习者只有一个单一的经验流，可以用来评估大量可能的行动方案，这就需要能够学习偏离策略的算法。然而，离策略学习与函数逼近的结合导致了时域差分方法的发散。最近对基于梯度的时间差分方法的研究已经承诺了一条稳定的道路，但代价是昂贵的超参数调整。与此同时，在线学习的进展提供了无参数的方法，实现极大极小最优保证对数项，但它们在强化学习中的应用还有待探索。在这项工作中，我们结合这两条线的攻击，推导出无参数，基于梯度的时间差算法。我们的算法在线性时间内运行，并实现高概率收敛保证匹配的GTD 2高达$\log$因素。我们的实验表明，我们的方法相对于完全调整的基线保持了较高的预测性能，没有任何调整。
2021-05-10 cs.AI cs.LG
TDprop: Does Jacobi Preconditioning Help Temporal Difference Learning?
Mila；McGill University（麦吉尔大学）；Stanford University（斯坦福大学）；École Polytechnique de Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；Facebook AI Research
我们研究Jacobi预处理，占时间差（TD）学习中的自举项，是否可以帮助提高自适应优化器的性能。我们的方法，TDprop，计算每个参数的学习率的TD更新规则的对角预处理的基础上。我们展示了如何在$n$ -步返回和TD（$λ$）中使用这一点。我们的理论研究结果表明，包括这个额外的预处理信息是，令人惊讶的是，正常的半梯度TD，如果最佳的学习率是通过超参数搜索发现。在使用Expected SARSA的深度RL实验中，TDprop在接近最佳学习率的所有测试游戏中达到或超过Adam的性能，但经过良好调整的SGD可以产生类似的改进-与我们的理论相匹配。我们的研究结果表明，Jacobi预处理可以改进深度RL中的典型自适应优化方法，但尽管结合了来自TD自举项的额外信息，但可能并不总是优于SGD。
2020-07-06 cs.LG stat.ML
Exact Formulas for Finite-Time Estimation Errors of Decentralized Temporal Difference Learning with Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了多智能体强化学习（MARL）中的策略评估问题，推导了线性函数近似下分散时间差分（TD）学习的有限时间均方估计误差的精确闭合公式。我们的分析取决于这样一个事实，即分散TD学习方法可以被视为一个马尔可夫跳跃线性系统（MJLS）。然后应用标准的MJLS理论量化分散TD方法在每个时间步的估计误差的均值和协方差矩阵。我们的精确公式上的算法性能的各种影响进行了讨论。一个有趣的发现是，在充分必要的稳定条件下，均方TD估计误差将以特定的指数速率收敛到精确的极限。
2022-04-20 cs.LG cs.SY eess.SY
Adaptive Lambda Least-Squares Temporal Difference Learning
Google DeepMind（谷歌DeepMind）；The Technion（以色列理工学院）
时间差分学习（$λ$）是强化学习领域的一种基本算法。然而，设置TD的$λ$参数（其控制TD更新的时间尺度）通常留给从业者。我们正式的$λ$选择问题作为一个偏差方差权衡的解决方案是值的$λ$，导致最小的均方值误差（MSVE）。为了解决这个权衡，我们建议应用留一轨迹交叉验证（LOTO-CV）来搜索$λ$值的空间。不幸的是，这种方法对于大多数实际应用来说在计算上过于昂贵。对于最小二乘TD（LSTD），我们表明，LOTO-CV可以有效地实现自动调整$λ$和应用函数优化方法，有效地搜索空间的$λ$值。由此产生的算法，ALLSTD，是无参数的，我们的实验表明，ALLSTD是显着的计算速度比天真的LOTO-CV实现，同时实现类似的性能。
2016-12-30 cs.AI cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Robust Temporal Difference Learning for Critical Domains
University of Liverpool（利物浦大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
我们提出了一个新的Q函数算子的时间差（TD）的学习方法，明确编码的鲁棒性对重大罕见事件（SRE）在关键领域。我们称之为$κ$操作符的操作符允许以基于模型的方式学习鲁棒策略，而无需实际观察SRE。我们介绍了单和多代理强大的TD方法，使用运营商$κ$。利用广义马尔可夫决策过程理论证明了该算子收敛于模型的最优鲁棒Q函数。此外，我们证明了收敛到最佳的Q-函数的原始MDP给定的概率SRE消失。经验评估表明，优越的性能$κ$为基础的TD方法在早期学习阶段，以及在最后的收敛阶段。此外，我们表明所提出的方法的鲁棒性小的模型误差，以及它的适用性在多智能体的上下文中。
2019-03-13 cs.LG cs.MA stat.ML
Temporal Difference Uncertainties as a Signal for Exploration
DeepMind（深度思维）
强化学习中探索的一种有效方法是依赖于智能体对最优策略的不确定性，这可以在表格设置中产生接近最优的探索策略。然而，在涉及函数逼近器的非表格设置中，获得准确的不确定性估计几乎是一个具有挑战性的问题。在本文中，我们强调，价值估计很容易偏置和时间不一致。鉴于此，我们提出了一种新的方法来估计不确定性的价值函数，依赖于诱导分布的时间差误差。该探索信号控制状态-动作转换，以便隔离由于代理参数的不确定性而导致的值的不确定性。因为我们的不确定性度量是以状态-动作转换为条件的，所以我们不能直接作用于这个度量。相反，我们将其作为一个内在的奖励和治疗探索作为一个单独的学习问题，引起代理的时间差的不确定性。我们引入了一个独特的探索策略，学习收集具有高估计不确定性的数据，这使得课程在整个学习过程中平稳变化，并在完美值估计的限制下消失。我们评估了我们的方法在硬勘探任务，包括深海和雅达利2600环境，发现我们提出的探索形式有利于多样化和深入的探索。
2021-07-01 cs.AI cs.LG stat.ML
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）
时间差分（TD）学习是强化学习中用于策略评估的流行算法，但是普通TD实质上会受到固有优化方差的影响。Korda和La（2015）提出了一种方差缩减TD（VRTD）算法，该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中，我们首先指出了Korda和La（2015）在VRTD分析中的技术错误，然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外，方差误差（对于i.i.d.\和马尔可夫抽样）和偏差误差（马尔可夫抽样）的VRTD显着降低了批量的方差减少相比，香草TD。结果表明，VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD，优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
Implicit Temporal Differences
The Technion - Israel Institute of Technology（以色列理工学院）；Harvard University（哈佛大学）
在强化学习中，TD（$λ$）算法是一种基本的策略评估方法，具有高效的在线实现，适用于大规模问题。TD（$λ$）的一个实际缺点是其对步长选择的敏感性。这是一个经验上众所周知的事实，大的步长导致快速收敛，代价是更高的方差和不稳定的风险。在这项工作中，我们介绍了隐式TD（$λ$）算法，它具有相同的功能和计算成本的TD（$λ$），但显着更稳定。我们提供了一个理论解释这种稳定性和典型的基准任务的隐式TD（$λ$）的实证评估。我们的研究结果表明，隐式TD（$λ$）优于标准TD（$λ$）和一个国家的最先进的方法，自动调整步长，从而显示出广泛的适用性的承诺。
2014-12-21 cs.LG stat.ML
Nonlinear Distributional Gradient Temporal-Difference Learning
Faculty of Electrical Engineering, Technion（以色列理工学院电气工程学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
我们设计了梯度时间差（TD）学习的分布变体。在最近的研究\citep{bellemare2017distributional}中，分布式强化学习已经被证明优于常规学习。在策略评估方面，我们利用Bellman误差目标函数的分布形式，利用Cram{é}r距离设计了两种新的算法：分布GTD 2和分布TDC，该算法继承了非线性梯度TD算法和分布RL方法的优点。在控制设置，我们提出了分布式Greedy-GQ使用类似的推导。我们证明了分布GTD 2和TDC的渐近几乎必然收敛到一般光滑函数逼近器的局部最优解，其中包括神经网络，已被广泛应用于最近的研究，以解决现实生活中的RL问题。在每一步中，上述三种算法的计算复杂性均与时间成线性关系。因此，对于神经网络，可以有效地实现函数逼近器的参数数目。
2019-04-03 cs.AI cs.LG stat.ML
PID Accelerated Temporal Difference Algorithms
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对长时程强化学习任务中传统 TD 学习收敛缓慢的问题，本文借鉴控制理论中的 PID 思想提出 PID TD Learning 和 PID Q-Learning 算法，并给出收敛性理论分析及噪声下自适应增益方法，实验验证了其加速效果。
2024-09-03 cs.AI cs.LG cs.SY
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind（深度思维）；Google Research（谷歌研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据，并专注于各种问题的时间差分（TD）学习和蒙特卡洛（MC）政策评估。已知这两种方法可实现互补的偏差-方差权衡特性，其中TD倾向于实现较低的方差但可能较高的偏差。在本文中，我们认为，较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题，提出了一种算法，自适应切换TD和MC在每个状态，从而减轻传播的错误。我们的方法是基于学习的置信区间，检测偏差的TD估计。我们在各种政策评估任务中证明，这种简单的自适应算法在事后看来与最佳方法具有竞争力，这表明学习的置信区间是一种强大的技术，用于调整政策评估，以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；MIT（麻省理工学院）；Boston University（波士顿大学）
本文通过实证和理论证明，Transformer在策略评估任务训练中，其前向传播能够发现并实现时序差分学习算法，从而支持上下文强化学习（ICRL）中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
Predictor-Corrector(PC) Temporal Difference(TD) Learning (PCTD)
University of Florida（佛罗里达大学）
从数值逼近的常微分方程和TD学习通过Galerkin松弛的问题制定和解决方法的见解，我提出了一类新的TD学习算法。在应用改进的数值方法之后，被近似的参数在用于构造线性参数化的价值函数的参数$θ(t)$的ODE的解的泰勒级数误差中具有保证的数量级减小。预测-校正时间差（PCTD）是我使用随机近似（SA）理论从连续时间ODE转换而来的离散时间强化学习（RL）算法。因果和非因果的算法的实现，并列出了模拟结果的无限地平线的任务，以比较原始TD（0）算法对两个版本的PCTD（0）。
2021-04-15 cs.AI cs.LG
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology（代尔夫特理工大学）
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习（TDRL），我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观，即，德尔塔，在三个方面：现实（stochemical正确），乐观（假设行动控制）和过于乐观（假设结果控制）。我们发现，对于赌博任务的个人与“健康”的控制知觉，即，行动乐观，不发展赌博行为，而具有“不健康”控制感的人，即，结果乐观，做。我们发现，高强度的感觉和低水平的恐惧共同发生，由于乐观的风险感知。我们发现，过度乐观的风险感知（结果乐观）导致冒险和持续的赌博行为，除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
Finite Sample Analysis of Linear Temporal Difference Learning with Arbitrary Features
University of Virginia（弗吉尼亚大学）
本文首次在任意特征下为线性TD($\lambda$)算法建立$L^2$收敛速率，无需线性无关假设，适用于折扣和平均奖励设置，并提出针对解集的随机逼近收敛结果。
2025-10-14 cs.AI cs.LG stat.ML
Truncated Emphatic Temporal Difference Methods for Prediction and Control
University of Oxford（牛津大学）
强调时间差分（TD）方法是一类涉及使用后续跟踪的非策略强化学习（RL）方法。尽管理论上的成功，在解决臭名昭著的致命的三位一体的off-policy强化学习的方法，仍然有两个开放的问题。首先，followon跟踪通常具有较大的方差，这使得它们难以在实践中使用。其次，尽管Yu（2015）证实了一些预测问题的渐近TD方法的渐近收敛性，但仍然没有任何预测问题的渐近TD方法的有限样本分析，更不用说控制了。在本文中，我们解决这两个开放的问题，同时通过使用截断后续跟踪的椭圆形TD方法。与原始的followon跟踪，这取决于所有以前的历史，截断followon跟踪只依赖于有限的历史，减少方差，使有限样本分析，我们提出的预测和控制的连续TD方法。
2022-05-10 cs.LG
Gradient Temporal-Difference Learning with Regularized Corrections
University of Alberta（阿尔伯塔大学）；DeepMind
使用Q学习和时间差（TD）学习仍然很常见-即使它们存在分歧问题并且存在合理的梯度TD替代方案-因为分歧似乎很少，并且它们通常表现良好。然而，最近对大型神经网络学习系统的研究表明，不稳定性比以前认为的更常见。从业者面临着一个困难的困境：选择一个易于使用和高性能的TD方法，或更复杂的算法，更健全，但更难调整，但所有的非线性函数逼近或控制，但未探索。在本文中，我们介绍了一种新的方法，称为TD与正则化校正（TDRC），试图平衡易用性，可靠性和性能。当TD表现良好时，它的表现与TD一样好，但在TD发散的情况下是合理的。我们在一系列问题上对TDRC进行了实证研究，包括预测和控制，以及线性和非线性函数逼近，并可能首次表明梯度TD方法可能是TD和Q学习的更好替代方案。
2020-09-17 cs.AI cs.LG stat.ML
Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto（多伦多大学）
本文探讨了时差误差的两种解释在深度强化学习中的差异，指出非线性架构可能导致两者数值不同，影响算法性能。
2026-03-23 cs.AI cs.LG
Gradient Temporal Difference with Momentum: Stability and Convergence
Indian Institute of Science（印度科学理工学院）
梯度时间差分（Gradient Temporal Difference，TD）算法是一类在强化学习中用于策略评估的随机逼近（Stochastic Approximation，SA）算法。在这里，我们考虑梯度TD算法与一个额外的重球动量项，并提供选择的步长和动量参数，以确保这些算法几乎肯定渐近收敛。在这样做时，我们将重球梯度TD迭代分解为具有不同步长的三个单独的迭代。我们首先分析这些迭代下一个时标SA设置使用当前文献的结果。然而，一个时间尺度的情况是限制性的，可以通过查看迭代的三个时间尺度分解来提供更一般的分析。在这个过程中，我们提供了一般的三时标SA的稳定性和收敛性的第一个条件。然后，我们证明了重球梯度TD算法是收敛的，使用我们的三时标SA分析。最后，我们评估这些算法的标准强化学习问题和报告的性能改善香草算法。
2021-11-22 cs.LG
Generalized Kalman filter based temporal difference reinforcement learning
University of Twente（特温特大学）；University of Vienna（维也纳大学）
研究基于条件期望理论的广义TD强化学习框架，将价值和Q值函数视为不确定量，用随机推理估计，能递归估计价值函数条件期望及二阶概率矩，通过离散化随机问题验证，可扩展经典卡尔曼时间差分学习到更广泛随机系统。
2026-07-24 cs.CE cs.LG
A Temporal Difference Method for Stochastic Continuous Dynamics
University of Tokyo（东京大学）
针对基于HJB方程的强化学习需已知动力学的问题，提出免模型时间差分方法，实现指数收敛，桥接随机控制与免模型RL。
2025-10-26 cs.LG
A Temporal Difference Reinforcement Learning Theory of Emotion: unifying emotion, cognition and adaptive behavior
TU Delft（代尔夫特理工大学）
情绪与动机和行为的适应性密切相关，许多动物物种在其行为中表现出情绪的证据。因此，情绪必须与帮助生存的强大机制有关，而且情绪必须是进化的连续现象。情绪是如何以及为什么在自然界中进化的，事件是如何得到情感评价的，情绪如何与认知复杂性相关，以及它们如何影响行为和学习？在这篇文章中，我认为所有的情绪都是奖励处理的表现，特别是时间差异（TD）错误评估。强化学习（Reinforcement Learning，RL）是一种通过探索和反馈来学习面向目标任务的强大计算模型。有证据表明，类RL过程存在于许多动物物种中。强化学习中反馈处理的关键是TD错误的概念，即与先前预期的情况相比，评估情况变得更好或更糟（或者，新证据导致的效用或福祉的估计增益或损失）。我提出了一个TDRL情绪理论，并讨论了它对我们理解人类，动物和机器情绪的影响，并提出了心理学，神经生物学和计算证据支持。
2018-07-24 cs.AI cs.LG stat.ML
Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning
Qraft Technologies Data Team（Qraft Technologies数据团队）
研究用于不确定性感知强化学习的广义高斯时间差分误差，引入基于广义高斯分布的状态条件形状头，用数值修改的GGD损失作在线替代，构建加权启发式方法并提出BIEV正则化，形状感知变体在部分基准测试中表现更优。
2026-07-27 cs.AI cs.LG math.PR
An Improved Finite-time Analysis of Temporal Difference Learning with Deep Neural Networks
Center for Data Science, Peking University（北京大学数据科学中心）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Center for Machine Learning Research（机器学习研究中心）；Changsha Institute for Computing and Digital Economy（长沙计算与数字经济研究院）；National University of Singapore（新加坡国立大学）
本文研究神经网络时序差分学习的有限时间收敛理论，通过新的证明技术将马尔可夫采样下的样本复杂度从 $\tilde{\mathcal{O}}(ε^{-2})$ 改进至 $\tilde{\mathcal{O}}(ε^{-1})$。
2024-05-07 cs.AI cs.LG math.OC
Adaptive Tree Backup Algorithms for Temporal-Difference Reinforcement Learning
Northeastern University（东北大学）；Khoury College of Computer Sciences（库利计算机科学学院）
Q（$σ$）是最近提出的一种时间差学习方法，它在从预期备份和采样备份中学习之间进行插值。已经表明，插值参数$σ\in [0,1]$的中间值在实践中表现得更好，因此通常认为$σ$用作偏差-方差折衷参数以实现这些改进。在我们的工作中，我们反驳了这一概念，表明选择$σ=0$最小化方差而不增加偏差。这表明，$σ$对学习一定有一些尚未完全理解的其他影响。作为替代方案，我们假设存在一个新的权衡：较大的$σ$值有助于克服价值函数的初始化差，以较高的统计方差为代价。为了自动平衡这些考虑因素，我们提出了自适应树备份（ATB）方法，其加权备份随着代理获得经验而发展。我们的实验表明，自适应策略可以比依赖于固定或时间退火的$σ$值更有效。
2022-06-04 cs.LG
Temporal Difference Learning for High-Dimensional PIDEs with Jumps
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）；Department of Mathematics, University of California, Santa Barbara（加州大学圣巴巴拉分校数学系）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
本文提出基于时序差分学习的深度学习框架，利用Lévy过程和深度神经网络求解带跳跃的高维PIDEs，在100维实验中相对误差达O(10^{-3})，并展现出低计算成本与强鲁棒性。
2024-03-29 cs.LG cs.NA math.NA
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）；Huawei Technologies Canada, Ltd.（加拿大华为技术有限公司）
我们探讨了固定时域时间差（TD）方法，强化学习算法，用于一种新的值函数，该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数，这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导，所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题（也被称为“致命的三元组”）的影响。虽然固定时域方法需要存储额外的价值函数，但这为代理提供了额外的预测能力，而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题，并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计，我们的研究结果建立固定地平线TD方法作为一个可行的新的方式，避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
Backstepping Temporal Difference Learning
KAIST（韩国科学技术院）
针对离策略线性函数近似下时序差分（TD）学习的发散问题，本研究从控制理论视角统一现有算法，并基于反步技术提出新收敛算法，实验验证其在标准TD学习不稳定环境中的收敛性。
2025-04-18 cs.AI cs.LG
Collision Probability Distribution Estimation via Temporal Difference Learning
University of the Bundeswehr Munich（联邦国防军慕尼黑大学）；Institute for Autonomous Systems Technology (TAS)（自主系统技术研究所）
提出CollisionPro框架，利用时间差分学习在强化学习背景下估计累积碰撞概率分布，为自动驾驶等机器人应用提供高样本效率和可靠预测的安全感知方案。
2024-07-29 cs.LG cs.RO
Temporal Difference Learning with Continuous Time and State in the Stochastic Setting
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Institut Louis Bachelier（路易·巴舍利耶研究所）；PSL Research University（巴黎文理研究大学）
针对连续时间策略评估，提出无模型与基于模型的 TD(0) 变体，证明收敛速率并经仿真验证，还可用于求解线性 PDE 或 BSDE。
2023-06-07 cs.AI cs.LG math.AP
Toward Causal-Aware RL: State-Wise Action-Refined Temporal Difference
探索在强化学习（RL）中扮演着重要的角色，但目前针对RL中连续控制任务的探索策略主要基于朴素各向同性高斯噪声，忽略了动作空间与任务之间的因果关系，并将动作的各个维度视为同等重要。在这项工作中，我们建议对原始动作空间进行干预，以发现动作空间和任务奖励之间的因果关系。我们提出了状态行为细化（SWAR）方法，该方法解决了行为空间冗余问题并促进了强化学习中的因果关系发现。我们将强化学习任务中的因果关系发现归结为一个依赖于状态的动作空间选择问题，并提出了两个实用的算法。第一种方法，TD-SWAR，检测任务相关的动作在时间差异学习，而第二种方法，Dyn-SWAR，通过动态模型预测揭示重要的行动。从经验上讲，这两种方法都提供了理解RL代理所做决策的方法，并提高了动作冗余任务的学习效率。
2022-10-28 cs.AI cs.LG
Predictive State Temporal Difference Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的价值函数逼近方法，将线性时间差分强化学习与子空间辨识相结合。在实际应用中，由于状态是高维或部分可观测的，使得强化学习（RL）变得复杂。因此，RL方法被设计为与状态的特征而不是状态本身一起工作，并且学习的成功或失败通常取决于所选特征的适用性。通过比较，子空间识别（SSID）方法的目的是选择一个功能集，保留尽可能多的信息，关于状态。在本文中，我们将这两种方法联系起来，研究具有大量特征的强化学习问题，其中每个特征对于价值函数近似可能只有很小的用处。针对这种情况，我们引入了一种新的算法，称为预测状态时间差（PSTD）学习。与用于预测状态表示的SSID一样，PSTD找到一个线性压缩运算符，该运算符将一大组特征投影到保留最大预测信息量的一小组特征。与RL中一样，PSTD然后使用Bellman递归来估计价值函数。我们讨论了PSTD与RL和SSID中的先前方法之间的连接。我们证明了PSTD是统计上一致的，进行了几个实验，说明它的属性，并证明了它的潜力，一个困难的最佳停止问题。
2011-01-18 cs.AI cs.LG
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta（阿尔伯塔大学）
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中，代理学习与正在执行的策略不同的策略。为了说明差异，通常使用重要性采样比率，但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差，其中每决策重要性采样是最流行的。然而，在文献中的更新规则，大多数政策外的算法离开每决策重要性采样在一个微妙的方式，他们纠正整个TD的错误，而不仅仅是TD的目标。在这项工作中，我们展示了如何将这种轻微的变化解释为TD目标的控制变量，减少方差并提高性能。在广泛的算法上的实验表明，这种微妙的修改会提高性能。
2022-06-16 cs.LG
Discerning Temporal Difference Learning
Northwestern Polytechnical University（西北工业大学）
针对TD($λ$)忽略历史状态重要性的问题，提出discerning TD learning（DTD）算法，通过灵活的强调函数有效分配误差传播，改善了价值估计并加速了学习。
2024-02-10 cs.AI cs.LG
