An Emphatic Approach to the Problem of Off-policy Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
在本文中，我们介绍了提高性能的参数时间差（TD）学习算法的思想，有选择地强调或不强调他们的更新在不同的时间步长。特别是，我们表明，不同的重点线性TD（$λ$）的更新，以一种特定的方式导致其预期的更新，成为稳定下的政策培训。实现这一点的唯一现有无模型TD方法是梯度TD方法族，包括TDC、GTD（$λ$）和GQ（$λ$），其中每步计算在函数逼近参数的数量上是线性的。与这些方法相比，我们的学习TD（$λ$）更简单，更易于使用，它只有一个学习参数向量和一个步长参数。我们的治疗包括一般的状态依赖贴现和自举功能，并指定不同程度的兴趣，准确地评估不同的状态的方式。
2015-04-21 cs.LG
PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning Method
Ohio State University（俄亥俄州立大学）
强调时间差异（ETD）学习（Sutton等人，2016）是一种成功的方法进行离政策价值函数评估与函数逼近。虽然ETD已被证明是渐近收敛到一个理想的价值函数，这是众所周知的，ETD经常遇到一个大的方差，使其样本的复杂性可以增加指数快速迭代的次数。在这项工作中，我们提出了一种新的ETD方法，称为PER-ETD（即，PEriodically Restarted-ETD），它仅在评估参数的每次迭代的有限时间段内重新启动和更新后续跟踪。此外，PER-ETD的特点是重新启动周期随迭代次数的几何增加的设计，这保证了方差和偏差之间的最佳权衡，并保持两者的次线性消失。我们证明了PER-ETD收敛到与ETD相同的理想不动点，但将ETD的指数样本复杂度提高到多项式。实验验证了PER-ETD的优越性能及其相对于ETD的优势。
2022-07-14 cs.LG stat.ML
Emphatic Algorithms for Deep Reinforcement Learning
DeepMind（深度思维）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
离策略学习允许我们从不同行为策略产生的经验中学习可能的行为策略。时间差分（TD）学习算法在与函数近似和偏离策略采样相结合时可能会变得不稳定-这被称为“致命三元组”。强调时间差（ETD（$λ$））算法通过适当地加权TD（$λ$）更新来确保线性情况下的收敛。在本文中，我们将学习方法的使用扩展到深度强化学习代理。我们表明，天真地将ETD（$λ$）适应流行的深度强化学习算法，该算法使用前向视图多步返回，导致性能不佳。然后，我们推导出新的迭代算法中使用的上下文中，这样的算法，我们证明，他们提供了显着的好处，在小问题，旨在突出TD方法的不稳定性。最后，我们在Arcade Learning Environment的经典Atari游戏上大规模应用这些算法时，观察到了性能的提高。
2021-06-21 cs.LG stat.ML
Emphatic TD Bellman Operator is a Contraction
Technion（以色列理工学院）
最近，\citet{SuttonMW15}引入了马尔可夫决策过程中的非策略评估的时间差分（ETD）算法。在这篇短文中，我们证明了ETD的投影不动点方程涉及一个收缩算子，具有$\sqrtγ$ -收缩模（其中$γ$是折扣因子）。这使我们能够提供ETD近似误差的误差界限。据我们所知，这些是一般目标和行为策略下的非策略评估算法的第一个误差界。
2015-08-23 cs.LG stat.ML
Weak Convergence Properties of Constrained Emphatic Temporal-difference Learning with Constant and Slowly Diminishing Stepsize
University of Alberta（阿尔伯塔大学）
我们考虑的时间差分（TD）算法，ETD（$λ$），学习的价值函数的固定政策在折扣，有限状态和行动马尔可夫决策过程。ETD（$λ$）算法最近由Sutton，Mahmood和White提出，用于解决标准TD算法在应用于非策略训练时长期存在的发散问题，其中来自探索性策略的数据用于评估其他感兴趣的策略。在我们最近的工作中，在一般的非策略训练条件下，证明了ETD（$λ$）的几乎必然收敛性，但步长减小的范围很窄。在本文中，我们提出了收敛结果的约束版本的ETD（$λ$）具有恒定的步长和减小步长从一个广泛的范围。我们的结果描述了这些算法产生的迭代轨迹的渐近行为，并通过结合ETD（$λ$）的关键性质和随机逼近理论中弱收敛方法的强收敛定理而导出。对于恒定步长的情况下，除了分析的行为的算法在极限的步长参数接近零，我们还分析了他们的行为为一个固定的步长和约束的偏差，他们的平均迭代从所需的解决方案。这些结果是利用与算法相关的马尔可夫链的弱Feller性质，并利用弱Feller马尔可夫链的遍历定理，结合弱收敛方法的收敛性结果得到的.除了ETD（$λ$），我们的分析也适用于非政策TD（$λ$）算法，当发散问题是避免设置足够大的$λ$。
2017-01-20 cs.LG
Should All Temporal Difference Learning Use Emphasis?
Shanghai Jiao Tong University（上海交通大学）；University of Alberta（阿尔伯塔大学）
强调时间差（ETD）学习最近被提出作为一种收敛的离策略学习方法。ETD的提出主要是为了解决传统的时间差（TD）学习的离线训练下的收敛问题，但它是不同于传统的TD学习，即使在对政策的培训。2017年提供的一个简单的反例指出了一类潜在的问题，其中ETD收敛，但TD发散。在本文中，我们实证表明，ETD收敛于其他一些著名的政策实验，而TD要么发散或表现不佳。我们还表明，ETD优于TD的山地车预测问题。我们的研究结果，以及在以前的作品中观察到的类似模式下的政策培训，表明ETD可能是一个很好的替代传统的TD。
2019-03-01 cs.AI cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
O$^2$TD: (Near)-Optimal Off-Policy TD Learning
Auburn University（奥本大学）；University of Buffalo（布法罗大学）
时间差分学习和残差梯度方法是最广泛使用的基于时间差分的学习算法;然而，已经表明，它们的目标函数都不是最佳的，不能近似真价值函数$V$。提出了两种逼近真价值函数$V$的新算法。本文的主要贡献如下：（1）提出了一种批处理算法，可以帮助找到真价值函数$V$的近似最优离策略预测。(2)一种线性计算成本（每步）接近最优的算法，可以从一组非策略样本中学习。(3)一个新的视角的时间差分学习，它弥合了政策外最优性和政策外稳定性之间的差距。
2017-04-19 cs.LG stat.ML
Preconditioned Temporal Difference Learning
这篇论文已被作者撤回。这份草稿因英文质量不佳而被撤回，不幸的是，这份草稿是作者刚开始他的科学路线时制作的。请查看ICML版本：http://icml2008.cs.helsinki.fi/papers/111.pdf
2012-06-08 cs.AI cs.LG
Temporal Difference Updating without a Learning Rate
IDSIA（达勒·莫尔人工智能研究所）
我们从统计原理推导出一个时间差异学习的方程。具体来说，我们从变分原理开始，然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程，所谓的TD（lambda），然而它缺少指定学习率的参数alpha。在这个自由参数的地方，现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD（lambda），并发现它提供了优越的性能在各种设置。最后，我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此，我们将更新方程与Watkins的Q（lambda）和Sarsa（lambda）结合起来，发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
Parameter-free Gradient Temporal Difference Learning
University of Alberta（阿尔伯塔大学）；Mila（米拉研究所）
强化学习处于几个挑战的交叉点。许多感兴趣的应用涉及非常大的状态空间，需要函数近似，使易于处理的计算。此外，学习者只有一个单一的经验流，可以用来评估大量可能的行动方案，这就需要能够学习偏离策略的算法。然而，离策略学习与函数逼近的结合导致了时域差分方法的发散。最近对基于梯度的时间差分方法的研究已经承诺了一条稳定的道路，但代价是昂贵的超参数调整。与此同时，在线学习的进展提供了无参数的方法，实现极大极小最优保证对数项，但它们在强化学习中的应用还有待探索。在这项工作中，我们结合这两条线的攻击，推导出无参数，基于梯度的时间差算法。我们的算法在线性时间内运行，并实现高概率收敛保证匹配的GTD 2高达$\log$因素。我们的实验表明，我们的方法相对于完全调整的基线保持了较高的预测性能，没有任何调整。
2021-05-10 cs.AI cs.LG
Learning to simulate partially known spatio-temporal dynamics with trainable difference operators
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co. Ltd（华为技术有限公司）；Peking University（北京大学）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对黑盒模型模拟时空动力学精度和可解释性受限的问题，提出嵌入PDE部分先验知识的混合架构PDE-Net++，通过引入TFDL和TDDL可训练差分算子，显著提升了预测精度与外推性能。
2023-07-26 cs.AI cs.LG
Predictor-Corrector(PC) Temporal Difference(TD) Learning (PCTD)
University of Florida（佛罗里达大学）
从数值逼近的常微分方程和TD学习通过Galerkin松弛的问题制定和解决方法的见解，我提出了一类新的TD学习算法。在应用改进的数值方法之后，被近似的参数在用于构造线性参数化的价值函数的参数$θ(t)$的ODE的解的泰勒级数误差中具有保证的数量级减小。预测-校正时间差（PCTD）是我使用随机近似（SA）理论从连续时间ODE转换而来的离散时间强化学习（RL）算法。因果和非因果的算法的实现，并列出了模拟结果的无限地平线的任务，以比较原始TD（0）算法对两个版本的PCTD（0）。
2021-04-15 cs.AI cs.LG
Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto（多伦多大学）
本文探讨了时差误差的两种解释在深度强化学习中的差异，指出非线性架构可能导致两者数值不同，影响算法性能。
2026-03-23 cs.AI cs.LG
Generative Temporal Difference Learning for Infinite-Horizon Prediction
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
我们介绍了$γ$ -模型，一个预测模型的环境动态与无限的概率地平线。用$γ$模型代替标准的单步模型，导致对基于模型的控制的核心过程的一般化，包括模型展开和基于模型的值估计。的$γ$模型，训练与时间差异学习的生成重新解释，是一个自然的连续模拟的继任者表示和无模型和基于模型的机制之间的混合。就像一个价值函数，它包含了关于长期未来的信息;就像一个标准的预测模型，它独立于任务奖励。我们将$γ$模型实例化为生成对抗网络和规范化流，讨论其训练如何反映训练时间和测试时间复合误差之间不可避免的权衡，并实证研究其预测和控制效用。
2021-11-29 cs.AI cs.LG
$\ell_1$ Regularized Gradient Temporal-Difference Learning
Technische Universität München（慕尼黑工业大学）
本文研究了线性价值函数逼近的时间差分学习问题。众所周知，大多数TD学习算法在线性函数逼近和离策略学习方面是不稳定的。最近发展的梯度TD（GTD）算法成功地解决了这个问题。然而，GTD算法的成功需要一组精心选择的功能，这并不总是可用的。当特征数量很大时，GTD算法可能会面临过拟合和计算量大的问题。为了解决这个困难，正则化技术，特别是$\ell_1$正则化，在开发TD学习算法中引起了极大的关注。目前的工作结合了GTD算法与$\ell_1$正则化。我们提出了一个家庭的$\ell_1$正则化的GTD算法，采用著名的软阈值算子。我们研究了所提出的算法的收敛性，并描述了它们的性能与几个数值实验。
2016-10-05 cs.AI cs.LG
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）；Huawei Technologies Canada, Ltd.（加拿大华为技术有限公司）
我们探讨了固定时域时间差（TD）方法，强化学习算法，用于一种新的值函数，该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数，这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导，所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题（也被称为“致命的三元组”）的影响。虽然固定时域方法需要存储额外的价值函数，但这为代理提供了额外的预测能力，而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题，并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计，我们的研究结果建立固定地平线TD方法作为一个可行的新的方式，避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
Backstepping Temporal Difference Learning
KAIST（韩国科学技术院）
针对离策略线性函数近似下时序差分（TD）学习的发散问题，本研究从控制理论视角统一现有算法，并基于反步技术提出新收敛算法，实验验证其在标准TD学习不稳定环境中的收敛性。
2025-04-18 cs.AI cs.LG
Online Attentive Kernel-Based Temporal Difference Learning
Jiangsu Key Laboratory of Big Data Security & Intelligent Processing, Nanjing University of Posts and Telecommunications（南京邮电大学江苏省大数据安全与智能处理重点实验室）；National Engineering Laboratory for Agri-product Quality Traceability, Beijing Technology and Business University（北京工商大学农产品质量安全追溯技术及应用国家工程实验室）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院江苏省社会安全图像与视频理解重点实验室）
随着现实世界中不确定性的增加，在线强化学习（RL）由于其快速学习能力和提高数据效率而受到越来越多的关注。然而，在线RL经常遭受复杂的价值函数近似（VFA）和灾难性干扰，这使得深度神经网络难以应用于完全在线设置中的在线RL算法。因此，一个更简单和更适应的方法来评估价值函数与基于核的模型。稀疏表示在处理干扰方面更优越，这表明与当前的稀疏表示方法相比，竞争性稀疏表示应该是可学习的，非先验的，非截断的和显式的。在稀疏表示的学习过程中，利用注意力机制来表征稀疏化程度，并在核函数的基础上引入光滑注意函数.在本文中，我们提出了一个在线的基于核的时间差分（OAKTD）算法使用两个时标优化，并提供我们所提出的算法的收敛性分析。实验评估表明，OAKTD优于几个在线基于内核的时间差（OKTD）学习算法，除了时间差（TD）学习算法与瓷砖编码的公共山地车，Acrobot，CartPole和水坑世界任务。
2022-01-22 cs.AI cs.LG
Optimistic Temporal Difference Learning for 2048
Academia Sinica（中央研究院）
时间差分（TD）学习及其变体，如多级TD（MS-TD）学习和时间相干（TC）学习，已成功应用于2048。这些方法依赖于2048年环境的随机性进行勘探。在本文中，我们提出了采用乐观初始化（OI），以鼓励探索2048年，并实证表明，学习质量显着提高。这种方法乐观地将特征权重扩展到非常大的值。由于一旦状态被访问，权重往往会降低，因此智能体倾向于探索那些未访问或访问过几次的状态。我们的实验表明，TD和TC学习与OI显着提高性能。因此，实现相同性能所需的网络规模显著减小。通过额外的调整，如expectimax搜索，多级学习和瓷砖降级技术，我们的设计达到了最先进的性能，即平均得分为625377，达到32768瓷砖的72%的速度。此外，对于足够大的测试，以0.02%的速率达到65536个瓦片。
2021-11-22 cs.AI cs.LG
Toward Causal-Aware RL: State-Wise Action-Refined Temporal Difference
探索在强化学习（RL）中扮演着重要的角色，但目前针对RL中连续控制任务的探索策略主要基于朴素各向同性高斯噪声，忽略了动作空间与任务之间的因果关系，并将动作的各个维度视为同等重要。在这项工作中，我们建议对原始动作空间进行干预，以发现动作空间和任务奖励之间的因果关系。我们提出了状态行为细化（SWAR）方法，该方法解决了行为空间冗余问题并促进了强化学习中的因果关系发现。我们将强化学习任务中的因果关系发现归结为一个依赖于状态的动作空间选择问题，并提出了两个实用的算法。第一种方法，TD-SWAR，检测任务相关的动作在时间差异学习，而第二种方法，Dyn-SWAR，通过动态模型预测揭示重要的行动。从经验上讲，这两种方法都提供了理解RL代理所做决策的方法，并提高了动作冗余任务的学习效率。
2022-10-28 cs.AI cs.LG
Predictive State Temporal Difference Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的价值函数逼近方法，将线性时间差分强化学习与子空间辨识相结合。在实际应用中，由于状态是高维或部分可观测的，使得强化学习（RL）变得复杂。因此，RL方法被设计为与状态的特征而不是状态本身一起工作，并且学习的成功或失败通常取决于所选特征的适用性。通过比较，子空间识别（SSID）方法的目的是选择一个功能集，保留尽可能多的信息，关于状态。在本文中，我们将这两种方法联系起来，研究具有大量特征的强化学习问题，其中每个特征对于价值函数近似可能只有很小的用处。针对这种情况，我们引入了一种新的算法，称为预测状态时间差（PSTD）学习。与用于预测状态表示的SSID一样，PSTD找到一个线性压缩运算符，该运算符将一大组特征投影到保留最大预测信息量的一小组特征。与RL中一样，PSTD然后使用Bellman递归来估计价值函数。我们讨论了PSTD与RL和SSID中的先前方法之间的连接。我们证明了PSTD是统计上一致的，进行了几个实验，说明它的属性，并证明了它的潜力，一个困难的最佳停止问题。
2011-01-18 cs.AI cs.LG
Discerning Temporal Difference Learning
Northwestern Polytechnical University（西北工业大学）
针对TD($λ$)忽略历史状态重要性的问题，提出discerning TD learning（DTD）算法，通过灵活的强调函数有效分配误差传播，改善了价值估计并加速了学习。
2024-02-10 cs.AI cs.LG
R-GTD: A Geometric Analysis of Gradient Temporal-Difference Learning in Singular Regimes
School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院）
本文提出R-GTD算法，通过重新表述均方投影Bellman误差最小化问题，解决FIM奇异导致的稳定性问题，提供理论保证和实验证明。
2026-05-08 cs.AI cs.LG
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对时序差分（TD）学习的有限时间行为研究缺口及经验回放理论影响不明问题，本文通过马尔可夫噪声项分解，给出带经验回放TD学习的有限时间误差界，证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海国家应用数学中心）
梯度下降或其变体在训练神经网络中很受欢迎。然而，在具有神经网络近似的深度Q学习中，一种类型的强化学习，梯度下降（也称为残差梯度（RG））几乎没有用于解决贝尔曼残差最小化问题。相反，时间差分（TD），不完全梯度下降方法占主导地位。在这项工作中，我们进行了大量的实验，以表明TD优于RG，即当训练导致一个小的贝尔曼残差时，TD找到的解决方案具有更好的政策，对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别，即在强化学习中，小的Bellman残差对应于一个坏的策略，而在监督学习中，测试损失函数是一个衡量性能的标准指标。我们还实证研究，TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明，深度Q学习解决方案的性能与训练动态密切相关，不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Almost Sure Convergence of Linear Temporal Difference Learning with Arbitrary Features
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）
本文研究了线性时间差学习在不需线性无关特征的条件下几乎必然收敛问题，证明了权重迭代收敛到有界集，并建立了权重迭代的局部稳定性。
2026-03-24 cs.AI cs.LG
Almost Sure Convergence of Differential Temporal Difference Learning for Average Reward Markov Decision Processes
University of Virginia（弗吉尼亚大学）
本文提出在无本地时钟的情况下，通过标准递减学习率证明差分时差学习在平均奖励马尔可夫决策过程中的几乎必然收敛，扩展了其理论基础并接近实际应用。
2026-02-18 cs.AI cs.LG
Gradient Iterated Temporal-Difference Learning
本文提出梯度迭代时间差学习方法，通过计算移动目标的梯度提升学习速度，对比半梯度方法在Atari游戏等基准测试中表现优异。
2026-05-14 cs.AI cs.LG
Why Target Networks Stabilise Temporal Difference Methods
University of Oxford（牛津大学）
本文通过形式化部分拟合策略评估框架，从理论上解释了目标网络为何能稳定TD学习，并证明在适当条件下即使面对离策略采样和非线性函数逼近也能保证收敛。
2023-08-11 cs.AI cs.LG
A Variance Minimization Approach to Temporal-Difference Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）；National University of Defense Technology（国防科技大学）
本文提出一种方差最小化方法替代误差最小化用于基于值的强化学习，推导出VMTD、VMTDC和VMETD算法，证明其收敛性和最优策略不变性，并通过实验验证有效性。
2024-11-10 cs.AI cs.LG
Investigating practical linear temporal difference learning
Indiana University（印第安纳大学）
非策略强化学习有许多应用，包括：从演示中学习示教学习，并行学习多目标搜索策略，以及表示预测知识。最近出现了大量新的策略评估算法，填补了强化学习中长期存在的算法空白：将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差（TD）更新相结合。本文包含两个主要贡献。首先，我们推导出两个新的混合TD政策评估算法，填补了这一系列算法的空白。其次，我们进行了实证比较，得出这些新的线性TD方法应首选在不同的情况下，并提出具体的建议，实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta（阿尔伯塔大学）
多步时间差（TD）学习是强化学习中的一种重要方法，因为它将单步TD学习与蒙特卡罗方法相结合，使得中间算法可以优于任何极端。它们解决了依赖当前估计（可能很差）和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中，代理的目标是学习与生成其行为的策略不同的策略，更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中，我们介绍了前决策控制变量的多步TD算法，并比较他们与现有的方法。我们的研究结果表明，包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University（浙江大学）
最近，一个新的多步时间学习算法，称为$Q(σ)$，统一$n$ -步骤树备份（当$σ=0$）和$n$ -步骤Sarsa（当$σ=1$）通过引入一个采样参数$σ$。然而，与其他多步时间差学习算法类似，$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进，将其与资格迹相结合，提出了一种新的算法$Q(σ,λ)$，其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$（当$σ=1$）和$Q^π(λ)$（当$σ=0$）。此外，我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明，使用中间值$σ$，$Q(σ,λ)$创建了现有算法的混合，可以比极端（$σ=0$或$1$）更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中，我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果，提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
Gradient Descent Temporal Difference-difference Learning
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）；Institute of Neuroscience（神经科学研究所）；University of Oregon（俄勒冈大学）
在强化学习中，行为策略与目标策略不同的非策略算法被证明具有很大的实用价值。但是，即使对于线性价值函数逼近这样的简单凸问题，这些算法也不能保证是稳定的。为了解决这个问题，已经引入了在这种情况下可证明收敛的替代算法，最著名的是梯度下降时间差（GTD）学习。然而，这种算法和其他类似的算法往往比传统的时间差学习收敛得慢得多。在本文中，我们提出了梯度下降时间差差（centient-DD）学习，以改善GTD算法，GTD 2，通过在连续的参数更新中引入二阶差分。我们在线性价值函数逼近的框架下研究了该算法，并应用随机逼近理论从理论上证明了算法的收敛性。%，分析显示其相对于GTD 2的改善。通过对随机游走任务、Boyan链任务和Baird的离线策略反例的实证研究，我们发现GTD 2有了实质性的改进，在某些情况下，甚至比传统的TD学习有更好的性能。
2022-09-10 cs.LG
Temporal Second Difference Traces
University of Michigan（密歇根大学）
Q学习是一种可靠但低效的非策略时间差方法，每次只支持一步奖励。使用近因启发法替换跟踪更有效，但可靠性较低。在这项工作中，我们介绍了无模型，非政策的时间差方法，更好地利用经验比沃特金斯的Q（λ）。我们引入了乐观Q（λ）和时间二阶差分迹（TSDT）。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类，而是存储（s，a，r，s '，δ），以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时，如在MAXQ中，还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q（λ）。噪声悬崖行走域中的结果对于TSDT来说不太有利，但证明了乐观Q（λ）的有效性，这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
Accelerated Gradient Temporal Difference Learning
Indiana University at Bloomington（印第安纳大学伯明顿分校）
时间差分（TD）方法家族涵盖了从计算简单的线性方法（如TD（λ））到数据有效的最小二乘法的范围。最小二乘法最大限度地利用了直接计算TD解的可用数据，因此不需要调整通常高度敏感的学习率参数，但需要二次计算和存储。最近的算法发展已经产生了几个次二次方法，使用近似的最小二乘TD解决方案，但招致偏见。在本文中，我们提出了一个新的家庭加速梯度TD（ATD）方法，（1）提供类似的数据效率的好处，最小二乘法，在一小部分的计算和存储（2）显着降低参数灵敏度相比，线性TD方法，（3）是渐近无偏的。我们说明了这些主张的收敛性证明的期望和实验上的几个基准域和一个大规模的工业能源分配域。
2017-03-09 cs.AI cs.LG stat.ML
Source Traces for Temporal Difference Learning
Georgia Institute of Technology（佐治亚理工学院）
本文激励和发展源轨迹的时间差异（TD）学习的表格设置。源跟踪类似于资格跟踪，但模型潜在的历史，而不是直接的。这使得TD错误被传播到潜在的因果状态，并导致更快的泛化。源跟踪可以被认为是后继表示（SR）的基于模型的向后视图，并且具有许多相同的优点。然而，这一观点提出了几个新的想法。首先，提出了一种TD（$λ$）类源学习算法，并证明了其收敛性。然后，一种新的算法学习源映射（或SR矩阵）的开发和性能优于以前的算法。最后，各种方法来使用的源/SR模型进行了探讨，它表明，源痕迹可以有效地结合其他基于模型的方法，如Dyna和经验重放。
2019-02-08 cs.AI cs.LG stat.ML
Adaptive Lambda Least-Squares Temporal Difference Learning
Google DeepMind（谷歌DeepMind）；The Technion（以色列理工学院）
时间差分学习（$λ$）是强化学习领域的一种基本算法。然而，设置TD的$λ$参数（其控制TD更新的时间尺度）通常留给从业者。我们正式的$λ$选择问题作为一个偏差方差权衡的解决方案是值的$λ$，导致最小的均方值误差（MSVE）。为了解决这个权衡，我们建议应用留一轨迹交叉验证（LOTO-CV）来搜索$λ$值的空间。不幸的是，这种方法对于大多数实际应用来说在计算上过于昂贵。对于最小二乘TD（LSTD），我们表明，LOTO-CV可以有效地实现自动调整$λ$和应用函数优化方法，有效地搜索空间的$λ$值。由此产生的算法，ALLSTD，是无参数的，我们的实验表明，ALLSTD是显着的计算速度比天真的LOTO-CV实现，同时实现类似的性能。
2016-12-30 cs.AI cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Temporal Difference Uncertainties as a Signal for Exploration
DeepMind（深度思维）
强化学习中探索的一种有效方法是依赖于智能体对最优策略的不确定性，这可以在表格设置中产生接近最优的探索策略。然而，在涉及函数逼近器的非表格设置中，获得准确的不确定性估计几乎是一个具有挑战性的问题。在本文中，我们强调，价值估计很容易偏置和时间不一致。鉴于此，我们提出了一种新的方法来估计不确定性的价值函数，依赖于诱导分布的时间差误差。该探索信号控制状态-动作转换，以便隔离由于代理参数的不确定性而导致的值的不确定性。因为我们的不确定性度量是以状态-动作转换为条件的，所以我们不能直接作用于这个度量。相反，我们将其作为一个内在的奖励和治疗探索作为一个单独的学习问题，引起代理的时间差的不确定性。我们引入了一个独特的探索策略，学习收集具有高估计不确定性的数据，这使得课程在整个学习过程中平稳变化，并在完美值估计的限制下消失。我们评估了我们的方法在硬勘探任务，包括深海和雅达利2600环境，发现我们提出的探索形式有利于多样化和深入的探索。
2021-07-01 cs.AI cs.LG stat.ML
Supplementary material for Uncorrected least-squares temporal difference with lambda-return
IBM Research（IBM研究院）
在这里，我们为Osogami孝之提供了一个补充材料，“未校正的最小二乘时间差与非线性回归”，出现在{ \it Proceedings of the 34 th AAAI Conference on人工智能}（AAAI-20）中。
2019-11-14 cs.LG stat.ML
Nonlinear Distributional Gradient Temporal-Difference Learning
Faculty of Electrical Engineering, Technion（以色列理工学院电气工程学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
我们设计了梯度时间差（TD）学习的分布变体。在最近的研究\citep{bellemare2017distributional}中，分布式强化学习已经被证明优于常规学习。在策略评估方面，我们利用Bellman误差目标函数的分布形式，利用Cram{é}r距离设计了两种新的算法：分布GTD 2和分布TDC，该算法继承了非线性梯度TD算法和分布RL方法的优点。在控制设置，我们提出了分布式Greedy-GQ使用类似的推导。我们证明了分布GTD 2和TDC的渐近几乎必然收敛到一般光滑函数逼近器的局部最优解，其中包括神经网络，已被广泛应用于最近的研究，以解决现实生活中的RL问题。在每一步中，上述三种算法的计算复杂性均与时间成线性关系。因此，对于神经网络，可以有效地实现函数逼近器的参数数目。
2019-04-03 cs.AI cs.LG stat.ML
Predicting Periodicity with Temporal Difference Learning
University of Alberta（阿尔伯塔大学）
时间差分（TD）学习是强化学习中的一种重要方法，因为它结合了动态规划和蒙特卡罗方法的思想，允许在线和增量无模型学习。TD学习的一个关键思想是，它以价值函数的形式学习有关环境的预测知识，从中可以导出其行为以解决长期顺序决策问题。代理的兴趣范围，即TD学习代理预测未来的即时或长期程度，通过贴现率参数进行调整。在本文中，我们介绍了另一种观点的贴现率，从数字信号处理的洞察力，包括复值贴现。我们的研究结果表明，将贴现率设置为适当选择的复数，可以通过TD学习在线和增量估计感兴趣信号的离散傅里叶变换（DFT）。因此，我们扩展了知识的类型表示的价值函数，我们发现是特别有用的识别周期性的奖励序列的影响。
2018-09-20 cs.AI cs.LG eess.SP
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind（深度思维）；Google Research（谷歌研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据，并专注于各种问题的时间差分（TD）学习和蒙特卡洛（MC）政策评估。已知这两种方法可实现互补的偏差-方差权衡特性，其中TD倾向于实现较低的方差但可能较高的偏差。在本文中，我们认为，较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题，提出了一种算法，自适应切换TD和MC在每个状态，从而减轻传播的错误。我们的方法是基于学习的置信区间，检测偏差的TD估计。我们在各种政策评估任务中证明，这种简单的自适应算法在事后看来与最佳方法具有竞争力，这表明学习的置信区间是一种强大的技术，用于调整政策评估，以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
On the Performance of Temporal Difference Learning With Neural Networks
Boston University（波士顿大学）
本文分析带固定半径球投影的神经时间差分学习的收敛性，给出依赖最佳网络逼近误差和隐藏层宽度的逼近界。
2023-12-08 cs.LG
Risk-Averse Learning by Temporal Difference Methods
Rutgers University（罗格斯大学）
我们考虑强化学习，其性能由动态风险度量评估。构造了一个投影风险厌恶动态规划方程，并研究了其性质。然后，我们提出了风险厌恶的时间差异的方法，我们证明了他们的收敛概率为1。我们还进行了一个复杂的运输问题的实证研究。
2020-03-02 cs.LG math.OC
Kalman Temporal Differences
由于强化学习缺乏可扩展性，在线值（和Q-）函数近似在过去十年中受到越来越多的关注。本文介绍了一种新的近似方案，即卡尔曼时间差（KTD）框架，具有以下特点：样本效率，非线性近似，非平稳处理和不确定性管理。第一KTD为基础的算法提供了确定性马尔可夫决策过程（MDP），产生有偏估计的情况下，随机转换。然后描述了求解随机MDP的扩展KTD框架（XKTD）。收敛分析的特殊情况下，确定性和随机过渡。相关算法在经典基准上进行了实验。它们在展示所宣布的功能的同时，与最先进的技术相比毫不逊色。
2014-01-16 cs.LG
Finite Sample Analysis of Linear Temporal Difference Learning with Arbitrary Features
University of Virginia（弗吉尼亚大学）
本文首次在任意特征下为线性TD($\lambda$)算法建立$L^2$收敛速率，无需线性无关假设，适用于折扣和平均奖励设置，并提出针对解集的随机逼近收敛结果。
2025-10-14 cs.AI cs.LG stat.ML
Gradient Temporal-Difference Learning with Regularized Corrections
University of Alberta（阿尔伯塔大学）；DeepMind
使用Q学习和时间差（TD）学习仍然很常见-即使它们存在分歧问题并且存在合理的梯度TD替代方案-因为分歧似乎很少，并且它们通常表现良好。然而，最近对大型神经网络学习系统的研究表明，不稳定性比以前认为的更常见。从业者面临着一个困难的困境：选择一个易于使用和高性能的TD方法，或更复杂的算法，更健全，但更难调整，但所有的非线性函数逼近或控制，但未探索。在本文中，我们介绍了一种新的方法，称为TD与正则化校正（TDRC），试图平衡易用性，可靠性和性能。当TD表现良好时，它的表现与TD一样好，但在TD发散的情况下是合理的。我们在一系列问题上对TDRC进行了实证研究，包括预测和控制，以及线性和非线性函数逼近，并可能首次表明梯度TD方法可能是TD和Q学习的更好替代方案。
2020-09-17 cs.AI cs.LG stat.ML
Learning Feature Relevance Through Step Size Adaptation in Temporal-Difference Learning
Borealis AI（北极光人工智能）；University of Alberta（阿尔伯塔大学）
使用元学习作为表示学习有很长的历史，特别是用于确定输入的相关性。在本文中，我们研究了一个元学习的实例，其中特征相关性是通过适应随机梯度下降的步长参数来学习的-建立在随机近似，机器学习和人工神经网络的各种先前工作上。特别是，我们专注于随机元下降增量Delta-Bar-Delta（IDBD）算法中引入的线性函数逼近器的每个功能设置单独的步长。使用IDBD，具有大或小步长的特征将对来自训练样本的泛化产生或大或小的影响。作为这项工作的一个主要贡献，我们扩展IDBD时间差（TD）学习-一种形式的学习是有效的顺序，非i.i.d.问题我们得出了各种IDBD概括TD学习，证明他们能够区分哪些功能是相关的，哪些不是。我们证明了TD IDBD在理想化的网格世界和现实世界的机器人预测任务中学习特征相关性是有效的。
2019-03-08 cs.AI cs.LG stat.ML
Temporal Difference Learning as Gradient Splitting
Boston University（波士顿大学）
线性函数逼近的时间差分学习是一种常用的方法，用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释，这种方法在分裂的梯度适当选择的功能。作为这种解释的结果，梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的，更全面的解释，为什么时间差异的工作，我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置，其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$，其中$γ$是折扣因子。我们表明，TD学习的一个微小的变化，估计价值函数的平均值分别有一个收敛时间，其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
