Risk-Averse Learning by Temporal Difference Methods
Rutgers University（罗格斯大学）
我们考虑强化学习，其性能由动态风险度量评估。构造了一个投影风险厌恶动态规划方程，并研究了其性质。然后，我们提出了风险厌恶的时间差异的方法，我们证明了他们的收敛概率为1。我们还进行了一个复杂的运输问题的实证研究。
2020-03-02 cs.LG math.OC
Temporal Difference Learning as Gradient Splitting
Boston University（波士顿大学）
线性函数逼近的时间差分学习是一种常用的方法，用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释，这种方法在分裂的梯度适当选择的功能。作为这种解释的结果，梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的，更全面的解释，为什么时间差异的工作，我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置，其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$，其中$γ$是折扣因子。我们表明，TD学习的一个微小的变化，估计价值函数的平均值分别有一个收敛时间，其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
The Statistical Benefits of Quantile Temporal-Difference Learning for Value Estimation
Google DeepMind（谷歌DeepMind）
本文研究强化学习策略评估，证明分位数时序差分学习（QTD）即使仅关注均值回报，也能在表格型设定下优于经典TD学习，揭示了学习完整回报分布的统计优势。
2023-05-28 cs.LG stat.ML
On Generalized Bellman Equations and Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）；Kindred Inc.（Kindred公司）
我们考虑折扣马尔可夫决策过程中的离线策略时间差（TD）学习，其目标是通过使用在不执行策略的情况下生成的状态过程的观察结果来以无模型的方式评估策略。为了解决偏离策略TD学习中的高方差问题，提出了一种基于广义Bellman方程的TD $λ$参数设置方法.我们的计划是设置$λ$根据TD计算的资格跟踪迭代，从而很容易保持这些痕迹在一个理想的有界范围。与已有的工作相比，该方案更加直接和灵活，并且允许更大的$λ$值用于有界迹的偏离策略TD学习。至于它的健全性，使用马尔可夫链理论，我们证明了遍历的联合状态跟踪过程在非限制性条件下，我们表明，与我们的计划是一个广义贝尔曼方程（用于评估的政策），这取决于双方的发展$λ$和唯一不变的概率测度的状态跟踪过程。这些结果不仅立即导致我们的计划基于最小二乘实现的收敛行为的表征，但也准备了基于梯度的实现的进一步分析的基础。
2018-09-27 cs.LG math.OC
Temporal Difference Updating without a Learning Rate
IDSIA（达勒·莫尔人工智能研究所）
我们从统计原理推导出一个时间差异学习的方程。具体来说，我们从变分原理开始，然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程，所谓的TD（lambda），然而它缺少指定学习率的参数alpha。在这个自由参数的地方，现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD（lambda），并发现它提供了优越的性能在各种设置。最后，我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此，我们将更新方程与Watkins的Q（lambda）和Sarsa（lambda）结合起来，发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
Temporal Difference Variational Auto-Encoder
DeepMind（深度思维）
为了在复杂的环境中行动和计划，我们认为智能体应该有一个具有三个特征的世界的心理模拟器：（a）它应该建立一个代表世界状况的抽象状态;（b）它应该形成一个代表世界不确定性的信念;（c）它应该超越简单的逐步模拟，并表现出时间抽象。由于缺乏满足所有这些要求的模型，我们提出了TD-VAE，这是一种生成序列模型，它学习包含关于未来几步状态的明确信念的表示，并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练，使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University（哥伦比亚大学）
时间差分学习（TD）是一种简单的迭代算法，用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一，但其理论分析已被证明具有挑战性，并且很少有统计效率的保证。在这项工作中，我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解，我们的分析反映了分析随机梯度下降算法的标准技术，因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究，称为TD（$λ$），以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
Parameter-free Gradient Temporal Difference Learning
University of Alberta（阿尔伯塔大学）；Mila（米拉研究所）
强化学习处于几个挑战的交叉点。许多感兴趣的应用涉及非常大的状态空间，需要函数近似，使易于处理的计算。此外，学习者只有一个单一的经验流，可以用来评估大量可能的行动方案，这就需要能够学习偏离策略的算法。然而，离策略学习与函数逼近的结合导致了时域差分方法的发散。最近对基于梯度的时间差分方法的研究已经承诺了一条稳定的道路，但代价是昂贵的超参数调整。与此同时，在线学习的进展提供了无参数的方法，实现极大极小最优保证对数项，但它们在强化学习中的应用还有待探索。在这项工作中，我们结合这两条线的攻击，推导出无参数，基于梯度的时间差算法。我们的算法在线性时间内运行，并实现高概率收敛保证匹配的GTD 2高达$\log$因素。我们的实验表明，我们的方法相对于完全调整的基线保持了较高的预测性能，没有任何调整。
2021-05-10 cs.AI cs.LG
Correcting Momentum in Temporal Difference Learning
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
深度强化学习中常用的优化工具是动量，它包括累积和贴现过去的梯度，在每次迭代时重新应用它们。我们认为，与监督学习不同，时间差（TD）学习中的动量累积梯度变得双重陈旧：不仅损失的梯度会因参数更新而变化，损失本身也会因自举而变化。我们首先证明了这种现象的存在，然后提出了一个一阶动量修正项。我们发现，这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是，深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Predictor-Corrector(PC) Temporal Difference(TD) Learning (PCTD)
University of Florida（佛罗里达大学）
从数值逼近的常微分方程和TD学习通过Galerkin松弛的问题制定和解决方法的见解，我提出了一类新的TD学习算法。在应用改进的数值方法之后，被近似的参数在用于构造线性参数化的价值函数的参数$θ(t)$的ODE的解的泰勒级数误差中具有保证的数量级减小。预测-校正时间差（PCTD）是我使用随机近似（SA）理论从连续时间ODE转换而来的离散时间强化学习（RL）算法。因果和非因果的算法的实现，并列出了模拟结果的无限地平线的任务，以比较原始TD（0）算法对两个版本的PCTD（0）。
2021-04-15 cs.AI cs.LG
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology（代尔夫特理工大学）
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习（TDRL），我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观，即，德尔塔，在三个方面：现实（stochemical正确），乐观（假设行动控制）和过于乐观（假设结果控制）。我们发现，对于赌博任务的个人与“健康”的控制知觉，即，行动乐观，不发展赌博行为，而具有“不健康”控制感的人，即，结果乐观，做。我们发现，高强度的感觉和低水平的恐惧共同发生，由于乐观的风险感知。我们发现，过度乐观的风险感知（结果乐观）导致冒险和持续的赌博行为，除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}（ETD）算法\citep{SuttonMW15}，其中包括原来的ETD（$λ$），以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD，其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下，投影不动点方程的基础\ETD \涉及到一个收缩算子，使我们能够提出的第一个渐近误差界（偏差）\ETD。我们的结果表明，原来的ETD算法总是涉及到一个压缩算子，其偏见是有界的。此外，通过控制$β$，我们提出的推广允许权衡偏差方差减少，从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Investigating practical linear temporal difference learning
Indiana University（印第安纳大学）
非策略强化学习有许多应用，包括：从演示中学习示教学习，并行学习多目标搜索策略，以及表示预测知识。最近出现了大量新的策略评估算法，填补了强化学习中长期存在的算法空白：将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差（TD）更新相结合。本文包含两个主要贡献。首先，我们推导出两个新的混合TD政策评估算法，填补了这一系列算法的空白。其次，我们进行了实证比较，得出这些新的线性TD方法应首选在不同的情况下，并提出具体的建议，实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta（阿尔伯塔大学）
多步时间差（TD）学习是强化学习中的一种重要方法，因为它将单步TD学习与蒙特卡罗方法相结合，使得中间算法可以优于任何极端。它们解决了依赖当前估计（可能很差）和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中，代理的目标是学习与生成其行为的策略不同的策略，更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中，我们介绍了前决策控制变量的多步TD算法，并比较他们与现有的方法。我们的研究结果表明，包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis
UC Berkeley（加州大学伯克利分校）；The Voleon Group（沃利昂集团）
我们解决问题的政策评估折扣马尔可夫决策过程中，并提供实例依赖的保证生成模型下的$\ell_\infty$错误。我们建立了渐近和非渐近版本的局部极大极小的政策评估下限，从而提供了一个依赖于实例的基线比较算法。理论启发的模拟表明，广泛使用的时间差（TD）算法是严格的次优时，在非渐近设置进行评估，即使与Polyak-Ruppert平均。我们通过引入和分析方差缩减形式的随机逼近来解决这个问题，表明它们在对数因子下实现了非渐近的、依赖于实例的最优性。
2020-03-16 cs.LG math.OC stat.ML
Exact Formulas for Finite-Time Estimation Errors of Decentralized Temporal Difference Learning with Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了多智能体强化学习（MARL）中的策略评估问题，推导了线性函数近似下分散时间差分（TD）学习的有限时间均方估计误差的精确闭合公式。我们的分析取决于这样一个事实，即分散TD学习方法可以被视为一个马尔可夫跳跃线性系统（MJLS）。然后应用标准的MJLS理论量化分散TD方法在每个时间步的估计误差的均值和协方差矩阵。我们的精确公式上的算法性能的各种影响进行了讨论。一个有趣的发现是，在充分必要的稳定条件下，均方TD估计误差将以特定的指数速率收敛到精确的极限。
2022-04-20 cs.LG cs.SY eess.SY
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
Some Simulation Results for Emphatic Temporal-Difference Learning Algorithms
University of Alberta（阿尔伯塔大学）
这是一个同伴注意到我们最近的研究的弱收敛性能的约束并行时间差分学习（ETD）算法从理论的角度来看。它补充了后者的分析与仿真结果，并说明了一些ETD算法的行为，使用三个例子的问题。
2016-05-06 cs.LG
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中，我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果，提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
TRACE: Temporal Routing with Autoregressive Cross-channel Experts for EEG Representation Learning
Department of Biomedical Informatics and Data Science, Yale University（耶鲁大学生物医学信息学与数据科学系）
TRACE通过自回归跨通道专家实现EEG表示学习，解决多通道非平稳信号的时序路由问题，提升跨通道一致性与时间适应性。
2026-05-12 cs.AI cs.LG
Gradient Descent Temporal Difference-difference Learning
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）；Institute of Neuroscience（神经科学研究所）；University of Oregon（俄勒冈大学）
在强化学习中，行为策略与目标策略不同的非策略算法被证明具有很大的实用价值。但是，即使对于线性价值函数逼近这样的简单凸问题，这些算法也不能保证是稳定的。为了解决这个问题，已经引入了在这种情况下可证明收敛的替代算法，最著名的是梯度下降时间差（GTD）学习。然而，这种算法和其他类似的算法往往比传统的时间差学习收敛得慢得多。在本文中，我们提出了梯度下降时间差差（centient-DD）学习，以改善GTD算法，GTD 2，通过在连续的参数更新中引入二阶差分。我们在线性价值函数逼近的框架下研究了该算法，并应用随机逼近理论从理论上证明了算法的收敛性。%，分析显示其相对于GTD 2的改善。通过对随机游走任务、Boyan链任务和Baird的离线策略反例的实证研究，我们发现GTD 2有了实质性的改进，在某些情况下，甚至比传统的TD学习有更好的性能。
2022-09-10 cs.LG
Source Traces for Temporal Difference Learning
Georgia Institute of Technology（佐治亚理工学院）
本文激励和发展源轨迹的时间差异（TD）学习的表格设置。源跟踪类似于资格跟踪，但模型潜在的历史，而不是直接的。这使得TD错误被传播到潜在的因果状态，并导致更快的泛化。源跟踪可以被认为是后继表示（SR）的基于模型的向后视图，并且具有许多相同的优点。然而，这一观点提出了几个新的想法。首先，提出了一种TD（$λ$）类源学习算法，并证明了其收敛性。然后，一种新的算法学习源映射（或SR矩阵）的开发和性能优于以前的算法。最后，各种方法来使用的源/SR模型进行了探讨，它表明，源痕迹可以有效地结合其他基于模型的方法，如Dyna和经验重放。
2019-02-08 cs.AI cs.LG stat.ML
On the Performance of Temporal Difference Learning With Neural Networks
Boston University（波士顿大学）
本文分析带固定半径球投影的神经时间差分学习的收敛性，给出依赖最佳网络逼近误差和隐藏层宽度的逼近界。
2023-12-08 cs.LG
New Versions of Gradient Temporal Difference Learning
KAIST（韩国科学技术院）；Shinhan Bank（新韩银行）
本文基于凸-凹鞍点解释提出多种 GTD 新变体，将其统一到原始-对偶框架中并给出稳定性分析，同时通过数值实验比较各方法。
2024-01-22 cs.LG
Formally Verified Neurosymbolic Trajectory Learning via Tensor-based Linear Temporal Logic on Finite Traces
本文提出一种基于张量语义的LTLf形式化方法，在Isabelle/HOL中验证正确性，并集成到神经符号学习中，通过可微损失函数实现约束训练，提供严谨且高效的框架。
2025-01-23 cs.AI cs.LG cs.LO
Supplementary material for Uncorrected least-squares temporal difference with lambda-return
IBM Research（IBM研究院）
在这里，我们为Osogami孝之提供了一个补充材料，“未校正的最小二乘时间差与非线性回归”，出现在{ \it Proceedings of the 34 th AAAI Conference on人工智能}（AAAI-20）中。
2019-11-14 cs.LG stat.ML
TRACE: Temporal Risk Assessment and Concept Editing for Safer Language Generation
University of Calgary（卡尔加里大学）；Dalhousie University（达尔豪斯大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
TRACE是一种用于更安全语言生成的框架，通过跟踪生成过程中的有害风险、选择性编辑令牌激活并提供可审计记录，在提升流F1值的同时降低了攻击成功率。
2026-10-14 cs.AI cs.LG
Mining Block I/O Traces for Cache Preloading with Sparse Temporal Non-parametric Mixture of Multivariate Poisson
NetApp, Inc.（网存公司）；Indian Institute of Science（印度科学学院）
本文提出稀疏时间非参数混合多维泊松模型，用于从块I/O轨迹中挖掘缓存预加载的长程模式，通过稀疏建模提高效率，实验证明在基准轨迹上显著提升命中率。
2014-10-13 cs.LG cs.OS cs.SY
Preconditioned Temporal Difference Learning
这篇论文已被作者撤回。这份草稿因英文质量不佳而被撤回，不幸的是，这份草稿是作者刚开始他的科学路线时制作的。请查看ICML版本：http://icml2008.cs.helsinki.fi/papers/111.pdf
2012-06-08 cs.AI cs.LG
META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning
McGill University（麦吉尔大学）
时间差分（TD）学习是一种标准的、非常成功的强化学习方法，是学习给定策略值的算法以及学习如何改进策略的算法的核心。具有资格跟踪的TD学习提供了一种进行时间信用分配的方式，即，决定奖励的哪一部分应该被分配给在不同的先前时间发生的前驱状态，由参数$λ$控制。但是，调整此参数可能很耗时，不调整它可能会导致学习效率低下。为了提高TD学习的样本效率，我们提出了一种元学习方法来调整资格跟踪参数，在一个状态依赖的方式。该自适应是在辅助学习器的帮助下实现的，辅助学习器在线学习关于更新目标的分布信息，每步产生与通常的值学习器大致相同的计算复杂性。我们的方法可以用于在政策和离策略学习。我们证明，在一些假设下，该方法提高了更新目标的整体质量，通过最小化整体目标误差。该方法可以被看作是一个插件，也可以用来辅助预测与功能近似的元学习功能（观察）为基础的$λ$在线，甚至在控制的情况下，以协助政策的改进。我们的实证评估表明显着的性能改进，以及改进的鲁棒性所提出的算法的学习率变化。
2020-06-16 cs.AI cs.LG stat.ML
TRACE: Reconstruction-Based Anomaly Detection in Ensemble and Time-Dependent Simulations
本文提出基于重建的异常检测方法，通过2D和3D自编码器在集成和时间依赖模拟中识别异常模式，强调时空上下文对动态模拟异常检测的重要性。
2026-01-13 cs.AI cs.CV cs.LG
Should All Temporal Difference Learning Use Emphasis?
Shanghai Jiao Tong University（上海交通大学）；University of Alberta（阿尔伯塔大学）
强调时间差（ETD）学习最近被提出作为一种收敛的离策略学习方法。ETD的提出主要是为了解决传统的时间差（TD）学习的离线训练下的收敛问题，但它是不同于传统的TD学习，即使在对政策的培训。2017年提供的一个简单的反例指出了一类潜在的问题，其中ETD收敛，但TD发散。在本文中，我们实证表明，ETD收敛于其他一些著名的政策实验，而TD要么发散或表现不佳。我们还表明，ETD优于TD的山地车预测问题。我们的研究结果，以及在以前的作品中观察到的类似模式下的政策培训，表明ETD可能是一个很好的替代传统的TD。
2019-03-01 cs.AI cs.LG
Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
强调算法是时间差学习算法，其通过选择性地强调和不强调其在不同时间步长上的更新来改变其有效状态分布。Sutton，Mahmood and White（2015）和Yu（2015）最近的研究表明，通过以特定的方式改变重点，这些算法在使用线性函数近似的非策略训练下变得稳定和收敛。本文作为一个统一的总结，从两个工程的可用结果。此外，我们证明了经验的好处，从灵活性的算法，包括状态相关的折扣，状态相关的自举，和用户指定的函数近似资源的分配。
2015-07-06 cs.AI cs.LG
Temporal-Difference Networks for Dynamical Systems with Continuous Observations and Actions
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
时间差分（TD）网络是一类预测状态表示，它使用成熟的TD方法来学习部分可观测动态系统的模型。以前的研究与TD网络只处理与有限集的观察和行动的动力系统。我们提出了一个学习TD网络表示的动态系统的连续观测和行动的算法。我们的研究结果表明，该算法是能够学习的几个噪声连续动态系统的准确和鲁棒的模型。这里提出的算法是学习连续动态系统的预测表示的第一个完全增量的方法。
2012-05-09 cs.LG stat.ML
Properties of the Least Squares Temporal Difference learning algorithm
本文提出了四种不同的方式来看待著名的最小二乘时间差（LSTD）算法计算的价值函数的马尔可夫奖励过程，他们中的每一个导致不同的见解：通过Galerkin方法的算子理论方法，统计方法通过工具变量，线性动力系统的观点，以及TD迭代的限制。我们还给出了一个几何视图的算法作为一个斜投影。此外，有一个广泛的比较LSTD解决的优化问题相比，贝尔曼残差最小化（BRM）。然后，我们审查几个计划的正则化的LSTD解决方案。然后，我们着手处理的情况下，情节马尔可夫奖励过程的LSTD的修改。
2015-04-03 cs.LG stat.ML
A First Empirical Study of Emphatic Temporal Difference Learning
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了第一个实证研究的时间差分学习算法（ETD），比较它与传统的时间差分学习，特别是，与线性TD（0），对政策和政策外的变化的山地车问题。开发ETD的最初动机是它在非策略训练下具有良好的收敛特性（Sutton，Mahmood和White 2016），但它也是一种适用于策略情况的新算法。在我们的on-policy和off-policy实验中，我们发现每种方法都收敛到一个特征渐近误差水平，ETD优于TD（0）。TD（0）在回落到其较高的渐近线之前暂时达到了更低的误差水平，而ETD从未显示出这种“反弹”。在非策略情况下（TD（0）不保证收敛），ETD明显较慢。
2017-05-12 cs.AI cs.LG
Learning to simulate partially known spatio-temporal dynamics with trainable difference operators
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co. Ltd（华为技术有限公司）；Peking University（北京大学）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对黑盒模型模拟时空动力学精度和可解释性受限的问题，提出嵌入PDE部分先验知识的混合架构PDE-Net++，通过引入TFDL和TDDL可训练差分算子，显著提升了预测精度与外推性能。
2023-07-26 cs.AI cs.LG
Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文提出轨迹传播（TP），一种结合资格迹与逐层对比损失的仅前向局部学习规则，无需辅助矩阵，在多个数据集上性能优异且内存高效，适用于边缘设备学习。
2025-10-17 cs.LG cs.NE
Stability and Sensitivity Analysis of Relative Temporal-Difference Learning: Extended Version
University of Florida（佛罗里达大学）
本文研究了相对时差学习在函数逼近中的稳定性，证明了基线分布的选择对算法稳定性至关重要，并分析了参数估计的灵敏度。
2026-04-07 cs.LG math.OC
On the Statistical Benefits of Temporal Difference Learning
Columbia University（哥伦比亚大学）
针对有限状态 Markov 链，本文证明时序差分学习通过最小化时序不一致性拟合价值函数，利用逆轨迹汇聚系数和轨迹交叉时间显著降低了价值估计的均方误差。
2024-02-14 cs.LG stat.ML
