Backstepping Temporal Difference Learning
KAIST（韩国科学技术院）
针对离策略线性函数近似下时序差分（TD）学习的发散问题，本研究从控制理论视角统一现有算法，并基于反步技术提出新收敛算法，实验验证其在标准TD学习不稳定环境中的收敛性。
2025-04-18 cs.AI cs.LG
Online Attentive Kernel-Based Temporal Difference Learning
Jiangsu Key Laboratory of Big Data Security & Intelligent Processing, Nanjing University of Posts and Telecommunications（南京邮电大学江苏省大数据安全与智能处理重点实验室）；National Engineering Laboratory for Agri-product Quality Traceability, Beijing Technology and Business University（北京工商大学农产品质量安全追溯技术及应用国家工程实验室）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院江苏省社会安全图像与视频理解重点实验室）
随着现实世界中不确定性的增加，在线强化学习（RL）由于其快速学习能力和提高数据效率而受到越来越多的关注。然而，在线RL经常遭受复杂的价值函数近似（VFA）和灾难性干扰，这使得深度神经网络难以应用于完全在线设置中的在线RL算法。因此，一个更简单和更适应的方法来评估价值函数与基于核的模型。稀疏表示在处理干扰方面更优越，这表明与当前的稀疏表示方法相比，竞争性稀疏表示应该是可学习的，非先验的，非截断的和显式的。在稀疏表示的学习过程中，利用注意力机制来表征稀疏化程度，并在核函数的基础上引入光滑注意函数.在本文中，我们提出了一个在线的基于核的时间差分（OAKTD）算法使用两个时标优化，并提供我们所提出的算法的收敛性分析。实验评估表明，OAKTD优于几个在线基于内核的时间差（OKTD）学习算法，除了时间差（TD）学习算法与瓷砖编码的公共山地车，Acrobot，CartPole和水坑世界任务。
2022-01-22 cs.AI cs.LG
Investigating practical linear temporal difference learning
Indiana University（印第安纳大学）
非策略强化学习有许多应用，包括：从演示中学习示教学习，并行学习多目标搜索策略，以及表示预测知识。最近出现了大量新的策略评估算法，填补了强化学习中长期存在的算法空白：将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差（TD）更新相结合。本文包含两个主要贡献。首先，我们推导出两个新的混合TD政策评估算法，填补了这一系列算法的空白。其次，我们进行了实证比较，得出这些新的线性TD方法应首选在不同的情况下，并提出具体的建议，实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta（阿尔伯塔大学）
多步时间差（TD）学习是强化学习中的一种重要方法，因为它将单步TD学习与蒙特卡罗方法相结合，使得中间算法可以优于任何极端。它们解决了依赖当前估计（可能很差）和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中，代理的目标是学习与生成其行为的策略不同的策略，更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中，我们介绍了前决策控制变量的多步TD算法，并比较他们与现有的方法。我们的研究结果表明，包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
Temporal Second Difference Traces
University of Michigan（密歇根大学）
Q学习是一种可靠但低效的非策略时间差方法，每次只支持一步奖励。使用近因启发法替换跟踪更有效，但可靠性较低。在这项工作中，我们介绍了无模型，非政策的时间差方法，更好地利用经验比沃特金斯的Q（λ）。我们引入了乐观Q（λ）和时间二阶差分迹（TSDT）。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类，而是存储（s，a，r，s '，δ），以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时，如在MAXQ中，还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q（λ）。噪声悬崖行走域中的结果对于TSDT来说不太有利，但证明了乐观Q（λ）的有效性，这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
Risk-Averse Learning by Temporal Difference Methods
Rutgers University（罗格斯大学）
我们考虑强化学习，其性能由动态风险度量评估。构造了一个投影风险厌恶动态规划方程，并研究了其性质。然后，我们提出了风险厌恶的时间差异的方法，我们证明了他们的收敛概率为1。我们还进行了一个复杂的运输问题的实证研究。
2020-03-02 cs.LG math.OC
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；MIT（麻省理工学院）；Boston University（波士顿大学）
本文通过实证和理论证明，Transformer在策略评估任务训练中，其前向传播能够发现并实现时序差分学习算法，从而支持上下文强化学习（ICRL）中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University（浙江大学）
最近，一个新的多步时间学习算法，称为$Q(σ)$，统一$n$ -步骤树备份（当$σ=0$）和$n$ -步骤Sarsa（当$σ=1$）通过引入一个采样参数$σ$。然而，与其他多步时间差学习算法类似，$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进，将其与资格迹相结合，提出了一种新的算法$Q(σ,λ)$，其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$（当$σ=1$）和$Q^π(λ)$（当$σ=0$）。此外，我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明，使用中间值$σ$，$Q(σ,λ)$创建了现有算法的混合，可以比极端（$σ=0$或$1$）更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
Temporal Difference Learning as Gradient Splitting
Boston University（波士顿大学）
线性函数逼近的时间差分学习是一种常用的方法，用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释，这种方法在分裂的梯度适当选择的功能。作为这种解释的结果，梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的，更全面的解释，为什么时间差异的工作，我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置，其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$，其中$γ$是折扣因子。我们表明，TD学习的一个微小的变化，估计价值函数的平均值分别有一个收敛时间，其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
Multi-Timescale, Gradient Descent, Temporal Difference Learning with Linear Options
University of Washington（华盛顿大学）；McGill University（麦吉尔大学）
在强化学习中，考虑大的或连续的状态空间一直是长期存在的挑战。时态抽象在某种程度上使这成为可能，但使用时态抽象进行有效规划仍然是一个问题。此外，在使用时间抽象模型的同时，使用空间抽象来学习各种情况下的策略是一个开放的问题。我们在这里提出了一个有效的算法，它是收敛的线性函数逼近，而规划使用时间抽象的行动。我们展示了如何使用该算法以及随机生成的期权模型在多个时间尺度上计划代理人需要采取行动实时的。在多个时间尺度上使用这些随机生成的选项模型，以减少解决给定任务所需的决策时期的数量，从而有效地减少审议所需的时间。
2017-03-19 cs.AI
Kalman Temporal Differences
由于强化学习缺乏可扩展性，在线值（和Q-）函数近似在过去十年中受到越来越多的关注。本文介绍了一种新的近似方案，即卡尔曼时间差（KTD）框架，具有以下特点：样本效率，非线性近似，非平稳处理和不确定性管理。第一KTD为基础的算法提供了确定性马尔可夫决策过程（MDP），产生有偏估计的情况下，随机转换。然后描述了求解随机MDP的扩展KTD框架（XKTD）。收敛分析的特殊情况下，确定性和随机过渡。相关算法在经典基准上进行了实验。它们在展示所宣布的功能的同时，与最先进的技术相比毫不逊色。
2014-01-16 cs.LG
On Convergence of Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
我们考虑有限空间折扣马尔可夫决策过程中的策略评估的时间差分学习算法。这种算法最近由Sutton，Mahmood和White（2015）提出，作为线性函数近似的离线时间差学习发散问题的改进解决方案。本文给出了ETD（$λ$）和ELSTD（$λ$）两个并行算法的第一个收敛性证明.我们证明了，在一般的关闭政策条件下，在$L^1$的ELSTD（$λ$）迭代的收敛性，和几乎必然收敛的近似价值函数计算的两个算法使用一个无限长的轨迹。我们的分析涉及新的技术与应用程序超出了算法的引导，例如，第一个证明标准TD（$λ$）也收敛下的政策培训$λ$足够大。
2017-12-28 cs.LG
Adaptive Lambda Least-Squares Temporal Difference Learning
Google DeepMind（谷歌DeepMind）；The Technion（以色列理工学院）
时间差分学习（$λ$）是强化学习领域的一种基本算法。然而，设置TD的$λ$参数（其控制TD更新的时间尺度）通常留给从业者。我们正式的$λ$选择问题作为一个偏差方差权衡的解决方案是值的$λ$，导致最小的均方值误差（MSVE）。为了解决这个权衡，我们建议应用留一轨迹交叉验证（LOTO-CV）来搜索$λ$值的空间。不幸的是，这种方法对于大多数实际应用来说在计算上过于昂贵。对于最小二乘TD（LSTD），我们表明，LOTO-CV可以有效地实现自动调整$λ$和应用函数优化方法，有效地搜索空间的$λ$值。由此产生的算法，ALLSTD，是无参数的，我们的实验表明，ALLSTD是显着的计算速度比天真的LOTO-CV实现，同时实现类似的性能。
2016-12-30 cs.AI cs.LG stat.ML
The Statistical Benefits of Quantile Temporal-Difference Learning for Value Estimation
Google DeepMind（谷歌DeepMind）
本文研究强化学习策略评估，证明分位数时序差分学习（QTD）即使仅关注均值回报，也能在表格型设定下优于经典TD学习，揭示了学习完整回报分布的统计优势。
2023-05-28 cs.LG stat.ML
Temporal Difference Variational Auto-Encoder
DeepMind（深度思维）
为了在复杂的环境中行动和计划，我们认为智能体应该有一个具有三个特征的世界的心理模拟器：（a）它应该建立一个代表世界状况的抽象状态;（b）它应该形成一个代表世界不确定性的信念;（c）它应该超越简单的逐步模拟，并表现出时间抽象。由于缺乏满足所有这些要求的模型，我们提出了TD-VAE，这是一种生成序列模型，它学习包含关于未来几步状态的明确信念的表示，并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练，使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
Truncating Temporal Differences: On the Efficient Implementation of TD(lambda) for Reinforcement Learning
时间差分（TD）方法构成了一类用于在多步预测问题中学习预测的方法，由新近因子λ参数化。目前，这些方法最重要的应用是强化学习中的时间信用分配。众所周知的强化学习算法，例如AHC或Q学习，可以被视为TD学习的实例。本文研究了TD（lambda）的有效和通用的实现任意lambda的问题，用于强化学习算法优化的折扣和奖励。传统的方法，资格的痕迹的基础上，被认为是遭受低效率和缺乏通用性。TTD（截断时间差异）过程被提出作为一种替代方案，它实际上只近似TD（lambda），但每个动作只需要很少的计算，并且可以与任意函数表示方法一起使用。它所源自的想法相当简单，并不新颖，但迄今为止可能尚未探索。令人鼓舞的实验结果，这表明，使用λ> 0与TTD程序允许一个获得显着的学习加速在基本上相同的成本作为通常的TD（0）学习。
1995-01-01 cs.AI
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University（哥伦比亚大学）
时间差分学习（TD）是一种简单的迭代算法，用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一，但其理论分析已被证明具有挑战性，并且很少有统计效率的保证。在这项工作中，我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解，我们的分析反映了分析随机梯度下降算法的标准技术，因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究，称为TD（$λ$），以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
Truncated Emphatic Temporal Difference Methods for Prediction and Control
University of Oxford（牛津大学）
强调时间差分（TD）方法是一类涉及使用后续跟踪的非策略强化学习（RL）方法。尽管理论上的成功，在解决臭名昭著的致命的三位一体的off-policy强化学习的方法，仍然有两个开放的问题。首先，followon跟踪通常具有较大的方差，这使得它们难以在实践中使用。其次，尽管Yu（2015）证实了一些预测问题的渐近TD方法的渐近收敛性，但仍然没有任何预测问题的渐近TD方法的有限样本分析，更不用说控制了。在本文中，我们解决这两个开放的问题，同时通过使用截断后续跟踪的椭圆形TD方法。与原始的followon跟踪，这取决于所有以前的历史，截断followon跟踪只依赖于有限的历史，减少方差，使有限样本分析，我们提出的预测和控制的连续TD方法。
2022-05-10 cs.LG
Should one compute the Temporal Difference fix point or minimize the Bellman Residual? The unified oblique projection view
LORIA（洛林计算机科学及其应用实验室）；INRIA Lorraine（法国国家信息与自动化研究所洛林分所）
我们调查的投影方法，评估的线性近似的价值函数的政策在马尔可夫决策过程的背景下。我们考虑两种流行的方法，一步时间差分定点计算（TD（0））和贝尔曼残差（BR）最小化。我们描述的例子，其中每种方法优于其他。我们强调一个简单的关系，他们最小化的目标函数，并表明，虽然BR享有性能保证，TD（0）一般不。然后，我们提出了一个统一的观点，在倾斜投影的贝尔曼方程，这大大简化和扩展的表征（schoknecht，2002年）和最近的分析（Yu和Bertsekas，2008年）。最后，我们描述了一些模拟，表明如果TD（0）的解决方案通常比BR解决方案稍好，其固有的数值不稳定性，使它在某些情况下非常糟糕，因此平均更糟。
2010-11-19 cs.AI
Gradient Temporal Difference with Momentum: Stability and Convergence
Indian Institute of Science（印度科学理工学院）
梯度时间差分（Gradient Temporal Difference，TD）算法是一类在强化学习中用于策略评估的随机逼近（Stochastic Approximation，SA）算法。在这里，我们考虑梯度TD算法与一个额外的重球动量项，并提供选择的步长和动量参数，以确保这些算法几乎肯定渐近收敛。在这样做时，我们将重球梯度TD迭代分解为具有不同步长的三个单独的迭代。我们首先分析这些迭代下一个时标SA设置使用当前文献的结果。然而，一个时间尺度的情况是限制性的，可以通过查看迭代的三个时间尺度分解来提供更一般的分析。在这个过程中，我们提供了一般的三时标SA的稳定性和收敛性的第一个条件。然后，我们证明了重球梯度TD算法是收敛的，使用我们的三时标SA分析。最后，我们评估这些算法的标准强化学习问题和报告的性能改善香草算法。
2021-11-22 cs.LG
Correcting Momentum in Temporal Difference Learning
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
深度强化学习中常用的优化工具是动量，它包括累积和贴现过去的梯度，在每次迭代时重新应用它们。我们认为，与监督学习不同，时间差（TD）学习中的动量累积梯度变得双重陈旧：不仅损失的梯度会因参数更新而变化，损失本身也会因自举而变化。我们首先证明了这种现象的存在，然后提出了一个一阶动量修正项。我们发现，这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是，深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology（代尔夫特理工大学）
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习（TDRL），我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观，即，德尔塔，在三个方面：现实（stochemical正确），乐观（假设行动控制）和过于乐观（假设结果控制）。我们发现，对于赌博任务的个人与“健康”的控制知觉，即，行动乐观，不发展赌博行为，而具有“不健康”控制感的人，即，结果乐观，做。我们发现，高强度的感觉和低水平的恐惧共同发生，由于乐观的风险感知。我们发现，过度乐观的风险感知（结果乐观）导致冒险和持续的赌博行为，除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}（ETD）算法\citep{SuttonMW15}，其中包括原来的ETD（$λ$），以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD，其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下，投影不动点方程的基础\ETD \涉及到一个收缩算子，使我们能够提出的第一个渐近误差界（偏差）\ETD。我们的结果表明，原来的ETD算法总是涉及到一个压缩算子，其偏见是有界的。此外，通过控制$β$，我们提出的推广允许权衡偏差方差减少，从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis
UC Berkeley（加州大学伯克利分校）；The Voleon Group（沃利昂集团）
我们解决问题的政策评估折扣马尔可夫决策过程中，并提供实例依赖的保证生成模型下的$\ell_\infty$错误。我们建立了渐近和非渐近版本的局部极大极小的政策评估下限，从而提供了一个依赖于实例的基线比较算法。理论启发的模拟表明，广泛使用的时间差（TD）算法是严格的次优时，在非渐近设置进行评估，即使与Polyak-Ruppert平均。我们通过引入和分析方差缩减形式的随机逼近来解决这个问题，表明它们在对数因子下实现了非渐近的、依赖于实例的最优性。
2020-03-16 cs.LG math.OC stat.ML
Generalized Kalman filter based temporal difference reinforcement learning
University of Twente（特温特大学）；University of Vienna（维也纳大学）
研究基于条件期望理论的广义TD强化学习框架，将价值和Q值函数视为不确定量，用随机推理估计，能递归估计价值函数条件期望及二阶概率矩，通过离散化随机问题验证，可扩展经典卡尔曼时间差分学习到更广泛随机系统。
2026-07-24 cs.CE cs.LG
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文针对分布强化学习的分位数时间差分学习，建立同步与异步QTD的函数中心极限定理，提出无需存储完整轨迹的在线推断方法，实现高效统计推断。
2026-10-19 cs.LG stat.ML
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Collision Probability Distribution Estimation via Temporal Difference Learning
University of the Bundeswehr Munich（联邦国防军慕尼黑大学）；Institute for Autonomous Systems Technology (TAS)（自主系统技术研究所）
提出CollisionPro框架，利用时间差分学习在强化学习背景下估计累积碰撞概率分布，为自动驾驶等机器人应用提供高样本效率和可靠预测的安全感知方案。
2024-07-29 cs.LG cs.RO
Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已成功地用于解决许多连续控制任务。尽管其令人印象深刻的结果，但是，关于RL在连续问题上的样本复杂性的基本问题仍然是开放的。我们研究RL的性能，在这种情况下，考虑的行为最小二乘时间差（LSTD）估计的经典线性二次型调节器（LQR）的问题，从最优控制。我们给出了第一个有限时间分析的样本数量需要估计的价值函数为固定的静态状态反馈政策内$\varepsilon$ -相对误差。在推导结果的过程中，我们给出了沿快速混合随机过程样本路径形成的经验协方差矩阵的最小特征值集中于零以上时的一般特征，推广了Koltchinskii和Mendelson在独立协变量情形下的结果.最后，我们提供的实验证据表明，我们的分析正确地捕捉定性行为的LSTD在几个LQR实例。
2017-12-22 cs.LG stat.ML
Temporal Difference Learning for High-Dimensional PIDEs with Jumps
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）；Department of Mathematics, University of California, Santa Barbara（加州大学圣巴巴拉分校数学系）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
本文提出基于时序差分学习的深度学习框架，利用Lévy过程和深度神经网络求解带跳跃的高维PIDEs，在100维实验中相对误差达O(10^{-3})，并展现出低计算成本与强鲁棒性。
2024-03-29 cs.LG cs.NA math.NA
Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
本文利用平均场理论证明，在过参数化两层神经网络下，时序差分和Q学习能以次线性速率全局最小化均方投影贝尔曼误差，且特征表示收敛到最优表示，推广了神经正切核机制下的既有结果。
2024-04-01 cs.LG math.OC stat.ML
Exact Formulas for Finite-Time Estimation Errors of Decentralized Temporal Difference Learning with Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了多智能体强化学习（MARL）中的策略评估问题，推导了线性函数近似下分散时间差分（TD）学习的有限时间均方估计误差的精确闭合公式。我们的分析取决于这样一个事实，即分散TD学习方法可以被视为一个马尔可夫跳跃线性系统（MJLS）。然后应用标准的MJLS理论量化分散TD方法在每个时间步的估计误差的均值和协方差矩阵。我们的精确公式上的算法性能的各种影响进行了讨论。一个有趣的发现是，在充分必要的稳定条件下，均方TD估计误差将以特定的指数速率收敛到精确的极限。
2022-04-20 cs.LG cs.SY eess.SY
Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们研究了多智能体强化学习中的策略评估问题，其中一组智能体具有联合观察的状态和私有的本地动作和奖励，通过连接的无向网络上的本地计算和通信来协作学习给定策略的值函数。这个问题出现在各种大规模的多智能体系统，包括电网，智能交通系统，无线传感器网络和多智能体机器人。当状态-动作空间维数较大时，采用线性函数逼近的时间差分学习方法得到了广泛的应用。在本文中，我们开发了一种新的分布式时间差学习算法，并量化其有限时间性能。我们的算法结合了分布式随机原始对偶方法与同伦为基础的方法，以适应性地调整学习率，以尽量减少均方投影贝尔曼误差从一个因果的政策轨迹采取新鲜的在线样本。我们明确地考虑到马尔可夫性质的采样和改善最著名的有限时间误差界从$O(1/\sqrt{T})$到~ $O(1/T)$，其中$T$是迭代的总次数。
2021-11-04 cs.LG cs.MA math.OC
Robust Temporal Difference Learning for Critical Domains
University of Liverpool（利物浦大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
我们提出了一个新的Q函数算子的时间差（TD）的学习方法，明确编码的鲁棒性对重大罕见事件（SRE）在关键领域。我们称之为$κ$操作符的操作符允许以基于模型的方式学习鲁棒策略，而无需实际观察SRE。我们介绍了单和多代理强大的TD方法，使用运营商$κ$。利用广义马尔可夫决策过程理论证明了该算子收敛于模型的最优鲁棒Q函数。此外，我们证明了收敛到最佳的Q-函数的原始MDP给定的概率SRE消失。经验评估表明，优越的性能$κ$为基础的TD方法在早期学习阶段，以及在最后的收敛阶段。此外，我们表明所提出的方法的鲁棒性小的模型误差，以及它的适用性在多智能体的上下文中。
2019-03-13 cs.LG cs.MA stat.ML
Parallel Universes for Temporal Evaluation and Knowledge Updating in LLMs
Georgia Institute of Technology（佐治亚理工学院）；Zhejiang University（浙江大学）
针对大语言模型知识过时问题，提出ParallelEvents基准与Synapse训练框架，实现无人工标注的可扩展知识插入，性能较现有方法提升14.23%。
2026-10-28 cs.CL cs.LG
Preconditioned Temporal Difference Learning
这篇论文已被作者撤回。这份草稿因英文质量不佳而被撤回，不幸的是，这份草稿是作者刚开始他的科学路线时制作的。请查看ICML版本：http://icml2008.cs.helsinki.fi/papers/111.pdf
2012-06-08 cs.AI cs.LG
Should All Temporal Difference Learning Use Emphasis?
Shanghai Jiao Tong University（上海交通大学）；University of Alberta（阿尔伯塔大学）
强调时间差（ETD）学习最近被提出作为一种收敛的离策略学习方法。ETD的提出主要是为了解决传统的时间差（TD）学习的离线训练下的收敛问题，但它是不同于传统的TD学习，即使在对政策的培训。2017年提供的一个简单的反例指出了一类潜在的问题，其中ETD收敛，但TD发散。在本文中，我们实证表明，ETD收敛于其他一些著名的政策实验，而TD要么发散或表现不佳。我们还表明，ETD优于TD的山地车预测问题。我们的研究结果，以及在以前的作品中观察到的类似模式下的政策培训，表明ETD可能是一个很好的替代传统的TD。
2019-03-01 cs.AI cs.LG
Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
强调算法是时间差学习算法，其通过选择性地强调和不强调其在不同时间步长上的更新来改变其有效状态分布。Sutton，Mahmood and White（2015）和Yu（2015）最近的研究表明，通过以特定的方式改变重点，这些算法在使用线性函数近似的非策略训练下变得稳定和收敛。本文作为一个统一的总结，从两个工程的可用结果。此外，我们证明了经验的好处，从灵活性的算法，包括状态相关的折扣，状态相关的自举，和用户指定的函数近似资源的分配。
2015-07-06 cs.AI cs.LG
A First Empirical Study of Emphatic Temporal Difference Learning
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了第一个实证研究的时间差分学习算法（ETD），比较它与传统的时间差分学习，特别是，与线性TD（0），对政策和政策外的变化的山地车问题。开发ETD的最初动机是它在非策略训练下具有良好的收敛特性（Sutton，Mahmood和White 2016），但它也是一种适用于策略情况的新算法。在我们的on-policy和off-policy实验中，我们发现每种方法都收敛到一个特征渐近误差水平，ETD优于TD（0）。TD（0）在回落到其较高的渐近线之前暂时达到了更低的误差水平，而ETD从未显示出这种“反弹”。在非策略情况下（TD（0）不保证收敛），ETD明显较慢。
2017-05-12 cs.AI cs.LG
Learning to simulate partially known spatio-temporal dynamics with trainable difference operators
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co. Ltd（华为技术有限公司）；Peking University（北京大学）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对黑盒模型模拟时空动力学精度和可解释性受限的问题，提出嵌入PDE部分先验知识的混合架构PDE-Net++，通过引入TFDL和TDDL可训练差分算子，显著提升了预测精度与外推性能。
2023-07-26 cs.AI cs.LG
Generative Temporal Difference Learning for Infinite-Horizon Prediction
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
我们介绍了$γ$ -模型，一个预测模型的环境动态与无限的概率地平线。用$γ$模型代替标准的单步模型，导致对基于模型的控制的核心过程的一般化，包括模型展开和基于模型的值估计。的$γ$模型，训练与时间差异学习的生成重新解释，是一个自然的连续模拟的继任者表示和无模型和基于模型的机制之间的混合。就像一个价值函数，它包含了关于长期未来的信息;就像一个标准的预测模型，它独立于任务奖励。我们将$γ$模型实例化为生成对抗网络和规范化流，讨论其训练如何反映训练时间和测试时间复合误差之间不可避免的权衡，并实证研究其预测和控制效用。
2021-11-29 cs.AI cs.LG
$\ell_1$ Regularized Gradient Temporal-Difference Learning
Technische Universität München（慕尼黑工业大学）
本文研究了线性价值函数逼近的时间差分学习问题。众所周知，大多数TD学习算法在线性函数逼近和离策略学习方面是不稳定的。最近发展的梯度TD（GTD）算法成功地解决了这个问题。然而，GTD算法的成功需要一组精心选择的功能，这并不总是可用的。当特征数量很大时，GTD算法可能会面临过拟合和计算量大的问题。为了解决这个困难，正则化技术，特别是$\ell_1$正则化，在开发TD学习算法中引起了极大的关注。目前的工作结合了GTD算法与$\ell_1$正则化。我们提出了一个家庭的$\ell_1$正则化的GTD算法，采用著名的软阈值算子。我们研究了所提出的算法的收敛性，并描述了它们的性能与几个数值实验。
2016-10-05 cs.AI cs.LG
Some Simulation Results for Emphatic Temporal-Difference Learning Algorithms
University of Alberta（阿尔伯塔大学）
这是一个同伴注意到我们最近的研究的弱收敛性能的约束并行时间差分学习（ETD）算法从理论的角度来看。它补充了后者的分析与仿真结果，并说明了一些ETD算法的行为，使用三个例子的问题。
2016-05-06 cs.LG
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中，我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果，提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
Supplementary material for Uncorrected least-squares temporal difference with lambda-return
IBM Research（IBM研究院）
在这里，我们为Osogami孝之提供了一个补充材料，“未校正的最小二乘时间差与非线性回归”，出现在{ \it Proceedings of the 34 th AAAI Conference on人工智能}（AAAI-20）中。
2019-11-14 cs.LG stat.ML
Gradient Descent Temporal Difference-difference Learning
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）；Institute of Neuroscience（神经科学研究所）；University of Oregon（俄勒冈大学）
在强化学习中，行为策略与目标策略不同的非策略算法被证明具有很大的实用价值。但是，即使对于线性价值函数逼近这样的简单凸问题，这些算法也不能保证是稳定的。为了解决这个问题，已经引入了在这种情况下可证明收敛的替代算法，最著名的是梯度下降时间差（GTD）学习。然而，这种算法和其他类似的算法往往比传统的时间差学习收敛得慢得多。在本文中，我们提出了梯度下降时间差差（centient-DD）学习，以改善GTD算法，GTD 2，通过在连续的参数更新中引入二阶差分。我们在线性价值函数逼近的框架下研究了该算法，并应用随机逼近理论从理论上证明了算法的收敛性。%，分析显示其相对于GTD 2的改善。通过对随机游走任务、Boyan链任务和Baird的离线策略反例的实证研究，我们发现GTD 2有了实质性的改进，在某些情况下，甚至比传统的TD学习有更好的性能。
2022-09-10 cs.LG
On the Performance of Temporal Difference Learning With Neural Networks
Boston University（波士顿大学）
本文分析带固定半径球投影的神经时间差分学习的收敛性，给出依赖最佳网络逼近误差和隐藏层宽度的逼近界。
2023-12-08 cs.LG
Accelerated Gradient Temporal Difference Learning
Indiana University at Bloomington（印第安纳大学伯明顿分校）
时间差分（TD）方法家族涵盖了从计算简单的线性方法（如TD（λ））到数据有效的最小二乘法的范围。最小二乘法最大限度地利用了直接计算TD解的可用数据，因此不需要调整通常高度敏感的学习率参数，但需要二次计算和存储。最近的算法发展已经产生了几个次二次方法，使用近似的最小二乘TD解决方案，但招致偏见。在本文中，我们提出了一个新的家庭加速梯度TD（ATD）方法，（1）提供类似的数据效率的好处，最小二乘法，在一小部分的计算和存储（2）显着降低参数灵敏度相比，线性TD方法，（3）是渐近无偏的。我们说明了这些主张的收敛性证明的期望和实验上的几个基准域和一个大规模的工业能源分配域。
2017-03-09 cs.AI cs.LG stat.ML
Source Traces for Temporal Difference Learning
Georgia Institute of Technology（佐治亚理工学院）
本文激励和发展源轨迹的时间差异（TD）学习的表格设置。源跟踪类似于资格跟踪，但模型潜在的历史，而不是直接的。这使得TD错误被传播到潜在的因果状态，并导致更快的泛化。源跟踪可以被认为是后继表示（SR）的基于模型的向后视图，并且具有许多相同的优点。然而，这一观点提出了几个新的想法。首先，提出了一种TD（$λ$）类源学习算法，并证明了其收敛性。然后，一种新的算法学习源映射（或SR矩阵）的开发和性能优于以前的算法。最后，各种方法来使用的源/SR模型进行了探讨，它表明，源痕迹可以有效地结合其他基于模型的方法，如Dyna和经验重放。
2019-02-08 cs.AI cs.LG stat.ML
New Versions of Gradient Temporal Difference Learning
KAIST（韩国科学技术院）；Shinhan Bank（新韩银行）
本文基于凸-凹鞍点解释提出多种 GTD 新变体，将其统一到原始-对偶框架中并给出稳定性分析，同时通过数值实验比较各方法。
2024-01-22 cs.LG
Sample Complexity and Overparameterization Bounds for Temporal Difference Learning with Neural Network Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）；c3.ai Digital Transformation Institute（c3.ai数字化转型研究院）
在本文中，我们研究了动态的时间差学习与神经网络为基础的价值函数逼近一般状态空间，即\emph{Neural TD learning}。我们考虑两个实际使用的算法，投影自由和最大范数正则化神经TD学习，并建立这些算法的第一收敛界。从我们的结果中一个有趣的观察是，最大范数正则化可以显着提高TD学习算法的性能，无论是在样本复杂度和overparameterization。特别是，我们证明了最大范数正则化提高了最先进的样本复杂性和overparameterization界限。在这项工作中的结果依赖于一个新的李雅普诺夫漂移分析的网络参数作为一个停止和控制的随机过程。
2021-08-06 cs.AI cs.LG math.OC
Temporal-Difference Networks for Dynamical Systems with Continuous Observations and Actions
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
时间差分（TD）网络是一类预测状态表示，它使用成熟的TD方法来学习部分可观测动态系统的模型。以前的研究与TD网络只处理与有限集的观察和行动的动力系统。我们提出了一个学习TD网络表示的动态系统的连续观测和行动的算法。我们的研究结果表明，该算法是能够学习的几个噪声连续动态系统的准确和鲁棒的模型。这里提出的算法是学习连续动态系统的预测表示的第一个完全增量的方法。
2012-05-09 cs.LG stat.ML
Properties of the Least Squares Temporal Difference learning algorithm
本文提出了四种不同的方式来看待著名的最小二乘时间差（LSTD）算法计算的价值函数的马尔可夫奖励过程，他们中的每一个导致不同的见解：通过Galerkin方法的算子理论方法，统计方法通过工具变量，线性动力系统的观点，以及TD迭代的限制。我们还给出了一个几何视图的算法作为一个斜投影。此外，有一个广泛的比较LSTD解决的优化问题相比，贝尔曼残差最小化（BRM）。然后，我们审查几个计划的正则化的LSTD解决方案。然后，我们着手处理的情况下，情节马尔可夫奖励过程的LSTD的修改。
2015-04-03 cs.LG stat.ML
