A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University（浙江大学）
最近，一个新的多步时间学习算法，称为$Q(σ)$，统一$n$ -步骤树备份（当$σ=0$）和$n$ -步骤Sarsa（当$σ=1$）通过引入一个采样参数$σ$。然而，与其他多步时间差学习算法类似，$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进，将其与资格迹相结合，提出了一种新的算法$Q(σ,λ)$，其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$（当$σ=1$）和$Q^π(λ)$（当$σ=0$）。此外，我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明，使用中间值$σ$，$Q(σ,λ)$创建了现有算法的混合，可以比极端（$σ=0$或$1$）更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford（牛津大学）
本文提出Soft Q(λ)，一种基于效用追踪的离策略方法，通过引入新的Soft Tree Backup操作符，扩展了软Q学习的多步框架，实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
Efficient LSTM Training with Eligibility Traces
University of Tübingen（图宾根大学）
训练递归神经网络主要通过时间反向传播（BPTT）来实现。然而，从生物学和计算的角度来看，该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆（LSTM），监督和强化学习（RL）的任务。我们表明，e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展，提高性能的电子道具，这可以部分地应用到其他网络架构。在这些扩展的帮助下，我们表明，在某些条件下，电子道具可以优于BPTT的两个基准之一，监督学习。最后，我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA（东北大学计算机科学学院）
本文提出了一种多步算子，用于表达轨迹感知和每决策方法，并通过理论分析为非策略强化学习提供了收敛保证，同时引入RBIS方法在不同λ值下实现稳健性能。
2025-12-21 cs.LG
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Deep Reinforcement Learning with Gradient Eligibility Traces
本文扩展广义投影贝尔曼误差目标以支持基于λ-回报的多步信用分配，提出三种梯度方法，在MuJoCo和MinAtar环境中分别超越PPO和StreamQ。
2025-09-18 cs.AI cs.LG stat.ML
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
由于目标策略和行为策略之间的差异，具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异，例如重要性抽样和树备份。然而，现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下，这对于控制问题是无效的。当采取非贪婪动作时，迹线立即被切断，这可能会失去资格迹线的优势并减慢学习过程。或者，一些非概率测量方法，如通用Q（$λ$）和朴素Q（$λ$）从不切割迹线，但在实践中面临收敛问题。针对上述问题，提出了一种新的树备份算法TBQ（$σ$），它有效地将树备份算法和朴素Q（$λ$）结合起来。TBQ（$σ$）通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree}，实现了TB（$λ$）和Naive Q（$λ$）的有效整合以及它们之间的持续角色转换。从理论上分析了TB（$σ$）在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本（$σ$），并给出了收敛性证明。我们的经验表明，对于$ε$ -贪婪策略中的$ε\in(0,1]$，存在一定程度的利用$λ\in[0,1]$的痕迹，这可以提高离线强化学习的痕迹利用效率，从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习（RL）在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下，通常需要进行显著的超参数调优以实现良好的性能。此外，当使用非线性函数逼近时，状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题（即，单个代理在线学习而不维护训练样本的大数据库）。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法，专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制，然后在嘈杂的，非平稳的版本。最后，我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制，在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明，Metatrace的元步长参数易于设置，Metatrace可以加快学习速度，并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文提出记忆痕迹方法，用指数移动平均紧凑表示部分可观测环境中的长观测历史，并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
Distributed Value Function Approximation for Collaborative Multi-Agent Reinforcement Learning
在本文中，我们提出了几个新的分布式基于梯度的时间差算法的多智能体离策略学习的线性逼近的价值函数在严格的信息结构约束的马尔可夫决策过程，限制智能体通信到小的邻域。该算法包括：1）局部参数更新的基础上单代理关闭策略梯度时间差学习算法，包括资格跟踪与状态相关的参数，和2）线性随机时变共识计划，表示为有向图。所提出的算法不同的形式，定义的资格痕迹，选择的时间尺度和纳入共识迭代的方式。本文的主要贡献是基于基本Feller-Markov过程和随机时变一致性模型的一般性质的收敛性分析。我们证明，在一般的假设下，所提出的算法产生的参数估计弱收敛到相应的常微分方程（ODE）精确定义的不变集。它演示了如何通过的方法可以应用到时间差算法在较弱的信息结构约束。所提出的算法的方差减少效果证明了制定和分析的渐近随机微分方程。提供了通信网络设计的具体准则。仿真结果表明了算法的优越性。
2021-04-17 cs.DC cs.LG cs.SY
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Revisiting Adam for Streaming Reinforcement Learning
本文研究了在线环境下传统更新方法的有效性，发现C51在流式强化学习中表现优异，基于此提出Adaptive Q(λ)算法，性能超越现有方法。
2026-05-07 cs.AI cs.LG
Double Q($σ$) and Q($σ, λ$): Unifying Reinforcement Learning Control Algorithms
时间差分学习是强化学习的一个重要研究领域。Sarsa和Q-Learning是最常用的TD算法。Q（$σ$）算法（Sutton和Barto（2017））将两者统一起来。本文利用资格迹将Q（$σ$）算法扩展为在线多步算法Q（$σ, λ$），并引入Double Q（$σ$）作为Q（$σ$）的双重学习扩展。实验表明，新的Q（$σ, λ$）算法性能优于经典的TD控制方法Sarsa（$λ$）、Q（$λ$）和Q（$σ$）.
2017-11-05 cs.AI cs.LG stat.ML
Off-policy Learning with Eligibility Traces: A Survey
Supélec（高等电力学院）；INRIA Lorraine（洛林法国国家信息与自动化研究所）
在马尔可夫决策过程的框架中，离策略学习，即从某个可能由其他策略生成的轨迹中学习某个固定策略的价值函数的线性近似的问题。我们简要回顾了同策略学习算法的文献（基于梯度和最小二乘），采用统一的算法视图。然后，我们强调了一个系统的方法，使他们适应离策略学习资格痕迹。这导致了一些已知的算法--脱离策略的LSTD（λ）、LSPE（λ）、TD（λ）、TDC/GQ（λ）--并提出了新的扩展--脱离策略的FPKF（λ）、BRM（λ）、gBRM（λ）、GTD 2（λ）。我们描述了一个全面的算法推导的所有算法的递归和内存效率的形式，讨论他们已知的收敛性，并说明他们的石榴石问题的相对经验行为。我们的实验表明，最标准的算法和非策略LSTD（λ）/LSPE（λ）-和TD（λ），如果特征空间维度对于最小二乘方法来说太大-表现最好。
2013-04-15 cs.AI cs.RO
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences（库里计算机科学学院）；Northeastern University（东北大学）
来自多步返回的离策略学习对于样本有效的强化学习至关重要，特别是在现在常用于深度神经网络的经验重放设置中。传统上，政策外估计偏差是以每决策的方式校正的：过去的时间差误差在每次行动后由瞬时重要性采样（IS）比率（通过资格跟踪）重新加权。许多重要的非策略算法，如树备份和回溯依赖于这种机制以及不同的协议，用于截断（“切割”）比率（“痕迹”），以抵消IS估计器的过度变化。不幸的是，在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割，这种效果以后就不能逆转，可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法，我们提出了一个多步算子，允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估，和最优控制时，目标贪婪的限制政策。我们的定理建立了许多现有的算法，包括截断IS，非马尔可夫回溯，历史依赖TD（$λ$）的第一个收敛保证。我们的理论研究结果也提供了指导的新算法，共同考虑多个过去的决策，更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
On Generalized Bellman Equations and Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）；Kindred Inc.（Kindred公司）
我们考虑折扣马尔可夫决策过程中的离线策略时间差（TD）学习，其目标是通过使用在不执行策略的情况下生成的状态过程的观察结果来以无模型的方式评估策略。为了解决偏离策略TD学习中的高方差问题，提出了一种基于广义Bellman方程的TD $λ$参数设置方法.我们的计划是设置$λ$根据TD计算的资格跟踪迭代，从而很容易保持这些痕迹在一个理想的有界范围。与已有的工作相比，该方案更加直接和灵活，并且允许更大的$λ$值用于有界迹的偏离策略TD学习。至于它的健全性，使用马尔可夫链理论，我们证明了遍历的联合状态跟踪过程在非限制性条件下，我们表明，与我们的计划是一个广义贝尔曼方程（用于评估的政策），这取决于双方的发展$λ$和唯一不变的概率测度的状态跟踪过程。这些结果不仅立即导致我们的计划基于最小二乘实现的收敛行为的表征，但也准备了基于梯度的实现的进一步分析的基础。
2018-09-27 cs.LG math.OC
BP(λ): Online Learning via Synthetic Gradients
University of Bristol（布里斯托大学）；University of Oxford（牛津大学）
本文受强化学习 accumulate TD(λ) 启发，提出完全在线的合成梯度学习算法 accumulate BP(λ)，通过时序差分误差与资格迹混合控制偏差，避免 BPTT，并在多任务中优于原始方法。
2024-01-13 cs.LG
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）
该研究提出了一种小脑启发的残差控制框架，通过在线纠正动作实现故障恢复，提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University（浙江大学）
全采样（例如，Q学习）和纯期望（例如，期望Sarsa）算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而，它仅限于表格的情况下，对于大规模的学习，Q $(σ,λ)$太昂贵，需要大量的表来准确地存储价值函数。为了解决上述问题，我们提出了一个GQ $(σ,λ)$，它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明，全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University（哥伦比亚大学）
时间差分学习（TD）是一种简单的迭代算法，用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一，但其理论分析已被证明具有挑战性，并且很少有统计效率的保证。在这项工作中，我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解，我们的分析反映了分析随机梯度下降算法的标准技术，因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究，称为TD（$λ$），以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning
Stanford University（斯坦福大学）；University of Montreal（蒙特利尔大学）；Mila（米拉研究所）
我们如何将强化学习中的信用分配的挑战形式化？普通的直觉会引起人们对奖励稀疏性的注意，因为奖励稀疏性是导致信用分配困难的关键因素，而传统的经验主义会寻求时间近因的解决方案，并调用经典的资格跟踪。我们认为，这不是稀疏的奖励本身，造成困难的信用分配，而是\emph{information sparsity}。我们建议使用信息论来定义这个概念，然后我们使用它来表征时，信用分配是一个障碍，有效的学习。从这个角度来看，我们概述了几个信息理论的机制，在一个固定的行为政策下，衡量信用，突出的潜力，信息论作为一个关键的工具，证明有效的信用分配。
2021-03-10 cs.IT cs.LG math.IT
Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning
Okinawa Inst. of Sci. and Tech.（冲绳科学技术大学院大学）
在强化学习（RL）的实际应用中，来自环境固有随机性的噪声是不可避免的。然而，目前的策略评估算法，这在许多RL算法中起着关键作用，要么是容易产生噪声或效率低下。为了解决这个问题，我们引入了一种新的策略评估算法，我们称之为间隙增加RetrAce策略评估（GRAPE）。它利用了两个最近的想法：（1）优势学习中的间隙增加值更新算子以实现噪声容忍;（2）Retrace算法中的离线资格跟踪以实现高效学习。我们提供了详细的理论分析的新算法，表明其效率和噪声的宽容继承的回溯和优势学习。此外，我们的分析表明，GRAPE的学习是显着有效的比一个简单的基于学习率的方法，同时保持相同的噪声容忍度。我们将GRAPE应用于控制问题，并获得了支持我们的理论分析的实验结果。
2019-06-18 cs.LG stat.ML
Focusing Influence Mechanism for Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）
本文提出FIM机制，通过熵基准则引导智能体聚焦未探索的状态空间区域，利用 eligibility traces 实现多智能体协同探索，提升合作性能。
2026-05-11 cs.LG cs.MA
Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks
VNU University of Engineering and Technology (VNU-UET)（越南国家大学工程技术大学（VNU-UET））
针对多租户ISAC网络在线感知会话整合问题，提出CT-PPO算法，通过公共轨迹奖励信用等设计，提升回报、降低感知资源成本，在多负载场景下表现优于对比算法。
2026-09-01 cs.LG cs.NI
Temporal Difference Updating without a Learning Rate
IDSIA（达勒·莫尔人工智能研究所）
我们从统计原理推导出一个时间差异学习的方程。具体来说，我们从变分原理开始，然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程，所谓的TD（lambda），然而它缺少指定学习率的参数alpha。在这个自由参数的地方，现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD（lambda），并发现它提供了优越的性能在各种设置。最后，我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此，我们将更新方程与Watkins的Q（lambda）和Sarsa（lambda）结合起来，发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Real-Time Recurrent Reinforcement Learning
Vienna University of Technology（维也纳工业大学）；DatenVorsprung GmbH（DatenVorsprung有限公司）
针对部分可观测马尔可夫决策过程（POMDPs）任务，提出结合元强化学习架构、生物学合理RL算法和在线自动微分算法的实时循环强化学习（RTRRL）框架，可解决多种部分可观测RL任务。
2025-03-13 cs.LG cs.NE cs.SY
Learning Agent State Online with Recurrent Generate-and-Test
University of Alberta（阿尔伯塔大学）
从连续的数据流中连续地在线学习是具有挑战性的，特别是对于具有序列数据的强化学习代理。当环境只提供关于环境状态的部分信息的观察时，代理必须基于经验的数据流来学习代理状态。我们将直接从经验数据流中学习到的状态称为主体状态。递归神经网络可以学习智能体的状态，但其训练方法计算量大且对超参数敏感，不利于在线学习。这项工作介绍了基于生成和测试的方法来学习代理状态的方法。生成-测试算法通过生成特征并测试其有用性来搜索状态特征。在这个过程中，对代理在任务上的性能有用的特征被保留，并且最不有用的特征被新生成的特征替换。我们研究了两个在线多步预测问题，我们的方法的有效性。第一个问题，跟踪条件作用，集中在代理的能力，记住一个线索的预测多个步骤到未来。在第二个问题中，跟踪模式，智能体需要学习观察信号中的模式，并记住它们以用于未来的预测。我们表明，我们提出的方法可以有效地在线学习代理状态，并产生准确的预测。
2021-12-30 cs.AI cs.LG
Real-Time Recurrent Learning using Trace Units in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对部分可观测环境下在线强化学习中标准RNN用RTRL训练成本过高的问题，提出对线性循环架构小幅修改的循环迹单元RTUs，在多个环境中性能更优且计算量更低。
2024-10-30 cs.AI cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Online Reinforcement Learning in Non-Stationary Context-Driven Environments
MIT（麻省理工学院）；CS Brown University（布朗大学计算机科学系）；Microsoft Research（微软研究院）
针对非平稳环境中在线强化学习的灾难性遗忘问题，提出局部约束策略优化（LCPO）方法，通过锚定旧经验策略输出并在当前上下文分布外采样进行局部约束，显著提升了性能并与离线先知智能体表现相当。
2025-03-31 cs.AI cs.LG
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
近年来，神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里，深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先，我们提出了两个激活函数的神经网络函数逼近强化学习：S形加权线性单元（SiLU）和它的导数函数（dSiLU）。SiLU的激活通过sigmoid函数乘以其输入来计算。其次，我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法，以及具有简单退火的softmax动作选择可以与DQN竞争，而不需要单独的目标网络。我们验证我们提出的方法，首先，实现新的国家的最先进的结果，在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板，使用TD（$λ$）学习和浅dSiLU网络代理，然后，通过在Atari 2600域中使用深Sarsa（$λ$）代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
rl-triton: High-Performance Triton GPU Kernels for Reinforcement Learning Credit Assignment
该研究推出开源库rl-triton，用Triton实现统一关联扫描框架，将7种RL估计算法统一为一阶线性递推，在大规模并行模拟中实现1.6至5.7倍的速度提升。
2026-08-20 cs.DC cs.LG cs.PF
Multi-step Reinforcement Learning: A Unifying Algorithm
University of Alberta（阿尔伯塔大学）
统一看似不同的算法思想以产生性能更好的算法一直是强化学习的长期目标。作为一个主要的例子，TD（$λ$）通过使用资格迹和迹衰减参数$λ$，巧妙地将一步TD预测与蒙特卡罗方法统一起来。目前，有多种算法可用于执行TD控制，包括Sarsa、$Q$学习和预期Sarsa。这些方法通常在单步情况下进行研究，但它们可以扩展到多个时间步长以实现更好的性能。这些算法中的每一个似乎都是不同的，没有一个在所有问题上都优于其他算法。在本文中，我们研究了一个新的多步动作值算法称为$Q(σ)$，统一和推广这些现有的算法，同时将它们作为特殊情况。引入了一个新的参数$σ$，以允许在其备份期间的每一步由算法执行的采样程度连续变化，其中Sarsa存在于一个极端（全采样），而预期Sarsa存在于另一个极端（纯期望）。$Q(σ)$通常适用于策略学习和离策略学习，但在这项工作中，我们专注于策略情况下的实验。我们的研究结果表明，一个中间值的$σ$，这导致在现有的算法的混合物，表现优于任何极端。混合物也可以动态变化，这可以导致更好的性能。
2018-06-11 cs.AI cs.LG
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Intentional Updates for Streaming Reinforcement Learning
Openmind Research Institute（Openmind研究 institutes）；Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）
本文提出意图更新方法，通过定义更新目标来优化流式强化学习的稳定性与性能，实验表明其在流式环境下表现优异。
2026-04-21 cs.AI cs.LG
Observation Time Difference: an Online Dynamic Objects Removal Method for Ground Vehicles
Faculty of Robot Science and Engineering, Northeastern University（东北大学机器人科学与工程学院）
针对传统动态物体移除方法离线运行、时间成本高的问题，提出基于观测时间差的地面车辆在线动态物体移除方法，分两类动态物体用对应检索方法消除，在多数据集上验证其效率与鲁棒性更优。
2024-06-22 cs.RO
