Eligibility Propagation to Speed up Time Hopping for Reinforcement Learning
Tokyo Institute of Technology（东京工业大学）
提出了一种称为资格传播的机制，以加快用于更快的强化学习在模拟中的跳时技术。资格传播为跳时提供了与资格跟踪为传统强化学习提供的能力类似的能力。它使用状态转换图将值从一个状态传播到其所有时间前任。在一个模拟的爬行机器人上的实验证实，资格传播加速学习过程超过3倍。
2009-04-03 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Gradient Eligibility Traces
本文扩展广义投影贝尔曼误差目标以支持基于λ-回报的多步信用分配，提出三种梯度方法，在MuJoCo和MinAtar环境中分别超越PPO和StreamQ。
2025-09-18 cs.AI cs.LG stat.ML
Enhanced-FQL($λ$), an Efficient and Interpretable RL with novel Fuzzy Eligibility Traces and Segmented Experience Replay
Dipartimento di Elettronica, informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系（DEIB））
本文提出了一种基于模糊Q学习的强化学习框架Enhanced-FQL($λ$)，结合了新颖的模糊资格追踪(FET)和分段经验回放(SER)，以提升连续控制的样本效率和稳定性。
2026-04-13 cs.AI cs.LG cs.RO
Off-policy Learning with Eligibility Traces: A Survey
Supélec（高等电力学院）；INRIA Lorraine（洛林法国国家信息与自动化研究所）
在马尔可夫决策过程的框架中，离策略学习，即从某个可能由其他策略生成的轨迹中学习某个固定策略的价值函数的线性近似的问题。我们简要回顾了同策略学习算法的文献（基于梯度和最小二乘），采用统一的算法视图。然后，我们强调了一个系统的方法，使他们适应离策略学习资格痕迹。这导致了一些已知的算法--脱离策略的LSTD（λ）、LSPE（λ）、TD（λ）、TDC/GQ（λ）--并提出了新的扩展--脱离策略的FPKF（λ）、BRM（λ）、gBRM（λ）、GTD 2（λ）。我们描述了一个全面的算法推导的所有算法的递归和内存效率的形式，讨论他们已知的收敛性，并说明他们的石榴石问题的相对经验行为。我们的实验表明，最标准的算法和非策略LSTD（λ）/LSPE（λ）-和TD（λ），如果特征空间维度对于最小二乘方法来说太大-表现最好。
2013-04-15 cs.AI cs.RO
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis
Johns Hopkins University（约翰霍普金斯大学）
EligMeta框架整合了自动化试验发现与有资格意识的元分析，通过自然语言查询生成可复现的试验选择，并基于资格对研究加权，以产生特定群体的汇总估计。
2026-04-03 cs.AI stat.AP stat.ME
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
由于目标策略和行为策略之间的差异，具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异，例如重要性抽样和树备份。然而，现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下，这对于控制问题是无效的。当采取非贪婪动作时，迹线立即被切断，这可能会失去资格迹线的优势并减慢学习过程。或者，一些非概率测量方法，如通用Q（$λ$）和朴素Q（$λ$）从不切割迹线，但在实践中面临收敛问题。针对上述问题，提出了一种新的树备份算法TBQ（$σ$），它有效地将树备份算法和朴素Q（$λ$）结合起来。TBQ（$σ$）通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree}，实现了TB（$λ$）和Naive Q（$λ$）的有效整合以及它们之间的持续角色转换。从理论上分析了TB（$σ$）在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本（$σ$），并给出了收敛性证明。我们的经验表明，对于$ε$ -贪婪策略中的$ε\in(0,1]$，存在一定程度的利用$λ\in[0,1]$的痕迹，这可以提高离线强化学习的痕迹利用效率，从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习（RL）在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下，通常需要进行显著的超参数调优以实现良好的性能。此外，当使用非线性函数逼近时，状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题（即，单个代理在线学习而不维护训练样本的大数据库）。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法，专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制，然后在嘈杂的，非平稳的版本。最后，我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制，在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明，Metatrace的元步长参数易于设置，Metatrace可以加快学习速度，并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Double Q($σ$) and Q($σ, λ$): Unifying Reinforcement Learning Control Algorithms
时间差分学习是强化学习的一个重要研究领域。Sarsa和Q-Learning是最常用的TD算法。Q（$σ$）算法（Sutton和Barto（2017））将两者统一起来。本文利用资格迹将Q（$σ$）算法扩展为在线多步算法Q（$σ, λ$），并引入Double Q（$σ$）作为Q（$σ$）的双重学习扩展。实验表明，新的Q（$σ, λ$）算法性能优于经典的TD控制方法Sarsa（$λ$）、Q（$λ$）和Q（$σ$）.
2017-11-05 cs.AI cs.LG stat.ML
Selective Successor Eligibility Traces for RLVR
Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）
本文提出选区资格痕迹(S-trace)，通过稀疏资格痕迹机制减少方差，实现细粒度信用分配，实验显示其在Qwen3系列模型上表现优于GRPO，且具备更高的样本和令牌效率。
2026-10-14 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Revisiting Adam for Streaming Reinforcement Learning
本文研究了在线环境下传统更新方法的有效性，发现C51在流式强化学习中表现优异，基于此提出Adaptive Q(λ)算法，性能超越现有方法。
2026-05-07 cs.AI cs.LG
Adaptive and Multiple Time-scale Eligibility Traces for Online Deep Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
深度强化学习（DRL）是一种很有前途的方法来教机器人执行复杂的任务。由于直接重用存储的经验数据的方法不能跟踪环境的变化，在机器人问题与时变环境，在线DRL是必需的。资格迹方法是众所周知的在线学习技术，用于提高传统强化学习中的样本效率，使用线性回归而不是DRL。深度神经网络参数之间的依赖性会破坏资格痕迹，这就是它们没有与DRL集成的原因。虽然用最有影响力的梯度替换梯度而不是将梯度累积为资格迹线可以缓解这个问题，但是替换操作减少了先前经验的重用次数。为了解决这些问题，本研究提出了一种新的资格痕迹的方法，即使在日间行车灯，同时保持高样本效率。当累积梯度与使用最新参数计算的梯度不同时，所提出的方法考虑到过去和最新参数之间的发散，以自适应地衰减资格迹。由于过去和最新参数之间的发散的不可行的计算成本，利用由过去和最新参数计算的输出之间的Bregman发散。此外，首次设计了一种多时间尺度轨迹的广义方法。该设计允许替换最有影响力的自适应累积（衰减）资格迹线。
2022-01-04 cs.LG cs.RO
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力，提出门控Q学习框架，通过状态-动作依赖的门控机制替代重要性采样，实现平滑插值，提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Learning Precise Spike Timings with Eligibility Traces
University of Tübingen（蒂宾根大学）
最近在脉冲神经网络（SNN）领域的研究表明，SNN的递归变体，即长短期SNN（LSNN），可以通过误差梯度来训练，就像LSTM一样有效。底层学习方法（e-prop）是基于应用于泄漏积分和激发（LIF）神经元的资格迹的形式化。在这里，我们表明，所提出的方法不能完全展开尖峰时间依赖可塑性（STDP）。因此，这在原则上限制了SNN的固有优势，即开发依赖于精确相对尖峰定时的代码的潜力。我们表明，STDP感知的突触梯度自然出现在资格方程的e-prop时，推导出一个稍微复杂的尖峰神经元模型，在这里的例子的Izhikevich模型。我们还提出了一个简单的扩展LIF模型，提供类似的梯度。在一个简单的实验中，我们证明了STDP感知LIF神经元可以从基于e-prop的梯度信号中学习精确的尖峰定时。
2020-05-08 cs.LG cs.NE
A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Centro de Informática（信息中心）；Western Sydney University（西悉尼大学）；MARCS Institute（MARCS研究所）；International Centre for Neuromorphic Engineering（国际神经形态工程中心）
本文提出一种融合多层事件驱动聚类、TD误差调制和资格迹的脉冲神经网络架构，在无需外部记忆和全局梯度计算的情况下，于经典RL环境中稳定超越表格方法并逼近PPO性能。
2023-08-08 cs.AI cs.NE
From Past to Future: Rethinking Eligibility Traces
University of Massachusetts（马萨诸塞大学）；University of Alberta（阿尔伯塔大学）；Amazon（亚马逊）
本文提出双向价值函数，重新审视资格迹，以加速策略评估，并在某些挑战性场景下优于TD(λ)方法。
2023-12-20 cs.LG
Predecessor Features
University of California San Diego（加州大学圣地亚哥分校）
任何强化学习系统都必须能够识别哪些过去的事件对观察到的结果有贡献，这个问题被称为信用分配。这个问题的一个常见解决方案是使用资格跟踪将信用分配给最近加权的经历事件集。然而，在许多现实任务中，最近经历的事件集只是可能先于当前结果的许多可能行动事件之一。这表明，通过允许对任何可行的先前状态进行信用分配，而不仅仅是那些最近经历的状态，可以使强化学习更有效。因此，我们研究“前身”，完全自举版本的范哈瑟尔特的"预期跟踪“，一种算法，实现这种更丰富的形式的信用分配。通过保持一个表示，近似的预期总和的过去occupancy，该算法允许时间差（TD）的错误被准确地传播到一个更大的数量比传统的方法的前身状态，大大提高了学习速度。该算法还可以自然地从表格状态表示扩展到特征表示，从而在广泛的环境中提高性能。我们展示了Predecessor Features的几个用例，并将其性能与其他方法进行比较。
2022-07-25 cs.AI cs.LG
Efficient LSTM Training with Eligibility Traces
University of Tübingen（图宾根大学）
训练递归神经网络主要通过时间反向传播（BPTT）来实现。然而，从生物学和计算的角度来看，该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆（LSTM），监督和强化学习（RL）的任务。我们表明，e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展，提高性能的电子道具，这可以部分地应用到其他网络架构。在这些扩展的帮助下，我们表明，在某些条件下，电子道具可以优于BPTT的两个基准之一，监督学习。最后，我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Temporal Difference Updating without a Learning Rate
IDSIA（达勒·莫尔人工智能研究所）
我们从统计原理推导出一个时间差异学习的方程。具体来说，我们从变分原理开始，然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程，所谓的TD（lambda），然而它缺少指定学习率的参数alpha。在这个自由参数的地方，现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD（lambda），并发现它提供了优越的性能在各种设置。最后，我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此，我们将更新方程与Watkins的Q（lambda）和Sarsa（lambda）结合起来，发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Rate of Convergence and Error Bounds for LSTD($λ$)
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡大东部大区中心）
我们考虑LSTD（$λ$），Boyan（2002）提出的最小二乘时间差分算法和合格迹算法。它计算大型马尔可夫决策过程中固定策略的价值函数的线性近似。根据$β$混合假设，我们推导出，对于任何值的$λ\in (0,1)$，高概率估计的速度收敛到其极限。我们推导出该算法误差的高概率界，该界扩展（并略微改进）了Lazaric等人（2012）在$λ=0$ .特别是，我们的分析揭示了一些光的选择$λ$相对于所选择的线性空间的质量和样本的数量，符合模拟。
2014-05-13 cs.AI cs.LG math.OC
Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA（东北大学计算机科学学院）
本文提出了一种多步算子，用于表达轨迹感知和每决策方法，并通过理论分析为非策略强化学习提供了收敛保证，同时引入RBIS方法在不同λ值下实现稳健性能。
2025-12-21 cs.LG
AutoSynthesis: An agentic system for automated meta-analysis
Politecnico di Milano（米兰理工大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
研究旨在解决定量证据合成人工操作难扩展问题，提出自动合成这一端到端多智能体系统，能完成从制定策略到元分析等一系列任务，还支持相关分析与评估，应用效果显示其可使证据合成更具扩展性，助力循证决策。
2026-07-17 cs.AI
Multi-step Reinforcement Learning: A Unifying Algorithm
University of Alberta（阿尔伯塔大学）
统一看似不同的算法思想以产生性能更好的算法一直是强化学习的长期目标。作为一个主要的例子，TD（$λ$）通过使用资格迹和迹衰减参数$λ$，巧妙地将一步TD预测与蒙特卡罗方法统一起来。目前，有多种算法可用于执行TD控制，包括Sarsa、$Q$学习和预期Sarsa。这些方法通常在单步情况下进行研究，但它们可以扩展到多个时间步长以实现更好的性能。这些算法中的每一个似乎都是不同的，没有一个在所有问题上都优于其他算法。在本文中，我们研究了一个新的多步动作值算法称为$Q(σ)$，统一和推广这些现有的算法，同时将它们作为特殊情况。引入了一个新的参数$σ$，以允许在其备份期间的每一步由算法执行的采样程度连续变化，其中Sarsa存在于一个极端（全采样），而预期Sarsa存在于另一个极端（纯期望）。$Q(σ)$通常适用于策略学习和离策略学习，但在这项工作中，我们专注于策略情况下的实验。我们的研究结果表明，一个中间值的$σ$，这导致在现有的算法的混合物，表现优于任何极端。混合物也可以动态变化，这可以导致更好的性能。
2018-06-11 cs.AI cs.LG
Quantum machine learning with glow for episodic tasks and decision games
Institut für Theoretische Physik, Universität Innsbruck（因斯布鲁克大学理论物理研究所）
我们考虑一类通用的模型，其中强化学习（RL）代理通过经典信号从与外部环境的循环交互中学习。感知输入被编码为量子态，随后由代表智能体记忆的量子信道进行转换，而在信道输出处执行的测量结果决定智能体的动作。学习通过逐步修改信道特性来进行。它们由一个更新规则描述，该规则受到投影模拟（PS）模型的启发，并配备了一个辉光机制，该机制允许策略变化的反向传播，类似于RL中的资格跟踪和PS中的边缘辉光。通过这种方式，该模型将PS的特征与其作为量子系统的物理体现所提供的泛化能力相结合。我们将代理应用于入侵游戏和网格世界的各种设置，这些设置作为基本模型任务，可以与基本的经典PS代理进行直接比较。
2016-01-27 cs.AI cs.LG quant-ph
Cross-System Categorization of Abnormal Traces in Microservice-Based Systems via Meta-Learning
University of Helsinki（赫尔辛基大学）；University of Oulu（奥卢大学）；University of Antwerp（安特卫普大学）
提出TraFaultDia框架，利用元学习在少量标记样本下自动将微服务系统异常轨迹分类为故障类别，跨系统准确率达84.77%-92.19%，实现根因自动识别。
2025-02-25 cs.AI cs.LG cs.SE
IoT Network Behavioral Fingerprint Inference with Limited Network Trace for Cyber Investigation: A Meta Learning Approach
Home Team Science and Technology Agency, Singapore（新加坡家庭团队科技局）
物联网（IoT）设备的开发和采用将在未来几年显著增长，以实现工业4.0。许多形式的物联网设备将在垂直行业中开发和使用。然而，这种技术采用的欣快被网络威胁的庄严存在所掩盖，这些威胁将跟随其增长轨迹。网络威胁要么嵌入恶意代码，要么攻击物联网中的漏洞，这些漏洞可能会在网络和物理领域造成重大后果。为了管理这种破坏性影响，事件响应者和网络调查人员需要能够找到这些流氓物联网并快速遏制它们。这种在线设备可能只会留下网络活动痕迹。相关痕迹的集合可用于推断物联网的网络行为指纹，从而有助于调查发现这些物联网。然而，挑战在于如何在网络活动痕迹有限的情况下推断出这些指纹。这项研究提出了一种新的模型构造，该模型使用名为DeepNetPrint的单卡时间序列元学习器，基于有限的网络活动轨迹来学习推断特定物联网的网络行为指纹。我们的研究还展示了DeepNetPrint在识别物联网设备方面的应用，这些设备在领先的监督学习模型中表现相对较好。我们的解决方案将使网络调查人员能够识别感兴趣的特定物联网，同时克服物联网网络痕迹有限的限制。
2020-02-08 cs.CR cs.LG
Efficient Use of heuristics for accelerating XCS-based Policy Learning in Markov Games
National University of Defense Technology（国防科技大学）
在马尔可夫博弈中，与具有学习能力的非平稳对手进行博弈对于强化学习（RL）代理来说仍然是一个挑战，因为对手可以同时进化他们的策略。这增加了学习任务的复杂性，并减慢了RL代理的学习速度。本文提出了有效地使用粗糙算法，以加快策略学习时，对并发学习。具体而言，我们提出了一种算法，可以有效地学习可解释的和广义的动作选择规则，利用代表性的定量分析和对手模型与扩展分类系统（XCS）在零和马尔可夫游戏。利用神经网络对对手的行为进行建模，并推断出相应的策略，用于动作选择和规则进化。在多启发式策略的情况下，我们引入了帕累托最优的概念，为行动选择。此外，利用XCS的条件表示和匹配机制，启发式策略和对手模型可以为具有相似特征表示的情况提供指导。此外，我们引入了一个基于准确性的资格跟踪机制，以加快规则的进化，即，能够匹配历史痕迹的分类器根据其准确性被加强。我们证明了所提出的算法的优势，在足球和小偷和猎人的情况下，几个基准算法。
2020-05-26 cs.AI cs.GT cs.MA
Source Traces for Temporal Difference Learning
Georgia Institute of Technology（佐治亚理工学院）
本文激励和发展源轨迹的时间差异（TD）学习的表格设置。源跟踪类似于资格跟踪，但模型潜在的历史，而不是直接的。这使得TD错误被传播到潜在的因果状态，并导致更快的泛化。源跟踪可以被认为是后继表示（SR）的基于模型的向后视图，并且具有许多相同的优点。然而，这一观点提出了几个新的想法。首先，提出了一种TD（$λ$）类源学习算法，并证明了其收敛性。然后，一种新的算法学习源映射（或SR矩阵）的开发和性能优于以前的算法。最后，各种方法来使用的源/SR模型进行了探讨，它表明，源痕迹可以有效地结合其他基于模型的方法，如Dyna和经验重放。
2019-02-08 cs.AI cs.LG stat.ML
Truncating Temporal Differences: On the Efficient Implementation of TD(lambda) for Reinforcement Learning
时间差分（TD）方法构成了一类用于在多步预测问题中学习预测的方法，由新近因子λ参数化。目前，这些方法最重要的应用是强化学习中的时间信用分配。众所周知的强化学习算法，例如AHC或Q学习，可以被视为TD学习的实例。本文研究了TD（lambda）的有效和通用的实现任意lambda的问题，用于强化学习算法优化的折扣和奖励。传统的方法，资格的痕迹的基础上，被认为是遭受低效率和缺乏通用性。TTD（截断时间差异）过程被提出作为一种替代方案，它实际上只近似TD（lambda），但每个动作只需要很少的计算，并且可以与任意函数表示方法一起使用。它所源自的想法相当简单，并不新颖，但迄今为止可能尚未探索。令人鼓舞的实验结果，这表明，使用λ> 0与TTD程序允许一个获得显着的学习加速在基本上相同的成本作为通常的TD（0）学习。
1995-01-01 cs.AI
Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces
Northeastern University（东北大学）；Stanford University（斯坦福大学）
提出Shepherd，一个基于函数式编程的Python运行时基座，将代理执行作为一等对象，通过类似Git的执行迹支持元代理的检查、分叉和重放，在三个用例中显著提升性能。
2026-06-25 cs.AI cs.PL cs.SE
Q($λ$) with Off-Policy Corrections
VU Brussel（布鲁塞尔自由大学）；Google DeepMind（谷歌DeepMind）
我们提出并分析了一种替代方法，关闭政策的多步时间差学习，其中关闭政策的回报与当前Q函数的奖励，而不是与目标政策的转移概率。我们证明了这种近似修正是足够的政策评估和控制，提供一定的条件下，离政策收敛。这些条件将目标策略和行为策略之间的距离、资格跟踪参数和折扣因子联系起来，并在非策略TD（$λ$）中形式化了底层的权衡。我们说明了这种理论关系的经验上的连续状态控制任务。
2016-08-11 cs.AI cs.LG stat.ML
Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文提出轨迹传播（TP），一种结合资格迹与逐层对比损失的仅前向局部学习规则，无需辅助矩阵，在多个数据集上性能优异且内存高效，适用于边缘设备学习。
2025-10-17 cs.LG cs.NE
Distributed Value Function Approximation for Collaborative Multi-Agent Reinforcement Learning
在本文中，我们提出了几个新的分布式基于梯度的时间差算法的多智能体离策略学习的线性逼近的价值函数在严格的信息结构约束的马尔可夫决策过程，限制智能体通信到小的邻域。该算法包括：1）局部参数更新的基础上单代理关闭策略梯度时间差学习算法，包括资格跟踪与状态相关的参数，和2）线性随机时变共识计划，表示为有向图。所提出的算法不同的形式，定义的资格痕迹，选择的时间尺度和纳入共识迭代的方式。本文的主要贡献是基于基本Feller-Markov过程和随机时变一致性模型的一般性质的收敛性分析。我们证明，在一般的假设下，所提出的算法产生的参数估计弱收敛到相应的常微分方程（ODE）精确定义的不变集。它演示了如何通过的方法可以应用到时间差算法在较弱的信息结构约束。所提出的算法的方差减少效果证明了制定和分析的渐近随机微分方程。提供了通信网络设计的具体准则。仿真结果表明了算法的优越性。
2021-04-17 cs.DC cs.LG cs.SY
Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文提出记忆痕迹方法，用指数移动平均紧凑表示部分可观测环境中的长观测历史，并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University（哥伦比亚大学）
时间差分学习（TD）是一种简单的迭代算法，用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一，但其理论分析已被证明具有挑战性，并且很少有统计效率的保证。在这项工作中，我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解，我们的分析反映了分析随机梯度下降算法的标准技术，因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究，称为TD（$λ$），以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences（库里计算机科学学院）；Northeastern University（东北大学）
来自多步返回的离策略学习对于样本有效的强化学习至关重要，特别是在现在常用于深度神经网络的经验重放设置中。传统上，政策外估计偏差是以每决策的方式校正的：过去的时间差误差在每次行动后由瞬时重要性采样（IS）比率（通过资格跟踪）重新加权。许多重要的非策略算法，如树备份和回溯依赖于这种机制以及不同的协议，用于截断（“切割”）比率（“痕迹”），以抵消IS估计器的过度变化。不幸的是，在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割，这种效果以后就不能逆转，可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法，我们提出了一个多步算子，允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估，和最优控制时，目标贪婪的限制政策。我们的定理建立了许多现有的算法，包括截断IS，非马尔可夫回溯，历史依赖TD（$λ$）的第一个收敛保证。我们的理论研究结果也提供了指导的新算法，共同考虑多个过去的决策，更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning
Okinawa Inst. of Sci. and Tech.（冲绳科学技术大学院大学）
在强化学习（RL）的实际应用中，来自环境固有随机性的噪声是不可避免的。然而，目前的策略评估算法，这在许多RL算法中起着关键作用，要么是容易产生噪声或效率低下。为了解决这个问题，我们引入了一种新的策略评估算法，我们称之为间隙增加RetrAce策略评估（GRAPE）。它利用了两个最近的想法：（1）优势学习中的间隙增加值更新算子以实现噪声容忍;（2）Retrace算法中的离线资格跟踪以实现高效学习。我们提供了详细的理论分析的新算法，表明其效率和噪声的宽容继承的回溯和优势学习。此外，我们的分析表明，GRAPE的学习是显着有效的比一个简单的基于学习率的方法，同时保持相同的噪声容忍度。我们将GRAPE应用于控制问题，并获得了支持我们的理论分析的实验结果。
2019-06-18 cs.LG stat.ML
On Generalized Bellman Equations and Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）；Kindred Inc.（Kindred公司）
我们考虑折扣马尔可夫决策过程中的离线策略时间差（TD）学习，其目标是通过使用在不执行策略的情况下生成的状态过程的观察结果来以无模型的方式评估策略。为了解决偏离策略TD学习中的高方差问题，提出了一种基于广义Bellman方程的TD $λ$参数设置方法.我们的计划是设置$λ$根据TD计算的资格跟踪迭代，从而很容易保持这些痕迹在一个理想的有界范围。与已有的工作相比，该方案更加直接和灵活，并且允许更大的$λ$值用于有界迹的偏离策略TD学习。至于它的健全性，使用马尔可夫链理论，我们证明了遍历的联合状态跟踪过程在非限制性条件下，我们表明，与我们的计划是一个广义贝尔曼方程（用于评估的政策），这取决于双方的发展$λ$和唯一不变的概率测度的状态跟踪过程。这些结果不仅立即导致我们的计划基于最小二乘实现的收敛行为的表征，但也准备了基于梯度的实现的进一步分析的基础。
2018-09-27 cs.LG math.OC
Multi-Agent Fully Decentralized Value Function Learning with Linear Convergence Rates
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
这项工作开发了一个完全分散的多智能体算法的政策评估。所提出的方案可以应用于两个不同的场景。在第一种情况下，一组代理具有在同一环境的不同实例中遵循不同行为策略（不需要其中任何一个来探索完整的状态空间）收集的不同数据集，并且它们都协作以评估共同的目标策略。网络方法允许有效的探索状态空间，并允许所有代理收敛到最优解，即使在没有合作的情况下，代理也不能自己收敛。第二种情况是多智能体博弈，其中状态是全局的，奖励是局部的。在此方案中，代理协作估计目标组策略的价值函数。该算法结合了离策略学习、资格迹和线性函数逼近。所提出的算法是方差减少的类型，并实现线性收敛与$O(1)$内存的要求。分析了算法的线性收敛性，并通过仿真验证了算法的有效性。
2019-08-12 cs.DC cs.LG stat.ML
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
