Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford（牛津大学）
本文提出Soft Q(λ)，一种基于效用追踪的离策略方法，通过引入新的Soft Tree Backup操作符，扩展了软Q学习的多步框架，实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
META-Learning State-based Eligibility Traces for More Sample-Efficient Policy Evaluation
Mila（米拉研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）
时间差分（TD）学习是一种标准的、非常成功的强化学习方法，是学习给定策略值的算法以及学习如何改进策略的算法的核心。具有资格跟踪的TD学习提供了一种通过时间信用分配来提高样本效率的方法，即，决定奖励的哪一部分应该被分配给在不同的先前时间发生的前驱状态，由参数$λ$控制。但是，调整此参数可能很耗时，不调整它可能会导致学习效率低下。为了提高TD学习的样本效率，我们提出了一种元学习方法，用于以状态相关的方式调整资格跟踪参数。该自适应是在辅助学习器的帮助下实现的，辅助学习器在线学习关于更新目标的分布信息，每步产生与通常的值学习器大致相同的计算复杂性。我们的方法可以用于在政策和离策略学习。我们证明，在一些假设下，该方法提高了更新目标的整体质量，通过最小化整体目标误差。该方法可以被看作是一个插件，通过基于元学习特征（观察）的$λ$在线辅助函数逼近预测，甚至在控制情况下辅助策略改进。我们的实证评估表明显着的性能改进，以及改进的鲁棒性所提出的算法的学习率变化。
2020-05-16 cs.AI cs.LG
Eligibility Propagation to Speed up Time Hopping for Reinforcement Learning
Tokyo Institute of Technology（东京工业大学）
提出了一种称为资格传播的机制，以加快用于更快的强化学习在模拟中的跳时技术。资格传播为跳时提供了与资格跟踪为传统强化学习提供的能力类似的能力。它使用状态转换图将值从一个状态传播到其所有时间前任。在一个模拟的爬行机器人上的实验证实，资格传播加速学习过程超过3倍。
2009-04-03 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Gradient Eligibility Traces
本文扩展广义投影贝尔曼误差目标以支持基于λ-回报的多步信用分配，提出三种梯度方法，在MuJoCo和MinAtar环境中分别超越PPO和StreamQ。
2025-09-18 cs.AI cs.LG stat.ML
Enhanced-FQL($λ$), an Efficient and Interpretable RL with novel Fuzzy Eligibility Traces and Segmented Experience Replay
Dipartimento di Elettronica, informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系（DEIB））
本文提出了一种基于模糊Q学习的强化学习框架Enhanced-FQL($λ$)，结合了新颖的模糊资格追踪(FET)和分段经验回放(SER)，以提升连续控制的样本效率和稳定性。
2026-04-13 cs.AI cs.LG cs.RO
Off-policy Learning with Eligibility Traces: A Survey
Supélec（高等电力学院）；INRIA Lorraine（洛林法国国家信息与自动化研究所）
在马尔可夫决策过程的框架中，离策略学习，即从某个可能由其他策略生成的轨迹中学习某个固定策略的价值函数的线性近似的问题。我们简要回顾了同策略学习算法的文献（基于梯度和最小二乘），采用统一的算法视图。然后，我们强调了一个系统的方法，使他们适应离策略学习资格痕迹。这导致了一些已知的算法--脱离策略的LSTD（λ）、LSPE（λ）、TD（λ）、TDC/GQ（λ）--并提出了新的扩展--脱离策略的FPKF（λ）、BRM（λ）、gBRM（λ）、GTD 2（λ）。我们描述了一个全面的算法推导的所有算法的递归和内存效率的形式，讨论他们已知的收敛性，并说明他们的石榴石问题的相对经验行为。我们的实验表明，最标准的算法和非策略LSTD（λ）/LSPE（λ）-和TD（λ），如果特征空间维度对于最小二乘方法来说太大-表现最好。
2013-04-15 cs.AI cs.RO
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Efficient LSTM Training with Eligibility Traces
University of Tübingen（图宾根大学）
训练递归神经网络主要通过时间反向传播（BPTT）来实现。然而，从生物学和计算的角度来看，该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆（LSTM），监督和强化学习（RL）的任务。我们表明，e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展，提高性能的电子道具，这可以部分地应用到其他网络架构。在这些扩展的帮助下，我们表明，在某些条件下，电子道具可以优于BPTT的两个基准之一，监督学习。最后，我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA（东北大学计算机科学学院）
本文提出了一种多步算子，用于表达轨迹感知和每决策方法，并通过理论分析为非策略强化学习提供了收敛保证，同时引入RBIS方法在不同λ值下实现稳健性能。
2025-12-21 cs.LG
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
由于目标策略和行为策略之间的差异，具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异，例如重要性抽样和树备份。然而，现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下，这对于控制问题是无效的。当采取非贪婪动作时，迹线立即被切断，这可能会失去资格迹线的优势并减慢学习过程。或者，一些非概率测量方法，如通用Q（$λ$）和朴素Q（$λ$）从不切割迹线，但在实践中面临收敛问题。针对上述问题，提出了一种新的树备份算法TBQ（$σ$），它有效地将树备份算法和朴素Q（$λ$）结合起来。TBQ（$σ$）通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree}，实现了TB（$λ$）和Naive Q（$λ$）的有效整合以及它们之间的持续角色转换。从理论上分析了TB（$σ$）在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本（$σ$），并给出了收敛性证明。我们的经验表明，对于$ε$ -贪婪策略中的$ε\in(0,1]$，存在一定程度的利用$λ\in[0,1]$的痕迹，这可以提高离线强化学习的痕迹利用效率，从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Revisiting Adam for Streaming Reinforcement Learning
本文研究了在线环境下传统更新方法的有效性，发现C51在流式强化学习中表现优异，基于此提出Adaptive Q(λ)算法，性能超越现有方法。
2026-05-07 cs.AI cs.LG
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力，提出门控Q学习框架，通过状态-动作依赖的门控机制替代重要性采样，实现平滑插值，提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文提出记忆痕迹方法，用指数移动平均紧凑表示部分可观测环境中的长观测历史，并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
Learning Precise Spike Timings with Eligibility Traces
University of Tübingen（蒂宾根大学）
最近在脉冲神经网络（SNN）领域的研究表明，SNN的递归变体，即长短期SNN（LSNN），可以通过误差梯度来训练，就像LSTM一样有效。底层学习方法（e-prop）是基于应用于泄漏积分和激发（LIF）神经元的资格迹的形式化。在这里，我们表明，所提出的方法不能完全展开尖峰时间依赖可塑性（STDP）。因此，这在原则上限制了SNN的固有优势，即开发依赖于精确相对尖峰定时的代码的潜力。我们表明，STDP感知的突触梯度自然出现在资格方程的e-prop时，推导出一个稍微复杂的尖峰神经元模型，在这里的例子的Izhikevich模型。我们还提出了一个简单的扩展LIF模型，提供类似的梯度。在一个简单的实验中，我们证明了STDP感知LIF神经元可以从基于e-prop的梯度信号中学习精确的尖峰定时。
2020-05-08 cs.LG cs.NE
A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Centro de Informática（信息中心）；Western Sydney University（西悉尼大学）；MARCS Institute（MARCS研究所）；International Centre for Neuromorphic Engineering（国际神经形态工程中心）
本文提出一种融合多层事件驱动聚类、TD误差调制和资格迹的脉冲神经网络架构，在无需外部记忆和全局梯度计算的情况下，于经典RL环境中稳定超越表格方法并逼近PPO性能。
2023-08-08 cs.AI cs.NE
From Past to Future: Rethinking Eligibility Traces
University of Massachusetts（马萨诸塞大学）；University of Alberta（阿尔伯塔大学）；Amazon（亚马逊）
本文提出双向价值函数，重新审视资格迹，以加速策略评估，并在某些挑战性场景下优于TD(λ)方法。
2023-12-20 cs.LG
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University（浙江大学）
全采样（例如，Q学习）和纯期望（例如，期望Sarsa）算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而，它仅限于表格的情况下，对于大规模的学习，Q $(σ,λ)$太昂贵，需要大量的表来准确地存储价值函数。为了解决上述问题，我们提出了一个GQ $(σ,λ)$，它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明，全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
Predecessor Features
University of California San Diego（加州大学圣地亚哥分校）
任何强化学习系统都必须能够识别哪些过去的事件对观察到的结果有贡献，这个问题被称为信用分配。这个问题的一个常见解决方案是使用资格跟踪将信用分配给最近加权的经历事件集。然而，在许多现实任务中，最近经历的事件集只是可能先于当前结果的许多可能行动事件之一。这表明，通过允许对任何可行的先前状态进行信用分配，而不仅仅是那些最近经历的状态，可以使强化学习更有效。因此，我们研究“前身”，完全自举版本的范哈瑟尔特的"预期跟踪“，一种算法，实现这种更丰富的形式的信用分配。通过保持一个表示，近似的预期总和的过去occupancy，该算法允许时间差（TD）的错误被准确地传播到一个更大的数量比传统的方法的前身状态，大大提高了学习速度。该算法还可以自然地从表格状态表示扩展到特征表示，从而在广泛的环境中提高性能。我们展示了Predecessor Features的几个用例，并将其性能与其他方法进行比较。
2022-07-25 cs.AI cs.LG
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences（库里计算机科学学院）；Northeastern University（东北大学）
来自多步返回的离策略学习对于样本有效的强化学习至关重要，特别是在现在常用于深度神经网络的经验重放设置中。传统上，政策外估计偏差是以每决策的方式校正的：过去的时间差误差在每次行动后由瞬时重要性采样（IS）比率（通过资格跟踪）重新加权。许多重要的非策略算法，如树备份和回溯依赖于这种机制以及不同的协议，用于截断（“切割”）比率（“痕迹”），以抵消IS估计器的过度变化。不幸的是，在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割，这种效果以后就不能逆转，可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法，我们提出了一个多步算子，允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估，和最优控制时，目标贪婪的限制政策。我们的定理建立了许多现有的算法，包括截断IS，非马尔可夫回溯，历史依赖TD（$λ$）的第一个收敛保证。我们的理论研究结果也提供了指导的新算法，共同考虑多个过去的决策，更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning
Okinawa Inst. of Sci. and Tech.（冲绳科学技术大学院大学）
在强化学习（RL）的实际应用中，来自环境固有随机性的噪声是不可避免的。然而，目前的策略评估算法，这在许多RL算法中起着关键作用，要么是容易产生噪声或效率低下。为了解决这个问题，我们引入了一种新的策略评估算法，我们称之为间隙增加RetrAce策略评估（GRAPE）。它利用了两个最近的想法：（1）优势学习中的间隙增加值更新算子以实现噪声容忍;（2）Retrace算法中的离线资格跟踪以实现高效学习。我们提供了详细的理论分析的新算法，表明其效率和噪声的宽容继承的回溯和优势学习。此外，我们的分析表明，GRAPE的学习是显着有效的比一个简单的基于学习率的方法，同时保持相同的噪声容忍度。我们将GRAPE应用于控制问题，并获得了支持我们的理论分析的实验结果。
2019-06-18 cs.LG stat.ML
On Generalized Bellman Equations and Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）；Kindred Inc.（Kindred公司）
我们考虑折扣马尔可夫决策过程中的离线策略时间差（TD）学习，其目标是通过使用在不执行策略的情况下生成的状态过程的观察结果来以无模型的方式评估策略。为了解决偏离策略TD学习中的高方差问题，提出了一种基于广义Bellman方程的TD $λ$参数设置方法.我们的计划是设置$λ$根据TD计算的资格跟踪迭代，从而很容易保持这些痕迹在一个理想的有界范围。与已有的工作相比，该方案更加直接和灵活，并且允许更大的$λ$值用于有界迹的偏离策略TD学习。至于它的健全性，使用马尔可夫链理论，我们证明了遍历的联合状态跟踪过程在非限制性条件下，我们表明，与我们的计划是一个广义贝尔曼方程（用于评估的政策），这取决于双方的发展$λ$和唯一不变的概率测度的状态跟踪过程。这些结果不仅立即导致我们的计划基于最小二乘实现的收敛行为的表征，但也准备了基于梯度的实现的进一步分析的基础。
2018-09-27 cs.LG math.OC
Learning Expected Emphatic Traces for Deep RL
DeepMind（深度思维）；University of Oxford（牛津大学）；McGill University（麦吉尔大学）
非策略采样和经验回放是提高样本效率和扩展无模型时间差分学习方法的关键。当与函数逼近（如神经网络）结合时，这种组合被称为致命的三位一体，并且可能不稳定。最近，它已被证明，在规模上的稳定性和良好的性能，可以通过组合的几何权重和多步更新。然而，这种方法通常限于对完整轨迹进行采样，以便计算所需的轨迹加权。在本文中，我们研究如何结合非顺序，离线数据从重放缓冲区采样的随机加权。我们开发了一个多步的可与重放相结合的学习加权，以及一个时间反演的$n$步TD学习算法来学习所需的学习加权。我们表明，这些状态权重减少方差与以前的方法相比，同时提供收敛保证。我们在Atari 2600视频游戏上大规模测试了该方法，并观察到新的X-ETD（$n$）代理比基线代理有所改进，突出了我们方法的可扩展性和广泛适用性。
2021-07-12 cs.LG stat.ML
Multi-step Reinforcement Learning: A Unifying Algorithm
University of Alberta（阿尔伯塔大学）
统一看似不同的算法思想以产生性能更好的算法一直是强化学习的长期目标。作为一个主要的例子，TD（$λ$）通过使用资格迹和迹衰减参数$λ$，巧妙地将一步TD预测与蒙特卡罗方法统一起来。目前，有多种算法可用于执行TD控制，包括Sarsa、$Q$学习和预期Sarsa。这些方法通常在单步情况下进行研究，但它们可以扩展到多个时间步长以实现更好的性能。这些算法中的每一个似乎都是不同的，没有一个在所有问题上都优于其他算法。在本文中，我们研究了一个新的多步动作值算法称为$Q(σ)$，统一和推广这些现有的算法，同时将它们作为特殊情况。引入了一个新的参数$σ$，以允许在其备份期间的每一步由算法执行的采样程度连续变化，其中Sarsa存在于一个极端（全采样），而预期Sarsa存在于另一个极端（纯期望）。$Q(σ)$通常适用于策略学习和离策略学习，但在这项工作中，我们专注于策略情况下的实验。我们的研究结果表明，一个中间值的$σ$，这导致在现有的算法的混合物，表现优于任何极端。混合物也可以动态变化，这可以导致更好的性能。
2018-06-11 cs.AI cs.LG
An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning
Stanford University（斯坦福大学）；University of Montreal（蒙特利尔大学）；Mila（米拉研究所）
我们如何将强化学习中的信用分配的挑战形式化？普通的直觉会引起人们对奖励稀疏性的注意，因为奖励稀疏性是导致信用分配困难的关键因素，而传统的经验主义会寻求时间近因的解决方案，并调用经典的资格跟踪。我们认为，这不是稀疏的奖励本身，造成困难的信用分配，而是\emph{information sparsity}。我们建议使用信息论来定义这个概念，然后我们使用它来表征时，信用分配是一个障碍，有效的学习。从这个角度来看，我们概述了几个信息理论的机制，在一个固定的行为政策下，衡量信用，突出的潜力，信息论作为一个关键的工具，证明有效的信用分配。
2021-03-10 cs.IT cs.LG math.IT
Quantum machine learning with glow for episodic tasks and decision games
Institut für Theoretische Physik, Universität Innsbruck（因斯布鲁克大学理论物理研究所）
我们考虑一类通用的模型，其中强化学习（RL）代理通过经典信号从与外部环境的循环交互中学习。感知输入被编码为量子态，随后由代表智能体记忆的量子信道进行转换，而在信道输出处执行的测量结果决定智能体的动作。学习通过逐步修改信道特性来进行。它们由一个更新规则描述，该规则受到投影模拟（PS）模型的启发，并配备了一个辉光机制，该机制允许策略变化的反向传播，类似于RL中的资格跟踪和PS中的边缘辉光。通过这种方式，该模型将PS的特征与其作为量子系统的物理体现所提供的泛化能力相结合。我们将代理应用于入侵游戏和网格世界的各种设置，这些设置作为基本模型任务，可以与基本的经典PS代理进行直接比较。
2016-01-27 cs.AI cs.LG quant-ph
Efficient Use of heuristics for accelerating XCS-based Policy Learning in Markov Games
National University of Defense Technology（国防科技大学）
在马尔可夫博弈中，与具有学习能力的非平稳对手进行博弈对于强化学习（RL）代理来说仍然是一个挑战，因为对手可以同时进化他们的策略。这增加了学习任务的复杂性，并减慢了RL代理的学习速度。本文提出了有效地使用粗糙算法，以加快策略学习时，对并发学习。具体而言，我们提出了一种算法，可以有效地学习可解释的和广义的动作选择规则，利用代表性的定量分析和对手模型与扩展分类系统（XCS）在零和马尔可夫游戏。利用神经网络对对手的行为进行建模，并推断出相应的策略，用于动作选择和规则进化。在多启发式策略的情况下，我们引入了帕累托最优的概念，为行动选择。此外，利用XCS的条件表示和匹配机制，启发式策略和对手模型可以为具有相似特征表示的情况提供指导。此外，我们引入了一个基于准确性的资格跟踪机制，以加快规则的进化，即，能够匹配历史痕迹的分类器根据其准确性被加强。我们证明了所提出的算法的优势，在足球和小偷和猎人的情况下，几个基准算法。
2020-05-26 cs.AI cs.GT cs.MA
Noise-based reward-modulated learning
本文提出基于噪声的奖励调节学习，通过生物启发式方法实现节能且适应性强的神经形态AI，展示了其在多层网络中的优越性能和可扩展性。
2026-01-26 cs.AI cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
rl-triton: High-Performance Triton GPU Kernels for Reinforcement Learning Credit Assignment
该研究推出开源库rl-triton，用Triton实现统一关联扫描框架，将7种RL估计算法统一为一阶线性递推，在大规模并行模拟中实现1.6至5.7倍的速度提升。
2026-08-20 cs.DC cs.LG cs.PF
Self-Evidencing Through Hierarchical Gradient Decomposition: A Dissipative System That Maintains Non-Equilibrium Steady-State by Minimizing Variational Free Energy
提出分层梯度分解框架，以反馈对齐、资格迹和 TFM 实现精确局部信用分配，验证 FEP 可由生物可信规则落地并产生抗干扰、自修复等能力。
2025-10-20 cs.AI cs.LG cs.NE
When Agent Automation Becomes Profitable: Quantifying and Insuring Autonomous AI Risk through Trace-Economic Underwriting
The Chinese University of Hong Kong（香港中文大学）；University of Science and Technology of China（中国科学技术大学）
提出痕迹经济核保方法，通过量化客户-任务-痕迹片段级别的风险并转移至保险，使自主AI部署在经济上可接受，实验显示定价误差从$17.7K降至$569，风险降低72%。
2026-08-12 cs.AI cs.CE
GRPO-$λ$: Credit Assignment improves LLM Reasoning
Noah’s Ark Lab, Huawei Technologies Ltd.（华为技术有限公司诺亚实验室）；Chandar Research Lab（昌达研究实验室）；Mila – Quebec AI Institute（魁北克AI研究院）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal Canada（蒙特利尔理工学院加拿大）；CIFAR AI Chair（CIFAR人工智能主席）
针对现有GRPO方法缺乏细粒度信用分配的问题，提出GRPO-$λ$扩展方法，通过资格迹重构与无评价器时序差分误差近似提升LLM推理能力，在多数据集与模型架构上均取得显著性能提升。
2025-09-30 cs.AI cs.LG
