When Do Transformers Shine in RL? Decoupling Memory from Credit Assignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Princeton University（普林斯顿大学）
该研究通过可配置任务将RL中的记忆长度与信用分配长度解耦，实证发现Transformer能增强长期记忆但不能改善长期信用分配。
2023-11-03 cs.LG
The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment
National Engineering Research Center of Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；School of Computer Science, Peking University（北京大学计算机学院）；Key Laboratory of High Confidence Software Technologies, Ministry of Education（教育部高可信软件技术重点实验室）；GRG Banking Equipment Co., Ltd.（广电运通金融电子股份有限公司）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Peking University Information Technology Institute (Tianjin Binhai)（北京大学（天津滨海）信息技术研究院）
提出LCA框架，通过可学习信用分配解决结果监督过程奖励模型中的信用分配问题，在多个任务上优于现有方法。
2026-09-29 cs.LG
A Credit Assignment Compiler for Joint Prediction
University of Illinois（伊利诺伊大学）；University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Google（谷歌）
许多机器学习应用涉及联合预测多个相互依赖的输出变量。学习搜索是一系列方法，其中复杂的决策问题通过搜索空间转换为一系列决策。尽管这些方法在理论和实践上都显示出了希望，但实现它们却非常困难。在本文中，我们证明了搜索空间可以定义为一个任意的命令式程序，把学习搜索到一个信用分配编译器。结合对编译器算法的改进，我们从根本上降低了编程的复杂度和运行时间。我们证明了我们的方法在多个联合预测任务的可行性。在所有情况下，我们获得的准确性高达替代方法，在大大减少执行和编程时间。
2016-06-01 cs.LG
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO，揭示其输出奖励下所有token获得相同优势导致信用分配失败，证明梯度稀疏性并经验证梯度矩阵有效秩约为2，形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Hindsight Network Credit Assignment
University of Alberta（阿尔伯塔大学）
我们提出了后见之明网络信用分配（HNCA），随机神经网络的一种新的学习方法，它的工作原理是根据每个神经元的随机输出如何影响其直接孩子在网络中的输出分配信用。我们证明了HNCA提供无偏梯度估计，同时减少方差相比，REINFORCE估计。我们还通过实验证明了HNCA在MNIST的上下文强盗版本中优于REINFORCE。HNCA的计算复杂性与反向传播相似。我们相信，HNCA可以帮助激发新的思维方式的信用分配在随机计算图。
2020-11-24 cs.AI cs.LG
Execution-Grounded Credit Assignment for GRPO in Code Generation
ICLR 2026 Workshop on Scaling Post-Training for LLMs (SPOT)（ICLR 2026 工作组：扩大训练后大语言模型（SPOT））
本文提出基于执行的信用分配方法EGCA，通过执行轨迹局部化GRPO更新，提升代码生成的单元测试通过率，实验表明在HumanEval和MBPP数据集上效果优于GRPO。
2026-03-17 cs.LG
Towards Causal Credit Assignment
本论文实证研究了后见信用分配方法，将其应用于基于环境因果结构的因子化状态表示，并提出一种有效利用因果结构的变体，大幅提升了效率并在多种任务中优于基线方法。
2023-05-17 cs.AI cs.LG
Hindsight Credit Assignment
DeepMind（深度思维）
研究了强化学习中的有效信用分配问题。为了有效和有意义地利用新数据，我们建议根据过去的决策导致观察到的结果的可能性，明确地将信贷分配给过去的决策。这种方法使用的是事后的新信息，而不是前瞻性的。有些令人惊讶的是，我们表明，价值函数可以通过这个镜头重写，产生一个新的家庭的算法。我们研究这些算法的属性，并通过一组说明性的任务，经验表明，他们成功地解决了重要的信用分配的挑战。
2019-12-05 cs.LG stat.ML
Hindsight Network Credit Assignment: Efficient Credit Assignment in Networks of Discrete Stochastic Units
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
用离散随机变量训练神经网络是一个独特的挑战。反向传播不能直接应用，也不能在具有连续随机变量的网络中使用重新参数化技巧。为了解决这个问题，我们提出了后见之明网络信用分配（HNCA），一种新的离散随机单元网络的梯度估计算法。HNCA的工作原理是，根据每个单元的输出对网络中直接子单元的影响程度，为每个单元分配信用。我们证明了HNCA产生无偏梯度估计与减少的方差相比，REINFORCE估计，而计算成本是类似的反向传播。我们首先应用HNCA在一个上下文的强盗设置，以优化奖励函数，是未知的代理。在这种情况下，我们通过经验证明HNCA的表现明显优于REINFORCE，这表明我们的理论分析所暗示的方差减少是显著和有影响的。然后，我们展示了如何HNCA可以扩展到优化一个更一般的功能的随机单元网络的输出，其中该功能是已知的代理。我们应用这个扩展版本的HNCA训练离散变分自动编码器和经验表明，它比其他强大的方法。我们相信，HNCA的基本思想可以帮助激发新的思维方式，有效的信用分配在随机计算图。
2021-12-16 cs.AI cs.LG
An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning
Stanford University（斯坦福大学）；University of Montreal（蒙特利尔大学）；Mila（米拉研究所）
我们如何将强化学习中的信用分配的挑战形式化？普通的直觉会引起人们对奖励稀疏性的注意，因为奖励稀疏性是导致信用分配困难的关键因素，而传统的经验主义会寻求时间近因的解决方案，并调用经典的资格跟踪。我们认为，这不是稀疏的奖励本身，造成困难的信用分配，而是\emph{information sparsity}。我们建议使用信息论来定义这个概念，然后我们使用它来表征时，信用分配是一个障碍，有效的学习。从这个角度来看，我们概述了几个信息理论的机制，在一个固定的行为政策下，衡量信用，突出的潜力，信息论作为一个关键的工具，证明有效的信用分配。
2021-03-10 cs.IT cs.LG math.IT
Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning
Nankai University（南开大学）；Peking University（北京大学）；Shanghai Waybot Technology Co., Ltd.（上海微步科技有限公司）；Wuhan University（武汉大学）
提出GACA，一种基于不确定性关键性代理的自适应粒度信用分配方法，在长程LLM智能体强化学习中优于GRPO和GiGPO。
2026-10-06 cs.LG
Selective Credit Assignment
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；DeepMind（深度思维）
有效的信用分配对于预测和控制环境中的强化学习算法是必不可少的。我们描述了一个统一的观点选择性信用分配的时间差算法。这些选择性算法应用权重来量化学习更新的贡献。我们提出了将权重应用于基于值的学习和规划算法的见解，并描述了它们在预测和控制中调解后向信用分布的作用。在这个空间内，我们确定了一些现有的在线学习算法，可以选择性地分配信贷作为特殊情况下，以及添加新的算法，分配信贷的时间向后反事实，允许信贷分配偏离轨道和关闭政策。
2022-02-20 cs.AI cs.LG stat.ML
Generative Query Suggestion via Intent Coverage and Query-Level Credit Assignment
Peking University（北京大学）；Qwen Business Unit of Alibaba（阿里巴巴通义千问事业部）；National University of Singapore（新加坡国立大学）；Pengcheng National Laboratory（鹏城国家实验室）
针对生成式查询建议中意图覆盖与查询质量平衡的挑战，提出意图驱动框架，通过双阶段优化（意图感知多样性建模与查询级信用分配）提升点击率、查询质量和意图覆盖。
2026-09-18 cs.LG
Counterfactual Credit Assignment in Model-Free Reinforcement Learning
DeepMind；INRIA XPOP, CMAP, École Polytechnique（法国国家信息与自动化研究所 XPOP 团队、应用数学中心、巴黎综合理工学院）
强化学习中的信用分配是衡量行为对未来奖励的影响的问题。特别是，这需要将技能与运气分开，即将行为对奖励的影响与外部因素和后续行为的影响分开。为了实现这一点，我们将因果关系理论中的反事实概念应用于无模型RL设置。其核心思想是通过学习从轨迹中提取相关信息，以未来事件为条件来设定价值函数。我们制定了一个家庭的策略梯度算法，使用这些未来条件的价值函数作为基线或批评，并证明他们是可证明的低方差。为了避免潜在的偏见条件对未来的信息，我们限制事后的信息不包含有关代理的行动。我们证明了我们的算法的有效性和有效性的一些说明性和具有挑战性的问题。
2021-12-14 cs.LG
Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis
Google DeepMind（谷歌DeepMind）；Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Princeton Neuroscience Institute, Princeton University（普林斯顿大学普林斯顿神经科学研究所）；Department of Psychology, Princeton University（普林斯顿大学心理学系）
本文提出反事实贡献分析（COCOA）方法，通过量化动作对后续奖励的贡献改进长期信用分配，实验证明其相比HCA具有更低偏差和方差，为样本高效强化学习开辟新路径。
2023-10-31 cs.LG stat.ML
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta（阿尔伯塔大学）；Department of Computing Science（计算机科学系）
后见之明信用分配（HCA）是指最近提出的一系列方法，用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性，并以经验证明了它们的行为。我们延长这项工作，通过引入一个特定的HCA算法，可证明具有较低的方差比传统的蒙特卡罗估计时，必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
Explicit Credit Assignment through Local Rewards and Dependence Graphs in Multi-Agent Reinforcement Learning
Human-Machine Interaction Laboratory（人机交互实验室）
研究多智能体强化学习中促进合作的方法，结合全局奖励和局部奖励优点，利用智能体交互图更细粒度识别贡献，减轻局部奖励合作问题，实验表明该方法灵活且优于传统设置。
2026-07-07 cs.LG
TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
研究针对多轮智能体训练后的信用分配难题，提出TRACE方法，通过特定状态转换、对数概率获取及转换等步骤进行奖励分配。该方法无需额外训练，在长期复杂搜索任务中显著提升基础模型工具使用能力，在基准测试中表现良好且学习曲线更佳。
2026-07-16 cs.LG
GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Communication University of China（中国传媒大学）；Hangzhou Innovation Institute of Beihang University（北京航空航天大学杭州创新研究院）
针对长程LLM智能体的稀疏奖励信用分配问题，提出GraphHCA，通过贝叶斯规则和转移图上的折扣递归实现无模型后见信用分配，在ALFWorld、WebShop和Sokoban上取得最先进结果。
2026-09-29 cs.LG
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University（北卡罗来纳州立大学）
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习（RL），特别是深度RL，在即时奖励可用时工作良好，但当只有延迟奖励可用或奖励函数有噪声时，它可能会失败。在这项工作中，我们建议委托CAP到一个基于神经网络的算法命名为Infernet，明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估：一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务：GridWorld和现实生活中的败血症治疗任务。对于所有任务，使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较：有噪声奖励和无噪声奖励。总的来说，我们的研究结果表明，InferNet的有效性对噪声奖励函数是鲁棒的，并且是一种有效的附加机制，用于在广泛的RL任务中解决时间CAP，从经典的RL模拟环境到现实世界的RL问题，以及在线和离线学习。
2021-05-02 cs.LG
Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
针对智能体强化学习的奖励延迟稀疏问题，提出基于环境反馈的跨时间尺度信用分配方法EFCA，在ALFWorld和WebShop上提升了任务成功率与质量。
2026-08-11 cs.CL cs.LG
Credit Assignment in Neural Networks through Deep Feedback Control
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
深度学习的成功引发了人们的兴趣，即大脑是否通过使用类似的技术来学习，这些技术为每个突触权重分配信用，以反映其对网络输出的贡献。然而，目前大多数生物学上合理的学习方法要么是非本地的时间，需要高度特定的连接动机，或没有明确的链接到任何已知的数学优化方法。在这里，我们介绍深度反馈控制（DFC），这是一种新的学习方法，它使用反馈控制器来驱动深度神经网络以匹配期望的输出目标，并且其控制信号可用于信用分配。由此产生的学习规则在空间和时间上是完全本地的，并且近似于高斯-牛顿优化，用于广泛的反馈连接模式。为了进一步强调其生物学的兼容性，我们涉及DFC的多室模型的皮质锥体神经元与当地的电压依赖性突触可塑性规则，与最近的理论一致的树突状处理。通过将动力系统理论与数学优化理论相结合，我们为DFC提供了强大的理论基础，并与玩具实验和标准计算机视觉基准测试的详细结果相证实。
2022-01-17 cs.LG
Synthetic Returns for Long-Term Credit Assignment
DeepMind（深度思考公司）
自强化学习的早期以来，随着时间的推移为动作分配信用的主力方法一直是时间差（TD）学习，它逐时间步向后传播信用。当行动和奖励之间的延迟很长，并且当干预的不相关事件对长期回报产生差异时，这种方法就会受到影响。我们提出了状态关联（SA）学习，其中代理学习状态和任意遥远的未来奖励之间的关联，然后直接在两者之间传播信用。在这项工作中，我们使用SA学习来模拟过去状态对当前奖励的贡献。通过这个模型，我们可以预测每个州对未来的贡献，我们称之为“综合回报”。然后，TD学习可以应用于选择最大化这些合成回报（SR）的行动。我们证明了增强代理的有效性与SR在一系列的TD学习单独失败的任务。我们表明，学习SR是可解释的：他们尖峰状态发生后，采取关键行动。最后，我们展示了我们基于IMPALA的SR代理解决Atari Skiing -一个具有漫长奖励延迟的游戏，这对深度RL代理构成了主要障碍-比已发布的最新技术快25倍。
2021-02-24 cs.LG
VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents
University of Science and Technology of China（中国科学技术大学）；Zhongguancun Academy（中关村学院）；Shandong University（山东大学）；Tsinghua University（清华大学）；Southeast University（东南大学）
VETTA通过共享轻量级评论家的独立头联合学习回合级和令牌级信用，结合优势与令牌残差进行PPO更新，在ALFWorld和WebShop上显著提升成功率并降低计算成本。
2026-10-26 cs.LG
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex（俄罗斯搜索引擎公司（或：雅虎迪））；Samsung AI Center NYC（三星人工智能中心纽约分部）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））；National Research University Higher School of Economics（高等经济学院）
信用分配是强化学习中的一个基本问题，即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能，但到目前为止，对于一般用途仍然不切实际。最近，一个家庭的方法被称为后见之明信用分配（HCA）的建议，明确分配信用的行动在后见之明的基础上的概率的行动，导致观察到的结果。这种方法具有吸引人的特性，但仍然是一个主要的理论思想，适用于一组有限的表格RL任务。此外，目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中，我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性，这些局限性导致其性能不佳或完全缺乏训练，然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境（ALE）基准的定量和定性的影响，并观察到，它提高了性能优势演员-评论家（A2 C）在许多游戏中，非平凡的信用分配是必要的，以达到高分，事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
From Credit Assignment to Entropy Regularization: Two New Algorithms for Neural Sequence Prediction
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究了奖励增强最大似然（RAML）学习中的信用分配问题，建立了RAML的令牌级对应物与熵正则化强化学习之间的理论等价性.受这种联系的启发，我们提出了两种序列预测算法，一种是用细粒度信用分配扩展RAML，另一种是用系统熵正则化改进Actor-Critic。在两个基准数据集上，我们表明所提出的算法分别优于RAML和Actor-Critic，为序列预测提供了新的选择。
2018-04-29 cs.CL cs.LG stat.ML
Cross-View Correspondence Is a Measurement Intervention: Two-Sided Validation for Agent Evaluation and Credit Assignment
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
该研究指出跨视图对应是测量干预，开发含双面验证等的有效性理论，发现对应分歧会影响智能体评估，需声明验证跨视图对应以支持可靠结论。
2026-08-19 cs.LG
Potential-based Credit Assignment for Cooperative RL-based Testing of Autonomous Vehicles
Fraunhofer IKS（弗劳恩霍夫认知系统研究所）；Technical University of Munich（慕尼黑工业大学）；fortiss GmbH（fortiss有限责任公司）
本文针对自动驾驶汽车测试中协作强化学习的信用分配难题，提出基于反事实分析的势能奖励塑形方法，并在模拟环境中验证其优于局部和全局奖励方法。
2023-05-28 cs.LG cs.SE
Counterfactual Shapley Credit Assignment
研究信用分配问题，提出基于因果理论的反事实沙普利信用分配框架，通过反事实沙普利值分配功劳责任，推导有效估计器实现$\phi$-PPO方法，结合优先轨迹重放，在复杂环境中有卓越样本效率，能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks
Victoria University of Wellington（惠灵顿维多利亚大学）；ETH Zurich（苏黎世联邦理工学院）
误差反向传播算法是人工神经网络中一种非常有效的信用分配算法。然而，Backprop下的权重更新依赖于冗长的递归计算，需要单独的输出和错误消息-生物神经元不共享的功能，可能是不必要的。在本文中，我们重新Backprop和信用分配问题。我们首先分解Backprop到一个相互作用的学习算法的集合，提供这些子算法的性能上的遗憾界限，并分解Backprop的错误信号。利用这些结果，我们推导出一个新的信用分配算法的非参数回归，Kickback，这是显着比Backprop简单。最后，我们提供了一个充分的条件Kickback遵循误差梯度，并显示Kickback匹配Backprop的性能在现实世界的回归基准。
2014-11-23 cs.LG cs.NE q-bio.NC
Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯A&M大学）；Prime Intellect；Morgan Stanley（摩根大通）
本文针对LLM智能体多轮推理的信用分配问题，提出适配三类奖励结构的GRPO与PPO算法，实验证实密集每轮奖励结构优于稀疏奖励，PPO在搜索任务上表现最优。
2026-08-24 cs.LG
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，强化学习在多智能体领域面临着一些挑战，例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行（CTDE）范式。然而，现有的价值函数分解方法不能处理ad-hoc合作，即，适应新的配置的队友在测试时。具体而言，这些方法没有明确地利用代理之间的关系，不能适应不同大小的输入。为了解决这些限制，我们提出了一种新的方法，称为感知信用分配（RACA），它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外，RACA利用了一个基于注意力的观察抽象机制，可以推广到任意数量的队友与固定数量的参数。实验表明，我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
In-Context Credit Assignment via the Core
UC Berkeley（伯克利大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google Research（谷歌研究）
本文提出了一种激励对齐的上下文内信用分配机制，基于合作博弈理论中的核心解概念，通过算法近似核心解来稳定分配价值，实验显示其在网页检索任务中效率显著高于其他方法。
2026-09-29 cs.AI cs.GT cs.LG
Pinpointing crucial steps: Attribution-based Credit Assignment for Verifiable Reinforcement Learning
Institute of Artificial Intelligence（人工智能研究所）；Taikang Insurance Group Inc（泰康保险集团）
针对RLVR中探索与利用失衡导致的信用分配不准和熵崩溃问题，提出分阶段框架ACPO，通过动态调节策略熵和量化推理步骤层级贡献，显著提升了LLM推理性能。
2025-10-10 cs.AI cs.LG
Learning distant cause and effect using only local and immediate credit assignment
Cerenaut
我们提出了一种递归神经网络存储器，它使用稀疏编码来创建顺序输入的组合编码。使用几个例子，我们表明，该网络可以关联遥远的原因和影响在一个离散的随机过程，预测部分可观察的高阶序列，并使DQN代理导航迷宫通过给它的记忆。该网络仅使用生物学上合理的、本地的和即时的信用分配。内存需求通常比现有的LSTM、GRU和自回归前馈序列学习模型小一个数量级。记忆最大的局限性是对未知输入序列的泛化。我们通过测量Penn Treebank数据集上的下一个词预测困惑度来探索这种限制。
2021-08-18 cs.LG stat.ML
Intrinsic Credit Assignment for Long Horizon Interaction
Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本文提出ΔBelief-RL，通过内在ΔBelief奖励实现长期交互中的信用分配，提升强化学习在不确定性环境下的性能。
2026-02-12 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research（谷歌研究院）
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景，RL中的迁移仍然是一个开放的，很少开发的研究领域。在本文中，我们对迁移采取了一个全新的观点：我们认为分配信用的能力揭示了任务中的结构不变量，这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET，这是一种新的RL迁移学习方法，它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键：它学习将信用分配为一个单独的离线监督过程，并专门修改奖励函数。因此，它可以通过不修改奖励函数的转移方法来补充，并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）；INFIFORCE Intelligent Technology（INFIFORCE智能技术）；Princeton University（普林斯顿大学）
本文提出占用奖励塑造方法，通过提取世界模型中的时间信息，改进稀疏奖励下的信用分配问题，在13种长周期运动和操作任务中提升了2.2倍性能。
2026-04-22 cs.LG cs.RO
On Credit Assignment in Hierarchical Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）
分层强化学习（HRL）长期以来一直致力于推进强化学习。然而，它仍然是一个相当大的挑战，开发实用的算法，表现出这些承诺。为了提高我们对HRL的基本理解，我们从传统的多步强化学习的角度研究了分层信用分配。我们展示了例如，一步“分级备份”可以被看作是传统的多步备份，其中$n$随着时间的推移跳过连接，将每个后续状态连接到第一状态，而与其间的动作无关。此外，我们发现，推广层次结构的多步回报估计方法，需要我们考虑如何划分环境跟踪，以构建备份路径。我们利用这些洞察力来开发一个新的分层算法Hier $Q_k(λ)$，我们证明了分层信用分配本身就可以提高代理性能（即，当消除概括或探索时）。总之，我们的工作产生了对分层备份的本质的基本见解，并将其作为强化学习研究的额外基础。
2022-03-07 cs.AI cs.LG
Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
提出GraphGPO方法，通过构建状态转移图并利用全局信息估计各状态到任务目标的距离，实现步骤级信用分配，提升训练效率和性能。
2026-06-01 cs.AI cs.LG
MACCA: Offline Multi-agent Reinforcement Learning with Causal Credit Assignment
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；University of Liverpool（利物浦大学）；University of California San Diego（加州大学圣地亚哥分校）
提出基于动态贝叶斯网络的因果信用分配框架MACCA，通过建模环境变量、状态、动作和奖励的因果关系，实现离线多智能体强化学习中准确且可解释的信用分配。
2026-06-01 cs.LG cs.MA
Credit Assignment Techniques in Stochastic Computation Graphs
DeepMind（深度思维）
随机计算图（SCG）提供了一种表示人工智能中出现的结构化优化问题的形式，包括监督，无监督和强化学习。以前的工作表明，SCG的预期损失的梯度的无偏估计可以从一个单一的原则。然而，该估计量通常具有较高的方差，并且需要对每个数据点进行完整的模型评估，这使得该算法在大型图中的成本很高。在这项工作中，我们解决这些问题，概括概念的强化学习文献。我们介绍的价值函数，基线和批评任意SCG的概念，并展示了如何使用它们来获得较低的方差梯度估计部分模型评估，铺平了道路，一般和有效的信用分配基于梯度的优化。在这样做的过程中，我们展示了我们的结果如何统一概率推理和强化学习文献的最新进展。
2019-01-07 cs.LG stat.ML
Adaptive Pairwise Weights for Temporal Credit Assignment
University of Michigan（密歇根大学）；University of Oxford（牛津大学）
在一个州采取的行动应该得到多少信用（或责备）来换取未来的奖励？这是强化学习（RL）中基本的时间信用分配问题。最早也是最广泛使用的一种算法是基于标量系数$λ$（被视为超参数）来分配信用，该系数被提升到状态动作和奖励之间的时间间隔的幂。在这篇实证论文中，我们探索了基于更一般的成对权重的奖励策略，这些权重是采取行动时的状态、奖励时的状态以及两者之间的时间间隔的函数。当然，这些成对权重函数应该是什么还不清楚，因为它们太复杂而不能被视为超参数，我们开发了一个元梯度过程，用于在策略的常规RL训练期间学习这些权重函数。我们的实证工作表明，它往往是可以学习这些成对的权重函数在学习的政策，以实现更好的性能比竞争的方法。
2022-06-06 cs.AI cs.LG
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则，用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Gradient-adjusted Incremental Target Propagation Provides Effective Credit Assignment in Deep Neural Networks
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
人工智能领域的许多最新进展都是由非常成功的误差反向传播（BP）算法推动的，该算法有效地解决了人工神经网络中的信用分配问题。然而，BP不太可能以其通常的形式在生物神经网络中实现，因为它在传播误差梯度时依赖于非局部信息。由于生物神经网络能够进行高效学习，并且来自BP训练模型的响应可以与神经响应相关，因此BP的生物学可行近似是大脑中突触可塑性的基础似乎是合理的。最近，直接从BP中推导出了顺应性调整的增量目标传播（GAIT-prop或简称GP），并已被证明可以以更生物合理的方式成功地训练网络。然而，到目前为止，GP只被证明可以解决相对低维的问题，例如手写数字识别。这项工作解决了GP中的一些缩放问题，并表明它可以在更深的网络和更具挑战性的ImageNet数据集上执行有效的多层信用分配。
2023-01-23 cs.AI cs.LG
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；LinkedIn Corporation（领英公司）
SHARPO提出段级信用分配机制，通过师生对数概率差距改进GRPO优势，在ALFWorld和WebShop上超越现有基线。
2026-10-06 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University（斯坦福大学）
针对强化学习中稀疏奖励导致的信用分配难题，现有后见之明策略方法存在不稳定问题，本研究提出Hindsight-DICE，通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正，提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
Credit Assignment via Neural Manifold Noise Correlation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Department of Neurobiology, Harvard Medical School（哈佛医学院神经生物学系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究所在）
本研究提出神经流形噪声相关性方法，通过限制扰动到神经流形上提升信用分配性能，改进了传统噪声相关性在卷积网络和递归网络中的表现，并揭示了生物视觉系统更接近NMNC的表示特性。
2026-01-06 cs.AI cs.LG q-bio.NC
PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment
School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院）；XYZ AI Lab（XYZ AI实验室）
提出PBSD方法，通过贝叶斯校准的自蒸馏将稀疏最终奖励转化为细粒度步骤级信用信号，解决长程智能体任务中的信用分配问题，实验表明其提升领域内外性能并促进泛化。
2026-07-07 cs.CL cs.LG
A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文综述深度强化学习中的时序信用分配问题，提出统一形式化框架以公平比较现有算法，分析延迟效应、转置和动作影响缺失等挑战，并总结评估协议与未来研究方向。
2024-07-04 cs.AI cs.LG
VinePPO: Refining Credit Assignment in RL Training of LLMs
Mila（米拉研究所）；Microsoft Research（微软研究院）；McGill University（麦吉尔大学）
本文提出 VinePPO 方法，通过蒙特卡洛无偏估计改进大语言模型强化学习中的信用分配，在 MATH 和 GSM8K 上以更少时间超越 PPO 并提升泛化性能。
2025-06-03 cs.CL cs.LG
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；AI Initiative, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学人工智能计划）
本文提出 Chunked-TD 算法，通过学习到的世界模型对轨迹进行分块压缩，在必要时自举以平滑偏差-方差权衡，从而加速强化学习中的信用分配，且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
Reducing Credit Assignment Variance via Counterfactual Reasoning Paths
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
提出反事实比较框架，通过采样多条推理轨迹并利用差异隐式估计过程级优势，将稀疏终端奖励转化为步骤敏感信号，从而改进大语言模型多步推理的信用分配，并引入隐式行为策略优化（IBPO）提升训练稳定性和性能上限。
2026-05-23 cs.AI cs.CL cs.LG
