Execution-Grounded Credit Assignment for GRPO in Code Generation
ICLR 2026 Workshop on Scaling Post-Training for LLMs (SPOT)（ICLR 2026 工作组：扩大训练后大语言模型（SPOT））
本文提出基于执行的信用分配方法EGCA，通过执行轨迹局部化GRPO更新，提升代码生成的单元测试通过率，实验表明在HumanEval和MBPP数据集上效果优于GRPO。
2026-03-17 cs.LG
Towards Causal Credit Assignment
本论文实证研究了后见信用分配方法，将其应用于基于环境因果结构的因子化状态表示，并提出一种有效利用因果结构的变体，大幅提升了效率并在多种任务中优于基线方法。
2023-05-17 cs.AI cs.LG
Hindsight Credit Assignment
DeepMind（深度思维）
研究了强化学习中的有效信用分配问题。为了有效和有意义地利用新数据，我们建议根据过去的决策导致观察到的结果的可能性，明确地将信贷分配给过去的决策。这种方法使用的是事后的新信息，而不是前瞻性的。有些令人惊讶的是，我们表明，价值函数可以通过这个镜头重写，产生一个新的家庭的算法。我们研究这些算法的属性，并通过一组说明性的任务，经验表明，他们成功地解决了重要的信用分配的挑战。
2019-12-05 cs.LG stat.ML
Hindsight Network Credit Assignment: Efficient Credit Assignment in Networks of Discrete Stochastic Units
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
用离散随机变量训练神经网络是一个独特的挑战。反向传播不能直接应用，也不能在具有连续随机变量的网络中使用重新参数化技巧。为了解决这个问题，我们提出了后见之明网络信用分配（HNCA），一种新的离散随机单元网络的梯度估计算法。HNCA的工作原理是，根据每个单元的输出对网络中直接子单元的影响程度，为每个单元分配信用。我们证明了HNCA产生无偏梯度估计与减少的方差相比，REINFORCE估计，而计算成本是类似的反向传播。我们首先应用HNCA在一个上下文的强盗设置，以优化奖励函数，是未知的代理。在这种情况下，我们通过经验证明HNCA的表现明显优于REINFORCE，这表明我们的理论分析所暗示的方差减少是显著和有影响的。然后，我们展示了如何HNCA可以扩展到优化一个更一般的功能的随机单元网络的输出，其中该功能是已知的代理。我们应用这个扩展版本的HNCA训练离散变分自动编码器和经验表明，它比其他强大的方法。我们相信，HNCA的基本思想可以帮助激发新的思维方式，有效的信用分配在随机计算图。
2021-12-16 cs.AI cs.LG
An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning
Stanford University（斯坦福大学）；University of Montreal（蒙特利尔大学）；Mila（米拉研究所）
我们如何将强化学习中的信用分配的挑战形式化？普通的直觉会引起人们对奖励稀疏性的注意，因为奖励稀疏性是导致信用分配困难的关键因素，而传统的经验主义会寻求时间近因的解决方案，并调用经典的资格跟踪。我们认为，这不是稀疏的奖励本身，造成困难的信用分配，而是\emph{information sparsity}。我们建议使用信息论来定义这个概念，然后我们使用它来表征时，信用分配是一个障碍，有效的学习。从这个角度来看，我们概述了几个信息理论的机制，在一个固定的行为政策下，衡量信用，突出的潜力，信息论作为一个关键的工具，证明有效的信用分配。
2021-03-10 cs.IT cs.LG math.IT
Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning
Nankai University（南开大学）；Peking University（北京大学）；Shanghai Waybot Technology Co., Ltd.（上海微步科技有限公司）；Wuhan University（武汉大学）
提出GACA，一种基于不确定性关键性代理的自适应粒度信用分配方法，在长程LLM智能体强化学习中优于GRPO和GiGPO。
2026-10-06 cs.LG
Selective Credit Assignment
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；DeepMind（深度思维）
有效的信用分配对于预测和控制环境中的强化学习算法是必不可少的。我们描述了一个统一的观点选择性信用分配的时间差算法。这些选择性算法应用权重来量化学习更新的贡献。我们提出了将权重应用于基于值的学习和规划算法的见解，并描述了它们在预测和控制中调解后向信用分布的作用。在这个空间内，我们确定了一些现有的在线学习算法，可以选择性地分配信贷作为特殊情况下，以及添加新的算法，分配信贷的时间向后反事实，允许信贷分配偏离轨道和关闭政策。
2022-02-20 cs.AI cs.LG stat.ML
Counterfactual Credit Assignment in Model-Free Reinforcement Learning
DeepMind；INRIA XPOP, CMAP, École Polytechnique（法国国家信息与自动化研究所 XPOP 团队、应用数学中心、巴黎综合理工学院）
强化学习中的信用分配是衡量行为对未来奖励的影响的问题。特别是，这需要将技能与运气分开，即将行为对奖励的影响与外部因素和后续行为的影响分开。为了实现这一点，我们将因果关系理论中的反事实概念应用于无模型RL设置。其核心思想是通过学习从轨迹中提取相关信息，以未来事件为条件来设定价值函数。我们制定了一个家庭的策略梯度算法，使用这些未来条件的价值函数作为基线或批评，并证明他们是可证明的低方差。为了避免潜在的偏见条件对未来的信息，我们限制事后的信息不包含有关代理的行动。我们证明了我们的算法的有效性和有效性的一些说明性和具有挑战性的问题。
2021-12-14 cs.LG
Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis
Google DeepMind（谷歌DeepMind）；Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Princeton Neuroscience Institute, Princeton University（普林斯顿大学普林斯顿神经科学研究所）；Department of Psychology, Princeton University（普林斯顿大学心理学系）
本文提出反事实贡献分析（COCOA）方法，通过量化动作对后续奖励的贡献改进长期信用分配，实验证明其相比HCA具有更低偏差和方差，为样本高效强化学习开辟新路径。
2023-10-31 cs.LG stat.ML
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta（阿尔伯塔大学）；Department of Computing Science（计算机科学系）
后见之明信用分配（HCA）是指最近提出的一系列方法，用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性，并以经验证明了它们的行为。我们延长这项工作，通过引入一个特定的HCA算法，可证明具有较低的方差比传统的蒙特卡罗估计时，必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
Explicit Credit Assignment through Local Rewards and Dependence Graphs in Multi-Agent Reinforcement Learning
Human-Machine Interaction Laboratory（人机交互实验室）
研究多智能体强化学习中促进合作的方法，结合全局奖励和局部奖励优点，利用智能体交互图更细粒度识别贡献，减轻局部奖励合作问题，实验表明该方法灵活且优于传统设置。
2026-07-07 cs.LG
TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
研究针对多轮智能体训练后的信用分配难题，提出TRACE方法，通过特定状态转换、对数概率获取及转换等步骤进行奖励分配。该方法无需额外训练，在长期复杂搜索任务中显著提升基础模型工具使用能力，在基准测试中表现良好且学习曲线更佳。
2026-07-16 cs.LG
GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Communication University of China（中国传媒大学）；Hangzhou Innovation Institute of Beihang University（北京航空航天大学杭州创新研究院）
针对长程LLM智能体的稀疏奖励信用分配问题，提出GraphHCA，通过贝叶斯规则和转移图上的折扣递归实现无模型后见信用分配，在ALFWorld、WebShop和Sokoban上取得最先进结果。
2026-09-29 cs.LG
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University（北卡罗来纳州立大学）
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习（RL），特别是深度RL，在即时奖励可用时工作良好，但当只有延迟奖励可用或奖励函数有噪声时，它可能会失败。在这项工作中，我们建议委托CAP到一个基于神经网络的算法命名为Infernet，明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估：一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务：GridWorld和现实生活中的败血症治疗任务。对于所有任务，使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较：有噪声奖励和无噪声奖励。总的来说，我们的研究结果表明，InferNet的有效性对噪声奖励函数是鲁棒的，并且是一种有效的附加机制，用于在广泛的RL任务中解决时间CAP，从经典的RL模拟环境到现实世界的RL问题，以及在线和离线学习。
2021-05-02 cs.LG
Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
针对智能体强化学习的奖励延迟稀疏问题，提出基于环境反馈的跨时间尺度信用分配方法EFCA，在ALFWorld和WebShop上提升了任务成功率与质量。
2026-08-11 cs.CL cs.LG
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex（俄罗斯搜索引擎公司（或：雅虎迪））；Samsung AI Center NYC（三星人工智能中心纽约分部）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））；National Research University Higher School of Economics（高等经济学院）
信用分配是强化学习中的一个基本问题，即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能，但到目前为止，对于一般用途仍然不切实际。最近，一个家庭的方法被称为后见之明信用分配（HCA）的建议，明确分配信用的行动在后见之明的基础上的概率的行动，导致观察到的结果。这种方法具有吸引人的特性，但仍然是一个主要的理论思想，适用于一组有限的表格RL任务。此外，目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中，我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性，这些局限性导致其性能不佳或完全缺乏训练，然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境（ALE）基准的定量和定性的影响，并观察到，它提高了性能优势演员-评论家（A2 C）在许多游戏中，非平凡的信用分配是必要的，以达到高分，事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
From Credit Assignment to Entropy Regularization: Two New Algorithms for Neural Sequence Prediction
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究了奖励增强最大似然（RAML）学习中的信用分配问题，建立了RAML的令牌级对应物与熵正则化强化学习之间的理论等价性.受这种联系的启发，我们提出了两种序列预测算法，一种是用细粒度信用分配扩展RAML，另一种是用系统熵正则化改进Actor-Critic。在两个基准数据集上，我们表明所提出的算法分别优于RAML和Actor-Critic，为序列预测提供了新的选择。
2018-04-29 cs.CL cs.LG stat.ML
Potential-based Credit Assignment for Cooperative RL-based Testing of Autonomous Vehicles
Fraunhofer IKS（弗劳恩霍夫认知系统研究所）；Technical University of Munich（慕尼黑工业大学）；fortiss GmbH（fortiss有限责任公司）
本文针对自动驾驶汽车测试中协作强化学习的信用分配难题，提出基于反事实分析的势能奖励塑形方法，并在模拟环境中验证其优于局部和全局奖励方法。
2023-05-28 cs.LG cs.SE
Counterfactual Shapley Credit Assignment
研究信用分配问题，提出基于因果理论的反事实沙普利信用分配框架，通过反事实沙普利值分配功劳责任，推导有效估计器实现$\phi$-PPO方法，结合优先轨迹重放，在复杂环境中有卓越样本效率，能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯A&M大学）；Prime Intellect；Morgan Stanley（摩根大通）
本文针对LLM智能体多轮推理的信用分配问题，提出适配三类奖励结构的GRPO与PPO算法，实验证实密集每轮奖励结构优于稀疏奖励，PPO在搜索任务上表现最优。
2026-08-24 cs.LG
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，强化学习在多智能体领域面临着一些挑战，例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行（CTDE）范式。然而，现有的价值函数分解方法不能处理ad-hoc合作，即，适应新的配置的队友在测试时。具体而言，这些方法没有明确地利用代理之间的关系，不能适应不同大小的输入。为了解决这些限制，我们提出了一种新的方法，称为感知信用分配（RACA），它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外，RACA利用了一个基于注意力的观察抽象机制，可以推广到任意数量的队友与固定数量的参数。实验表明，我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
Pinpointing crucial steps: Attribution-based Credit Assignment for Verifiable Reinforcement Learning
Institute of Artificial Intelligence（人工智能研究所）；Taikang Insurance Group Inc（泰康保险集团）
针对RLVR中探索与利用失衡导致的信用分配不准和熵崩溃问题，提出分阶段框架ACPO，通过动态调节策略熵和量化推理步骤层级贡献，显著提升了LLM推理性能。
2025-10-10 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research（谷歌研究院）
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景，RL中的迁移仍然是一个开放的，很少开发的研究领域。在本文中，我们对迁移采取了一个全新的观点：我们认为分配信用的能力揭示了任务中的结构不变量，这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET，这是一种新的RL迁移学习方法，它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键：它学习将信用分配为一个单独的离线监督过程，并专门修改奖励函数。因此，它可以通过不修改奖励函数的转移方法来补充，并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）；INFIFORCE Intelligent Technology（INFIFORCE智能技术）；Princeton University（普林斯顿大学）
本文提出占用奖励塑造方法，通过提取世界模型中的时间信息，改进稀疏奖励下的信用分配问题，在13种长周期运动和操作任务中提升了2.2倍性能。
2026-04-22 cs.LG cs.RO
On Credit Assignment in Hierarchical Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）
分层强化学习（HRL）长期以来一直致力于推进强化学习。然而，它仍然是一个相当大的挑战，开发实用的算法，表现出这些承诺。为了提高我们对HRL的基本理解，我们从传统的多步强化学习的角度研究了分层信用分配。我们展示了例如，一步“分级备份”可以被看作是传统的多步备份，其中$n$随着时间的推移跳过连接，将每个后续状态连接到第一状态，而与其间的动作无关。此外，我们发现，推广层次结构的多步回报估计方法，需要我们考虑如何划分环境跟踪，以构建备份路径。我们利用这些洞察力来开发一个新的分层算法Hier $Q_k(λ)$，我们证明了分层信用分配本身就可以提高代理性能（即，当消除概括或探索时）。总之，我们的工作产生了对分层备份的本质的基本见解，并将其作为强化学习研究的额外基础。
2022-03-07 cs.AI cs.LG
Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
提出GraphGPO方法，通过构建状态转移图并利用全局信息估计各状态到任务目标的距离，实现步骤级信用分配，提升训练效率和性能。
2026-06-01 cs.AI cs.LG
MACCA: Offline Multi-agent Reinforcement Learning with Causal Credit Assignment
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；University of Liverpool（利物浦大学）；University of California San Diego（加州大学圣地亚哥分校）
提出基于动态贝叶斯网络的因果信用分配框架MACCA，通过建模环境变量、状态、动作和奖励的因果关系，实现离线多智能体强化学习中准确且可解释的信用分配。
2026-06-01 cs.LG cs.MA
Credit Assignment Techniques in Stochastic Computation Graphs
DeepMind（深度思维）
随机计算图（SCG）提供了一种表示人工智能中出现的结构化优化问题的形式，包括监督，无监督和强化学习。以前的工作表明，SCG的预期损失的梯度的无偏估计可以从一个单一的原则。然而，该估计量通常具有较高的方差，并且需要对每个数据点进行完整的模型评估，这使得该算法在大型图中的成本很高。在这项工作中，我们解决这些问题，概括概念的强化学习文献。我们介绍的价值函数，基线和批评任意SCG的概念，并展示了如何使用它们来获得较低的方差梯度估计部分模型评估，铺平了道路，一般和有效的信用分配基于梯度的优化。在这样做的过程中，我们展示了我们的结果如何统一概率推理和强化学习文献的最新进展。
2019-01-07 cs.LG stat.ML
Adaptive Pairwise Weights for Temporal Credit Assignment
University of Michigan（密歇根大学）；University of Oxford（牛津大学）
在一个州采取的行动应该得到多少信用（或责备）来换取未来的奖励？这是强化学习（RL）中基本的时间信用分配问题。最早也是最广泛使用的一种算法是基于标量系数$λ$（被视为超参数）来分配信用，该系数被提升到状态动作和奖励之间的时间间隔的幂。在这篇实证论文中，我们探索了基于更一般的成对权重的奖励策略，这些权重是采取行动时的状态、奖励时的状态以及两者之间的时间间隔的函数。当然，这些成对权重函数应该是什么还不清楚，因为它们太复杂而不能被视为超参数，我们开发了一个元梯度过程，用于在策略的常规RL训练期间学习这些权重函数。我们的实证工作表明，它往往是可以学习这些成对的权重函数在学习的政策，以实现更好的性能比竞争的方法。
2022-06-06 cs.AI cs.LG
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；LinkedIn Corporation（领英公司）
SHARPO提出段级信用分配机制，通过师生对数概率差距改进GRPO优势，在ALFWorld和WebShop上超越现有基线。
2026-10-06 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University（斯坦福大学）
针对强化学习中稀疏奖励导致的信用分配难题，现有后见之明策略方法存在不稳定问题，本研究提出Hindsight-DICE，通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正，提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment
School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院）；XYZ AI Lab（XYZ AI实验室）
提出PBSD方法，通过贝叶斯校准的自蒸馏将稀疏最终奖励转化为细粒度步骤级信用信号，解决长程智能体任务中的信用分配问题，实验表明其提升领域内外性能并促进泛化。
2026-07-07 cs.CL cs.LG
A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文综述深度强化学习中的时序信用分配问题，提出统一形式化框架以公平比较现有算法，分析延迟效应、转置和动作影响缺失等挑战，并总结评估协议与未来研究方向。
2024-07-04 cs.AI cs.LG
VinePPO: Refining Credit Assignment in RL Training of LLMs
Mila（米拉研究所）；Microsoft Research（微软研究院）；McGill University（麦吉尔大学）
本文提出 VinePPO 方法，通过蒙特卡洛无偏估计改进大语言模型强化学习中的信用分配，在 MATH 和 GSM8K 上以更少时间超越 PPO 并提升泛化性能。
2025-06-03 cs.CL cs.LG
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；AI Initiative, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学人工智能计划）
本文提出 Chunked-TD 算法，通过学习到的世界模型对轨迹进行分块压缩，在必要时自举以平滑偏差-方差权衡，从而加速强化学习中的信用分配，且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
Reducing Credit Assignment Variance via Counterfactual Reasoning Paths
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
提出反事实比较框架，通过采样多条推理轨迹并利用差异隐式估计过程级优势，将稀疏终端奖励转化为步骤敏感信号，从而改进大语言模型多步推理的信用分配，并引入隐式行为策略优化（IBPO）提升训练稳定性和性能上限。
2026-05-23 cs.AI cs.CL cs.LG
Turnover-Orthogonal Credit Assignment for Open-Team Multi-Agent Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
针对开放团队中换员与动作信用混淆问题，提出TOCA价值分解方法，分离动作、换员及交互效应，通过置换不变评论家与反事实信用信号提升动态合作场景下的学习稳健性与回报。
2026-10-05 cs.LG cs.MA
Hindsight Credit Assignment for Long-Horizon LLM Agents
HCAPO通过整合回顾信用分配提升LLM智能体在长期任务中的探索效率和决策简洁性。
2026-03-07 cs.AI cs.LG
RTMC: Step-Level Credit Assignment via Rollout Trees
Alibaba Group（阿里巴巴集团）
RTMC通过展开树方法实现步骤级信用分配，无需学习型批评者，提升SWE-bench Verified任务的pass@1性能3.2个百分点。
2026-04-13 cs.AI cs.LG
Forethought and Hindsight in Credit Assignment
Mila（Mila（蒙特利尔学习算法研究所））；McGill University（麦吉尔大学）；DeepMind（DeepMind（深度思维））
我们解决了强化学习中的信用分配问题，并探索了有关代理如何最好地使用额外的计算来传播新信息的基本问题，通过规划世界的内部模型来改善其预测。特别是，我们的工作，以了解的收益和特殊性的规划作为前瞻性通过前瞻性模型或作为后见之明操作与落后的模型。我们建立了相对的优点，局限性和互补性的规划机制，在精心构建的场景。此外，我们研究了规划中模型的最佳使用，主要集中在选择预测应（重新）评估的状态。最后，我们讨论了模型估计的问题，并强调了一系列的方法，从明确的环境动态预测更抽象的规划感知模型。
2020-10-26 cs.AI cs.LG stat.ML
CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
针对基于评分标准的强化学习中结构化监督未被充分利用的问题，提出准则感知信用分配方法 CoCA，在医学和科学基准上实现平均 4.2% 的性能提升，提升了开放式任务的学习效果。
2026-10-14 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权（SPW）方案，通过从专家演示中搜索相似状态-动作对来分配信用，统一偏好与演示反馈，提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Beyond Uniform Credit: Causal Credit Assignment for Policy Optimization
Lexsi Labs（Lexsi实验室）
本文提出反事实重要性加权方法，通过因果信用分配提升语言模型推理性能，无需辅助模型或外部标注，实验验证其在GSM8K上的有效性。
2026-02-10 cs.AI cs.CL cs.LG
STAMP: Provenance-Guided Credit Assignment for Deep Search Agents
Baidu Inc.（百度公司）；Peking University（北京大学）
研究深度搜索智能体强化学习中奖励-信用不匹配问题，提出STAMP方法，通过基于参考的验证器和首次曝光归因确定信用，经符号保留优势调制注入信用，实验表明该方法能提升GRPO基线分数。
2026-07-14 cs.AI cs.LG
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney（悉尼大学）
我们提出了一个多智能体演员批评的方法，旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是，代理之间的信用分配可能不需要一个明确的制定，只要（1）来自一个集中的评论家的策略梯度携带足够的信息，分散的代理，以最大限度地提高其联合行动的价值，通过最佳的合作和（2）在整个训练过程中执行一个持续的探索水平。在CTDE范式下，通过将集中式评价器构造成一个超网络，使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中，实现了前者;为了实现后者，我们推导出一种称为自适应熵正则化的简单技术，其中熵梯度的大小根据当前政策随机性，以鼓励一致的勘探水平。我们的算法，被称为LICA，评估的几个基准，包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务，我们表明，LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功，包括围棋游戏和机器人应用。通常，这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而，在现实世界中，设计这样的奖励函数并不简单，并且唯一可用的信号通常是在轨迹的末端获得的，也称为情节奖励或返回。在这项工作中，我们引入了一个新的算法的时间信用分配，学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号，可以显著提高情景强化学习的学习效率。特别是，我们发现，表达语言模型，如Transformer可以用于学习的重要性和依赖性的状态的轨迹，从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验，一组MuJoCo连续机车控制任务，只有情节的回报，并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）；Independent Researcher（独立研究者）
提出SC-GRPO方法，利用自条件化分布间的KL散度作为GRPO梯度的乘性权重，实现细粒度信用分配，在数学、代码和智能体任务上平均提升8.1%。
2026-10-09 cs.AI cs.LG
ProMP: Proximal Meta-Policy Search
UC Berkeley（加州大学伯克利分校）；KIT（卡尔斯鲁厄理工学院）；Karlsruhe Inst. of Technology (KIT)（卡尔斯鲁厄理工学院）
Meta-强化学习（Meta-RL）中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上，我们开发了一种新的元学习算法，克服了不良信用分配和以前的困难，估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离，该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为，并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning
Tsinghua University（清华大学）
针对情景强化学习中稀疏奖励与信用归因难题，本文提出 LLM 赋能的符号决策框架 LaRe，通过可执行代码生成多维 Latent Reward 并自验证，提升单智能体与多智能体信用分配效果。
2025-01-09 cs.AI cs.LG
Stop Summation: Min-Form Credit Assignment Is All Process Reward Model Needs for Reasoning
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tencent（腾讯）；Faculty of Innovation Engineering, Macau University of Science and Technology（澳门科技大学创新工程学院）；DeSci Center of Parallel Intelligence, Obuda University（并行智能德Sci中心，奥布达大学）；Research Center for Chinese Economics and Social Security, University of Chinese Academy of Sciences（中国经济社会安全研究中心，中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）
本文提出PURE方法，通过最小形式信用分配替代求和形式，缓解过程奖励模型在推理任务中的奖励黑客问题，仅需30%步骤即达可验证奖励方法性能，并在Qwen2.5-Math-7B上实现最优微调。
2025-10-23 cs.AI cs.LG
Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning
Fudan University（复旦大学）；XingYun lab, HUJING Digital Media & Entertainment Group（星云实验室，HUJING数字媒体与娱乐集团）；University of Science and Technology Beijing（北京科技大学）；Chinese Academy of Sciences（中国科学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出结果锚定优势重塑（OAR），通过两种策略（OAR-P和OAR-G）实现细粒度信用分配，显著提升GRPO在数学推理中的性能。
2026-06-03 cs.CL cs.LG
PACT: From Credit Assignment to Critic Alignment
PACT提出token级信用分配的唯一性条件，并据此设计先演员后评论家的训练顺序，在数学推理和代码生成基准上显著超越GRPO、PPO等方法。
2026-09-23 cs.AI cs.LG
Structural Credit Assignment with Coordinated Exploration
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出利用玻尔兹曼机或循环网络实现协调探索，以改进结构化信用分配，实验证明其训练速度优于独立探索和STE反向传播。
2023-07-25 cs.AI cs.LG
