In-Context Credit Assignment via the Core
UC Berkeley（伯克利大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google Research（谷歌研究）
本文提出了一种激励对齐的上下文内信用分配机制，基于合作博弈理论中的核心解概念，通过算法近似核心解来稳定分配价值，实验显示其在网页检索任务中效率显著高于其他方法。
2026-09-29 cs.AI cs.GT cs.LG
Shapley Counterfactual Credits for Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
集中训练与分散执行（CTDE）是协作多智能体强化学习（MARL）环境中的一种流行范式，并在许多实际应用中得到广泛应用。训练过程中的一个主要挑战是信用分配，其目的是根据全局奖励来推断每个代理的贡献。现有的信用分配方法集中于将联合价值函数分解为单个价值函数或测量局部观测和动作对全局价值函数的影响。这些方法缺乏对多个代理之间复杂交互的全面考虑，导致不适当的信用分配，从而导致MARL结果平庸。我们提出了Shapley反事实信用分配，一种新的方法，明确的信用分配占联盟的代理。具体而言，Shapley值及其所需属性在深度MARL中被利用来对任何代理组合进行信贷，这使我们能够估计每个代理的个人信贷。尽管有这种能力，主要的技术困难在于Shapley值的计算复杂性，Shapley值随着代理的数量而因子地增长。相反，我们利用近似方法通过蒙特卡罗采样，这降低了样本的复杂性，同时保持其有效性。我们评估我们的方法在星际争霸II基准在不同的情况下。我们的方法优于现有的合作MARL算法显着，达到了最先进的，特别是大利润率的任务，更严重的困难。
2022-01-23 cs.AI cs.MA
Multiagent Model-based Credit Assignment for Continuous Control
University of Oxford（牛津大学）
深度强化学习（RL）最近在机器人连续控制任务中显示出巨大的前景。尽管如此，在这方面的先前研究集中在集中式学习设置上，这在很大程度上依赖于机器人所有组件之间的通信可用性。然而，由于延迟要求、有限的功率预算和安全问题，现实世界中的代理通常以分散的方式运行，而没有通信。通过制定机器人组件作为一个系统的分散代理，这项工作提出了一个分散的多智能体强化学习框架的连续控制。为此，我们首先开发了一个合作的多智能体PPO框架，允许在训练过程中进行集中优化，在执行过程中进行分散操作。然而，该系统只接收不属于每个代理的全局奖励信号。为了解决这个问题，我们进一步提出了一个通用的博弈论信用分配框架，计算代理特定的奖励信号。最后，我们还将基于模型的RL模块纳入我们的信用分配框架，这导致样本效率显着提高。我们证明了我们的框架对Mujoco运动控制任务的实验结果的有效性。有关演示视频，请访问：https://youtu.be/gFyVPm4svEY。
2021-12-27 cs.AI cs.RO
QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning?
QLLM提出了一种利用大语言模型构建无训练信用分配函数的新框架，解决了传统混合网络训练成本高、可解释性差的问题，实验表明其在多个MARL基准上表现优异。
2026-03-15 cs.AI cs.MA
Unifying Temporal and Structural Credit Assignment in LLM-Based Multi-Agent Prompt Optimization
Tongji University（同济大学）；The University of Hong Kong（香港大学）
提出通过时间信用（状态空间瓶颈识别关键轮次）和结构信用（固定角色策略隔离智能体贡献）分解误差信号，并利用离散言语化块坐标下降算法迭代优化角色提示和聚合协议，降低查询复杂度并提升性能。
2026-05-28 cs.AI cs.MA
Cooperative Game-Theoretic Credit Assignment for Multi-Agent Policy Gradients via the Core
Key Laboratory of Intelligence, Games and Information Processing in Shaanxi Province（陕西省智能信息处理重点实验室）；Unmanned System Research Institute（无人系统研究院）；Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）；Information Science Academy（信息科学学院）；China Electronics Technology Group Corporation（中国电子科技集团有限公司）
本文提出CORA方法，通过核心分配机制解决多智能体策略梯度中的信用分配问题，提升联盟策略的协调优化能力。
2026-03-10 cs.AI cs.GT cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Challenges in Credit Assignment for Multi-Agent Reinforcement Learning in Open Agent Systems
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
本文研究了开放多智能体强化学习中的信用分配问题，通过概念分析与实证研究揭示了智能体和任务的动态开放性会破坏传统假设，导致信用错误归因和性能显著下降。
2025-10-31 cs.AI cs.LG cs.MA
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research（Adobe研究）
COSAC提出一种无批评者策略梯度方法，通过单个岭回归分解团队奖励，计算每个代理的反事实优势，实现低方差和可控的信用分配，适用于顺序合作团队。
2026-05-09 cs.AI cs.LG cs.MA
Market Regime Council for Dynamic Credit Assignment in Multi-Agent LLM Decision Systems
University of Bristol, UK（布里斯托大学）
提出市场制度委员会（MRC），一种基于Shapley值进行在线智能体加权、贝叶斯自适应混合和制度依赖乘数的多智能体决策系统，在加密货币投资中实现高夏普比率和累计收益。
2026-05-23 cs.AI cs.LG q-fin.PM
Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中，我们解决这个信用分配问题的方法，我们称之为\textit{partial reward decoupling}（PRD），它试图将大型合作多代理RL问题分解为解耦的子问题，涉及代理的子集，从而简化信用分配。我们的经验表明，使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计，提高数据效率，学习稳定性，并在广泛的多代理RL任务的渐近性能，相比其他各种演员-评论家的方法。此外，我们将我们的方法与反事实的多代理策略梯度（COMA），一个国家的最先进的MARL算法，并实证表明，我们的方法优于COMA更好地利用代理的奖励流中的信息，并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Latent Thought Credit: Multi-Answer Credit Assignment for Latent Reasoning
该研究针对潜推理的信用分配难题，提出LTC分层框架，结合多答案估计与GRPO在线策略训练，在数学推理等任务上取得最优平均准确率，可降低奖励估计误差并缓解思维级信用问题。
2026-08-04 cs.AI
Teach the Magnitude, Not the Direction: Verifier-Anchored Credit Assignment for Multi-Turn Multi-Step LLM Agents
Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；Westlake University（西湖大学）；Nanjing University（南京大学）
该研究提出CrEST分层信用分配框架，保留RL的验证器约束上限并结合自我教师的密集token级信号，在BFCL V3和WildToolBench上优于基线，可简化教师在策略优化中的作用。
2026-10-19 cs.AI
Credit Assignment with Resets in Language Model Reasoning
Meta AI；Columbia University（哥伦比亚大学）；Meta Superintelligence Labs（Meta超智能实验室）；Tel Aviv University（特拉维夫大学）
提出随机重置策略优化（RRPO）和自重置策略优化（SRPO）两种方法，通过重置到中间状态并重新采样反事实延续来改进语言模型多步推理中的信用分配，SRPO在多个推理基准上优于标准GRPO和RRPO。
2026-05-26 cs.AI
Hindsight Network Credit Assignment
University of Alberta（阿尔伯塔大学）
我们提出了后见之明网络信用分配（HNCA），随机神经网络的一种新的学习方法，它的工作原理是根据每个神经元的随机输出如何影响其直接孩子在网络中的输出分配信用。我们证明了HNCA提供无偏梯度估计，同时减少方差相比，REINFORCE估计。我们还通过实验证明了HNCA在MNIST的上下文强盗版本中优于REINFORCE。HNCA的计算复杂性与反向传播相似。我们相信，HNCA可以帮助激发新的思维方式的信用分配在随机计算图。
2020-11-24 cs.AI cs.LG
Towards Causal Credit Assignment
本论文实证研究了后见信用分配方法，将其应用于基于环境因果结构的因子化状态表示，并提出一种有效利用因果结构的变体，大幅提升了效率并在多种任务中优于基线方法。
2023-05-17 cs.AI cs.LG
Hindsight Network Credit Assignment: Efficient Credit Assignment in Networks of Discrete Stochastic Units
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
用离散随机变量训练神经网络是一个独特的挑战。反向传播不能直接应用，也不能在具有连续随机变量的网络中使用重新参数化技巧。为了解决这个问题，我们提出了后见之明网络信用分配（HNCA），一种新的离散随机单元网络的梯度估计算法。HNCA的工作原理是，根据每个单元的输出对网络中直接子单元的影响程度，为每个单元分配信用。我们证明了HNCA产生无偏梯度估计与减少的方差相比，REINFORCE估计，而计算成本是类似的反向传播。我们首先应用HNCA在一个上下文的强盗设置，以优化奖励函数，是未知的代理。在这种情况下，我们通过经验证明HNCA的表现明显优于REINFORCE，这表明我们的理论分析所暗示的方差减少是显著和有影响的。然后，我们展示了如何HNCA可以扩展到优化一个更一般的功能的随机单元网络的输出，其中该功能是已知的代理。我们应用这个扩展版本的HNCA训练离散变分自动编码器和经验表明，它比其他强大的方法。我们相信，HNCA的基本思想可以帮助激发新的思维方式，有效的信用分配在随机计算图。
2021-12-16 cs.AI cs.LG
S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Computer Science and Artificial Intelligence, Zhengzhou University（郑州大学计算机科学与人工智能学院）
研究基于偏好奖励模型的RLHF训练不稳定问题，提出分层信用分配的粒度感知原则，引入S2T-RLHF框架，先在句子间分配奖励，再在句内细化，无需重新训练模型，实验证明该方法提高了训练稳定性和鲁棒性。
2026-07-22 cs.AI
Equal-information evaluation of credit assignment in modular financial reinforcement learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本研究针对模块化金融强化学习中信用分配难以评估的问题，提出结合等信息重构控制等的评估框架，经实验识别出三类评估失败，贡献了可复用的信用分配评估方法论。
2026-10-14 cs.AI
TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents
针对长 horizon LLM 智能体稀疏最终结果优化导致的细粒度信用分配难题，提出无需学习评估器或成功锚点的 TRCA，在多基准上取得显著性能提升。
2026-10-23 cs.AI
Selective Credit Assignment
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；DeepMind（深度思维）
有效的信用分配对于预测和控制环境中的强化学习算法是必不可少的。我们描述了一个统一的观点选择性信用分配的时间差算法。这些选择性算法应用权重来量化学习更新的贡献。我们提出了将权重应用于基于值的学习和规划算法的见解，并描述了它们在预测和控制中调解后向信用分布的作用。在这个空间内，我们确定了一些现有的在线学习算法，可以选择性地分配信贷作为特殊情况下，以及添加新的算法，分配信贷的时间向后反事实，允许信贷分配偏离轨道和关闭政策。
2022-02-20 cs.AI cs.LG stat.ML
Credit Assignment in Adaptive Evolutionary Algorithms
本文提出了一种新的分配信用的搜索算子的方法。从优化搜索偏差的原则开始，搜索算子的选择是基于创建与未来世代历史相关的解决方案的能力。使用一种新的框架，用于定义性能测量，分配信用的性能，和统计解释的信用，一种新的自适应方法的开发和表现出优于各种自适应和非自适应的竞争对手。
2009-07-03 cs.AI cs.NE
Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents
本研究针对大语言模型智能体长视域训练的信用分配问题，提出Gated-BEPO方法，通过经验rollout图推导步骤级信用并结合置信门自适应融合回合与步骤级信用，在多任务基准上取得性能提升。
2026-08-10 cs.AI
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta（阿尔伯塔大学）；Department of Computing Science（计算机科学系）
后见之明信用分配（HCA）是指最近提出的一系列方法，用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性，并以经验证明了它们的行为。我们延长这项工作，通过引入一个特定的HCA算法，可证明具有较低的方差比传统的蒙特卡罗估计时，必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
SCA: Spatial Credit Assignment for Reinforcement Learning of GUI Agents
Southeast University（东南大学）；Kuaishou Technology（快手科技）
针对GUI代理强化学习中失败点击缺乏相对信号的问题，提出利用点击坐标的空间信用分配（SCA），通过预测残差或距离排序细化信用，提升接地与动作预测性能。
2026-09-30 cs.AI
CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment
针对长视界语言智能体的稀疏奖励问题，提出CREDO框架，通过演化语义评分规则与选择性重放修正信用分配，实现方差引导的预算分配，并给出理论保证与评估协议。
2026-09-22 cs.AI
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex（俄罗斯搜索引擎公司（或：雅虎迪））；Samsung AI Center NYC（三星人工智能中心纽约分部）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））；National Research University Higher School of Economics（高等经济学院）
信用分配是强化学习中的一个基本问题，即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能，但到目前为止，对于一般用途仍然不切实际。最近，一个家庭的方法被称为后见之明信用分配（HCA）的建议，明确分配信用的行动在后见之明的基础上的概率的行动，导致观察到的结果。这种方法具有吸引人的特性，但仍然是一个主要的理论思想，适用于一组有限的表格RL任务。此外，目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中，我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性，这些局限性导致其性能不佳或完全缺乏训练，然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境（ALE）基准的定量和定性的影响，并观察到，它提高了性能优势演员-评论家（A2 C）在许多游戏中，非平凡的信用分配是必要的，以达到高分，事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
PiCA: Pivot-Based Credit Assignment for Search Agentic Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
PiCA通过重新定义搜索轨迹为累积搜索进度的序列过程，解决长周期信用分配中的稀疏奖励、孤立信用和分布偏移问题，提升知识密集型问答任务性能。
2026-10-06 cs.AI
Theta sequences as eligibility traces: a biological solution to credit assignment
Sainsbury Wellcome Centre for Neural Circuits and Behaviour（塞恩斯伯里·韦尔科姆神经回路与行为中心）；University College London（伦敦大学学院）
针对生物神经网络中信用分配难题，本文提出海马Theta序列作为资格迹的生物学实现，通过压缩行为延长短时记忆痕迹，实现无自举的信用分配。
2023-05-14 cs.AI q-bio.NC
ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Jiangxi Science and Technology Normal University（江西科技师范大学）；Shenzhen University（深圳大学）
ASCT通过对抗树搜索将训练时的多步搜索转化为局部动作信用，提升智能体强化学习的信用分配，在HotpotQA上优于现有方法，并减少计算开销。
2026-09-29 cs.AI
ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment
Shanghai Jiao Tong University（上海交通大学）
本文提出答案回溯信用分配框架，训练ABSeeker智能体，在BrowseComp等数据集上性能优于同规模模型，接近30B级大模型。
2026-08-06 cs.AI
DARS: Dual-Level Credit Assignment RL with Structured Reasoning for Instruction-Based Image Editing
South China Normal University（华南师范大学）；KlingAI Research（可灵AI研究院）
提出DARS框架，解决基于指令的图像编辑系统仅用最终奖励训练效率低的问题，通过双层级信用分配实现更好性能，在推理密集型编辑上增益显著。
2026-08-21 cs.AI
Counterfactual Shapley Credit Assignment
研究信用分配问题，提出基于因果理论的反事实沙普利信用分配框架，通过反事实沙普利值分配功劳责任，推导有效估计器实现$\phi$-PPO方法，结合优先轨迹重放，在复杂环境中有卓越样本效率，能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment
Meituan（美团）
提出SkillC框架，基于对比技能信用分配（CSCA）将技能帮助性对比转化为直接学习信号，实现LLM智能体的自主技能内化，在ALFWorld和WebShop上分别超越最强基线5.5%和4.4%。
2026-05-27 cs.AI
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，强化学习在多智能体领域面临着一些挑战，例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行（CTDE）范式。然而，现有的价值函数分解方法不能处理ad-hoc合作，即，适应新的配置的队友在测试时。具体而言，这些方法没有明确地利用代理之间的关系，不能适应不同大小的输入。为了解决这些限制，我们提出了一种新的方法，称为感知信用分配（RACA），它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外，RACA利用了一个基于注意力的观察抽象机制，可以推广到任意数量的队友与固定数量的参数。实验表明，我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
Harmonizing Dense and Sparse Signals in Multi-turn RL: Dual-Horizon Credit Assignment for Industrial Sales Agents
本文提出双 horizon 信用分配框架，通过分离回合级和会话级奖励优化，提升工业销售代理在转化率、语言流畅性和身份检测率方面的性能。
2026-03-02 cs.AI
Pinpointing crucial steps: Attribution-based Credit Assignment for Verifiable Reinforcement Learning
Institute of Artificial Intelligence（人工智能研究所）；Taikang Insurance Group Inc（泰康保险集团）
针对RLVR中探索与利用失衡导致的信用分配不准和熵崩溃问题，提出分阶段框架ACPO，通过动态调节策略熵和量化推理步骤层级贡献，显著提升了LLM推理性能。
2025-10-10 cs.AI cs.LG
Credit Assignment: Challenges and Opportunities in Developing Human-like AI Agents
Carnegie Mellon University（卡内基梅隆大学）
本文基于 IBLT 构建含 IBL-TD 在内的序列决策模型，在不同复杂度导航任务中比较信用分配机制，发现等信用 IBL 最贴合人类表现。
2023-07-16 cs.AI cs.HC
Intrinsic Credit Assignment for Long Horizon Interaction
Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本文提出ΔBelief-RL，通过内在ΔBelief奖励实现长期交互中的信用分配，提升强化学习在不确定性环境下的性能。
2026-02-12 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research（谷歌研究院）
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景，RL中的迁移仍然是一个开放的，很少开发的研究领域。在本文中，我们对迁移采取了一个全新的观点：我们认为分配信用的能力揭示了任务中的结构不变量，这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET，这是一种新的RL迁移学习方法，它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键：它学习将信用分配为一个单独的离线监督过程，并专门修改奖励函数。因此，它可以通过不修改奖励函数的转移方法来补充，并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Visual sensitivity is not claim retractability: persistence-aware credit assignment for multimodal reinforcement learning
Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Shanghai Jiao Tong University（上海交通大学）
针对多模态RL中视觉主张缺乏证据支持的问题，提出持久性感知信用门控（PACG），通过衰减异常持久主张的信用，在多个基准上提升准确率并增强主张可撤回性。
2026-10-14 cs.AI
On Credit Assignment in Hierarchical Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）
分层强化学习（HRL）长期以来一直致力于推进强化学习。然而，它仍然是一个相当大的挑战，开发实用的算法，表现出这些承诺。为了提高我们对HRL的基本理解，我们从传统的多步强化学习的角度研究了分层信用分配。我们展示了例如，一步“分级备份”可以被看作是传统的多步备份，其中$n$随着时间的推移跳过连接，将每个后续状态连接到第一状态，而与其间的动作无关。此外，我们发现，推广层次结构的多步回报估计方法，需要我们考虑如何划分环境跟踪，以构建备份路径。我们利用这些洞察力来开发一个新的分层算法Hier $Q_k(λ)$，我们证明了分层信用分配本身就可以提高代理性能（即，当消除概括或探索时）。总之，我们的工作产生了对分层备份的本质的基本见解，并将其作为强化学习研究的额外基础。
2022-03-07 cs.AI cs.LG
Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
提出GraphGPO方法，通过构建状态转移图并利用全局信息估计各状态到任务目标的距离，实现步骤级信用分配，提升训练效率和性能。
2026-06-01 cs.AI cs.LG
Beyond Trajectory Rewards: Step-level Credit Assignment for Agentic Search via Graph Modeling
Beijing University of Posts and Telecommunications（北京邮电大学）；Li Auto Inc.（李自动公司）
针对智能搜索中轨迹级奖励无法量化单步行为贡献的问题，提出基于图距离贡献奖励（GDCR）的步骤级过程奖励，并结合步骤优势策略优化（SAPO）在四个基准上验证有效性。
2026-05-28 cs.AI
FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
FARCA是一种面向具备事实监督的强化学习的策略优化框架，通过对齐事实验证与策略更新的粒度、引入反事实证据归因计算可靠性权重，提升模型事实性并保留通用推理能力。
2026-08-26 cs.AI cs.CL
Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents
University of California, Irvine（加利福尼亚大学欧文分校）；Georgia Institute of Technology（佐治亚理工学院）；Dartmouth College（达特茅斯学院）；Northeastern University（东北大学）；University of Notre Dame（圣母大学）
针对工具使用智能体细粒度信用分配难题，提出ECHO框架分离责任识别与信用分配，经6个工具使用基准实验，在多数基准上取得优于基线的性能。
2026-10-14 cs.AI cs.CL
MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue
NatureSelect；Tsinghua University（清华大学）；South China Normal University（华南师范大学）；Xiamen University（厦门大学）
MAPO通过混合优势策略优化，利用密集过程反馈和多级归一化，提升长时多轮对话的稳定性和性能，优于传统方法。
2026-10-22 cs.AI cs.CL
Adaptive Pairwise Weights for Temporal Credit Assignment
University of Michigan（密歇根大学）；University of Oxford（牛津大学）
在一个州采取的行动应该得到多少信用（或责备）来换取未来的奖励？这是强化学习（RL）中基本的时间信用分配问题。最早也是最广泛使用的一种算法是基于标量系数$λ$（被视为超参数）来分配信用，该系数被提升到状态动作和奖励之间的时间间隔的幂。在这篇实证论文中，我们探索了基于更一般的成对权重的奖励策略，这些权重是采取行动时的状态、奖励时的状态以及两者之间的时间间隔的函数。当然，这些成对权重函数应该是什么还不清楚，因为它们太复杂而不能被视为超参数，我们开发了一个元梯度过程，用于在策略的常规RL训练期间学习这些权重函数。我们的实证工作表明，它往往是可以学习这些成对的权重函数在学习的政策，以实现更好的性能比竞争的方法。
2022-06-06 cs.AI cs.LG
Gradient-adjusted Incremental Target Propagation Provides Effective Credit Assignment in Deep Neural Networks
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
人工智能领域的许多最新进展都是由非常成功的误差反向传播（BP）算法推动的，该算法有效地解决了人工神经网络中的信用分配问题。然而，BP不太可能以其通常的形式在生物神经网络中实现，因为它在传播误差梯度时依赖于非局部信息。由于生物神经网络能够进行高效学习，并且来自BP训练模型的响应可以与神经响应相关，因此BP的生物学可行近似是大脑中突触可塑性的基础似乎是合理的。最近，直接从BP中推导出了顺应性调整的增量目标传播（GAIT-prop或简称GP），并已被证明可以以更生物合理的方式成功地训练网络。然而，到目前为止，GP只被证明可以解决相对低维的问题，例如手写数字识别。这项工作解决了GP中的一些缩放问题，并表明它可以在更深的网络和更具挑战性的ImageNet数据集上执行有效的多层信用分配。
2023-01-23 cs.AI cs.LG
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；LinkedIn Corporation（领英公司）
SHARPO提出段级信用分配机制，通过师生对数概率差距改进GRPO优势，在ALFWorld和WebShop上超越现有基线。
2026-10-06 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University（斯坦福大学）
针对强化学习中稀疏奖励导致的信用分配难题，现有后见之明策略方法存在不稳定问题，本研究提出Hindsight-DICE，通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正，提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
Credit Assignment via Neural Manifold Noise Correlation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Department of Neurobiology, Harvard Medical School（哈佛医学院神经生物学系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究所在）
本研究提出神经流形噪声相关性方法，通过限制扰动到神经流形上提升信用分配性能，改进了传统噪声相关性在卷积网络和递归网络中的表现，并揭示了生物视觉系统更接近NMNC的表示特性。
2026-01-06 cs.AI cs.LG q-bio.NC
