Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex(俄罗斯搜索引擎公司(或:雅虎迪));Samsung AI Center NYC(三星人工智能中心纽约分部);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI));National Research University Higher School of Economics(高等经济学院)
信用分配是强化学习中的一个基本问题,即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能,但到目前为止,对于一般用途仍然不切实际。最近,一个家庭的方法被称为后见之明信用分配(HCA)的建议,明确分配信用的行动在后见之明的基础上的概率的行动,导致观察到的结果。这种方法具有吸引人的特性,但仍然是一个主要的理论思想,适用于一组有限的表格RL任务。此外,目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中,我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性,这些局限性导致其性能不佳或完全缺乏训练,然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境(ALE)基准的定量和定性的影响,并观察到,它提高了性能优势演员-评论家(A2 C)在许多游戏中,非平凡的信用分配是必要的,以达到高分,事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen(格罗宁根大学人工智能系)
本文发现深度强化学习中的迹介导峰值偏差(TMPB),揭示了其作为峰值-末端规则的机制基础,并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
提出GraphGPO方法,通过构建状态转移图并利用全局信息估计各状态到任务目标的距离,实现步骤级信用分配,提升训练效率和性能。
2026-06-01 cs.AI cs.LG
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);LinkedIn Corporation(领英公司)
SHARPO提出段级信用分配机制,通过师生对数概率差距改进GRPO优势,在ALFWorld和WebShop上超越现有基线。
2026-10-06 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Online Parcel Assignment
Cainiao Network(菜鸟网络)
在本文中,我们研究了在线包裹分配(OPA)问题,其中每个随机生成的包裹需要分配到一个候选路线交付,以最小化总成本受到一定的业务约束。OPA问题由于其随机性而具有挑战性:每个包裹的候选路线,取决于包裹的起源,目的地,重量等,是未知的,直到它的订单,并提前总包裹体积是不确定的。为了应对这一挑战,我们提出了基于深度强化学习的PPO-OPA算法,该算法具有竞争力的性能。更具体地说,我们引入了一种新的马尔可夫决策过程(MDP)框架来建模的OPA问题,并开发了一个策略梯度算法,采用注意力网络的政策评估。通过设计一个专门的奖励函数,我们提出的算法可以实现更低的总成本与更小的违反约束,相比,传统的方法,分配包裹的候选路线成比例。此外,我们提出的算法和原始-对偶算法的性能是可比的,而后者假设一个已知的总包裹体积,这是不现实的,在实践中。
2023-01-17 cs.AI cs.LG
Reinforcement Learning for Assignment problem
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
本文致力于将强化学习与神经网络相结合应用于用户调度问题的一般形式。我们的模拟器通过环境的随机变化来模拟现实世界的问题。我们将基于Q学习的方法应用于动态模拟的数量,并在总奖励方面优于基于解析贪婪的解决方案,其目的是在整个模拟过程中获得尽可能低的惩罚。
2020-11-08 cs.AI
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);AI Initiative, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学人工智能计划)
本文提出 Chunked-TD 算法,通过学习到的世界模型对轨迹进行分块压缩,在必要时自举以平滑偏差-方差权衡,从而加速强化学习中的信用分配,且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权(SPW)方案,通过从专家演示中搜索相似状态-动作对来分配信用,统一偏好与演示反馈,提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research(谷歌研究院)
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景,RL中的迁移仍然是一个开放的,很少开发的研究领域。在本文中,我们对迁移采取了一个全新的观点:我们认为分配信用的能力揭示了任务中的结构不变量,这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET,这是一种新的RL迁移学习方法,它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键:它学习将信用分配为一个单独的离线监督过程,并专门修改奖励函数。因此,它可以通过不修改奖励函数的转移方法来补充,并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Zhejiang Lab(浙江实验室);CUHK MMLab(香港大学多模态实验室);Hubei University(湖北省大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
SOLAR-RL通过整合全局轨迹信息到离线学习中,提升GUI任务的长horizon完成率和鲁棒性,提供高效样本利用的自主导航方案。
2026-04-24 cs.AI cs.LG
CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对基于评分标准的强化学习中结构化监督未被充分利用的问题,提出准则感知信用分配方法 CoCA,在医学和科学基准上实现平均 4.2% 的性能提升,提升了开放式任务的学习效果。
2026-10-14 cs.AI cs.LG
Highly Parallelized Reinforcement Learning Training with Relaxed Assignment Dependencies
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology(国防科技大学并行与分布计算国家重点实验室)
针对深度强化学习训练并行化不足的问题,提出高吞吐分布式系统TianJi,通过松弛分配依赖和事件驱动异步通信,并基于样本生产消费平衡策略保证收敛,显著加速训练并具备良好可扩展性。
2025-02-27 cs.AI cs.LG
Learning to Transfer Role Assignment Across Team Sizes
Deakin University(迪肯大学)
多智能体强化学习是解决需要多智能体协调的复杂任务的关键。然而,强协调往往导致昂贵的探索指数大的状态动作空间。一个强大的方法是将团队工作分解为角色,理想情况下将其分配给具有相关技能的代理。训练代理自适应地选择和扮演团队中的新兴角色,从而使团队能够扩展到复杂的任务,并快速适应不断变化的环境。然而,这些承诺还没有完全实现当前基于角色的多智能体强化学习方法,因为它们假设预先定义的角色结构或固定的团队规模。我们提出了一个框架来学习角色分配和跨团队规模的转移。特别是,我们通过演示为小团队训练角色分配网络,并将该网络转移到更大的团队,这些团队通过与环境的互动继续学习。我们证明了重用基于角色的信用分配结构可以促进更大的强化学习团队的学习过程,以实现需要不同角色的任务。我们的建议优于竞争技术在丰富的角色执行捕食者游戏和新的情况下,在星际争霸II微管理基准。
2022-04-17 cs.AI cs.LG
Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning
Utrecht University(乌特勒支大学)
针对多智能体强化学习稀疏奖励场景下的信用分配与探索难题,提出ISA算法,通过计算智能体影响范围分配信用并划定探索空间,实验表明其性能优于现有基线。
2026-08-04 cs.LG
A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
University College London(伦敦大学学院);Google DeepMind(谷歌DeepMind)
本文综述深度强化学习中的时序信用分配问题,提出统一形式化框架以公平比较现有算法,分析延迟效应、转置和动作影响缺失等挑战,并总结评估协议与未来研究方向。
2024-07-04 cs.AI cs.LG
An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning
Stanford University(斯坦福大学);University of Montreal(蒙特利尔大学);Mila(米拉研究所)
我们如何将强化学习中的信用分配的挑战形式化?普通的直觉会引起人们对奖励稀疏性的注意,因为奖励稀疏性是导致信用分配困难的关键因素,而传统的经验主义会寻求时间近因的解决方案,并调用经典的资格跟踪。我们认为,这不是稀疏的奖励本身,造成困难的信用分配,而是\emph{information sparsity}。我们建议使用信息论来定义这个概念,然后我们使用它来表征时,信用分配是一个障碍,有效的学习。从这个角度来看,我们概述了几个信息理论的机制,在一个固定的行为政策下,衡量信用,突出的潜力,信息论作为一个关键的工具,证明有效的信用分配。
2021-03-10 cs.IT cs.LG math.IT
Multi Agent Reinforcement Learning for Sequential Satellite Assignment Problems
University of Washington(华盛顿大学)
针对序列卫星分配等时序展开的组合优化问题,提出基于多项式时间贪心求解器自举的多智能体强化学习算法,结合分布式最优分配机制选择分配,在数百智能体规模下显著优于现有方法。
2024-12-20 cs.LG cs.MA
Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning
Tsinghua University(清华大学)
针对情景强化学习中稀疏奖励与信用归因难题,本文提出 LLM 赋能的符号决策框架 LaRe,通过可执行代码生成多维 Latent Reward 并自验证,提升单智能体与多智能体信用分配效果。
2025-01-09 cs.AI cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
奖励分解是多智能体强化学习集中训练分散执行(CTDE)范式中的一个关键问题。为了充分利用全局信息,利用所有代理的状态和相关环境将Q值分解为单个信用,我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~(MNMPG)框架来提取全局层次结构以进行精细的奖励分解。通过效用网络,从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明,我们的方法只需要一个简单的效用网络,就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时,可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
Beijing Institute of Technology(北京理工大学);Beihang University(北京航空航天大学);Independent Researcher(独立研究者)
提出SC-GRPO方法,利用自条件化分布间的KL散度作为GRPO梯度的乘性权重,实现细粒度信用分配,在数学、代码和智能体任务上平均提升8.1%。
2026-10-09 cs.AI cs.LG
Multi-agent assignment via state augmented reinforcement learning
University of Pittsburgh(匹兹堡大学);Universitat Pompeu Fabra(庞培法布拉大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出一种基于状态增强的约束强化学习方法,利用对偶变量振荡和通信网络协调智能体,实现具有理论保证的分布式多智能体任务分配,并在监测实验中验证有效性。
2024-06-03 cs.AI cs.LG cs.MA
Counterfactual Credit Assignment in Model-Free Reinforcement Learning
DeepMind;INRIA XPOP, CMAP, École Polytechnique(法国国家信息与自动化研究所 XPOP 团队、应用数学中心、巴黎综合理工学院)
强化学习中的信用分配是衡量行为对未来奖励的影响的问题。特别是,这需要将技能与运气分开,即将行为对奖励的影响与外部因素和后续行为的影响分开。为了实现这一点,我们将因果关系理论中的反事实概念应用于无模型RL设置。其核心思想是通过学习从轨迹中提取相关信息,以未来事件为条件来设定价值函数。我们制定了一个家庭的策略梯度算法,使用这些未来条件的价值函数作为基线或批评,并证明他们是可证明的低方差。为了避免潜在的偏见条件对未来的信息,我们限制事后的信息不包含有关代理的行动。我们证明了我们的算法的有效性和有效性的一些说明性和具有挑战性的问题。
2021-12-14 cs.LG
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University(清华大学 LeapLab);Qiuzhen College, Tsinghua University(清华大学 旗正学院)
该研究提出SCRL框架,通过从参考推理链中生成可验证子问题,解决LLM推理中信用分配问题,提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
Learning Explicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning via Polarization Policy Gradient
Nanjing University(南京大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
协作多智能体策略梯度(MAPG)算法近年来受到广泛关注,被认为是多智能体系统的一种通用方案。信用分配在MAPG中起着重要的作用,它可以诱导多个Agent之间的合作。然而,大多数MAPG算法不能实现良好的信用分配,因为被称为\textit{centralized-decentralized mismatch}的博弈论病理。为了解决这个问题,本文提出了一种新的方法,\textit{\underline{M}ulti-\underline{A}gent \underline{P}olarization \underline{P}olicy \underline{G}radient}(MAPPG)。MAPPG采用一个简单但有效的极化函数将联合和个体行为的最佳一致性转化为易于实现的约束,从而实现了MAPG中的有效信用分配。从理论上证明了MAPPG的个体策略能够收敛到全局最优解。在经验上,我们在著名的矩阵对策和微分对策上评估了MAPPG,并验证了MAPPG可以收敛到离散和连续行动空间的全局最优解。我们还评估了一组星际争霸II微观管理任务的MAPPG,并证明MAPPG优于国家的最先进的MAPG算法。
2023-03-06 cs.LG
Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
针对智能体强化学习的奖励延迟稀疏问题,提出基于环境反馈的跨时间尺度信用分配方法EFCA,在ALFWorld和WebShop上提升了任务成功率与质量。
2026-08-11 cs.CL cs.LG
Solving the Quadratic Assignment Problem using Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
针对二次分配问题(QAP)规模大于30时难以精确求解的难题,提出基于新型双指针网络的深度强化学习方法,用A2C训练后无需实例级重训练,解的质量接近甚至部分优于局部搜索基线。
2023-10-02 cs.AI cs.LG math.OC
Explicit Credit Assignment through Local Rewards and Dependence Graphs in Multi-Agent Reinforcement Learning
Human-Machine Interaction Laboratory(人机交互实验室)
研究多智能体强化学习中促进合作的方法,结合全局奖励和局部奖励优点,利用智能体交互图更细粒度识别贡献,减轻局部奖励合作问题,实验表明该方法灵活且优于传统设置。
2026-07-07 cs.LG
Equal-information evaluation of credit assignment in modular financial reinforcement learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本研究针对模块化金融强化学习中信用分配难以评估的问题,提出结合等信息重构控制等的评估框架,经实验识别出三类评估失败,贡献了可复用的信用分配评估方法论。
2026-10-14 cs.AI
Optimal Power Allocation and Sub-Optimal Channel Assignment for Downlink NOMA Systems Using Deep Reinforcement Learning
本文提出利用深度强化学习框架优化下行NOMA系统中的功率分配与信道分配,通过模拟评估不同参数对性能的影响。
2026-01-18 cs.AI cs.LG cs.NI
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University(北卡罗来纳州立大学)
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习(RL),特别是深度RL,在即时奖励可用时工作良好,但当只有延迟奖励可用或奖励函数有噪声时,它可能会失败。在这项工作中,我们建议委托CAP到一个基于神经网络的算法命名为Infernet,明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估:一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务:GridWorld和现实生活中的败血症治疗任务。对于所有任务,使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较:有噪声奖励和无噪声奖励。总的来说,我们的研究结果表明,InferNet的有效性对噪声奖励函数是鲁棒的,并且是一种有效的附加机制,用于在广泛的RL任务中解决时间CAP,从经典的RL模拟环境到现实世界的RL问题,以及在线和离线学习。
2021-05-02 cs.LG
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
Concurrent Credit Assignment for Data-efficient Reinforcement Learning
Institut de Neurosciences de la Timone(蒂莫内神经科学研究所);Centrale Marseille(马赛中央理工学院);CNRS(法国国家科学研究中心)
对状态和动作空间进行广泛采样的能力是构建有效的强化学习算法的关键因素。变分优化原理暴露在本文中强调的重要性,占用模型合成的一般分布代理的环境状态,它可以采取行动(定义一个虚拟的“领土”)。随着探索的进展,占用模型是频繁更新的主题,并且在训练过程中不公开新的状态。通过统一的先验假设,所得到的目标表达了两个并行趋势之间的平衡,即占用空间的扩大和回报的最大化,提醒经典的探索/开发权衡。在经典的连续动作基准上的演员-评论家关闭政策上实施,它被证明可以显着提高采样效率,这反映在密集和稀疏奖励的情况下,减少了训练时间和更高的回报。
2022-05-24 cs.AI cs.LG cs.SY
Reinforcement Learning-based Sequential Route Recommendation for System-Optimal Traffic Assignment
Department of Data Science and Artificial Intelligence, Monash University(墨尔本大学数据科学与人工智能系);Chair of Transportation Systems Engineering, Technical University of Munich(慕尼黑技术大学交通系统工程教授职位);Department of Civil and Architectural Engineering, KTH Royal Institute of Technology(瑞典皇家理工学院土木与建筑工程系)
本文提出一种基于学习的框架,将静态系统最优交通分配问题转化为单智能体深度强化学习任务,通过开发MSA引导的深度Q学习算法,在Braess和OW网络上实现了接近理论最优的系统总行程时间最小化。
2025-05-27 cs.AI
Challenges in Credit Assignment for Multi-Agent Reinforcement Learning in Open Agent Systems
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
本文研究了开放多智能体强化学习中的信用分配问题,通过概念分析与实证研究揭示了智能体和任务的动态开放性会破坏传统假设,导致信用错误归因和性能显著下降。
2025-10-31 cs.AI cs.LG cs.MA
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校)
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功,包括围棋游戏和机器人应用。通常,这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而,在现实世界中,设计这样的奖励函数并不简单,并且唯一可用的信号通常是在轨迹的末端获得的,也称为情节奖励或返回。在这项工作中,我们引入了一个新的算法的时间信用分配,学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号,可以显著提高情景强化学习的学习效率。特别是,我们发现,表达语言模型,如Transformer可以用于学习的重要性和依赖性的状态的轨迹,从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验,一组MuJoCo连续机车控制任务,只有情节的回报,并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning
LinkedIn Corporation(领英公司);Harvard University(哈佛大学);Johns Hopkins University(约翰霍普金斯大学)
提出TRIAGE框架,通过角色类型化信用分配修正GRPO仅依赖结果信用的盲点,在ALFWorld等任务中提升成功率并减少交互步数。
2026-07-21 cs.AI cs.LG
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学)
本文提出一种考虑协作的评估视角,通过STAT测试平台评估六种价值导向的MARL方法,揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents
University of Minnesota;Northwestern University;Amazon AGI;Texas A\&M University;Cisco Research
针对稀疏奖励长程任务中LLM智能体信用分配困难的问题,提出HiPER分层规划-执行框架,通过分层优势估计(HAE)在规划和执行层面显式分配信用,在ALFWorld和WebShop上达到97.4%和83.3%的成功率。
2026-05-29 cs.AI cs.LG
Scalable and Reliable Multi-agent Reinforcement Learning for Traffic Assignment
Department of Data Science and Artificial Intelligence, Monash University(数据科学与人工智能系,墨尔本大学);Chair of Transportation Systems Engineering, Technical University of Munich(交通系统工程主任,慕尼黑技术大学);School of Transportation, Southeast University(交通学院,东南大学);The Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生院,电通大学);Department of Civil Engineering, Monash University(土木工程系,墨尔本大学);Department of Civil and Architectural Engineering, KTH Royal Institute of Technology(土木与建筑工程系,皇家理工技术学院)
本文提出MARL-OD-DA框架,通过重新定义智能体为OD对路由器,提升交通分配的可扩展性和可靠性,有效处理大规模交通问题。
2025-06-20 cs.LG
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
提出CRAFT方法,通过反事实令牌重要性、非对称控制器和极化KL惩罚三个支柱,解决自蒸馏强化学习中信用分配信号的双重局限性,提升智能体性能。
2026-06-28 cs.AI cs.LG
Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning
Nankai University(南开大学);Peking University(北京大学);Shanghai Waybot Technology Co., Ltd.(上海微步科技有限公司);Wuhan University(武汉大学)
提出GACA,一种基于不确定性关键性代理的自适应粒度信用分配方法,在长程LLM智能体强化学习中优于GRPO和GiGPO。
2026-10-06 cs.LG
LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Huawei Cloud(华为云);Hefei Comprehensive National Science Center, Institute of Artificial Intelligence(合肥综合性国家科学中心人工智能研究院)
协作多智能体强化学习(MARL)近年来取得了显著的进展。为了提高训练效率和可扩展性,大多数MARL算法使所有Agent共享相同的策略或值网络。然而,在许多复杂的多智能体任务中,不同的智能体被期望具有特定的能力来处理不同的子任务。在这些情况下,不加区别地共享参数可能会导致所有代理之间的相似行为,这将限制探索效率并降低最终性能。为了平衡训练的复杂性和Agent行为的多样性,我们提出了一个新的框架来学习动态子任务分配(LDSA)在合作MARL。具体来说,我们首先引入一个子任务编码器,根据其身份为每个子任务构造一个向量表示。为了合理地分配代理到不同的子任务,我们提出了一个基于能力的子任务选择策略,它可以动态组具有相似能力的代理到同一个子任务。通过这种方式,处理相同子任务的智能体共享它们对特定能力的学习,并且不同的子任务对应于不同的特定能力。我们进一步引入了两个正则化器来增加子任务之间的表示差异,并通过阻止代理频繁更改子任务来稳定训练。实验结果表明,LDSA学习合理和有效的子任务分配更好的协作,并显着提高了具有挑战性的星际争霸II微观管理基准和谷歌研究足球的学习性能。
2022-11-04 cs.LG
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services(塔塔咨询服务公司);Birla Institute of Technology and Science, Goa(果阿贝拉理工学院);University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对稀疏奖励下多智能体长周期任务的信用分配难题,提出TAR$^2$方法在时间与智能体维度重新分配奖励,理论证明其不改变最优策略,实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models
The Ohio State University(俄亥俄州立大学);Apple(苹果公司)
本文提出DACA-GRPO,通过引入去噪进度评分和分层掩码似然,改进扩散语言模型中强化学习的信用分配,提升数学推理、代码生成等任务性能。
2026-05-08 cs.AI cs.CL cs.LG
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
本文提出了一种定义的多个代理优化联合奖励函数的背景下,系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配,然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境,具有系统健康,冒险,半消耗性代理,连续动作空间,和部分可观察性的特点,证明。与不执行多代理信用分配的策略梯度方法相比,我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
SCA: Spatial Credit Assignment for Reinforcement Learning of GUI Agents
Southeast University(东南大学);Kuaishou Technology(快手科技)
针对GUI代理强化学习中失败点击缺乏相对信号的问题,提出利用点击坐标的空间信用分配(SCA),通过预测残差或距离排序细化信用,提升接地与动作预测性能。
2026-09-30 cs.AI
Unsupervised Learning for Quadratic Assignment
针对二次分配问题,提出无监督学习框架PLUME搜索,通过基于排列的损失函数和非自回归方法直接从问题实例学习,提升解质量并在不同密度、规模问题间泛化。
2025-08-19 cs.AI cs.LG
Constrained Optimization of Charged Particle Tracking with Multi-Agent Reinforcement Learning
University of Kaiserslautern-Landau (RPTU)(凯撒斯劳滕-兰道大学(RPTU));Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本文提出带唯一分配安全层与成本裕度黑箱梯度的多智能体强化学习方法,用于像素探测器粒子径迹重建,并在质子成像模拟数据上验证其优化、泛化和稳定性优势。
2025-01-09 cs.AI cs.LG physics.comp-ph
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
后见之明信用分配(HCA)是指最近提出的一系列方法,用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性,并以经验证明了它们的行为。我们延长这项工作,通过引入一个特定的HCA算法,可证明具有较低的方差比传统的蒙特卡罗估计时,必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
Shapley Value Based Multi-Agent Reinforcement Learning: Theory, Method and Its Application to Energy Network
Imperial College of Science, Technology and Medicine(帝国理工学院)
本文通过合作博弈论将Shapley值扩展到马尔可夫决策过程,提出马尔可夫Shapley值作为公平信用分配基础,并据此设计SHAQ、SQDDPG和SMFPPO三种多智能体强化学习算法,在能源网络真实问题上验证了有效性。
2024-02-23 cs.LG cs.MA
Attention Routing: track-assignment detailed routing using attention-based reinforcement learning
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子系统)
在集成电路的物理设计中,全局布线和详细布线是涉及在满足设计约束的同时确定电路上每个网络的互连路径的关键阶段。现有的实际路由器以及可路由性预测要么诉诸昂贵的方法,导致高的计算时间,或使用不泛化的算法。即使新的,基于学习的布线方法已被提出来解决这一需求,在解决复杂的设计规则约束的标记数据和困难的要求,限制了他们在先进的技术节点物理设计问题的采用。在这项工作中,我们提出了一个新的路由器:注意路由器,这是第一次尝试使用强化学习来解决轨迹分配详细路由问题。复杂的设计规则约束编码到布线算法和注意力模型为基础的REINFORCE算法被应用到解决布线中最关键的步骤:排序设备对被路由。注意路由器及其基线遗传路由器被应用于解决不同的商业先进技术模拟电路问题集。注意路由器展示了对未知问题的泛化能力,并且能够在不显著影响路由解决方案质量的情况下实现超过遗传路由器100倍的加速。我们还发现了一个相似的注意路由器和基线遗传路由器的成本和路由模式,这表明注意路由器的能力,不仅被利用作为一个详细的路由器,但也作为一个预测可路由性和拥塞的正相关性。
2020-05-22 cs.AI cs.LG stat.ML
MACCA: Offline Multi-agent Reinforcement Learning with Causal Credit Assignment
King’s College London(伦敦国王学院);Eindhoven University of Technology(埃因霍温理工大学);University of Liverpool(利物浦大学);University of California San Diego(加州大学圣地亚哥分校)
提出基于动态贝叶斯网络的因果信用分配框架MACCA,通过建模环境变量、状态、动作和奖励的因果关系,实现离线多智能体强化学习中准确且可解释的信用分配。
2026-06-01 cs.LG cs.MA
Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学);INFIFORCE Intelligent Technology(INFIFORCE智能技术);Princeton University(普林斯顿大学)
本文提出占用奖励塑造方法,通过提取世界模型中的时间信息,改进稀疏奖励下的信用分配问题,在13种长周期运动和操作任务中提升了2.2倍性能。
2026-04-22 cs.LG cs.RO