Pinpointing crucial steps: Attribution-based Credit Assignment for Verifiable Reinforcement Learning
Institute of Artificial Intelligence(人工智能研究所);Taikang Insurance Group Inc(泰康保险集团)
针对RLVR中探索与利用失衡导致的信用分配不准和熵崩溃问题,提出分阶段框架ACPO,通过动态调节策略熵和量化推理步骤层级贡献,显著提升了LLM推理性能。
2025-10-10 cs.AI cs.LG
Deep Reinforcement Learning for Weapons to Targets Assignment in a Hypersonic strike
University of Arizona(亚利桑那大学)
本文提出基于深度强化学习的武器-目标分配策略,用于多飞行器高超声速打击,在接近非线性整数规划最优性能的同时实现1000倍计算加速,支持实时自主决策。
2023-10-27 cs.AI cs.LG
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University(斯坦福大学)
针对强化学习中稀疏奖励导致的信用分配难题,现有后见之明策略方法存在不稳定问题,本研究提出Hindsight-DICE,通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正,提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
近年来,强化学习在多智能体领域面临着一些挑战,例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行(CTDE)范式。然而,现有的价值函数分解方法不能处理ad-hoc合作,即,适应新的配置的队友在测试时。具体而言,这些方法没有明确地利用代理之间的关系,不能适应不同大小的输入。为了解决这些限制,我们提出了一种新的方法,称为感知信用分配(RACA),它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外,RACA利用了一个基于注意力的观察抽象机制,可以推广到任意数量的队友与固定数量的参数。实验表明,我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
PiCA: Pivot-Based Credit Assignment for Search Agentic Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学)
PiCA通过重新定义搜索轨迹为累积搜索进度的序列过程,解决长周期信用分配中的稀疏奖励、孤立信用和分布偏移问题,提升知识密集型问答任务性能。
2026-10-06 cs.AI
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex(俄罗斯搜索引擎公司(或:雅虎迪));Samsung AI Center NYC(三星人工智能中心纽约分部);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI));National Research University Higher School of Economics(高等经济学院)
信用分配是强化学习中的一个基本问题,即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能,但到目前为止,对于一般用途仍然不切实际。最近,一个家庭的方法被称为后见之明信用分配(HCA)的建议,明确分配信用的行动在后见之明的基础上的概率的行动,导致观察到的结果。这种方法具有吸引人的特性,但仍然是一个主要的理论思想,适用于一组有限的表格RL任务。此外,目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中,我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性,这些局限性导致其性能不佳或完全缺乏训练,然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境(ALE)基准的定量和定性的影响,并观察到,它提高了性能优势演员-评论家(A2 C)在许多游戏中,非平凡的信用分配是必要的,以达到高分,事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen(格罗宁根大学人工智能系)
本文发现深度强化学习中的迹介导峰值偏差(TMPB),揭示了其作为峰值-末端规则的机制基础,并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
提出GraphGPO方法,通过构建状态转移图并利用全局信息估计各状态到任务目标的距离,实现步骤级信用分配,提升训练效率和性能。
2026-06-01 cs.AI cs.LG
SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);LinkedIn Corporation(领英公司)
SHARPO提出段级信用分配机制,通过师生对数概率差距改进GRPO优势,在ALFWorld和WebShop上超越现有基线。
2026-10-06 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Online Parcel Assignment
Cainiao Network(菜鸟网络)
在本文中,我们研究了在线包裹分配(OPA)问题,其中每个随机生成的包裹需要分配到一个候选路线交付,以最小化总成本受到一定的业务约束。OPA问题由于其随机性而具有挑战性:每个包裹的候选路线,取决于包裹的起源,目的地,重量等,是未知的,直到它的订单,并提前总包裹体积是不确定的。为了应对这一挑战,我们提出了基于深度强化学习的PPO-OPA算法,该算法具有竞争力的性能。更具体地说,我们引入了一种新的马尔可夫决策过程(MDP)框架来建模的OPA问题,并开发了一个策略梯度算法,采用注意力网络的政策评估。通过设计一个专门的奖励函数,我们提出的算法可以实现更低的总成本与更小的违反约束,相比,传统的方法,分配包裹的候选路线成比例。此外,我们提出的算法和原始-对偶算法的性能是可比的,而后者假设一个已知的总包裹体积,这是不现实的,在实践中。
2023-01-17 cs.AI cs.LG
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);AI Initiative, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学人工智能计划)
本文提出 Chunked-TD 算法,通过学习到的世界模型对轨迹进行分块压缩,在必要时自举以平滑偏差-方差权衡,从而加速强化学习中的信用分配,且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Jiangxi Science and Technology Normal University(江西科技师范大学);Shenzhen University(深圳大学)
ASCT通过对抗树搜索将训练时的多步搜索转化为局部动作信用,提升智能体强化学习的信用分配,在HotpotQA上优于现有方法,并减少计算开销。
2026-09-29 cs.AI
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权(SPW)方案,通过从专家演示中搜索相似状态-动作对来分配信用,统一偏好与演示反馈,提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research(谷歌研究院)
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景,RL中的迁移仍然是一个开放的,很少开发的研究领域。在本文中,我们对迁移采取了一个全新的观点:我们认为分配信用的能力揭示了任务中的结构不变量,这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET,这是一种新的RL迁移学习方法,它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键:它学习将信用分配为一个单独的离线监督过程,并专门修改奖励函数。因此,它可以通过不修改奖励函数的转移方法来补充,并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Targeting Pivotal Decisions for Credit Assignment in Agentic Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Microsoft(微软);University of Washington(华盛顿大学);Purdue University(普渡大学)
提出ProVer框架,通过智能体评判器识别关键决策片段并验证其优势,实现细粒度信用分配,在多个基准上显著提升GRPO性能。
2026-09-30 cs.AI cs.CL
FeUdal Networks for Hierarchical Reinforcement Learning
DeepMind
我们介绍了封建网络(FuNs):一种新的架构分层强化学习。我们的方法受到Dayan和Hinton封建强化学习建议的启发,并通过在多个级别上解耦端到端学习来获得力量和效率-允许它利用不同的时间分辨率。我们的框架采用了一个Manager模块和一个Worker模块。管理者以较低的时间分辨率操作,并设定抽象的目标,这些目标被传达给工作者并由工作者制定。Worker在环境的每一个时间点生成原始动作。FuN的解耦结构带来了几个好处--除了促进非常长的时间尺度的信用分配之外,它还鼓励出现与管理器设置的不同目标相关联的子策略。这些属性使FuN在涉及长期信用分配或记忆的任务上大大优于强大的基线代理。我们展示了我们提出的系统在ATARI套件和3D DeepMind Lab环境中的一系列任务上的性能。
2017-03-06 cs.AI
FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
FARCA是一种面向具备事实监督的强化学习的策略优化框架,通过对齐事实验证与策略更新的粒度、引入反事实证据归因计算可靠性权重,提升模型事实性并保留通用推理能力。
2026-08-26 cs.AI cs.CL
SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Zhejiang Lab(浙江实验室);CUHK MMLab(香港大学多模态实验室);Hubei University(湖北省大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
SOLAR-RL通过整合全局轨迹信息到离线学习中,提升GUI任务的长horizon完成率和鲁棒性,提供高效样本利用的自主导航方案。
2026-04-24 cs.AI cs.LG
CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对基于评分标准的强化学习中结构化监督未被充分利用的问题,提出准则感知信用分配方法 CoCA,在医学和科学基准上实现平均 4.2% 的性能提升,提升了开放式任务的学习效果。
2026-10-14 cs.AI cs.LG
Highly Parallelized Reinforcement Learning Training with Relaxed Assignment Dependencies
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology(国防科技大学并行与分布计算国家重点实验室)
针对深度强化学习训练并行化不足的问题,提出高吞吐分布式系统TianJi,通过松弛分配依赖和事件驱动异步通信,并基于样本生产消费平衡策略保证收敛,显著加速训练并具备良好可扩展性。
2025-02-27 cs.AI cs.LG
A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
University College London(伦敦大学学院);Google DeepMind(谷歌DeepMind)
本文综述深度强化学习中的时序信用分配问题,提出统一形式化框架以公平比较现有算法,分析延迟效应、转置和动作影响缺失等挑战,并总结评估协议与未来研究方向。
2024-07-04 cs.AI cs.LG
Visual sensitivity is not claim retractability: persistence-aware credit assignment for multimodal reinforcement learning
Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学);Shanghai Jiao Tong University(上海交通大学)
针对多模态RL中视觉主张缺乏证据支持的问题,提出持久性感知信用门控(PACG),通过衰减异常持久主张的信用,在多个基准上提升准确率并增强主张可撤回性。
2026-10-14 cs.AI
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University(清华大学 LeapLab);Qiuzhen College, Tsinghua University(清华大学 旗正学院)
该研究提出SCRL框架,通过从参考推理链中生成可验证子问题,解决LLM推理中信用分配问题,提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
Concurrent Credit Assignment for Data-efficient Reinforcement Learning
Institut de Neurosciences de la Timone(蒂莫内神经科学研究所);Centrale Marseille(马赛中央理工学院);CNRS(法国国家科学研究中心)
对状态和动作空间进行广泛采样的能力是构建有效的强化学习算法的关键因素。变分优化原理暴露在本文中强调的重要性,占用模型合成的一般分布代理的环境状态,它可以采取行动(定义一个虚拟的“领土”)。随着探索的进展,占用模型是频繁更新的主题,并且在训练过程中不公开新的状态。通过统一的先验假设,所得到的目标表达了两个并行趋势之间的平衡,即占用空间的扩大和回报的最大化,提醒经典的探索/开发权衡。在经典的连续动作基准上的演员-评论家关闭政策上实施,它被证明可以显着提高采样效率,这反映在密集和稀疏奖励的情况下,减少了训练时间和更高的回报。
2022-05-24 cs.AI cs.LG cs.SY
Solving the Quadratic Assignment Problem using Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
针对二次分配问题(QAP)规模大于30时难以精确求解的难题,提出基于新型双指针网络的深度强化学习方法,用A2C训练后无需实例级重训练,解的质量接近甚至部分优于局部搜索基线。
2023-10-02 cs.AI cs.LG math.OC
Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model
KAIST(韩国科学技术院);Sony AI(索尼AI);AITRICS;Sony Group Corporation(索尼集团公司)
提出用离散扩散模型替代自回归模型进行多模态强化学习,通过局部视觉编辑减少计算量,并设计分解奖励分配策略解决跨模态干扰问题。
2026-06-16 cs.AI cs.CV
Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning
Tsinghua University(清华大学)
针对情景强化学习中稀疏奖励与信用归因难题,本文提出 LLM 赋能的符号决策框架 LaRe,通过可执行代码生成多维 Latent Reward 并自验证,提升单智能体与多智能体信用分配效果。
2025-01-09 cs.AI cs.LG
QAP-Router: Tackling Qubit Routing as Dynamic Quadratic Assignment with Reinforcement Learning
Department of Computer and Information Sciences, University of Delaware(德克萨斯大学达勒姆分校计算机与信息科学系);Quantum Lab, Fujitsu Research of America(日本富士通美国量子实验室)
本文提出QAP-Router,将量子比特路由建模为动态二次分配问题,利用强化学习解决路由决策,通过Transformer架构和前瞻机制优化交互距离耦合,实验表明其显著降低CNOT门数量。
2026-05-12 cs.AI quant-ph
Optimal Power Allocation and Sub-Optimal Channel Assignment for Downlink NOMA Systems Using Deep Reinforcement Learning
本文提出利用深度强化学习框架优化下行NOMA系统中的功率分配与信道分配,通过模拟评估不同参数对性能的影响。
2026-01-18 cs.AI cs.LG cs.NI
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
Beijing Institute of Technology(北京理工大学);Beihang University(北京航空航天大学);Independent Researcher(独立研究者)
提出SC-GRPO方法,利用自条件化分布间的KL散度作为GRPO梯度的乘性权重,实现细粒度信用分配,在数学、代码和智能体任务上平均提升8.1%。
2026-10-09 cs.AI cs.LG
Off-Policy General Value Functions to Represent Dynamic Role Assignments in RoboCup 3D Soccer Simulation
University of Miami(迈阿密大学)
在动态、复杂、对抗性和随机的环境中收集和维护准确的世界知识,如RoboCup 3D足球仿真是一项具有挑战性的任务。知识应该在时间限制下实时学习。我们在强化学习中使用最近引入的非策略梯度下降算法,该算法说明了动态角色分配的可学习知识表示。研究结果表明,在2012年RoboCup的三对三、五对五和七对七的比赛中,智能体已经学会了与顶级球队的竞争策略。我们已经明确地使用代理的子集来识别的动态和语义的代理学习,以最大限度地提高他们的性能指标,并收集有关不同目标的知识,使所有代理有效地参与组内。
2014-02-18 cs.AI
DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models
The Ohio State University(俄亥俄州立大学);Apple(苹果公司)
本文提出DACA-GRPO,通过引入去噪进度评分和分层掩码似然,改进扩散语言模型中强化学习的信用分配,提升数学推理、代码生成等任务性能。
2026-05-08 cs.AI cs.CL cs.LG
Modularity in Reinforcement Learning via Algorithmic Independence in Credit Assignment
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
许多迁移问题需要重新使用以前的最优决策来解决新任务,这表明需要学习算法,可以修改选择某些动作的机制,而不依赖于选择其他动作的机制。然而,目前还没有形式主义或理论如何实现这种模块化的信用分配。为了回答这个问题,我们定义了模块化信用分配作为一个约束,最小化算法之间的互信息反馈信号的不同决定。我们介绍了我们所谓的模块化标准测试是否学习算法满足这一约束的算法本身进行因果分析。我们推广最近提出的社会决策框架作为一个更细粒度的形式主义比马尔可夫决策过程证明,决策序列不包含周期,某些单步时间差动作值的方法满足这一标准,而所有的政策梯度方法不。经验证据表明,这样的行动价值的方法是更有效的样本比政策梯度的方法转移问题,只需要稀疏的变化,以前的最佳决策序列。
2021-07-21 cs.AI cs.IT cs.LG
A Universal Approach to Feature Representation in Dynamic Task Assignment Problems
Eindhoven University of Technology(埃因霍温理工大学);Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所)
本文提出一种基于分配图的通用特征表示方法,将无限状态和动作空间的动态任务分配问题映射为图结构,并适配近端策略优化算法进行学习,实验证明该方法在不同维度下均能学习到接近最优的分配策略。
2025-07-04 cs.AI
Attention Routing: track-assignment detailed routing using attention-based reinforcement learning
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子系统)
在集成电路的物理设计中,全局布线和详细布线是涉及在满足设计约束的同时确定电路上每个网络的互连路径的关键阶段。现有的实际路由器以及可路由性预测要么诉诸昂贵的方法,导致高的计算时间,或使用不泛化的算法。即使新的,基于学习的布线方法已被提出来解决这一需求,在解决复杂的设计规则约束的标记数据和困难的要求,限制了他们在先进的技术节点物理设计问题的采用。在这项工作中,我们提出了一个新的路由器:注意路由器,这是第一次尝试使用强化学习来解决轨迹分配详细路由问题。复杂的设计规则约束编码到布线算法和注意力模型为基础的REINFORCE算法被应用到解决布线中最关键的步骤:排序设备对被路由。注意路由器及其基线遗传路由器被应用于解决不同的商业先进技术模拟电路问题集。注意路由器展示了对未知问题的泛化能力,并且能够在不显著影响路由解决方案质量的情况下实现超过遗传路由器100倍的加速。我们还发现了一个相似的注意路由器和基线遗传路由器的成本和路由模式,这表明注意路由器的能力,不仅被利用作为一个详细的路由器,但也作为一个预测可路由性和拥塞的正相关性。
2020-05-22 cs.AI cs.LG stat.ML
Action-Evolution Petri Nets: a Framework for Modeling and Solving Dynamic Task Assignment Problems
Eindhoven University of Technology(埃因霍温理工大学);Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所)
针对动态任务分配缺乏集成建模技术的问题,提出可执行的动作-演化Petri网框架,统一建模问题全要素,可直接结合强化学习学习近优分配策略,经三类典型问题验证适用范围广泛。
2023-06-09 cs.AI
TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning
LinkedIn Corporation(领英公司);Harvard University(哈佛大学);Johns Hopkins University(约翰霍普金斯大学)
提出TRIAGE框架,通过角色类型化信用分配修正GRPO仅依赖结果信用的盲点,在ALFWorld等任务中提升成功率并减少交互步数。
2026-07-21 cs.AI cs.LG
Concurrent Meta Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
最先进的Meta强化学习算法通常假设单个代理以顺序方式与其环境交互的设置。这种顺序执行范式的一个负面副作用是,随着环境变得越来越具有挑战性,因此需要元学习者进行更多的交互事件,它需要代理在越来越长的时间尺度上进行推理。为了克服长时间尺度的信用分配的困难,我们提出了另一种并行框架,我们命名为“并发Meta-强化学习“(CMRL),将时间信用分配问题转化为多智能体强化学习。在这种多代理设置中,一组并行代理在相同的环境中执行,并且这些“推出”代理中的每一个都被赋予相互通信的手段。通信的目标是以协作的方式协调对代理当前分配的共享任务的最有效的探索。因此,这种协调代表了框架的元学习方面,因为每个代理都可以被分配或为自己分配当前任务状态空间的特定部分。这个框架与标准RL方法相反,标准RL方法假设每个并行卷展独立发生,如果许多卷展最终对状态空间的同一部分进行采样,则可能会浪费计算。此外,并行设置使我们能够定义几个奖励共享功能和辅助损失,这些功能和损失在顺序设置中应用是非常重要的。我们证明了我们提出的CMRL在各种具有挑战性的任务中改进顺序方法的有效性。
2019-03-07 cs.AI
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
提出CRAFT方法,通过反事实令牌重要性、非对称控制器和极化KL惩罚三个支柱,解决自蒸馏强化学习中信用分配信号的双重局限性,提升智能体性能。
2026-06-28 cs.AI cs.LG
COLLATOR: Compositional Multi-Agent Orchestration with Counterfactual Reinforcement Learning
LEMON通过反事实强化学习生成可执行的多智能体编排规范,整合任务特定角色、定制职责、容量级别和依赖结构,提升多智能体系统解决方案质量和执行效率。
2026-09-30 cs.AI
Unsupervised Learning for Quadratic Assignment
针对二次分配问题,提出无监督学习框架PLUME搜索,通过基于排列的损失函数和非自回归方法直接从问题实例学习,提升解质量并在不同密度、规模问题间泛化。
2025-08-19 cs.AI cs.LG
Phase-Aware Mixture of Experts for Agentic Reinforcement Learning
School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院,南京,中国);College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学 computing and Data Science学院,新加坡)
本文提出了一种具有相意识的专家混合(PA-MoE),以解决传统专家混合(MoE)中由于token级路由导致的相一致模式碎片化问题,通过学习隐含的相边界来提升专家的专业性。
2026-05-19 cs.AI
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
Spotify;University of Cambridge(剑桥大学)
该研究针对强化学习中延迟奖励导致的信用分配低效问题,提出Explanatory World Models(EWM)框架,结合因果解释等理论设计变体,在多类基准及工业推荐系统上验证其性能优于现有方法。
2026-10-12 cs.AI cs.IR cs.LG
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
后见之明信用分配(HCA)是指最近提出的一系列方法,用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性,并以经验证明了它们的行为。我们延长这项工作,通过引入一个特定的HCA算法,可证明具有较低的方差比传统的蒙特卡罗估计时,必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
Oranits: Mission Assignment and Task Offloading in Open RAN-based ITS using Metaheuristic and Deep Reinforcement Learning
Department of Smart City, Hanyang University(翰阳大学智能城市系)
提出Oranits系统模型,通过元启发式算法CGG-ARO和深度强化学习框架MA-DDQN优化车辆协作中的任务依赖与卸载成本,分别提升任务完成率7.7%和12.5%。
2026-06-19 cs.AI cs.DC cs.GT
Selective Credit Assignment
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);DeepMind(深度思维)
有效的信用分配对于预测和控制环境中的强化学习算法是必不可少的。我们描述了一个统一的观点选择性信用分配的时间差算法。这些选择性算法应用权重来量化学习更新的贡献。我们提出了将权重应用于基于值的学习和规划算法的见解,并描述了它们在预测和控制中调解后向信用分布的作用。在这个空间内,我们确定了一些现有的在线学习算法,可以选择性地分配信贷作为特殊情况下,以及添加新的算法,分配信贷的时间向后反事实,允许信贷分配偏离轨道和关闭政策。
2022-02-20 cs.AI cs.LG stat.ML
Dueling Posterior Sampling for Preference-Based Reinforcement Learning
California Institute of Technology(加州理工学院);Tsinghua University(清华大学)
在基于偏好的强化学习(RL)中,智能体与环境交互,同时接收偏好而不是绝对反馈。虽然基于偏好的强化学习的研究活动越来越多,但允许易于处理的理论分析的正式框架的设计仍然是一个开放的挑战。基于RL中基于偏好的强盗学习和后验采样的思想,我们提出了DUELING POSTERIOR SAMPLING(DPS),它采用基于偏好的后验采样来学习系统动态和控制偏好反馈的潜在效用函数。由于偏好反馈提供的轨迹,而不是个人的状态-动作对,我们开发了一个贝叶斯方法的信用分配问题,翻译偏好的状态-动作奖励模型的后验分布。本文利用贝叶斯线性回归信用分配模型证明了DPS的渐近贝叶斯无遗憾率。据我们所知,这是基于偏好的强化学习的第一个遗憾保证。我们还讨论了其他信用分配模型的证明方法的可能途径。最后,我们评估的方法经验,显示竞争力的表现对现有的基线。
2020-06-29 cs.AI cs.LG stat.ML
Internalizing Outcome Supervision into Process Supervision: A New Paradigm for Reinforcement Learning for Reasoning
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
提出一种监督内化方法,使模型在仅结果监督下自动提取过程级学习信号,实现细粒度策略优化。
2026-05-23 cs.AI cs.CL cs.LG
Self-Learned Formula Synthesis in Set Theory
Czech Technical University(捷克技术大学)
强化学习算法完成合成集合理论公式的任务,该公式针对给定的分配评估为给定的真值。
2019-12-03 cs.AI cs.LO
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group(视觉几何组);University of Oxford(牛津大学)
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战,SOAP通过扩展GAE传播选项优势,在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空航天信息研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Hunyuan(腾讯文脉);School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院)
本文提出HISR方法,通过hindsight信息调节分段过程奖励,提升多轮代理强化学习中的信用分配可靠性,实验验证了方法的有效性。
2026-03-19 cs.AI cs.CL cs.LG
Towards Causal Credit Assignment
本论文实证研究了后见信用分配方法,将其应用于基于环境因果结构的因子化状态表示,并提出一种有效利用因果结构的变体,大幅提升了效率并在多种任务中优于基线方法。
2023-05-17 cs.AI cs.LG