Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning
本文提出条件奖励建模（CRM），通过将LLM推理视为时间过程，解决奖励分配模糊性和奖励黑客问题，提升推理性能。
2026-02-27 cs.LG
Reinforcement Learning by Comparing Immediate Reward
Jaypee University Of Engineering And Technology（杰皮尔工程与技术大学）
本文介绍了一种强化学习算法，通过比较它们的即时奖励，使用Q-学习算法的变体。与传统的Q学习不同，该算法将当前奖励与过去移动的即时奖励进行比较，并相应地工作。基于相对奖励的Q学习是一种实现交互式学习的方法。Q-Learning是一种无模型强化学习方法，用于学习智能体。研究表明，在正常情况下，由于算法的正常回报或负回报，算法需要更多的事件来达到最优Q值。在这种新形式的算法中，代理只选择那些与前一个相比具有更高即时奖励信号的动作。本文的贡献是提出了新的Q-学习算法，以最大限度地提高算法的性能，并减少达到最佳Q值所需的事件数。在一个20 × 20的网格世界确定性环境中对所提算法的有效性进行了仿真，并给出了两种形式的Q-学习算法的仿真结果。
2010-09-14 cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Towards a Reward-Free Reinforcement Learning Framework for Vehicle Control
针对车辆控制中强化学习奖励设计易引入偏差、模仿学习需高质量专家动作的问题，提出无奖励强化学习框架，通过目标状态预测网络和无奖励状态引导策略网络优化行为，提升学习效率并适应无奖励环境。
2025-04-18 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University（波士顿大学）
本文提出PAGAR半监督奖励设计范式，通过混合奖励函数训练策略，解决IRL中奖励错位导致的任务失败，并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
该论文综述深度强化学习中的有效奖励规范策略，分析奖励失配与学习低效等挑战，并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Informativeness of Reward Functions in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究强化学习中奖励函数的信息量设计问题，提出一种能够自适应智能体当前策略的奖励信息量准则，以加速智能体收敛并提供可解释的奖励，理论和导航实验均验证了其有效性。
2024-02-10 cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；OpenAI LP（OpenAI有限合伙公司）
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中，奖励是罕见的，这意味着智能体不会通过随机行动经常找到奖励。在这种情况下，强化学习学习奖励和动作关联是具有挑战性的。因此，需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述，并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后，讨论了目前尚待解决的问题，为今后的研究提供了有价值的方向。最后，从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Reward-Conditioned Reinforcement Learning
University of Warsaw（华沙大学）；Nomagic；UC Berkeley, Amazon FAR（伯克利大学，亚马逊FAR）
本文提出基于奖励的强化学习（RCRL），通过在收集经验时使用单一名义目标，使智能体在不额外交互的情况下暴露于多种奖励目标，从而提高样本效率并支持零样本行为调整。
2026-05-19 cs.LG
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University（皇家墨尔本理工大学）
在本文中，我们考虑了具有渐进奖励的强化学习任务;也就是说，奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的，特别是如果代理必须首先在任务的相对无回报区域取得成功，以便到达更多有回报的区域。为了解决这个问题，我们提出了Spectral DQN，它将奖励分解为频率，这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡，从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中，标准的基于价值的方法显着挣扎，Spectral DQN能够取得更大的进展。此外，当对一组六款标准的Atari游戏进行评估时，Spectral DQN仍然具有竞争力：虽然它在一款游戏中表现不佳，但它在三款游戏中轻松超越了基准。这些结果表明，该方法并不过拟合其目标问题，并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning
L3S Research Center（L3S研究中心）
本文研究基于势能的奖励塑形在强化学习中的有效性，提出通过势能函数的线性平移在不改变编码偏好和初始Q值的情况下提升塑形效果，并给出理论局限性与实验验证。
2025-02-03 cs.LG
Deep Reinforcement Learning with Hybrid Intrinsic Reward Model
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东方理工学院）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）
针对单一内在奖励限制探索多样性与效率的问题，提出HIRE框架，通过融合策略构建混合内在奖励，在通用与无监督RL基准上系统验证，显著提升探索效率、多样性与技能获取。
2025-01-22 cs.LG
Bayesian Inverse Reinforcement Learning for Non-Markovian Rewards
University of Central Florida（中佛罗里达大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
针对现有逆强化学习多适配马尔可夫奖励、非马尔可夫奖励推断需奖励信号的问题，提出可直接从专家行为推断奖励机的贝叶斯逆强化学习框架，改进模拟退火最大化奖励后验，性能优于现有二元非马尔可夫奖励学习方法。
2024-06-20 cs.LG
Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究在RUL框架下提出两种新型奖励函数，经RWKU基准实验，其遗忘效率较二元奖励提升，速度快达3倍且保留模型效用，表明奖励设计是机器遗忘效率的关键驱动因素。
2026-07-31 cs.LG
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
ReLOAD通过自蒸馏生成内在奖励，解决离线强化学习中显式奖励标注的难题，实现稳健的策略学习并达到传统方法的性能水平。
2025-12-22 cs.LG
Explicit Credit Assignment through Local Rewards and Dependence Graphs in Multi-Agent Reinforcement Learning
Human-Machine Interaction Laboratory（人机交互实验室）
研究多智能体强化学习中促进合作的方法，结合全局奖励和局部奖励优点，利用智能体交互图更细粒度识别贡献，减轻局部奖励合作问题，实验表明该方法灵活且优于传统设置。
2026-07-07 cs.LG
Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对大语言模型在基于多维评分标准的强化学习中奖励失衡的问题，提出Focal Reward方法，通过逆奖励投影机制估计各维度饱和程度并自动重加权，实现细粒度平衡，在18个模型-基准对比中均优于最强静态聚合基线。
2026-05-26 cs.LG
The Distributional Reward Critic Framework for Reinforcement Learning Under Perturbed Rewards
The Ohio State Univeristy（俄亥俄州立大学）
针对强化学习中未知且更一般的奖励扰动问题，本文提出分布奖励评论家框架，可在训练中估计奖励分布与扰动，兼容任意RL算法，并在44/48个测试设置中取得最高或并列最高回报。
2025-03-10 cs.LG
Reward-Zero: Language Embedding Driven Implicit Reward Mechanisms for Reinforcement Learning
Reward-Zero通过语言嵌入驱动的隐式奖励机制，提升强化学习的样本效率、泛化能力和可扩展性。
2026-03-10 cs.LG
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法，以提升多目标强化学习的可扩展性，在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
Off-Policy Reinforcement Learning with Delayed Rewards
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了具有延迟奖励的深度强化学习（RL）算法。在许多现实世界的任务中，即时奖励通常不容易获得，甚至在代理执行操作后立即定义。在这项工作中，我们首先正式定义的环境与延迟奖励，并讨论了由于非马尔可夫性质的这种环境所提出的挑战。然后，我们引入了一个通用的非策略RL框架，该框架具有新的Q函数公式，可以处理延迟奖励，并具有理论收敛保证。对于具有高维状态空间的实际任务，我们进一步在我们的框架中引入了Q函数的HC分解规则，这自然会导致一种近似方案，有助于提高训练效率和稳定性。最后，我们进行了广泛的实验，以证明我们的算法优于现有的工作和他们的变种的性能。
2021-06-22 cs.LG
Information Directed Reward Learning for Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）；Spotify（声田）
对于许多强化学习（RL）应用，指定奖励是困难的。本文考虑了一种RL设置，其中代理仅通过查询专家来获得有关奖励的信息，例如，可以评估单个状态或提供轨迹的二进制偏好。从这样昂贵的反馈中，我们的目标是学习一个奖励模型，该模型允许标准RL算法以尽可能少的专家查询实现高预期回报。为此，我们提出了信息导向的奖励学习（IDRL），它使用贝叶斯模型的奖励和选择查询，最大限度地提高信息收益的差异，在回报之间的合理最优的政策。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它实现了类似的或更好的性能与显着更少的查询，通过转移的重点从减少奖励近似误差，以提高政策诱导的奖励模型。我们支持我们的研究结果在多个环境中进行了广泛的评估，并与不同的查询类型。
2022-01-31 cs.LG
Intrinsic Rewards from Self-Organizing Feature Maps for Exploration in Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Norwegian University of Science and Technology（挪威科技大学）
我们为使用自组织特征映射计算的深度强化学习方法引入了探索奖金。我们的方法使用自适应共振理论（ART）提供在线，无监督聚类来量化状态的新颖性。该启发式算法用于将内在奖励添加到外在奖励信号，然后优化代理以最大化这两个奖励的总和。我们发现，这种方法能够在与ICM arXiv：1705.05464相当数量的训练时期后以人类水平玩游戏Ordeal。使用RND arXiv：1810.12894增强的代理无法在我们的超参数空间中实现相同的性能水平。
2023-02-06 cs.LG
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
Seoul National University（首尔大学）
本文提出奖励膨胀，即在训练中逐步缩放奖励，作为强化学习的健康刺激，通过隐式近期加权和维持梯度信号提升适应性与可塑性，并在ALE和MuJoCo任务上验证其有效性，同时提出自适应变体Fed。
2026-10-05 cs.LG
Learning Rewards to Optimize Global Performance Metrics in Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）
当将强化学习（RL）应用于一个新问题时，奖励工程是系统设计者必须面对的一项必要但往往困难且容易出错的任务。为了避免这一步，我们提出了LR4GPM，这是一种新的（深度）RL方法，可以优化全局性能指标，该指标应该可以作为问题描述的一部分。LR4GPM在两个阶段之间交替：（1）学习用于拟合性能度量的（可能是向量）奖励函数，以及（2）基于学习的奖励来训练策略以优化该性能度量的近似。这种RL训练并不简单，因为奖励函数和策略都是使用非平稳数据训练的。为了克服这个问题，我们提出了几个训练技巧。我们证明了LR4GPM在几个领域的效率。值得注意的是，LR4GPM的表现优于最近在DAI'2020举办的自动驾驶竞赛的获胜者。
2023-03-16 cs.LG
Efficient Reward Identification In Max Entropy Reinforcement Learning with Sparsity and Rank Priors
University of Michigan（密歇根大学）
本文研究从最大熵强化学习的最优策略或演示中恢复时变奖励函数，通过引入奖励稀疏性和低秩先验，将问题转化为线性约束下的稀疏化和秩最小化问题，并提出了高效的多项式时间优化算法准确恢复奖励并验证其泛化能力。
2025-08-10 cs.LG
Fusing Rewards and Preferences in Reinforcement Learning
本文提出双反馈Actor（DFA）算法，将个体奖励与成对偏好融合到单一更新规则中，直接利用策略对数概率建模偏好，在多个控制环境和GridWorld中匹配或超越SAC及RLHF基线。
2025-08-15 cs.LG
From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning
Tianjin University（天津大学）
本文提出RLRR框架，通过将奖励塑造从绝对评分转为相对排名，解决群体强化学习中奖励稳定性与监督稀疏性问题，并在推理和生成任务中取得性能提升。
2026-01-30 cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization
Meituan, China（美团，中国）
本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。
2026-05-13 cs.CL cs.LG
Discovering and Removing Exogenous State Variables and Rewards for Reinforcement Learning
School of EECS, Oregon State University（俄勒冈州立大学电气与计算机科学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
外部状态变量和奖励可以通过向奖励信号中注入不受控制的变化来减缓强化学习。我们形式化的外生状态变量和奖励，并确定条件下，MDP与外生状态可以分解成一个外生马尔可夫奖励过程只涉及外生状态+奖励和一个内生马尔可夫决策过程定义的只有内生奖励。我们还推导出一个方差-协方差条件下，蒙特卡罗政策评估的内生MDP加速相比，使用完整的MDP。类似的加速可能会延续到所有RL算法。我们开发了两种算法来发现外生变量，并在几个MDP上进行了测试。实验结果表明，该算法具有一定的实用性，能够显著提高强化学习的速度。
2018-06-05 cs.LG stat.ML
No-Regret Reinforcement Learning with Heavy-Tailed Rewards
Tsinghua University（清华大学）
强化学习算法通常假设奖励是从轻尾分布（例如高斯分布或有界分布）中采样的。然而，各种各样的现实世界系统产生的奖励遵循重尾分布。我们在未折扣强化学习的设置中考虑这样的场景。通过构造一个下界，我们证明了重尾奖励的学习难度渐近地超过了转移概率的学习难度。利用鲁棒均值估计的技术，我们提出了Heavy-UCRL 2和Heavy-Q-Learning，并证明了它们在这种情况下达到了接近最优的遗憾界限。我们的算法也自然地推广到深度强化学习应用;我们将Heavy-DQN实例化作为一个例子。我们证明了我们所有的算法在合成MDP和标准RL基准上都优于基线。
2021-02-25 cs.LG stat.ML
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute（海康威视研究院）
在强化学习（RL）中，设计最优的奖励函数一直是人们所期望的，但却极其困难。当涉及到现代复杂任务时，复杂的奖励函数被广泛用于简化策略学习，但由于训练成本急剧增加，即使是对它们进行微小的调整也是昂贵的。为此，我们提出了一种后见之明的奖励调整方法，通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式，除了随机奖励配置，获得一个超政策，其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性，并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
Offline Reinforcement Learning with Imputed Rewards
University of Florence（佛罗伦萨大学）
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题，提出一种奖励模型，仅用1%带标注数据即可为99%无奖励转移插补奖励，在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Inferring Probabilistic Reward Machines from Non-Markovian Reward Processes for Reinforcement Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
强化学习在典型环境中的成功是基于对奖励信号的马尔可夫假设，代理通过该信号学习最优策略。近年来，奖励机器的使用放宽了这一假设，使非马尔可夫奖励的结构化表示。特别地，这种表示可以用于增强底层决策过程的状态空间，从而促进非马尔可夫强化学习。然而，这些奖励机器不能捕捉随机奖励信号的语义。在本文中，我们在这方面取得了进展，引入概率奖励机（PRM）作为非马尔可夫随机奖励的代表。我们提出了一个算法，学习PRM从底层的决策过程，并证明其正确性和收敛性的结果。
2022-03-27 cs.FL cs.LG stat.ML
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）
我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
Reinforcement Learning with Stochastic Reward Machines
University of Zagreb（Zagreb大学）；Max Planck Institute for Software Systems（软件系统马克斯·普朗克研究所）
针对现有奖励机算法假设无噪声奖励的局限，本文提出随机奖励机及其基于约束求解的学习算法，可结合现有强化学习算法，保证收敛到最优策略，并在案例研究中优于现有方法。
2025-10-16 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
Reinforcement Learning with a Corrupted Reward Channel
Australian National University（澳大利亚国立大学）；DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高（或更低）的奖励。例如，一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态，但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题，称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳，即使在强简化假设下，以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先，通过给予智能体更丰富的数据，例如在逆强化学习和半监督强化学习中，有时可以完全管理源于系统感觉错误的奖励腐败。其次，通过使用随机化来削弱代理的优化，可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）；Northwestern Polytechnical University（西北工业大学）；Lehigh University（理海大学）
多智能体强化学习在实践中引起了越来越多的关注，例如，机器人和自动驾驶，因为它可以使用与环境交互生成的样本来探索最佳策略。然而，当我们想要训练一个令人满意的模型时，高回报不确定性仍然是一个问题，因为获得高质量的回报反馈通常是昂贵的，甚至是不可行的。为了处理这个问题，以前的方法主要集中在被动奖励校正。与此同时，最近的主动奖励估计方法已被证明是一个减少奖励不确定性的影响的处方。在本文中，我们提出了一个新的分布式奖励估计框架有效的多智能体强化学习（DRE-MARL）。我们的主要思想是设计多行动分支的奖励估计和策略加权的奖励聚集稳定的训练。具体来说，我们设计了多动作分支的奖励估计模型的奖励分布在所有的动作分支。然后，我们利用奖励聚合获得稳定的更新信号在训练过程中。我们的直觉是，考虑行动的所有可能后果可能有助于学习政策。DRE-MARL的优越性证明使用基准多智能体的情况下，与SOTA基线的有效性和鲁棒性。
2022-10-14 cs.LG cs.MA
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
