Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning
L3S Research Center（L3S研究中心）
本文研究基于势能的奖励塑形在强化学习中的有效性，提出通过势能函数的线性平移在不改变编码偏好和初始Q值的情况下提升塑形效果，并给出理论局限性与实验验证。
2025-02-03 cs.LG
Shaping Proto-Value Functions via Rewards
Indian Institute of Science（印度科学学院）
本文将任务相关的奖励塑造和任务无关的原价值函数相结合，得到了报酬相关的原价值函数。在构建RPVF时，我们利用了在采样阶段可用但在PVF构建中不使用的即时奖励。我们通过实验表明，学习与RPVF为基础的表示是优于学习，只有奖励塑造或PVF。特别地，当状态空间是对称的并且奖励是不对称的时，RPVF比PVF更好地捕获不对称性。
2015-11-27 cs.AI cs.LG
From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge
Wuhan University（武汉大学）
提出 Q-shaping，将 LLM 提供的领域知识直接用于塑造 Q 值，并在 20 个环境中证明其显著优于基线和 LLM 奖励塑造方法。
2024-10-02 cs.AI cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究提出BAMDP Shaping统一框架，将内在动机与奖励塑形纳入BAMDP体系，证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客，还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
强化学习提供了一个从高级奖励规范中学习行为的自动化框架，但在实践中，奖励函数的选择对于良好的结果至关重要-虽然原则上奖励只需要指定任务是什么，但实际上从业者通常需要设计更详细的奖励，为代理提供一些关于如何完成任务的提示。这种类型的“奖励塑造”的想法在文献中经常被讨论，并且通常是实际应用的关键部分，但是对于奖励塑造的选择如何在样本复杂性中产生益处，相对来说很少有正式的表征。在这项工作中，我们建立在基于新颖性的探索框架上，提供了一个简单的方案，将成形奖励与RL一起分析工具，以表明奖励塑造的特定选择可证明提高样本效率。我们的特点，这些收益预计是显着的问题，并显示如何将其连接到文献中的实用算法。我们证实，这些结果在实践中的实验评估，提供了一个深入了解的机制，通过奖励塑造可以显着提高强化学习的复杂性，同时保持渐近性能。
2022-10-18 cs.AI cs.LG
Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出了一种基于随机奖励塑造的多智能体强化学习方法，通过4种算法选择策略训练多个方法，提升在Overcooked环境中的稀疏奖励表现，改进率达62.2%-119.2%。
2026-11-04 cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
MORSE通过双层优化框架自动整合多目标人类启发式奖励，提升机器人任务性能。
2025-12-17 cs.AI cs.LG
Reward Shaping for Human Learning via Inverse Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
人类是惊人的强化学习者，不断地从经验和反馈中学习并调整。不幸的是，这并不一定意味着人类是快速学习者。当任务具有挑战性时，学习可能会变得令人无法接受的缓慢。幸运的是，人类不必学习白板，学习速度可以通过学习辅助工具大大提高。在这项工作中，我们验证了一种新型的学习辅助工具-通过反向强化学习（IRL）为人类奖励塑造。这种援助的目标是提高人类学习特定任务的良好策略的速度。此外，这种方法补充了替代的机器学习技术，例如试图防止个人做出错误决定的安全功能。为了实现我们的结果，我们首先通过内核方法扩展一个众所周知的IRL算法。之后，我们进行了两个人类受试者的实验，使用一个在线游戏，玩家有有限的时间来学习一个好的政策。我们的统计意义表明，球员谁收到我们的学习援助能够更快地接近所需的政策比对照组。
2022-12-15 cs.LG stat.ML
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Potential-based Reward Shaping in Sokoban
Leiden University（莱顿大学）
学习解决稀疏奖励强化学习问题是困难的，因为缺乏对目标的指导。但在某些问题中，先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能，在这项工作中，我们研究是否可以使用搜索算法（A*）自动生成一个潜在的功能，奖励塑造推箱子，一个著名的规划任务。结果表明，使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明，距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下，奖励塑造的可能性。结果可以被压缩成一个单一的策略，这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Potential-Based Reward Shaping For Intrinsic Motivation
North Carolina State University（北卡罗来纳州立大学）
本文针对内在动机奖励塑形可能改变最优策略集合的问题，提出了PBRS的扩展方法及Potential-Based Intrinsic Motivation（PBIM），将IM奖励转换为基于势函数的形式，在不改变最优策略集合的前提下防止次优收敛并加速训练。
2024-02-12 cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University（哥伦比亚大学）
本文提出通过自动学习奖励塑造函数，从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Reward Shaping Using Convolutional Neural Network
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
在本文中，我们提出了价值迭代网络奖励塑造（VIN-RS），一个潜在的基于卷积神经网络（CNN）的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程（MDP）的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数，同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵，同时从输入帧或采样图中提取环境细节。由于（1）之前使用消息传递进行奖励塑造的成功;以及（2）CNN规划行为，我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏，Atari 2600和MuJoCo，离散和连续的动作空间。我们的研究结果表明，与最先进的方法相比，在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
我们引入了自监督在线奖励塑造（SORS），其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号，而策略更新则使用新推断的，通常密集的奖励函数来执行。我们引入的理论表明，在某些条件下，这种改变的奖励函数不会改变原来的MDP的最优策略，同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明，在多个域中，该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率，而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory（美国海军研究实验室）
本文研究在稀疏奖励的实时夺旗游戏中，通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间，并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
Magnetic Field-Based Reward Shaping for Goal-Conditioned Reinforcement Learning
Nanjing University（南京大学）；East China University of Science and Technology（华东理工大学）
针对动态目标与障碍物下目标条件强化学习的稀疏奖励问题，提出基于磁场非线性各向异性强度的MFRS奖励塑形，并通过辅助势函数保持最优策略不变性，显著提升样本效率。
2023-07-16 cs.LG
Potential-Based Intrinsic Motivation: Preserving Optimality With Complex, Non-Markovian Shaping Rewards
本文扩展了基于势的奖励塑形（PBRS），提出PBIM和GRM方法将内在动机奖励转化为基于势的形式，从而在复杂稀疏奖励环境中保持最优策略集不变，防止次优收敛并加速训练。
2024-10-16 cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（信息学国立研究所）
针对强化学习在大规模状态-动作空间中学习缓慢的问题，本文扩展基于势函数的奖励塑造，提出便于人类提供子目标知识的奖励塑造方法，并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
Bootstrapped Reward Shaping
针对稀疏奖励强化学习中 PBRS 势函数依赖任务知识的问题，提出以智能体当前状态价值估计作为势函数的自举方法 BSRS，并证明表格收敛性、分析深度 RL 动态且在 Atari 上加速训练。
2025-07-24 cs.AI cs.LG
Calculus on MDPs: Potential Shaping as a Gradient
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
在强化学习中，不同的奖励函数在它们诱导的最优策略方面可以是等价的。一个特别著名和重要的例子是潜在的整形，一类函数，可以添加到任何奖励函数，而不会改变任意过渡动态下的最优策略集。势成形在概念上类似于数学和物理中的势、保守向量场和规范变换，但这种联系以前没有被正式探讨过。我们开发了一个形式主义的离散微积分抽象的马尔可夫决策过程的图形，并显示如何潜在的塑造可以正式解释为在这个框架内的梯度。这使我们能够加强Ng等人（1999）的结果，该结果描述了在哪些条件下，潜在成形是唯一的附加奖励变换，以始终保持最优策略。作为我们的形式主义的一个额外的应用，我们定义了一个规则，从每个潜在的成形等价类中挑选一个唯一的奖励函数。
2022-12-02 cs.LG
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Obstacle Avoidance and Navigation Utilizing Reinforcement Learning with Reward Shaping
University of North Texas（北德克萨斯大学）
本文主要研究机器人控制领域中的避障与导航问题。针对这一问题，提出了基于改进奖励塑造技术的深度确定性策略梯度（DDPG）和近端策略优化算法。我们比较了原始DDPG和PPO与修改后的版本，都与一个真正的移动机器人模拟的性能，并证明所提出的算法取得了更好的效果。
2020-04-10 cs.LG cs.RO cs.SY
A Narration-based Reward Shaping Approach using Grounded Natural Language Commands
US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；University of Texas-Austin（德克萨斯大学奥斯汀分校）
虽然深度强化学习技术已经使代理能够成功学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的奖励稀疏问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。受通过更容易获得的自然语言叙述范式实现奖励塑造的愿景的启发，我们开发了一种技术，可以使用自然语言命令提供奖励塑造的好处。我们的叙述引导RL代理项目的自然语言命令序列到相同的高维表示空间作为相应的目标状态。我们表明，与传统的奖励整形方法相比，我们的方法可以提高性能。此外，我们证明了我们的方法推广到看不见的自然语言命令的能力。
2019-10-31 cs.AI cs.CL cs.LG
Maximum Expected Hitting Cost of a Markov Decision Process and Informativeness of Rewards
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出了一种新的马尔可夫决策过程复杂性测度--最大期望命中代价。这种措施通过考虑奖励结构来收紧密切相关的直径概念[JOA10]。我们发现，这个参数取代直径的最佳值跨度的扩展MDP的上限，从而完善相关的上限上的遗憾的几个UCRL 2-like算法。此外，我们表明，基于潜力的奖励塑造[NHR 99]可以诱导等效的奖励功能与不同的信息，MEHC测量。我们进一步建立，塑造可以减少或增加MEHC最多的一个因素，在一个大类的MDP有限MEHC和不饱和的最佳平均奖励的两个。
2019-11-04 cs.LG stat.ML
Reward Shaping to Mitigate Reward Hacking in RLHF
Fudan University（复旦大学）
PAR通过利用奖励模型中的潜在偏好信号，有效缓解RLHF中的奖励黑客问题，表现出更高的性能和数据效率。
2026-11-10 cs.AI cs.CL cs.LG
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin（柏林工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在高维状态空间中，强化学习（RL）的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造（PB-RS）之前。在目前的工作中，我们介绍了最终卷保持奖励塑造（FV-RS）。FV-RS放宽了PB-RS的严格最优性保证，以保证保持长期行为。由于限制较少，FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是，我们考虑设置代理人可以访问一个近似的计划。在这里，我们使用模拟机器人操作任务的例子来证明，计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning
Tianjin University（天津大学）
本文提出RLRR框架，通过将奖励塑造从绝对评分转为相对排名，解决群体强化学习中奖励稳定性与监督稀疏性问题，并在推理和生成任务中取得性能提升。
2026-01-30 cs.LG
Optimal Reward Shaping: Autonomous Car Parking Case Study
研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。
2026-07-28 cs.LG math.OC
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架，在RLHF训练前通过辅助任务元学习塑形函数，可提升LLaMA-3-8B在多基准上的对齐性能，降低训练不稳定性。
2026-07-30 cs.CL cs.LG
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas（堪萨斯大学）；University of New Mexico（新墨西哥大学）；Iran University of Science and Technology（伊朗科技大学）
基于潜能的奖励塑造（PBRS）是一类特殊的机器学习方法，其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤：从先前学习的任务中提取知识，并将该知识转移到目标任务中使用。后一步在文献中讨论得很好，提出了各种方法，而前一步则很少探索。考虑到这一点，传播的知识类型非常重要，可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中，一个从未被提及的主题是在学习过程本身中收集的知识。在本文中，我们提出了一种新的潜在的奖励塑造方法，试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估，结果表明，在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习在稀疏奖励领域样本效率低的问题，提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号，实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northwestern University（西北大学）；School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法，以解决随机环境中理论结果不成立和性能下降的问题，并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective
University of Southern California（南加州大学）
针对KL正则化导致LLM继承基策略偏见的问题，提出将奖励模型优化形式化为Stackelberg博弈，并通过简单奖励塑形方案近似最优奖励模型，在推理时对齐中持续提升平均奖励并达到超过66%的胜率。
2026-06-07 cs.AI cs.LG
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果，实验表明其表现与独立学习相似且远逊于集中式方法，揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
Escaping Offline Pessimism: Vector-Field Reward Shaping for Safe Frontier Exploration
本文提出向量场奖励塑造方法，通过梯度对齐和旋转向量项诱导持续安全前沿探索，验证了在连续导航任务中有效平衡安全与信息收集。
2026-03-18 cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
ORSO将塑形奖励选择建模为在线模型选择问题，自动识别高性能奖励函数，数据效率更高、计算时间最多降低8倍，性能优于先前方法50%以上，媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；ISIR Sorbonne Université（索邦大学智能系统与机器人研究所）；Univ Angers（昂热大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
强化学习（RL）在长时间和稀疏奖励任务中是非常困难的，需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号，使其更好地指导学习过程。在语言条件强化学习的背景下，语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中，我们利用这个想法，并提出了一个自动奖励塑造方法，代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成（QG）和问答（QA）系统：它们由问题组成，引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候，它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹，这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明，该方法不需要工程师干预设计辅助目标，通过有效地指导探索，提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
Benchmarking Potential Based Rewards for Learning Humanoid Locomotion
MIT（麻省理工学院）
针对强化学习中奖励函数设计调优难的问题，本文对人形机器人高维运动学习场景下的标准奖励塑形与PBRS开展基准测试，发现PBRS收敛速度提升有限但缩放鲁棒性更强、更易调优。
2023-07-19 cs.AI cs.LG cs.RO
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
强化学习是一种获得长期回报最大化的策略，已经被积极地研究。不幸的是，这种学习类型太慢，很难在实际情况中使用，因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数，称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数，但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合，使抽象的状态，因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合，使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态，只有子目标序列和子目标识别函数。它使设计人员的努力最小化，并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验，四个房间（离散状态和离散动作），弹球（连续和离散），采摘（连续）。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较，包括随机子目标和基于朴素子目标的奖励塑造。因此，我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Shaping Advice in Deep Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）
多智能体强化学习涉及多个智能体相互交互和共享环境来完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出了一种称为深度多智能体强化学习（SAM）中的整形建议的方法，以通过称为整形建议的额外奖励来增强来自环境的奖励信号。成形建议由连续时间步长处的势函数的差给出。每个潜在的功能是一个功能的观察和行动的代理。成形建议只需要在训练开始时指定一次，并且可以很容易地由非专家提供。我们通过理论分析和实验验证表明，SAM提供的成形建议不会分散代理完成环境奖励指定的任务。理论上，我们证明了使用SAM时的策略梯度和价值函数的收敛意味着在没有SAM的情况下这些量的收敛。在实验中，我们评估SAM在多智能体粒子世界环境中的三个任务，有稀疏的奖励。我们观察到，使用SAM导致代理学习策略更快地完成任务，并获得更高的奖励：i）单独使用稀疏奖励; ii）最先进的奖励再分配方法。
2021-03-29 cs.AI cs.LG cs.SY
Shaping Rewards, Shaping Routes: On Multi-Agent Deep Q-Networks for Routing in Satellite Constellation Networks
German Aerospace Center (DLR)（德国航空航天中心）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
该研究面向卫星星座网络动态路由，评估多智能体深度Q网络在时延与负载均衡联合优化中的效果，并提出集中式学习、分散式控制的混合方案。
2024-08-04 cs.LG cs.NI
Embedding Contextual Information through Reward Shaping in Multi-Agent Learning: A Case Study from Google Football
Google Research（谷歌研究院）
针对多智能体强化学习的信用分配及稀疏奖励下效率低的问题，提出嵌入上下文信息的奖励塑形方法，经GRF环境实验验证可有效补充前沿MARL算法。
2023-07-21 cs.AI cs.LG
Reward Shaping for Reinforcement Learning with Omega-Regular Objectives
Queen’s University Belfast（贝尔法斯特女王大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
最近，已经成功地利用良好的MDP自动机（Büchi自动机与非确定性的限制形式）的无模型强化学习，一类自动机，包括良好的游戏自动机和最广泛的一类限制确定性自动机。使用这些Büchi自动机的基础是，Büchi条件，对于良好的MDP自动机，可以转化为可达性。这种翻译的缺点是，平均而言，奖励很晚才获得，这需要在学习过程中长时间的插曲。我们设计了一种新的奖励塑造方法来克服这个问题。我们表明，由此产生的模型是等价于一个有偏见的折扣，简化和改善以前的工作在这个方向上的折扣收益目标。
2020-01-16 cs.LG cs.LO
Internal Model from Observations for Reward Shaping
IBM Research AI（IBM研究院人工智能部门）；Ascent Robotics Inc.（Ascent机器人公司）
强化学习方法需要仔细设计，包括奖励函数，以获得给定任务的期望动作策略。在没有手工制作的奖励函数的情况下，关于该主题的先前工作已经提出了几种使用专家状态轨迹和动作对进行奖励估计的方法。然而，在某些情况下，无法从专家演示中获得完整或良好的行动信息。我们提出了一种新的强化学习方法，在该方法中，智能体根据专家演示的状态轨迹学习内部观察模型，以估计奖励，而不完全学习外部环境的动态状态动作对。内部模型以给定专家状态分布的预测模型的形式获得。在强化学习过程中，智能体根据实际状态和内部模型预测的状态之间的差异来预测奖励。我们在不同复杂度的环境中进行了多次实验，包括超级马里奥兄弟和Flappy Bird游戏。我们展示了我们的方法成功地直接从专家游戏视频中训练出好的策略。
2018-10-14 cs.AI cs.LG cs.RO
Comprehensive Overview of Reward Engineering and Shaping in Advancing Reinforcement Learning Applications
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
本文系统综述了强化学习中奖励工程与奖励塑造的方法、技术、局限及最新进展，并探讨了其在机器人、自动驾驶等复杂任务中的未来应用方向。
2024-12-27 cs.LG cs.SY eess.SY
