Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
MORSE通过双层优化框架自动整合多目标人类启发式奖励，提升机器人任务性能。
2025-12-17 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Reward Shaping Using Convolutional Neural Network
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
在本文中，我们提出了价值迭代网络奖励塑造（VIN-RS），一个潜在的基于卷积神经网络（CNN）的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程（MDP）的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数，同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵，同时从输入帧或采样图中提取环境细节。由于（1）之前使用消息传递进行奖励塑造的成功;以及（2）CNN规划行为，我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏，Atari 2600和MuJoCo，离散和连续的动作空间。我们的研究结果表明，与最先进的方法相比，在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
A Novel Automated Curriculum Strategy to Solve Hard Sokoban Planning Instances
Cornell University（康奈尔大学）
近年来，我们见证了深度强化学习（RL）在围棋、国际象棋、视频游戏和机器人控制等任务中的巨大进步。然而，其他组合领域，如人工智能规划，仍然对RL方法提出了相当大的挑战。在这些领域的关键困难是，一个积极的奖励信号成为{ \em指数罕见}的最小解长度增加。因此，RL方法会丢失其训练信号。最近，通过使用一种旨在解决单个硬实例的基于知识驱动的学习方法，已经取得了令人鼓舞的进展。我们提出了一种新的{ \em automated}课程的方法，动态地选择从我们的{ \em难度量子动量}策略的指导下，不同的任务复杂性的未标记的训练实例池。我们展示了任务难度的平滑度如何影响最终的学习结果。特别是，随着实例池的大小增加，“硬度差距”减小，这有助于更顺畅的基于自动化课程的学习过程。我们的自动化课程方法大大改进了以前的方法。我们展示了我们的结果推箱子，这是一个传统的PSPACE完整的规划问题，并提出了一个很大的挑战，即使是专业的解决方案。我们的RL代理可以解决任何以前最先进的推箱子求解器都无法解决的困难实例。特别是，我们的方法可以发现需要数百个步骤的计划，而以前最好的搜索方法需要多年的计算时间来解决这些问题。此外，我们表明，我们可以进一步提高强化学习的性能与我们的自动化课程的方法与好奇心驱动的搜索策略和图形神经网络表示的复杂耦合。
2021-10-03 cs.AI
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory（美国海军研究实验室）
本文研究在稀疏奖励的实时夺旗游戏中，通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间，并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（信息学国立研究所）
针对强化学习在大规模状态-动作空间中学习缓慢的问题，本文扩展基于势函数的奖励塑造，提出便于人类提供子目标知识的奖励塑造方法，并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
Bootstrapped Reward Shaping
针对稀疏奖励强化学习中 PBRS 势函数依赖任务知识的问题，提出以智能体当前状态价值估计作为势函数的自举方法 BSRS，并证明表格收敛性、分析深度 RL 动态且在 Atari 上加速训练。
2025-07-24 cs.AI cs.LG
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas（堪萨斯大学）；University of New Mexico（新墨西哥大学）；Iran University of Science and Technology（伊朗科技大学）
基于潜能的奖励塑造（PBRS）是一类特殊的机器学习方法，其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤：从先前学习的任务中提取知识，并将该知识转移到目标任务中使用。后一步在文献中讨论得很好，提出了各种方法，而前一步则很少探索。考虑到这一点，传播的知识类型非常重要，可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中，一个从未被提及的主题是在学习过程本身中收集的知识。在本文中，我们提出了一种新的潜在的奖励塑造方法，试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估，结果表明，在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习在稀疏奖励领域样本效率低的问题，提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号，实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northwestern University（西北大学）；School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法，以解决随机环境中理论结果不成立和性能下降的问题，并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
强化学习是一种获得长期回报最大化的策略，已经被积极地研究。不幸的是，这种学习类型太慢，很难在实际情况中使用，因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数，称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数，但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合，使抽象的状态，因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合，使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态，只有子目标序列和子目标识别函数。它使设计人员的努力最小化，并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验，四个房间（离散状态和离散动作），弹球（连续和离散），采摘（连续）。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较，包括随机子目标和基于朴素子目标的奖励塑造。因此，我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Embedding Contextual Information through Reward Shaping in Multi-Agent Learning: A Case Study from Google Football
Google Research（谷歌研究院）
针对多智能体强化学习的信用分配及稀疏奖励下效率低的问题，提出嵌入上下文信息的奖励塑形方法，经GRF环境实验验证可有效补充前沿MARL算法。
2023-07-21 cs.AI cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University（哥伦比亚大学）
本文提出通过自动学习奖励塑造函数，从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
该研究针对LLM衍生奖励信号的理论模糊问题，提出基于LLM反馈的策略不变奖励塑形框架，将混合架构形式化为目标增强MDP，证明其最优策略集保留保证更强，并通过数值实验验证了结果。
2026-08-19 cs.AI cs.LG
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
Attention-Based Reward Shaping for Sparse and Delayed Rewards
North Carolina State University（北卡罗来纳州立大学）
针对强化学习中稀疏延迟奖励的难题，提出可完全离线训练、基于Transformer注意力机制的通用奖励塑形算法ARES，兼容任意RL算法，在极端延迟奖励与低质量数据下仍能显著提升学习效果。
2025-05-16 cs.AI cs.LG
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响，提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能，并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
PCGPT: Procedural Content Generation via Transformers
Sharif University of Technology（谢里夫理工大学）
针对传统程序化内容生成方法内容重复、一致性差等问题，提出结合离线强化学习与Transformer的PCGPT框架，通过自注意力机制建模轨迹生成游戏内容，在Sokoban游戏上以更少步骤生成更复杂多样的内容，优于现有方法。
2023-10-03 cs.AI cs.LG
A Narration-based Reward Shaping Approach using Grounded Natural Language Commands
US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；University of Texas-Austin（德克萨斯大学奥斯汀分校）
虽然深度强化学习技术已经使代理能够成功学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的奖励稀疏问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。受通过更容易获得的自然语言叙述范式实现奖励塑造的愿景的启发，我们开发了一种技术，可以使用自然语言命令提供奖励塑造的好处。我们的叙述引导RL代理项目的自然语言命令序列到相同的高维表示空间作为相应的目标状态。我们表明，与传统的奖励整形方法相比，我们的方法可以提高性能。此外，我们证明了我们的方法推广到看不见的自然语言命令的能力。
2019-10-31 cs.AI cs.CL cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Reward Shaping to Mitigate Reward Hacking in RLHF
Fudan University（复旦大学）
PAR通过利用奖励模型中的潜在偏好信号，有效缓解RLHF中的奖励黑客问题，表现出更高的性能和数据效率。
2026-09-18 cs.AI cs.CL cs.LG
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin（柏林工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在高维状态空间中，强化学习（RL）的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造（PB-RS）之前。在目前的工作中，我们介绍了最终卷保持奖励塑造（FV-RS）。FV-RS放宽了PB-RS的严格最优性保证，以保证保持长期行为。由于限制较少，FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是，我们考虑设置代理人可以访问一个近似的计划。在这里，我们使用模拟机器人操作任务的例子来证明，计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
MAESTRO: Multi-Agent Environment Shaping through Task and Reward Optimization
Department of Mechanical and Industrial Engineering（机械与工业工程系）；University of Toronto（多伦多大学）
MAESTRO通过任务和奖励优化提升多智能体强化学习的环境塑造能力，结合LLM生成课程和奖励函数，提高性能和稳定性。
2025-12-10 cs.AI cs.LG
Reward Shaping via Diffusion Process in Reinforcement Learning
本研究利用随机热力学原理，通过扩散过程进行奖励塑形，构建双框架以平衡探索与利用，并揭示信息熵与熵产生的关系，为RL提供新视角。
2023-06-20 cs.AI cs.LG
Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning
L3S Research Center（L3S研究中心）
本文研究基于势能的奖励塑形在强化学习中的有效性，提出通过势能函数的线性平移在不改变编码偏好和初始Q值的情况下提升塑形效果，并给出理论局限性与实验验证。
2025-02-03 cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
ORSO将塑形奖励选择建模为在线模型选择问题，自动识别高性能奖励函数，数据效率更高、计算时间最多降低8倍，性能优于先前方法50%以上，媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；ISIR Sorbonne Université（索邦大学智能系统与机器人研究所）；Univ Angers（昂热大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
强化学习（RL）在长时间和稀疏奖励任务中是非常困难的，需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号，使其更好地指导学习过程。在语言条件强化学习的背景下，语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中，我们利用这个想法，并提出了一个自动奖励塑造方法，代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成（QG）和问答（QA）系统：它们由问题组成，引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候，它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹，这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明，该方法不需要工程师干预设计辅助目标，通过有效地指导探索，提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
Benchmarking Potential Based Rewards for Learning Humanoid Locomotion
MIT（麻省理工学院）
针对强化学习中奖励函数设计调优难的问题，本文对人形机器人高维运动学习场景下的标准奖励塑形与PBRS开展基准测试，发现PBRS收敛速度提升有限但缩放鲁棒性更强、更易调优。
2023-07-19 cs.AI cs.LG cs.RO
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊人工智能）
本文提出TIPS方法，通过回合级信息潜力奖励塑造提升搜索增强LLM的训练稳定性与性能，优于GRPO/PPO基线，在多个问答基准上取得显著提升。
2026-03-11 cs.AI cs.CL cs.LG
Iterative Reward Shaping using Human Feedback for Correcting Reward Misspecification
IBM Research（IBM研究院）；Trinity College Dublin（都柏林圣三一学院）
本文提出ITERS，一种利用人类轨迹级反馈进行迭代奖励塑形的方法，以自动纠正强化学习中的奖励错误规范，并在三个环境中验证其有效性。
2023-08-30 cs.AI
Automating Potential-based Reward Shaping with Vision Language Model Guidance
L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）
提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。
2026-06-26 cs.AI cs.LG cs.RO
Learning from Expert Factors: Trajectory-level Reward Shaping for Formulaic Alpha Mining
Southern University of Science and Technology（南方科技大学）；University of Sydney（悉尼大学）；Harvard University（哈佛大学）
针对公式化 alpha 挖掘中 RL 奖励稀疏问题，提出 TLRS 轨迹级奖励塑形与奖励中心化机制，提升因子预测力并将特征维度相关复杂度降至常数。
2025-07-27 cs.AI cs.LG q-fin.PM
Shaping Advice in Deep Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
强化学习涉及代理与环境交互以完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出的方法，以增加奖励信号的环境与额外的奖励称为成形的意见，在单和多智能体强化学习。成形建议被指定为连续时间步长处的势函数的差。每个潜在的功能是一个功能的观察和行动的代理。势函数的使用是基于这样一种认识，即从任何状态开始并返回到相同状态时的总势总是等于零。我们通过理论分析和实验验证表明，成形的建议不会分散代理完成指定的任务的环境奖励。理论上，我们证明了策略梯度和价值函数的收敛时，使用整形建议意味着这些数量的收敛，在没有整形建议。我们设计了两个算法-单智能体强化学习（SAS）中的Shaping Advice和多智能体强化学习（SAM）中的Shaping Advice。SAS和SAM中的成形建议只需在培训开始时指定一次，并且可以由非专家轻松提供。在实验中，我们评估SAS和SAM的两个任务在单智能体环境和三个任务在多智能体环境中，有稀疏的奖励。我们观察到，使用整形建议导致代理学习策略，以更快地完成任务，并获得比不使用整形建议的算法更高的奖励。
2022-02-19 cs.AI cs.LG cs.MA
Useful Policy Invariant Shaping from Arbitrary Advice
University of Alberta（阿尔伯塔大学）；Google, DeepMind（谷歌深度思维）
强化学习是一种强大的学习范式，其中代理可以学习最大化稀疏和延迟的奖励信号。尽管RL在复杂领域取得了许多令人印象深刻的成功，但学习可能需要数小时、数天甚至数年的训练数据。当代RL研究的一个主要挑战是发现如何用更少的数据进行学习。以前的工作已经表明，域信息可以成功地用于塑造奖励;通过添加额外的奖励信息，代理可以用更少的数据进行学习。此外，如果奖励是从一个潜在的功能，最优策略是保证不变。虽然这种基于潜力的奖励塑造（PBRS）的承诺，它是有限的，需要一个明确的潜在功能。理想情况下，我们希望能够从人类或其他代理那里获得任意的建议，并在不影响最优策略的情况下提高性能。最近推出的动态势为基础的建议（DPBA）的方法来解决这个挑战，从人类或其他代理人接受任意的意见，并提高性能，而不影响最佳的政策。本文的主要贡献在于从理论和实证两个方面揭示了DPBA的缺陷。或者，为了实现理想的目标，我们提出了一个简单的方法，称为政策不变显式整形（PIES），并从理论和经验表明，PIES成功的DPBA失败。
2020-11-02 cs.AI cs.LG
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室）
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造，有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出了一种基于随机奖励塑造的多智能体强化学习方法，通过4种算法选择策略训练多个方法，提升在Overcooked环境中的稀疏奖励表现，改进率达62.2%-119.2%。
2026-11-04 cs.LG
Shaping Advice in Deep Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）
多智能体强化学习涉及多个智能体相互交互和共享环境来完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出了一种称为深度多智能体强化学习（SAM）中的整形建议的方法，以通过称为整形建议的额外奖励来增强来自环境的奖励信号。成形建议由连续时间步长处的势函数的差给出。每个潜在的功能是一个功能的观察和行动的代理。成形建议只需要在训练开始时指定一次，并且可以很容易地由非专家提供。我们通过理论分析和实验验证表明，SAM提供的成形建议不会分散代理完成环境奖励指定的任务。理论上，我们证明了使用SAM时的策略梯度和价值函数的收敛意味着在没有SAM的情况下这些量的收敛。在实验中，我们评估SAM在多智能体粒子世界环境中的三个任务，有稀疏的奖励。我们观察到，使用SAM导致代理学习策略更快地完成任务，并获得更高的奖励：i）单独使用稀疏奖励; ii）最先进的奖励再分配方法。
2021-03-29 cs.AI cs.LG cs.SY
Exploiting Multiple Abstractions in Episodic RL via Reward Shaping
University of Oxford（牛津大学）；Banca d’Italia（意大利银行）
针对强化学习样本需求大的问题，提出基于MDP抽象层级的奖励塑造方法，利用抽象解指导复杂领域学习，设计要求低且容忍误差，保证最优收敛并经实验验证有效。
2023-08-04 cs.AI cs.LG
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning
AI Research Dept. JPMorganChase Madrid, ES（摩根大通西班牙马德里人工智能研究部）；AI Research Dept. JPMorganChase London, UK（摩根大通英国伦敦人工智能研究部）
本文分析了有限时间跨度下基于势函数的奖励塑形（PBRS）的偏差，提出利用抽象近似最优值函数作为势函数，在四个环境中显著提升了样本效率，并用简单全连接网络达到了CNN的性能。
2025-08-11 cs.AI cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
我们引入了自监督在线奖励塑造（SORS），其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号，而策略更新则使用新推断的，通常密集的奖励函数来执行。我们引入的理论表明，在某些条件下，这种改变的奖励函数不会改变原来的MDP的最优策略，同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明，在多个域中，该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率，而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
Reward Shaping with Subgoals for Social Navigation
National Institute of Informatics（国立情报学研究所）
社交导航随着机器智能的发展而受到关注。由于强化学习可以在预测阶段以较低的计算成本选择动作，因此它已被制定在社会导航任务中。然而，强化学习需要大量的迭代，直到在学习阶段获得行为策略。这对机器人在现实世界中的行为学习产生了负面影响。特别地，社交导航包括在环境中不可预测地移动障碍物的人。我们提出了一种带有子目标的奖励塑造方法来加速学习。主要部分是一个聚合方法，使用子目标来塑造一个强化学习算法。我们进行了一个社会导航任务的学习实验，其中机器人避免碰撞，然后达到其目标。实验结果表明，该方法提高了学习效率从一个基本算法在任务。
2021-04-13 cs.AI cs.LG cs.RO
Magnetic Field-Based Reward Shaping for Goal-Conditioned Reinforcement Learning
Nanjing University（南京大学）；East China University of Science and Technology（华东理工大学）
针对动态目标与障碍物下目标条件强化学习的稀疏奖励问题，提出基于磁场非线性各向异性强度的MFRS奖励塑形，并通过辅助势函数保持最优策略不变性，显著提升样本效率。
2023-07-16 cs.LG
