BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究提出BAMDP Shaping统一框架，将内在动机与奖励塑形纳入BAMDP体系，证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客，还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
MORSE通过双层优化框架自动整合多目标人类启发式奖励，提升机器人任务性能。
2025-12-17 cs.AI cs.LG
Potential-based Reward Shaping in Sokoban
Leiden University（莱顿大学）
学习解决稀疏奖励强化学习问题是困难的，因为缺乏对目标的指导。但在某些问题中，先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能，在这项工作中，我们研究是否可以使用搜索算法（A*）自动生成一个潜在的功能，奖励塑造推箱子，一个著名的规划任务。结果表明，使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明，距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下，奖励塑造的可能性。结果可以被压缩成一个单一的策略，这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Reward Shaping Using Convolutional Neural Network
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
在本文中，我们提出了价值迭代网络奖励塑造（VIN-RS），一个潜在的基于卷积神经网络（CNN）的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程（MDP）的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数，同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵，同时从输入帧或采样图中提取环境细节。由于（1）之前使用消息传递进行奖励塑造的成功;以及（2）CNN规划行为，我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏，Atari 2600和MuJoCo，离散和连续的动作空间。我们的研究结果表明，与最先进的方法相比，在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory（美国海军研究实验室）
本文研究在稀疏奖励的实时夺旗游戏中，通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间，并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（信息学国立研究所）
针对强化学习在大规模状态-动作空间中学习缓慢的问题，本文扩展基于势函数的奖励塑造，提出便于人类提供子目标知识的奖励塑造方法，并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University（哥伦比亚大学）
本文提出通过自动学习奖励塑造函数，从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出MEDS框架，通过整合历史行为信号改进奖励设计，提升大语言模型的探索多样性与性能，实验显示在多个数据集上取得显著提升。
2026-04-13 cs.AI cs.CL cs.LG
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架，在RLHF训练前通过辅助任务元学习塑形函数，可提升LLaMA-3-8B在多基准上的对齐性能，降低训练不稳定性。
2026-07-30 cs.CL cs.LG
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas（堪萨斯大学）；University of New Mexico（新墨西哥大学）；Iran University of Science and Technology（伊朗科技大学）
基于潜能的奖励塑造（PBRS）是一类特殊的机器学习方法，其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤：从先前学习的任务中提取知识，并将该知识转移到目标任务中使用。后一步在文献中讨论得很好，提出了各种方法，而前一步则很少探索。考虑到这一点，传播的知识类型非常重要，可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中，一个从未被提及的主题是在学习过程本身中收集的知识。在本文中，我们提出了一种新的潜在的奖励塑造方法，试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估，结果表明，在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习在稀疏奖励领域样本效率低的问题，提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号，实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northwestern University（西北大学）；School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法，以解决随机环境中理论结果不成立和性能下降的问题，并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin（柏林工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在高维状态空间中，强化学习（RL）的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造（PB-RS）之前。在目前的工作中，我们介绍了最终卷保持奖励塑造（FV-RS）。FV-RS放宽了PB-RS的严格最优性保证，以保证保持长期行为。由于限制较少，FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是，我们考虑设置代理人可以访问一个近似的计划。在这里，我们使用模拟机器人操作任务的例子来证明，计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
强化学习是一种获得长期回报最大化的策略，已经被积极地研究。不幸的是，这种学习类型太慢，很难在实际情况中使用，因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数，称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数，但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合，使抽象的状态，因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合，使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态，只有子目标序列和子目标识别函数。它使设计人员的努力最小化，并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验，四个房间（离散状态和离散动作），弹球（连续和离散），采摘（连续）。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较，包括随机子目标和基于朴素子目标的奖励塑造。因此，我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Embedding Contextual Information through Reward Shaping in Multi-Agent Learning: A Case Study from Google Football
Google Research（谷歌研究院）
针对多智能体强化学习的信用分配及稀疏奖励下效率低的问题，提出嵌入上下文信息的奖励塑形方法，经GRF环境实验验证可有效补充前沿MARL算法。
2023-07-21 cs.AI cs.LG
Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning
L3S Research Center（L3S研究中心）
本文研究基于势能的奖励塑形在强化学习中的有效性，提出通过势能函数的线性平移在不改变编码偏好和初始Q值的情况下提升塑形效果，并给出理论局限性与实验验证。
2025-02-03 cs.LG
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
ORSO将塑形奖励选择建模为在线模型选择问题，自动识别高性能奖励函数，数据效率更高、计算时间最多降低8倍，性能优于先前方法50%以上，媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
Learn to Reason Efficiently with Adaptive Length-based Reward Shaping
The Hong Kong University of Science and Technology（香港科学与技术大学）；City University of Hong Kong（香港城市大学）；University of Waterloo（多伦多大学）；Apple（苹果公司）
针对大型推理模型推理链冗余效率低的问题，提出基于长度的步骤奖励塑造方法LASER，并扩展为动态难度感知的LASER-D，实现推理性能与效率的帕累托最优平衡，在多个模型和基准上验证了效果。
2025-05-21 cs.AI cs.CL cs.LG
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
该研究针对LLM衍生奖励信号的理论模糊问题，提出基于LLM反馈的策略不变奖励塑形框架，将混合架构形式化为目标增强MDP，证明其最优策略集保留保证更强，并通过数值实验验证了结果。
2026-08-19 cs.AI cs.LG
Benchmarking Potential Based Rewards for Learning Humanoid Locomotion
MIT（麻省理工学院）
针对强化学习中奖励函数设计调优难的问题，本文对人形机器人高维运动学习场景下的标准奖励塑形与PBRS开展基准测试，发现PBRS收敛速度提升有限但缩放鲁棒性更强、更易调优。
2023-07-19 cs.AI cs.LG cs.RO
Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
统计口语对话系统具有能够通过与真实用户的交互从数据优化的吸引人的特性。然而，在强化学习范例中，对话管理器（代理）通常需要大量的时间来探索状态-动作空间，以学习以期望的方式表现。这是一个关键的问题，当系统是在线训练与真实用户的学习成本是昂贵的。奖励塑造是解决这些问题的一种有前途的技术。在这里，我们研究了三种递归神经网络（RNN）方法，除了主要的（面向任务的）环境反馈外，还提供了奖励塑造信息。这些RNN是根据模拟用户生成的对话的返回值进行训练的，并试图将对话的整体评估扩散到回合级别，以引导智能体更快地实现良好的行为。在模拟和真实的用户场景中，这些RNN被证明可以提高策略学习速度。重要的是，它们不需要事先了解用户的目标。
2015-08-18 cs.CL cs.LG
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响，提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能，并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
Shaping Advice in Deep Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）
多智能体强化学习涉及多个智能体相互交互和共享环境来完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出了一种称为深度多智能体强化学习（SAM）中的整形建议的方法，以通过称为整形建议的额外奖励来增强来自环境的奖励信号。成形建议由连续时间步长处的势函数的差给出。每个潜在的功能是一个功能的观察和行动的代理。成形建议只需要在训练开始时指定一次，并且可以很容易地由非专家提供。我们通过理论分析和实验验证表明，SAM提供的成形建议不会分散代理完成环境奖励指定的任务。理论上，我们证明了使用SAM时的策略梯度和价值函数的收敛意味着在没有SAM的情况下这些量的收敛。在实验中，我们评估SAM在多智能体粒子世界环境中的三个任务，有稀疏的奖励。我们观察到，使用SAM导致代理学习策略更快地完成任务，并获得更高的奖励：i）单独使用稀疏奖励; ii）最先进的奖励再分配方法。
2021-03-29 cs.AI cs.LG cs.SY
Automating Potential-based Reward Shaping with Vision Language Model Guidance
L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）
提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。
2026-06-26 cs.AI cs.LG cs.RO
Learning from Expert Factors: Trajectory-level Reward Shaping for Formulaic Alpha Mining
Southern University of Science and Technology（南方科技大学）；University of Sydney（悉尼大学）；Harvard University（哈佛大学）
针对公式化 alpha 挖掘中 RL 奖励稀疏问题，提出 TLRS 轨迹级奖励塑形与奖励中心化机制，提升因子预测力并将特征维度相关复杂度降至常数。
2025-07-27 cs.AI cs.LG q-fin.PM
Shaping Advice in Deep Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
强化学习涉及代理与环境交互以完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出的方法，以增加奖励信号的环境与额外的奖励称为成形的意见，在单和多智能体强化学习。成形建议被指定为连续时间步长处的势函数的差。每个潜在的功能是一个功能的观察和行动的代理。势函数的使用是基于这样一种认识，即从任何状态开始并返回到相同状态时的总势总是等于零。我们通过理论分析和实验验证表明，成形的建议不会分散代理完成指定的任务的环境奖励。理论上，我们证明了策略梯度和价值函数的收敛时，使用整形建议意味着这些数量的收敛，在没有整形建议。我们设计了两个算法-单智能体强化学习（SAS）中的Shaping Advice和多智能体强化学习（SAM）中的Shaping Advice。SAS和SAM中的成形建议只需在培训开始时指定一次，并且可以由非专家轻松提供。在实验中，我们评估SAS和SAM的两个任务在单智能体环境和三个任务在多智能体环境中，有稀疏的奖励。我们观察到，使用整形建议导致代理学习策略，以更快地完成任务，并获得比不使用整形建议的算法更高的奖励。
2022-02-19 cs.AI cs.LG cs.MA
Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanjing University（南京大学）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）
Text2Reward提出基于大语言模型的无数据框架，自动生成可解释的稠密奖励代码，在多个机器人任务上达到或超越专家奖励性能，并支持人类反馈迭代优化。
2024-05-25 cs.AI cs.CL cs.LG
MAESTRO: Multi-Agent Environment Shaping through Task and Reward Optimization
Department of Mechanical and Industrial Engineering（机械与工业工程系）；University of Toronto（多伦多大学）
MAESTRO通过任务和奖励优化提升多智能体强化学习的环境塑造能力，结合LLM生成课程和奖励函数，提高性能和稳定性。
2025-12-10 cs.AI cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
我们引入了自监督在线奖励塑造（SORS），其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号，而策略更新则使用新推断的，通常密集的奖励函数来执行。我们引入的理论表明，在某些条件下，这种改变的奖励函数不会改变原来的MDP的最优策略，同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明，在多个域中，该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率，而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出了一种基于随机奖励塑造的多智能体强化学习方法，通过4种算法选择策略训练多个方法，提升在Overcooked环境中的稀疏奖励表现，改进率达62.2%-119.2%。
2026-11-04 cs.LG
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室）
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造，有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
Reward Shaping via Diffusion Process in Reinforcement Learning
本研究利用随机热力学原理，通过扩散过程进行奖励塑形，构建双框架以平衡探索与利用，并揭示信息熵与熵产生的关系，为RL提供新视角。
2023-06-20 cs.AI cs.LG
Agentic Reinforcement Learning with Self-Distilled Reward Shaping
针对智能体强化学习中稀疏奖励无法分配中间决策信用的问题，提出ADRS框架，通过校准教师分数等提升多轮语言智能体在长时域任务的性能，且增益稳定。
2026-08-05 cs.AI cs.CL cs.LG
Obstacle Avoidance and Navigation Utilizing Reinforcement Learning with Reward Shaping
University of North Texas（北德克萨斯大学）
本文主要研究机器人控制领域中的避障与导航问题。针对这一问题，提出了基于改进奖励塑造技术的深度确定性策略梯度（DDPG）和近端策略优化算法。我们比较了原始DDPG和PPO与修改后的版本，都与一个真正的移动机器人模拟的性能，并证明所提出的算法取得了更好的效果。
2020-04-10 cs.LG cs.RO cs.SY
CLIP-RLDrive: Human-Aligned Autonomous Driving via CLIP-Based Reward Shaping in Reinforcement Learning
Concordia University（康考迪亚大学）
本文提出CLIP-RLDrive框架，通过CLIP视觉语言模型构建基于视觉与文本线索的奖励模型，将自动驾驶决策与人类偏好对齐，解决了复杂城市场景中手动设计强化学习奖励模型的难题。
2024-12-17 cs.AI cs.LG cs.RO
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
Magnetic Field-Based Reward Shaping for Goal-Conditioned Reinforcement Learning
Nanjing University（南京大学）；East China University of Science and Technology（华东理工大学）
针对动态目标与障碍物下目标条件强化学习的稀疏奖励问题，提出基于磁场非线性各向异性强度的MFRS奖励塑形，并通过辅助势函数保持最优策略不变性，显著提升样本效率。
2023-07-16 cs.LG
Reward Shaping with Subgoals for Social Navigation
National Institute of Informatics（国立情报学研究所）
社交导航随着机器智能的发展而受到关注。由于强化学习可以在预测阶段以较低的计算成本选择动作，因此它已被制定在社会导航任务中。然而，强化学习需要大量的迭代，直到在学习阶段获得行为策略。这对机器人在现实世界中的行为学习产生了负面影响。特别地，社交导航包括在环境中不可预测地移动障碍物的人。我们提出了一种带有子目标的奖励塑造方法来加速学习。主要部分是一个聚合方法，使用子目标来塑造一个强化学习算法。我们进行了一个社会导航任务的学习实验，其中机器人避免碰撞，然后达到其目标。实验结果表明，该方法提高了学习效率从一个基本算法在任务。
2021-04-13 cs.AI cs.LG cs.RO
Optimal Reward Shaping: Autonomous Car Parking Case Study
研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。
2026-07-28 cs.LG math.OC
Achieving Optimal Tissue Repair Through MARL with Reward Shaping and Curriculum Learning
College of Interdisciplinary Studies, Zayed University（扎耶德大学跨学科研究学院）；College of Engineering, The Hashemite University（哈希米特大学工程学院）
本文提出集成随机反应扩散系统、类神经电化学通信和生物启发奖励函数的MARL框架，结合课程学习优化组织修复，硅基实验展现动态分泌控制等涌现修复策略。
2025-04-14 cs.AI cs.LG cs.MA
