A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
MORSE通过双层优化框架自动整合多目标人类启发式奖励，提升机器人任务性能。
2025-12-17 cs.AI cs.LG
Potential-based Reward Shaping in Sokoban
Leiden University（莱顿大学）
学习解决稀疏奖励强化学习问题是困难的，因为缺乏对目标的指导。但在某些问题中，先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能，在这项工作中，我们研究是否可以使用搜索算法（A*）自动生成一个潜在的功能，奖励塑造推箱子，一个著名的规划任务。结果表明，使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明，距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下，奖励塑造的可能性。结果可以被压缩成一个单一的策略，这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Reward Shaping Using Convolutional Neural Network
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
在本文中，我们提出了价值迭代网络奖励塑造（VIN-RS），一个潜在的基于卷积神经网络（CNN）的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程（MDP）的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数，同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵，同时从输入帧或采样图中提取环境细节。由于（1）之前使用消息传递进行奖励塑造的成功;以及（2）CNN规划行为，我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏，Atari 2600和MuJoCo，离散和连续的动作空间。我们的研究结果表明，与最先进的方法相比，在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory（美国海军研究实验室）
本文研究在稀疏奖励的实时夺旗游戏中，通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间，并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
FRESH: Interactive Reward Shaping in High-Dimensional State Spaces using Human Feedback
University of Washington（华盛顿大学）；Worcester Polytechnic Institute（伍斯特理工学院）
强化学习已经成功地训练自主智能体在复杂环境中完成目标。虽然这已经适应了多种设置，包括机器人和计算机游戏，但人类玩家通常会发现在某些环境中比强化学习算法更容易获得更高的奖励。这在高维状态空间中尤其如此，在高维状态空间中，智能体获得的奖励是稀疏的或极度延迟的。在本文中，我们试图有效地整合人类操作员提供的反馈信号与高维状态空间中的深度强化学习算法。我们称之为FRESH（基于反馈的奖励塑造）。在训练期间，向人类操作员呈现来自重放缓冲器的轨迹，然后提供关于轨迹中的状态和动作的反馈。为了将人类操作员提供的反馈信号推广到测试时以前看不见的状态和动作，我们使用了反馈神经网络。我们使用一个集成的神经网络与一个共享的网络架构来表示模型的不确定性和神经网络在其输出的信心。反馈神经网络的输出被转换为成形奖励，该成形奖励被增强到由环境提供的奖励。我们评估我们的保龄球和滑雪雅达利游戏在街机学习环境的方法。尽管人类专家能够在这些环境中获得高分，但最先进的深度学习算法表现不佳。我们观察到，FRESH在这两种环境中都能够获得比最先进的深度学习算法更高的分数。FRESH在保龄球方面的得分也比人类专家高出21.4%，在滑雪方面的得分也比人类专家高。
2020-01-19 cs.AI
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
提出一种基于Beta分布的自适应奖励塑形方法，利用KDE和RFF高效估计成功率，动态平衡探索与利用，显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（信息学国立研究所）
针对强化学习在大规模状态-动作空间中学习缓慢的问题，本文扩展基于势函数的奖励塑造，提出便于人类提供子目标知识的奖励塑造方法，并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
Bootstrapped Reward Shaping
针对稀疏奖励强化学习中 PBRS 势函数依赖任务知识的问题，提出以智能体当前状态价值估计作为势函数的自举方法 BSRS，并证明表格收敛性、分析深度 RL 动态且在 Atari 上加速训练。
2025-07-24 cs.AI cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University（哥伦比亚大学）
本文提出通过自动学习奖励塑造函数，从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology（埃因霍温理工大学）；Northwestern Polytechnical University（西北工业大学）
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题，提出风险感知奖励塑形方法，新增鼓励探索、惩罚风险行为的奖励项，仿真验证对多类智能体有效，且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
PIRS: Physics-Informed Reward Shaping for SAC-Based Building Energy Management
Politecnico di Torino（托里尼理工大学）
针对深度强化学习中奖励函数设计缺乏物理基础的问题，提出PIRS方法，将ISO 7730 PMV公式嵌入SAC的多目标奖励中，提升可解释性和性能。
2026-05-27 cs.AI
Leash: Adaptive Length Penalty and Reward Shaping for Efficient Large Reasoning Model
Peking University（北京大学）；Harbin Institute of Technology（哈尔滨工业大学）
Leash通过自适应长度惩罚与奖励塑造，有效提升大模型推理效率，减少推理长度60%同时保持性能竞争力。
2025-12-25 cs.AI
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas（堪萨斯大学）；University of New Mexico（新墨西哥大学）；Iran University of Science and Technology（伊朗科技大学）
基于潜能的奖励塑造（PBRS）是一类特殊的机器学习方法，其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤：从先前学习的任务中提取知识，并将该知识转移到目标任务中使用。后一步在文献中讨论得很好，提出了各种方法，而前一步则很少探索。考虑到这一点，传播的知识类型非常重要，可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中，一个从未被提及的主题是在学习过程本身中收集的知识。在本文中，我们提出了一种新的潜在的奖励塑造方法，试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估，结果表明，在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习在稀疏奖励领域样本效率低的问题，提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号，实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northwestern University（西北大学）；School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法，以解决随机环境中理论结果不成立和性能下降的问题，并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
A Narration-based Reward Shaping Approach using Grounded Natural Language Commands
US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；University of Texas-Austin（德克萨斯大学奥斯汀分校）
虽然深度强化学习技术已经使代理能够成功学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的奖励稀疏问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。受通过更容易获得的自然语言叙述范式实现奖励塑造的愿景的启发，我们开发了一种技术，可以使用自然语言命令提供奖励塑造的好处。我们的叙述引导RL代理项目的自然语言命令序列到相同的高维表示空间作为相应的目标状态。我们表明，与传统的奖励整形方法相比，我们的方法可以提高性能。此外，我们证明了我们的方法推广到看不见的自然语言命令的能力。
2019-10-31 cs.AI cs.CL cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
强化学习是一种获得长期回报最大化的策略，已经被积极地研究。不幸的是，这种学习类型太慢，很难在实际情况中使用，因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数，称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数，但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合，使抽象的状态，因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合，使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态，只有子目标序列和子目标识别函数。它使设计人员的努力最小化，并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验，四个房间（离散状态和离散动作），弹球（连续和离散），采摘（连续）。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较，包括随机子目标和基于朴素子目标的奖励塑造。因此，我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；University of Rochester（罗切斯特大学）
提出依赖感知奖励塑形（DARS），通过依赖图分配步骤级信用，在多个任务上提升强化学习训练大型语言模型的成功率。
2026-10-02 cs.AI
Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control
University of California San Diego（加州大学圣迭戈分校）；Tsinghua University（清华大学）
本文研究镇定控制中奖励塑形所需的信息量，证明策略梯度无需一阶（速度）奖励项即可成功，但需零阶完备奖励，为机器人RL奖励设计提供原则性指导。
2026-09-29 cs.AI cs.RO
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
ORSO将塑形奖励选择建模为在线模型选择问题，自动识别高性能奖励函数，数据效率更高、计算时间最多降低8倍，性能优于先前方法50%以上，媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
该研究针对LLM衍生奖励信号的理论模糊问题，提出基于LLM反馈的策略不变奖励塑形框架，将混合架构形式化为目标增强MDP，证明其最优策略集保留保证更强，并通过数值实验验证了结果。
2026-08-19 cs.AI cs.LG
Attention-Based Reward Shaping for Sparse and Delayed Rewards
North Carolina State University（北卡罗来纳州立大学）
针对强化学习中稀疏延迟奖励的难题，提出可完全离线训练、基于Transformer注意力机制的通用奖励塑形算法ARES，兼容任意RL算法，在极端延迟奖励与低质量数据下仍能显著提升学习效果。
2025-05-16 cs.AI cs.LG
A Reminder of its Brittleness: Language Reward Shaping May Hinder Learning for Instruction Following Agents
Google DeepMind（谷歌DeepMind）
本文指出语言奖励塑形（LRS）的成功具有脆弱性，通过识别部分匹配奖励问题、提出奖励扰动分析，并结合理论与实验证明其相较纯RL会降低收敛速度。
2023-08-17 cs.AI cs.SY eess.SY
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Stage-Wise Reward Shaping for Acrobatic Robots: A Constrained Multi-Objective Reinforcement Learning Approach
Seoul National University（首尔大学）；ASRI（先进科技与信息研究学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）
本文提出一种基于受约束多目标强化学习（CMORL）的杂技机器人分阶段奖励塑造方法，通过将复杂任务划分为不同阶段并分别定义多个奖励与成本函数，有效简化了奖励设计，在仿真和真实环境的杂技任务中优于现有算法。
2024-09-24 cs.AI cs.RO
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响，提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能，并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
ROLeR: Effective Reward Shaping in Offline Reinforcement Learning for Recommender Systems
The University of Queensland（昆士兰大学）；CSIRO DATA61
针对基于模型的离线RL推荐受奖励估计偏差和模型不确定性限制的问题，提出ROLeR框架，通过非参数奖励塑形和灵活的不确定性惩罚提升性能，并在四个基准上达到SOTA。
2025-05-12 cs.AI cs.IR
Learning from Expert Factors: Trajectory-level Reward Shaping for Formulaic Alpha Mining
Southern University of Science and Technology（南方科技大学）；University of Sydney（悉尼大学）；Harvard University（哈佛大学）
针对公式化 alpha 挖掘中 RL 奖励稀疏问题，提出 TLRS 轨迹级奖励塑形与奖励中心化机制，提升因子预测力并将特征维度相关复杂度降至常数。
2025-07-27 cs.AI cs.LG q-fin.PM
Shaping Advice in Deep Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
强化学习涉及代理与环境交互以完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出的方法，以增加奖励信号的环境与额外的奖励称为成形的意见，在单和多智能体强化学习。成形建议被指定为连续时间步长处的势函数的差。每个潜在的功能是一个功能的观察和行动的代理。势函数的使用是基于这样一种认识，即从任何状态开始并返回到相同状态时的总势总是等于零。我们通过理论分析和实验验证表明，成形的建议不会分散代理完成指定的任务的环境奖励。理论上，我们证明了策略梯度和价值函数的收敛时，使用整形建议意味着这些数量的收敛，在没有整形建议。我们设计了两个算法-单智能体强化学习（SAS）中的Shaping Advice和多智能体强化学习（SAM）中的Shaping Advice。SAS和SAM中的成形建议只需在培训开始时指定一次，并且可以由非专家轻松提供。在实验中，我们评估SAS和SAM的两个任务在单智能体环境和三个任务在多智能体环境中，有稀疏的奖励。我们观察到，使用整形建议导致代理学习策略，以更快地完成任务，并获得比不使用整形建议的算法更高的奖励。
2022-02-19 cs.AI cs.LG cs.MA
Self-correcting Reward Shaping via Language Models for Reinforcement Learning Agents in Games
Electronic Arts (EA)（美国艺电公司（EA））；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种基于语言模型的自动化奖励权重迭代微调方法，通过闭环自校正机制使游戏强化学习智能体在赛车任务中性能显著提升，达到与人类专家手动设计相当的水平。
2025-06-30 cs.AI
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室）
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造，有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
Reward Shaping via Diffusion Process in Reinforcement Learning
本研究利用随机热力学原理，通过扩散过程进行奖励塑形，构建双框架以平衡探索与利用，并揭示信息熵与熵产生的关系，为RL提供新视角。
2023-06-20 cs.AI cs.LG
Distributed Control using Reinforcement Learning with Temporal-Logic-Based Reward Shaping
Boston University（波士顿大学）
我们提出了一个计算框架的分布式控制策略的异构团队的机器人在部分可观察的环境中的合成。我们的目标是合作满足规格截断线性时序逻辑（TLTL）公式。我们的方法制定的合成问题作为一个随机游戏，并采用策略图的方法来找到一个控制策略与记忆每个代理。我们构建了随机博弈的产品之间的团队过渡系统和有限状态自动机（FSA），跟踪TLTL公式的满意度。我们使用TLTL的量化语义作为游戏的奖励，并使用FSA进一步重塑它来指导和加速学习过程。仿真结果表明，所提出的解决方案的有效性，在苛刻的任务规格和有效性的奖励塑造在显着加快学习的速度。
2022-04-06 cs.AI cs.SY eess.SY
CLIP-RLDrive: Human-Aligned Autonomous Driving via CLIP-Based Reward Shaping in Reinforcement Learning
Concordia University（康考迪亚大学）
本文提出CLIP-RLDrive框架，通过CLIP视觉语言模型构建基于视觉与文本线索的奖励模型，将自动驾驶决策与人类偏好对齐，解决了复杂城市场景中手动设计强化学习奖励模型的难题。
2024-12-17 cs.AI cs.LG cs.RO
Reward Shaping with Subgoals for Social Navigation
National Institute of Informatics（国立情报学研究所）
社交导航随着机器智能的发展而受到关注。由于强化学习可以在预测阶段以较低的计算成本选择动作，因此它已被制定在社会导航任务中。然而，强化学习需要大量的迭代，直到在学习阶段获得行为策略。这对机器人在现实世界中的行为学习产生了负面影响。特别地，社交导航包括在环境中不可预测地移动障碍物的人。我们提出了一种带有子目标的奖励塑造方法来加速学习。主要部分是一个聚合方法，使用子目标来塑造一个强化学习算法。我们进行了一个社会导航任务的学习实验，其中机器人避免碰撞，然后达到其目标。实验结果表明，该方法提高了学习效率从一个基本算法在任务。
2021-04-13 cs.AI cs.LG cs.RO
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping
Dalian University of Technology（大连理工大学）；Westlake University（西湖大学）；Guangzhou University（广州大学）
针对现有多智能体分层强化学习算法仅适用于单任务的局限，提出带逻辑奖励塑形的多智能体协作算法，结合LTL表达任务逻辑与价值迭代协调机制，在类Minecraft环境中验证了其提升多任务学习性能的效果。
2024-11-02 cs.AI cs.LO
Tactical Reward Shaping: Bypassing Reinforcement Learning with Strategy-Based Goals
ShanghaiTech University（上海科技大学）
深度强化学习（DRL）已经显示出其有前途的能力，可以直接从试错中学习最优策略。然而，如果奖励函数定义的学习目标“不是最佳”，学习可能会受到阻碍。我们证明，通过以一种反直觉但智能的方式设置竞争的目标/目标，而不是通过许多小时的DRL模拟来尝试解决方案，可以快速收敛到一个获胜的策略。ICRA-DJI RoboMaster AI Challenge是一款在部分可观察环境中进行机器人之间合作和竞争的游戏，与Counter-Strike游戏非常相似。与传统的游戏方法不同，奖励是在赢得比赛或击中敌人时给予的，我们的DRL算法在处于几何战略优势时奖励我们的机器人，这隐含地增加了获胜的机会。此外，我们使用深度Q学习（DQL）来生成移动的多智能体路径，通过避免碰撞来改善两个机器人之间的合作。最后，我们实现了一个变种A* 算法与DQL相同的隐式几何目标和比较结果。我们的结论是，一个良好的设定的目标可以提出问题的需要学习算法，与几何为基础的搜索优于DQL在许多数量级。
2019-10-08 cs.AI cs.RO
Robust Code RL via Faulty-Code-Driven Test case Synthesis and Dense Reward Shaping
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
该研究提出RobustTests框架，通过故障代码驱动的测试用例合成与密集奖励塑造，实现RL微调的Qwen3-32B在LiveCodeBench上较基线方法获绝对3%性能提升，增强了LLM代码生成能力。
2026-08-28 cs.AI cs.SE
Useful Policy Invariant Shaping from Arbitrary Advice
University of Alberta（阿尔伯塔大学）；Google, DeepMind（谷歌深度思维）
强化学习是一种强大的学习范式，其中代理可以学习最大化稀疏和延迟的奖励信号。尽管RL在复杂领域取得了许多令人印象深刻的成功，但学习可能需要数小时、数天甚至数年的训练数据。当代RL研究的一个主要挑战是发现如何用更少的数据进行学习。以前的工作已经表明，域信息可以成功地用于塑造奖励;通过添加额外的奖励信息，代理可以用更少的数据进行学习。此外，如果奖励是从一个潜在的功能，最优策略是保证不变。虽然这种基于潜力的奖励塑造（PBRS）的承诺，它是有限的，需要一个明确的潜在功能。理想情况下，我们希望能够从人类或其他代理那里获得任意的建议，并在不影响最优策略的情况下提高性能。最近推出的动态势为基础的建议（DPBA）的方法来解决这个挑战，从人类或其他代理人接受任意的意见，并提高性能，而不影响最佳的政策。本文的主要贡献在于从理论和实证两个方面揭示了DPBA的缺陷。或者，为了实现理想的目标，我们提出了一个简单的方法，称为政策不变显式整形（PIES），并从理论和经验表明，PIES成功的DPBA失败。
2020-11-02 cs.AI cs.LG
Exploiting Multiple Abstractions in Episodic RL via Reward Shaping
University of Oxford（牛津大学）；Banca d’Italia（意大利银行）
针对强化学习样本需求大的问题，提出基于MDP抽象层级的奖励塑造方法，利用抽象解指导复杂领域学习，设计要求低且容忍误差，保证最优收敛并经实验验证有效。
2023-08-04 cs.AI cs.LG
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning
AI Research Dept. JPMorganChase Madrid, ES（摩根大通西班牙马德里人工智能研究部）；AI Research Dept. JPMorganChase London, UK（摩根大通英国伦敦人工智能研究部）
本文分析了有限时间跨度下基于势函数的奖励塑形（PBRS）的偏差，提出利用抽象近似最优值函数作为势函数，在四个环境中显著提升了样本效率，并用简单全连接网络达到了CNN的性能。
2025-08-11 cs.AI cs.LG
Internal Model from Observations for Reward Shaping
IBM Research AI（IBM研究院人工智能部门）；Ascent Robotics Inc.（Ascent机器人公司）
强化学习方法需要仔细设计，包括奖励函数，以获得给定任务的期望动作策略。在没有手工制作的奖励函数的情况下，关于该主题的先前工作已经提出了几种使用专家状态轨迹和动作对进行奖励估计的方法。然而，在某些情况下，无法从专家演示中获得完整或良好的行动信息。我们提出了一种新的强化学习方法，在该方法中，智能体根据专家演示的状态轨迹学习内部观察模型，以估计奖励，而不完全学习外部环境的动态状态动作对。内部模型以给定专家状态分布的预测模型的形式获得。在强化学习过程中，智能体根据实际状态和内部模型预测的状态之间的差异来预测奖励。我们在不同复杂度的环境中进行了多次实验，包括超级马里奥兄弟和Flappy Bird游戏。我们展示了我们的方法成功地直接从专家游戏视频中训练出好的策略。
2018-10-14 cs.AI cs.LG cs.RO
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
