Magnetic Field-Based Reward Shaping for Goal-Conditioned Reinforcement Learning
Nanjing University(南京大学);East China University of Science and Technology(华东理工大学)
针对动态目标与障碍物下目标条件强化学习的稀疏奖励问题,提出基于磁场非线性各向异性强度的MFRS奖励塑形,并通过辅助势函数保持最优策略不变性,显著提升样本效率。
2023-07-16 cs.LG
Calculus on MDPs: Potential Shaping as a Gradient
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校)
在强化学习中,不同的奖励函数在它们诱导的最优策略方面可以是等价的。一个特别著名和重要的例子是潜在的整形,一类函数,可以添加到任何奖励函数,而不会改变任意过渡动态下的最优策略集。势成形在概念上类似于数学和物理中的势、保守向量场和规范变换,但这种联系以前没有被正式探讨过。我们开发了一个形式主义的离散微积分抽象的马尔可夫决策过程的图形,并显示如何潜在的塑造可以正式解释为在这个框架内的梯度。这使我们能够加强Ng等人(1999)的结果,该结果描述了在哪些条件下,潜在成形是唯一的附加奖励变换,以始终保持最优策略。作为我们的形式主义的一个额外的应用,我们定义了一个规则,从每个潜在的成形等价类中挑选一个唯一的奖励函数。
2022-12-02 cs.LG
Shaping Proto-Value Functions via Rewards
Indian Institute of Science(印度科学学院)
本文将任务相关的奖励塑造和任务无关的原价值函数相结合,得到了报酬相关的原价值函数。在构建RPVF时,我们利用了在采样阶段可用但在PVF构建中不使用的即时奖励。我们通过实验表明,学习与RPVF为基础的表示是优于学习,只有奖励塑造或PVF。特别地,当状态空间是对称的并且奖励是不对称的时,RPVF比PVF更好地捕获不对称性。
2015-11-27 cs.AI cs.LG
From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning
Tianjin University(天津大学)
本文提出RLRR框架,通过将奖励塑造从绝对评分转为相对排名,解决群体强化学习中奖励稳定性与监督稀疏性问题,并在推理和生成任务中取得性能提升。
2026-01-30 cs.LG
Reward Shaping via Meta-Learning
Tsinghua University(清华大学)
奖励塑造是解决强化学习(RL)中信用分配这一关键而又具有挑战性的问题的最有效方法之一。然而,设计成形函数通常需要大量的专业知识和手工工程,并且考虑到要解决的多个类似任务,困难进一步加剧。在本文中,我们考虑奖励成形的任务分布,并提出了一个通用的元学习框架,自动学习有效的奖励塑造新采样的任务,假设只有共享的状态空间,但不一定行动空间。首先,我们推导出理论上最优的奖励塑造的信用分配无模型RL。然后,我们提出了一个基于值的元学习算法,以提取一个有效的先验的最佳奖励塑造。先验可以直接应用于新的任务,或可证明地适应任务后验,同时在几个梯度更新内解决任务。我们通过显着提高学习效率和跨各种设置的可解释的可视化来展示我们的塑造的有效性,特别是从DQN到DDPG的成功转移。
2019-01-27 cs.LG stat.ML
From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge
Wuhan University(武汉大学)
提出 Q-shaping,将 LLM 提供的领域知识直接用于塑造 Q 值,并在 20 个环境中证明其显著优于基线和 LLM 奖励塑造方法。
2024-10-02 cs.AI cs.LG
Escaping Offline Pessimism: Vector-Field Reward Shaping for Safe Frontier Exploration
本文提出向量场奖励塑造方法,通过梯度对齐和旋转向量项诱导持续安全前沿探索,验证了在连续导航任务中有效平衡安全与信息收集。
2026-03-18 cs.LG
Reward prediction for representation learning and reward shaping
Ruhr-Universität Bochum(波鸿鲁尔大学)
强化学习(RL)的基本挑战之一是数据效率:现代算法需要非常大量的训练样本,特别是与人类相比,用于解决具有高维观测的环境。当奖励信号稀疏时,该问题的严重性增加。在这项工作中,我们提出以自我监督的方式学习状态表示以进行奖励预测。奖励预测器学习在具有单个终止目标状态的环境中估计真实奖励信号的原始或平滑版本。我们通过在策略学习期间使用我们的奖励预测器来塑造奖励,从而增强开箱即用的RL代理的训练。使用我们的表示预处理高维观测,以及使用预测的奖励塑造,显着提高演员批评使用克罗内克因子的信任域和近端策略优化在单目标环境中的视觉输入。
2021-05-07 cs.LG stat.ML
BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley(加利福尼亚大学伯克利分校)
该研究提出BAMDP Shaping统一框架,将内在动机与奖励塑形纳入BAMDP体系,证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客,还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity
University of Washington(华盛顿大学);Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Harvard University(哈佛大学)
强化学习提供了一个从高级奖励规范中学习行为的自动化框架,但在实践中,奖励函数的选择对于良好的结果至关重要-虽然原则上奖励只需要指定任务是什么,但实际上从业者通常需要设计更详细的奖励,为代理提供一些关于如何完成任务的提示。这种类型的“奖励塑造”的想法在文献中经常被讨论,并且通常是实际应用的关键部分,但是对于奖励塑造的选择如何在样本复杂性中产生益处,相对来说很少有正式的表征。在这项工作中,我们建立在基于新颖性的探索框架上,提供了一个简单的方案,将成形奖励与RL一起分析工具,以表明奖励塑造的特定选择可证明提高样本效率。我们的特点,这些收益预计是显着的问题,并显示如何将其连接到文献中的实用算法。我们证实,这些结果在实践中的实验评估,提供了一个深入了解的机制,通过奖励塑造可以显着提高强化学习的复杂性,同时保持渐近性能。
2022-10-18 cs.AI cs.LG
CIM: Constrained Intrinsic Motivation for Sparse-Reward Continuous Control
针对稀疏奖励连续控制任务中任务无关内在动机设计失效的问题,提出CIM,利用任务先验构建受约束的内在目标,并通过拉格朗日同步最大化框架自适应平衡内外目标,显著提升了性能与样本效率。
2023-05-18 cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences(德累斯顿应用技术大学)
本研究提出统一分析框架,区分奖励塑造相关类型,分析12类方法族,明确最优性保证在当代深度强化学习流程中的存续条件,揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
MORSE通过双层优化框架自动整合多目标人类启发式奖励,提升机器人任务性能。
2025-12-17 cs.AI cs.LG
LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning
本文结合VSIMR与LLM内在奖励,在MiniGrid DoorKey稀疏奖励环境中提升A2C智能体的性能与采样效率,显著优于单独策略和标准A2C。
2025-08-25 cs.LG
Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs
Vanderbilt University(范德比大学)
提出MRBT结构,结合LLM自动生成奖励和动作掩码,通过SMT验证和神经符号RL循环,提升组合任务训练效率和成功率。
2026-05-23 cs.LG
Potential-based Reward Shaping in Sokoban
Leiden University(莱顿大学)
学习解决稀疏奖励强化学习问题是困难的,因为缺乏对目标的指导。但在某些问题中,先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能,在这项工作中,我们研究是否可以使用搜索算法(A*)自动生成一个潜在的功能,奖励塑造推箱子,一个著名的规划任务。结果表明,使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明,距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下,奖励塑造的可能性。结果可以被压缩成一个单一的策略,这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)(香港大学数学系);Department of Data and Systems Engineering, HKU(香港大学数据与系统工程系);Musketeers Foundation Institute of Data Science, HKU(穆斯克特基金会数据科学研究所)
本文提出一种半监督方法,通过利用非零奖励转移和数据增强学习轨迹空间表示,提升稀疏奖励下的奖励塑造效果,在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联,提出基于替代奖励的统一优化框架,为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);Sony AI(索尼AI)
在连续任务中,平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样,在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而,据我们所知,奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架,并证明了在标准假设下,可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要,我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数,在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下,与相关基线相比,整形加快了平均奖励学习率,而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Reward Shaping Using Convolutional Neural Network
Concordia University(康考迪亚大学);Khalifa University(哈利法大学);Lebanese American University(黎巴嫩美国大学);New York University(纽约大学)
在本文中,我们提出了价值迭代网络奖励塑造(VIN-RS),一个潜在的基于卷积神经网络(CNN)的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程(MDP)的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数,同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵,同时从输入帧或采样图中提取环境细节。由于(1)之前使用消息传递进行奖励塑造的成功;以及(2)CNN规划行为,我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏,Atari 2600和MuJoCo,离散和连续的动作空间。我们的研究结果表明,与最先进的方法相比,在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin(德克萨斯大学奥斯汀分校);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
我们引入了自监督在线奖励塑造(SORS),其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号,而策略更新则使用新推断的,通常密集的奖励函数来执行。我们引入的理论表明,在某些条件下,这种改变的奖励函数不会改变原来的MDP的最优策略,同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明,在多个域中,该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率,而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
Reward Shaping for Improved Learning in Real-time Strategy Game Play
U. S. Naval Research Laboratory(美国海军研究实验室)
本文研究在稀疏奖励的实时夺旗游戏中,通过为不同游戏事件设计奖励塑形函数来提升强化学习性能、缩短训练时间,并实现子任务重要性理解、能源效率目标编码及对不同水平对手的泛化策略学习。
2023-11-27 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造(RS)是强化学习(RL)中克服奖励稀疏或无信息问题的一种有效方法。然而,RS通常依赖于手动设计的成形奖励函数,其构造耗时且容易出错。它还需要领域知识,这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法(ROSA),一个自动的奖励塑造框架,其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理(整形器)使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习,而另一个代理(控制器)使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA,采用现有的RL算法,学习构建一个成形奖励函数,这是有益的任务,从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验,并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Highly Efficient Self-Adaptive Reward Shaping for Reinforcement Learning
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
提出一种基于Beta分布的自适应奖励塑形方法,利用KDE和RFF高效估计成功率,动态平衡探索与利用,显著提升稀疏奖励任务中的样本效率和收敛稳定性。
2025-02-28 cs.AI cs.LG
From Laws to Motivation: Guiding Exploration through Law-Based Reasoning and Rewards
Zhejiang University(浙江大学)
本文提出从交互记录中提取环境规律并以语言形式作为内在动机,通过直接辅助推理或转化为奖励,提升 RL 和 LLM 智能体在 Crafter 中的探索效率与整体表现。
2024-11-24 cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出AIRS,一种自动内在奖励塑形方法,通过实时选择塑形函数增强强化学习探索,并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(信息学国立研究所)
针对强化学习在大规模状态-动作空间中学习缓慢的问题,本文扩展基于势函数的奖励塑造,提出便于人类提供子目标知识的奖励塑造方法,并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
Bootstrapped Reward Shaping
针对稀疏奖励强化学习中 PBRS 势函数依赖任务知识的问题,提出以智能体当前状态价值估计作为势函数的自举方法 BSRS,并证明表格收敛性、分析深度 RL 动态且在 Atari 上加速训练。
2025-07-24 cs.AI cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University(哥伦比亚大学)
本文提出通过自动学习奖励塑造函数,从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards
NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
奖励设计是强化学习应用的关键部分,其性能在很大程度上取决于奖励信号如何构建设计者的目标,以及信号如何评估实现该目标的进展。在许多情况下,环境提供的外在奖励(例如,比赛的输赢)非常稀少,并使得难以直接训练代理。在实践中,研究者通常通过添加一些辅助奖励来辅助Agent的学习。然而,设计辅助奖励往往是转向一个试错搜索奖励设置,产生可接受的结果。在本文中,我们提出了自动生成目标一致的内在奖励的智能体学习,通过最大化的预期累积的外在奖励可以最大化。为此,我们引入了动机的概念,它抓住了最大化某些奖励的潜在目标,并提出了基于动机的奖励设计方法。其基本思想是通过最小化内在和外在动机之间的距离来塑造内在奖励。我们进行了大量的实验,并表明我们的方法比国家的最先进的方法在处理延迟奖励,探索和信用分配的问题。
2022-07-29 cs.AI cs.LG
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH(奥地利技术研究所股份有限公司);TU Wien(维也纳工业大学)
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中,我们介绍了一种新的,分层的,基于潜力的奖励成形方法(HPRS),用于定义有效的,多变量的奖励,为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求,并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造,我们表明,HPRS保持政策最优。我们的实验评估表明,HPRS的卓越能力,在捕捉预期的行为,从而在任务满意的政策,提高舒适度,并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性,以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Potential-Based Shaping and Q-Value Initialization are Equivalent
University of California, San Diego(加利福尼亚大学圣迭戈分校)
整形已被证明是一种强大但不稳定的提高强化学习性能的方法。Ng,Harada和Russell(1999)提出了基于潜力的整形算法,以保证学习者学习最佳行为的方式添加整形奖励。在本说明中,我们证明了这种成形算法和几种强化学习算法所需的初始化步骤之间的某些相似性。更具体地说,我们证明了一个强化学习器的初始Q值的基础上的成形算法的潜在功能,使相同的更新整个学习作为一个学习器接收潜在的成形奖励。我们进一步证明,在一个广泛的类别的政策,这两个学习者的行为是不可区分的。比较提供了直观的成形算法的理论特性,以及一个更简单的方法捕获算法的好处的建议。此外,等价性提出了以前未解决的问题,关于学习的效率与潜力为基础的塑造。
2011-06-26 cs.LG
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的强化学习(RL)方法在诸如Atari游戏等复杂领域中表现出强大的性能,但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造,这涉及到仔细设计奖励函数,为智能体向目标的进展提供中间奖励。然而,设计适当的成形奖励是已知的困难以及耗时。在这项工作中,我们解决这个问题,使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络(LEARN)。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验,这是RL中的一个流行基准。我们对15个不同任务的实验表明,对于与环境的相同数量的交互,与没有语言的学习相比,基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
SLOPE: Optimistic Potential Landscape Shaping for Model-based Reinforcement Learning
Beijing Institute of Technology(北京理工大学);Heriot-Watt University(赫瑞-沃森大学);Shenzhen Institutes of Advanced Technology, CAS(深圳先进技术研究院);Microsoft Research NY(微软研究院纽约分部);Tsinghua University(清华大学);Jilin University(吉林大学)
SLOPE通过乐观势能估计构建信息丰富的势能景观,解决稀疏奖励环境下梯度信息不足的问题,提升模型在稀疏、半稀疏和密集奖励任务中的性能。
2026-11-05 cs.LG
Learning Explainable Dense Reward Shapes via Bayesian Optimization
University of Minnesota(明尼苏达大学);Georgia Institute of Technology(佐治亚理工学院);Grammarly;University of Arizona(亚利桑那大学)
本研究将奖励塑形视为优化问题,利用SHAP和LIME等可解释性方法估计逐标记奖励,并通过贝叶斯优化与策略训练的双层框架学习参数,实现更好的信用分配,提升下游任务性能并加速策略收敛。
2025-04-22 cs.LG
Optimal Reward Shaping: Autonomous Car Parking Case Study
研究非完整约束下无模型强化学习奖励函数设计难题,提出含覆盖门控对齐反馈等的参数化奖励塑造框架,通过联合元优化及基于代理的贝叶斯优化,优化后的深度Q网络代理在停车任务中表现出色。
2026-07-28 cs.LG math.OC
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架,在RLHF训练前通过辅助任务元学习塑形函数,可提升LLaMA-3-8B在多基准上的对齐性能,降低训练不稳定性。
2026-07-30 cs.CL cs.LG
Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning
USD AI Research Lab(USD人工智能研究实验室)
提出ULPS框架,结合校准的大语言模型与不确定性估计,通过A*轨迹微调BERT模型提供动作建议,并用熵机制平衡LLM引导与PPO策略,在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。
2026-06-04 cs.LG
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas(堪萨斯大学);University of New Mexico(新墨西哥大学);Iran University of Science and Technology(伊朗科技大学)
基于潜能的奖励塑造(PBRS)是一类特殊的机器学习方法,其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤:从先前学习的任务中提取知识,并将该知识转移到目标任务中使用。后一步在文献中讨论得很好,提出了各种方法,而前一步则很少探索。考虑到这一点,传播的知识类型非常重要,可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中,一个从未被提及的主题是在学习过程本身中收集的知识。在本文中,我们提出了一种新的潜在的奖励塑造方法,试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估,结果表明,在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI(计算与人工智能学院);Arizona State University(亚利桑那州立大学)
针对强化学习在稀疏奖励领域样本效率低的问题,提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号,实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
Environment Shaping in Reinforcement Learning using State Abstraction
EPFL(洛桑联邦理工学院);MPI-SWS(马克斯·普朗克软件系统研究所)
强化学习(RL)代理所面临的核心挑战之一是在具有稀疏和噪声反馈信号的大状态空间的环境中有效地学习(接近)最优策略。在实际应用中,具有额外领域知识的专家可以通过\emph{shaping the environment}帮助加速学习过程,即,使学习环境更加友好。文献中流行的范例是\emph{potential-based reward shaping},其中环境的奖励函数使用潜在函数用额外的局部奖励来增强。然而,基于潜力的奖励塑造的适用性在以下设置中受到限制:(i)状态空间非常大,并且计算适当的潜力函数具有挑战性;(ii)反馈信号是嘈杂的,并且即使具有整形的奖励,代理也可能陷入局部最优;以及(iii)单独改变奖励是不够的,并且有效的整形需要改变动态。我们解决这些限制的潜在的成形方法,并提出了一个新的框架\emph{environment shaping using state abstraction}。我们的主要思想是压缩环境的大状态空间与嘈杂的信号到一个抽象的空间,并使用这种抽象在创建更平滑,更有效的反馈信号的代理。我们研究了我们的抽象为基础的环境塑造的理论基础,并表明,代理人的政策在塑造的环境中保存在原始环境中接近最优的行为。
2020-06-23 cs.LG stat.ML
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering(电气与计算机工程系);Northwestern University(西北大学);School of Electronics and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法,以解决随机环境中理论结果不成立和性能下降的问题,并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective
University of Southern California(南加州大学)
针对KL正则化导致LLM继承基策略偏见的问题,提出将奖励模型优化形式化为Stackelberg博弈,并通过简单奖励塑形方案近似最优奖励模型,在推理时对齐中持续提升平均奖励并达到超过66%的胜率。
2026-06-07 cs.AI cs.LG
A Narration-based Reward Shaping Approach using Grounded Natural Language Commands
US Army Research Laboratory(美国陆军研究实验室);Columbia University(哥伦比亚大学);University of Texas-Austin(德克萨斯大学奥斯汀分校)
虽然深度强化学习技术已经使代理能够成功学习执行许多以前无法学习的任务,但这些技术仍然容易受到长期存在的奖励稀疏问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此,星际争霸II是一款实时战略游戏,只有在游戏结束时才会给予奖励,而游戏通常很长。虽然这个问题可以通过奖励塑造来解决,但这种方法通常需要具有专业知识的人类专家。受通过更容易获得的自然语言叙述范式实现奖励塑造的愿景的启发,我们开发了一种技术,可以使用自然语言命令提供奖励塑造的好处。我们的叙述引导RL代理项目的自然语言命令序列到相同的高维表示空间作为相应的目标状态。我们表明,与传统的奖励整形方法相比,我们的方法可以提高性能。此外,我们证明了我们的方法推广到看不见的自然语言命令的能力。
2019-10-31 cs.AI cs.CL cs.LG
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果,实验表明其表现与独立学习相似且远逊于集中式方法,揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点,提出用基于势函数的奖励塑形降低子问题计算量,作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Reward Shaping to Mitigate Reward Hacking in RLHF
Fudan University(复旦大学)
PAR通过利用奖励模型中的潜在偏好信号,有效缓解RLHF中的奖励黑客问题,表现出更高的性能和数据效率。
2026-11-10 cs.AI cs.CL cs.LG
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin(柏林工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
在高维状态空间中,强化学习(RL)的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造(PB-RS)之前。在目前的工作中,我们介绍了最终卷保持奖励塑造(FV-RS)。FV-RS放宽了PB-RS的严格最优性保证,以保证保持长期行为。由于限制较少,FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是,我们考虑设置代理人可以访问一个近似的计划。在这里,我们使用模拟机器人操作任务的例子来证明,计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
强化学习是一种获得长期回报最大化的策略,已经被积极地研究。不幸的是,这种学习类型太慢,很难在实际情况中使用,因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数,称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数,但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合,使抽象的状态,因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合,使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态,只有子目标序列和子目标识别函数。它使设计人员的努力最小化,并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验,四个房间(离散状态和离散动作),弹球(连续和离散),采摘(连续)。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较,包括随机子目标和基于朴素子目标的奖励塑造。因此,我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Balance Between Efficient and Effective Learning: Dense2Sparse Reward Shaping for Robot Manipulation with Environment Uncertainty
Institute of Intelligent Machines, Hefei Institute of Physical Science, CAS(中国科学院合肥物质科学研究院智能机械研究所);Institute of Plasma Physics, Hefei Institute of Physical Science, CAS(中国科学院合肥物质科学研究院等离子体物理研究所)
高效和有效的学习是深度强化学习(DRL)的最终目标之一,尽管在大多数情况下已经做出了妥协,特别是对于机器人操作的应用。学习对于机器人操作任务来说总是昂贵的,并且学习效率会受到系统不确定性的影响。为了解决上述问题,本研究提出了一种简单但功能强大的奖励塑造方法,即Dense2Sparse。它结合了密集奖励的快速收敛和稀疏奖励的噪声隔离的优点,实现了学习效率和效果之间的平衡,适用于机器人操作任务。我们评估了我们的Dense2Sparse方法与一系列的烧蚀实验使用的状态表示模型与系统的不确定性。实验结果表明,与单独使用稠密奖励和稀疏奖励的方法相比,该方法获得了更高的期望奖励,并且对系统的不确定性具有更好的容忍度。
2020-03-05 cs.LG stat.ML
Obstacle Avoidance and Navigation Utilizing Reinforcement Learning with Reward Shaping
University of North Texas(北德克萨斯大学)
本文主要研究机器人控制领域中的避障与导航问题。针对这一问题,提出了基于改进奖励塑造技术的深度确定性策略梯度(DDPG)和近端策略优化算法。我们比较了原始DDPG和PPO与修改后的版本,都与一个真正的移动机器人模拟的性能,并证明所提出的算法取得了更好的效果。
2020-04-10 cs.LG cs.RO cs.SY
Shaping Rewards, Shaping Routes: On Multi-Agent Deep Q-Networks for Routing in Satellite Constellation Networks
German Aerospace Center (DLR)(德国航空航天中心);University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
该研究面向卫星星座网络动态路由,评估多智能体深度Q网络在时延与负载均衡联合优化中的效果,并提出集中式学习、分散式控制的混合方案。
2024-08-04 cs.LG cs.NI
Embedding Contextual Information through Reward Shaping in Multi-Agent Learning: A Case Study from Google Football
Google Research(谷歌研究院)
针对多智能体强化学习的信用分配及稀疏奖励下效率低的问题,提出嵌入上下文信息的奖励塑形方法,经GRF环境实验验证可有效补充前沿MARL算法。
2023-07-21 cs.AI cs.LG
Action Guidance: Getting the Best of Sparse Rewards and Shaped Rewards for Real-time Strategy Games
College of Computing & Informatics(计算与信息学院);Drexel University(德雷塞尔大学);Google(谷歌)
在具有稀疏奖励的游戏中使用强化学习训练代理是一个具有挑战性的问题,因为即使是第一个奖励也需要大量的探索。为了解决这个问题,一个常见的方法是使用奖励塑造来帮助探索。然而,奖励塑造的一个重要缺点是,代理有时学习优化的形状奖励,而不是真正的目标。在本文中,我们提出了一种新的技术,我们称之为行动指导,成功地训练代理,最终优化真正的目标在游戏中的稀疏奖励,同时保持大部分的样本效率,带有奖励塑造。我们评估我们的方法在一个简化的实时的【形】策略(RTS)游戏模拟器称为$μ$ RTS。
2020-10-05 cs.LG stat.ML