The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards
Fudan University（复旦大学）
本研究揭示组相对强化学习中过滤指标与谓词不匹配导致幻影优势，提出应使用任务结果信号进行过滤，实验证明可显著提升模型性能。
2026-09-15 cs.LG
GridToPix: Training Embodied Agents with Minimal Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for AI（艾伦人工智能研究所）
虽然深度强化学习（RL）承诺不受手工标记数据的影响，但要取得巨大成功，特别是对于人工智能来说，需要通过精心设计的奖励来进行监督。其实，没有固定的奖励，在只有终端奖励的情况下，当前的人工智能结果在人工智能问题上显著下降，从基于单智能体的PointGoal导航（SPL从55下降到0）和基于两个智能体的AI 2-THOR的家具移动（成功率从58%下降到1%）到基于三个智能体的Google足球的3对1与Keeper（游戏得分从0.6下降到0.1）。由于从成型奖励的培训不能扩展到更现实的任务，社区需要提高终端奖励培训的成功率。为此，我们提出GridToPix：1）在网格世界中训练具有终端奖励的代理，这些网格世界一般反映了人工智能环境，即，它们独立于任务; 2）将学习的策略提取为驻留在复杂视觉世界中的代理。尽管只从具有相同模型和RL算法的终端奖励中学习，GridToPix显着改善了任务的结果：从PointGoal导航（SPL从0提高到64）和家具移动（成功率从1%提高到25%）到足球游戏（游戏得分从0.1提高到0.6）。GridToPix甚至有助于改善形状奖励训练的结果。
2021-10-13 cs.AI cs.CV cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning
The University of Texas at Austin（德克萨斯大学）；Army Research Laboratory（陆军研究实验室）
本文提出 D-Shape 方法，利用奖励塑形与目标条件化强化学习解决模仿学习与强化学习在次优演示下的目标冲突，在稀疏奖励网格世界实验中提升了样本效率并稳定收敛到最优策略。
2023-03-12 cs.AI cs.HC cs.LG
Potential-based Reward Shaping in Sokoban
Leiden University（莱顿大学）
学习解决稀疏奖励强化学习问题是困难的，因为缺乏对目标的指导。但在某些问题中，先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能，在这项工作中，我们研究是否可以使用搜索算法（A*）自动生成一个潜在的功能，奖励塑造推箱子，一个著名的规划任务。结果表明，使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明，距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下，奖励塑造的可能性。结果可以被压缩成一个单一的策略，这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Unsupervised Behavior Extraction via Random Intent Priors
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Automation, Tsinghua University（清华大学自动化系）；Department of Computer Science & Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）
本文提出 UBER，通过随机先验生成多样化伪奖励，从无奖励数据中无监督提取可复用行为策略，提升在线强化学习样本效率并减少对人类监督的依赖。
2023-10-28 cs.AI cs.LG
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
强化学习提供了一个从高级奖励规范中学习行为的自动化框架，但在实践中，奖励函数的选择对于良好的结果至关重要-虽然原则上奖励只需要指定任务是什么，但实际上从业者通常需要设计更详细的奖励，为代理提供一些关于如何完成任务的提示。这种类型的“奖励塑造”的想法在文献中经常被讨论，并且通常是实际应用的关键部分，但是对于奖励塑造的选择如何在样本复杂性中产生益处，相对来说很少有正式的表征。在这项工作中，我们建立在基于新颖性的探索框架上，提供了一个简单的方案，将成形奖励与RL一起分析工具，以表明奖励塑造的特定选择可证明提高样本效率。我们的特点，这些收益预计是显着的问题，并显示如何将其连接到文献中的实用算法。我们证实，这些结果在实践中的实验评估，提供了一个深入了解的机制，通过奖励塑造可以显着提高强化学习的复杂性，同时保持渐近性能。
2022-10-18 cs.AI cs.LG
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple Inc.（苹果公司）
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题，提出Hindsight PRIOR策略，利用世界模型估计状态重要性并引导奖励分配，显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Causal Information Prioritization for Efficient Reinforcement Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
针对强化学习样本效率低的问题，提出因果信息优先级排序（CIP）方法，利用因子化MDPs推断状态、动作维度与奖励的因果关系并优先处理，结合因果感知赋能学习目标，在39项连续控制任务中持续优于现有方法。
2025-02-14 cs.AI cs.LG
Efficient Reward Identification In Max Entropy Reinforcement Learning with Sparsity and Rank Priors
University of Michigan（密歇根大学）
本文研究从最大熵强化学习的最优策略或演示中恢复时变奖励函数，通过引入奖励稀疏性和低秩先验，将问题转化为线性约束下的稀疏化和秩最小化问题，并提出了高效的多项式时间优化算法准确恢复奖励并验证其泛化能力。
2025-08-10 cs.LG
A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR
Outlook.com（Outlook公司）
本文通过预注册实验和因果分解方法，证明RLVR中朴素奖励设计估计量存在系统性偏差，并量化了自我一致性激发与真正奖励设计信号的贡献。
2026-06-08 cs.AI cs.LG
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley（加州大学伯克利分校）；University of Utah（犹他大学）
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的，这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而，先前的RL演示算法引入了显着的复杂性和许多超参数，使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论（MCAC），一个参数的自由修改标准演员评论家算法，它将重放缓冲区的演示和计算修改后的$Q$值，通过采取最大的标准时间距离（TD）的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明，MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料，请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Hints, Critics, and Teachers: Prior Injection for Sparse-Reward RL in Vision-Language Math Reasoning
该研究针对视觉-语言数学推理的稀疏奖励强化学习问题，注入文本、分布、价值三类先验训练11种方法，发现先验有效传递可提升性能，还揭示了域内子集与跨域迁移的相关性反转现象，提出HL-Gauss损失替换MSE损失可提升14.4个百分点的准确率。
2026-08-25 cs.AI cs.LG
Accelerating Exploration with Unlabeled Prior Data
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Meta
本文研究利用无标签先验数据加速稀疏奖励任务的探索，提出通过在线学习奖励模型为无标签数据赋予乐观奖励，并与在线数据并行优化策略，在多个挑战性领域实现快速探索。
2023-11-21 cs.AI cs.LG stat.ML
Dense Dynamics-Aware Reward Synthesis: Integrating Prior Experience with Demonstrations
University of Texas at Austin, USA（德克萨斯大学奥斯汀分校）；University of Washington, USA（华盛顿大学）
本文提出一种系统化的奖励塑造框架，结合先验数据集和少量专家演示，生成密集动态感知奖励，加速连续控制任务的学习。
2025-04-24 cs.LG
ProgAgent:A Continual RL Agent with Progress-Aware Rewards
University of California, San Diego（加州大学圣地亚哥分校）；Texas A\&M University-Commerce（德克萨斯A&M大学-科摩斯）
ProgAgent通过进度感知奖励机制，结合PPO与coreset回放和突触智能，有效解决持续学习中的遗忘问题，提升学习效率。
2026-03-08 cs.AI cs.LG
Prior Preference Learning from Experts:Designing a Reward with Active Inference
POSTECH（浦项工科大学）
主动推理可以被定义为用代理的生物学上合理的模型对大脑进行贝叶斯建模。它的基本思想依赖于自由能原理和代理人的优先偏好。智能体将选择一个导致其对未来观察的优先偏好的动作。在本文中，我们声称，主动推理可以解释使用强化学习（RL）算法，并找到它们之间的理论联系。本文推广了主动推理中的核心量--期望自由能的概念，并指出期望自由能可以看作是一个负的价值函数。受先验偏好概念和理论联系的启发，我们提出了一种简单但新颖的方法，用于从专家那里学习先验偏好。这说明了逆RL的问题可以用主动推理的新视角来处理。先验偏好学习的实验结果显示了基于EFE的奖励的主动推理的可能性及其在逆向RL问题中的应用。
2021-12-13 cs.LG
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
GUIDE: Real-Time Human-Shaped Agents
Duke University（杜克大学）；Army Research Laboratory（陆军研究实验室）
本文提出GUIDE框架，通过将实时人类反馈转化为密集奖励并引入在线模拟反馈模块，在稀疏奖励视觉任务中仅用10分钟人类反馈使成功率较强化学习基线提升最高30%。
2024-10-19 cs.HC cs.LG
Homotopy Based Reinforcement Learning with Maximum Entropy for Autonomous Air Combat
Zhejiang University（浙江大学）
无人作战飞机（UCAV）的智能决策一直是一个具有挑战性的问题。传统的搜索方法难以满足高动态空战场景的实时性要求。强化学习（RL）方法通过使用神经网络可以显著缩短决策时间。然而，稀疏奖励问题限制了其收敛速度，人工先验经验奖励容易偏离原任务的最优收敛方向，给RL空战应用带来很大困难。在本文中，我们提出了一个同伦为基础的软行动者-评论家的方法（HSAC），专注于解决这些问题，通过以下的同伦路径之间的原始任务与稀疏的奖励和辅助任务与人工先验经验奖励。文中还证明了该方法的收敛性和可行性。为了验证该方法的可行性，首先构建了一个详细的三维空战仿真环境，并在攻击水平飞行UCAV任务和自主对抗任务中进行了仿真验证。实验结果表明，该方法的性能优于仅利用稀疏奖励或人工先验经验奖励的方法。用该方法训练的智能体在攻击水平飞行UCAV任务中的胜率可达98.3%以上，与用其他两种方法训练的智能体对抗时的平均胜率为67.4%。
2021-12-01 cs.AI cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
ORSO将塑形奖励选择建模为在线模型选择问题，自动识别高性能奖励函数，数据效率更高、计算时间最多降低8倍，性能优于先前方法50%以上，媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
CEIP: Combining Explicit and Implicit Priors for Reinforcement Learning with Demonstrations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然强化学习在密集奖励环境中得到了广泛的应用，但用稀疏奖励训练自主智能体仍然具有挑战性。为了解决这个困难，以前的工作已经显示出有希望的结果时，不仅使用特定于任务的演示，但任务不可知的，虽然有些相关的演示。在大多数情况下，可用的演示被提炼成一个隐含的先验，通常通过一个单一的深网表示。可以查询的数据库形式的显式先验也显示出令人鼓舞的结果。为了更好地从现有的演示中受益，我们开发了一种方法来结合显式和隐式先验（CEIP）。CEIP利用多个隐式先验以并行的标准化流的形式形成单个复杂先验。此外，CEIP使用了一个有效的显式检索和前推机制，以条件的隐式先验知识。在三个具有挑战性的环境中，我们发现所提出的CEIP方法，以改善先进的技术。
2022-10-21 cs.AI cs.LG
Training Value-Aligned Reinforcement Learning Agents Using a Normative Prior
University of Kentucky（肯塔基大学）；Georgia Institute of Technology（佐治亚理工学院）
随着越来越多的机器学习代理与人类交互，越来越多的人认为，经过训练以最佳方式执行任务的代理，仅使用任务性能作为反馈，可能会违反可接受行为的社会规范或造成伤害。价值对齐是智能代理的属性，其中它们只追求无害的行为或人类有益的目标。我们引入了一种价值取向的强化学习方法，在这种方法中，我们训练一个代理，有两个奖励信号：一个标准的任务绩效奖励，加上一个规范的行为奖励。规范性行为奖励来自先前示出的将文本分类为规范性或非规范性的值对齐的先验模型。我们展示了政策制定技术的变化如何平衡这两个奖励来源，并产生既有效又被认为更规范的政策。我们在三个基于文本的交互式世界上测试我们的价值对齐技术;每个世界都是专门设计来挑战代理人的任务，并提供偏离任务的机会来从事规范和/或利他行为。
2021-04-19 cs.AI cs.HC cs.LG
Y-Shaped Generative Flows
Arip Asadulaev（独立研究者）；Semyon Semenov（独立研究者）；Abduragim Shtanchaev（独立研究者）；Eric Moulines（独立研究者）；Fakhri Karray（独立研究者）；Martin Takac（独立研究者）
Y形生成流通过共享路径和分叉终点，改进生成模型对现实数据层次结构的建模能力。
2026-02-04 cs.AI cs.LG
Mixture of Autoencoder Experts Guidance using Unlabeled and Incomplete Data for Exploration in Reinforcement Learning
本文提出利用自编码器专家混合将不完整专家演示转化为可塑内在奖励，以引导强化学习智能体在稀疏和密集奖励环境中进行稳健且有针对性的探索。
2025-07-21 cs.AI cs.LG
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
Start Small: Training Controllable Game Level Generators without Training Data by Learning at Multiple Sizes
Cairo University（开罗大学）
本文提出从多尺寸小关卡开始训练 GFlowNets，以密集反馈替代数据集和塑形奖励，实现跨尺寸、可控且多样的游戏关卡生成。
2023-01-06 cs.LG
Learning Optimal Advantage from Preferences and Mistaking it for Reward
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Sony AI（索尼人工智能）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究针对基于人类偏好的强化学习中常用的部分回报偏好假设，探讨当偏好实际源于后悔时的影响，指出所学函数是最优优势函数近似，还解释了RLHF微调大模型的原理，揭示该假设实践效果好的原因。
2023-10-03 cs.AI cs.LG
Learning to Solve Tasks with Exploring Prior Behaviours
King’s College London（伦敦国王学院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Aberdeen（阿伯丁大学）；Tsinghua University（清华大学）
本文提出IRDEC方法，通过内在奖励驱动智能体探索并获取先验行为，再结合演示中的任务行为，在不增加先验行为演示的情况下解决稀疏奖励任务，并在多个导航和操作任务上优于基线。
2023-07-06 cs.AI cs.LG cs.RO
Goldilocks RL: Tuning Task Difficulty to Escape Sparse Rewards for Reasoning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
Goldilocks RL通过预测学生模型的难度来优化数据采样，利用GRPO训练提升模型性能，克服稀疏奖励带来的样本效率低问题。
2026-10-05 cs.AI cs.LG
Learning a Prior over Intent via Meta-Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习在现实世界中的实际应用面临的一个重大挑战是需要指定一个正确定义任务的Oracle奖励函数。反向强化学习（IRL）试图通过从专家行为中推断奖励函数来避免这一挑战。虽然吸引人，但收集涵盖现实世界中常见变化的演示数据集（例如打开任何类型的门）可能是不切实际的昂贵。因此，在实践中，IRL通常必须仅通过有限的一组演示来执行，其中明确地恢复奖励函数可能非常困难。在这项工作中，我们利用的洞察力，从其他任务的演示可以用来约束一组可能的奖励功能，通过学习一个“先验”，这是专门优化的能力，从有限数量的演示推断表达奖励功能。我们证明，我们的方法可以有效地从图像中恢复奖励，并提供直觉，我们的方法是如何类似于学习先验。
2019-10-14 cs.LG stat.ML
Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning
针对现有文本到视频生成方法质量不足、运动一致性差的问题，提出可控扩散模型Control-A-Video，通过首帧条件、运动先验注入及ST-ReFL算法优化，实现了更优的可控视频生成效果。
2024-08-12 cs.AI cs.CV cs.LG
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种用于离线奖励学习的统一线性规划框架，无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数，具有可证明的样本效率和最优性保证，性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin（都柏林大学）
本文提出想象后见经验回放方法，通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务，在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Only Pay for What Is Uncertain: Variance-Adaptive Thompson Sampling
Apple ML Research（苹果机器学习研究院）；TTI, Chicago（芝加哥丰田理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对奖励方差未知且异构的高斯赌博机问题，提出方差自适应汤普森采样算法，利用先验知识实现更低的贝叶斯遗憾，并通过实验验证其优越性与鲁棒性。
2023-10-12 cs.LG
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
Shaped Policy Search for Evolutionary Strategies using Waypoints
University of Southern California（南加州大学）
本文提出利用中间路标改进进化策略在强化学习中的探索能力，通过学习轨迹中的状态-动作对动力学来加速训练，并在Carla和UR5模拟器上验证了其普适性。
2023-07-03 cs.LG cs.NE cs.RO
Tackling the Zero-Shot Reinforcement Learning Loss Directly
本文证明零样本RL损失可在白噪声、时间平滑及稀疏等非信息性奖励先验下直接优化，并揭示其与VISR目标的联系及局限。
2025-02-15 cs.LG
Trajectory-Oriented Policy Optimization with Sparse Rewards
School of Mathematical Sciences Beihang University Beijing, China；Institute of Artificial Intelligence Beihang University Beijing, China
针对稀疏奖励下深度强化学习探索困难的问题，提出利用离线演示轨迹和 MMD 轨迹距离约束策略优化，并在离散与连续控制任务中显著优于基线。
2024-04-10 cs.LG
Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；UC Berkeley（加州大学伯克利分校）
本文提出基于基础先验的强化学习框架RLFP及FAC算法，利用基础模型提供自动奖励与指导，使具身智能体在真实和模拟操作任务中实现高效自主学习并取得高成功率。
2024-10-11 cs.AI cs.LG cs.RO
Interacting particle guidance for sampling reward-tilted generative priors
Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本文提出交互粒子引导（IPG），通过传输替代重新加权，从奖励倾斜的生成先验中采样，克服SMC的权重退化与粒子坍缩，在图像修复和蛋白质结构推断任务上验证了有效性。
2026-09-30 cs.LG stat.ML
Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanjing University（南京大学）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）
Text2Reward提出基于大语言模型的无数据框架，自动生成可解释的稠密奖励代码，在多个机器人任务上达到或超越专家奖励性能，并支持人类反馈迭代优化。
2024-05-25 cs.AI cs.CL cs.LG
Multi-Agent Reinforcement Learning with a Hierarchy of Reward Machines
Sun Yat-sen University（中山大学）
针对现有基于奖励机的多智能体强化学习难以处理复杂协作场景的问题，提出层次奖励机方法MAHRM，通过事件关联分解子任务降低复杂度，实验验证其性能优于同先验下的其他方法。
2024-03-08 cs.AI cs.LG cs.MA
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习（RL），特别是在稀疏奖励设置中，通常需要与环境进行大量交互，从而限制了其对复杂问题的适用性。为了解决这个问题，几种现有的方法已经使用自然语言来指导代理的探索。然而，这些方法通常对环境的结构化表示进行操作，和/或采用自然语言命令中的某种结构。在这项工作中，我们提出了一个模型，直接映射像素的奖励，给定一个自由形式的自然语言描述的任务，然后可以用于策略学习。我们在元世界机器人操作领域的实验表明，基于语言的奖励显着提高了策略学习的样本效率，无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而，这样的公式化不可避免地是离线数据饥渴的，并且在实践中，在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此，在本文中，我们1）通过使用从另一个动态收集的（源）离线数据来制定离线动态自适应，以放松对广泛的（目标）离线数据的要求，2）表征先前的离线方法不能很好地扩展的动态偏移问题，以及3）从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强（DARA）框架。具体而言，DARA强调从那些适应目标环境的源转换对中学习，并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明，DARA通过增加源离线数据集的奖励，可以获得目标环境的自适应策略，同时显著降低对目标离线数据的需求。只有少量的目标离线数据，我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
强化学习（RL）算法假设用户通过手动写下奖励函数来指定任务。然而，这一过程可能很费力，需要相当多的技术专长。我们是否可以设计RL算法，让用户通过提供成功结果的例子来指定任务？在本文中，我们推导出一个控制算法，最大限度地提高未来的概率，这些成功的结果的例子。先前的工作已经用两阶段的过程来处理类似的问题，首先学习奖励函数，然后使用另一个RL算法来优化这个奖励函数。相比之下，我们的方法直接从转换和成功的结果中学习价值函数，而不学习这个中间奖励函数。因此，我们的方法需要更少的超参数来调整和调试代码行。我们表明，我们的方法满足一个新的数据驱动的贝尔曼方程，其中的例子取代了典型的奖励函数项。实验表明，我们的方法优于以前的方法，学习显式奖励函数。
2021-12-30 cs.LG cs.RO
Reward Shaping via Meta-Learning
Tsinghua University（清华大学）
奖励塑造是解决强化学习（RL）中信用分配这一关键而又具有挑战性的问题的最有效方法之一。然而，设计成形函数通常需要大量的专业知识和手工工程，并且考虑到要解决的多个类似任务，困难进一步加剧。在本文中，我们考虑奖励成形的任务分布，并提出了一个通用的元学习框架，自动学习有效的奖励塑造新采样的任务，假设只有共享的状态空间，但不一定行动空间。首先，我们推导出理论上最优的奖励塑造的信用分配无模型RL。然后，我们提出了一个基于值的元学习算法，以提取一个有效的先验的最佳奖励塑造。先验可以直接应用于新的任务，或可证明地适应任务后验，同时在几个梯度更新内解决任务。我们通过显着提高学习效率和跨各种设置的可解释的可视化来展示我们的塑造的有效性，特别是从DQN到DDPG的成功转移。
2019-01-27 cs.LG stat.ML
On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization
Caltech（加州理工学院）；ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Genesis Molecular AI（创世纪分子人工智能公司）
研究离散扩散模型的适应问题，通过控制实验发现获取、奖励塑造、模型去偏等方法互补，重放稳定学习，有效性惩罚限制小分子探索，给出反馈高效的分子优化实用方法，优于离线微调等基线。
2026-11-02 cs.LG
Asking Smarter Questions: Targeted Active Preference Learning for Underspecified Rewards
Massachusetts Institute of Technology（麻省理工学院）
该研究针对欠规范奖励的主动偏好学习，构建有信息先验并附解释引导人类，在低查询场景下性能优于基线，提升了奖励恢复效果。
2026-10-16 cs.AI cs.HC cs.LG
