Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Oxford University（牛津大学）；University of Cambridge（剑桥大学）
本文证明奖励模型低测试误差无法保证低遗憾，源于分布偏移，并指出策略正则化也无法解决，呼吁研究更优的奖励学习方法。
2025-07-08 cs.AI cs.LG stat.ML
Online Policy Learning from Offline Preferences
Kyoto University（京都大学）
本研究提出将离线偏好与虚拟偏好整合的PbRL框架，利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题，并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning
Tsinghua University（清华大学）；Tongji University（同济大学）；University of California, Davis（加州大学戴维斯分校）；Arizona State University（亚利桑那州立大学）；Ohio State University（俄亥俄州立大学）；Zhongguancun Laboratory（中关村实验室）
这项工作旨在解决离线逆强化学习（IRL）中的一个主要挑战，即奖励外推误差，其中由于固有的协变量偏移，学习的奖励函数可能无法正确解释任务并在看不见的环境中误导智能体。利用专家数据和低质量的多样化数据，我们设计了一个原则性的算法（即CNOE），通过将“保守性”整合到学习的奖励函数中并利用估计的动态模型来有效地解决离线IRL。我们的理论分析提供了一个上限的学习政策和专家政策之间的回报差距，在此基础上，我们的特点的影响，协变量偏移通过检查微妙的双层之间的权衡剥削（专家和不同的数据）和勘探（估计的动态模型）。我们表明，BEE可以证明减轻奖励外推错误的打击正确的开发勘探平衡。大量实验证实了CLARE相对于MuJoCo连续控制任务（特别是对于小型离线数据集）的现有最先进算法的显着性能提升，并且所学到的奖励对于进一步学习具有很强的指导意义。
2023-02-21 cs.AI cs.LG
Inverse Preference Learning: Preference-based RL without a Reward Function
Stanford University（斯坦福大学）
提出逆偏好学习（IPL）算法，利用$Q$函数与奖励函数的互换性，完全消除学习奖励函数的需求，在连续控制和机器人基准上以更少参数实现具竞争力的性能。
2023-11-24 cs.LG
Policy Optimization with Smooth Guidance Learned from State-Only Demonstrations
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Zhongguancun Laboratory（中关村实验室）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（未来区块链与隐私计算北京高精尖创新中心）
针对稀疏奖励与高质量动作示范难获取问题，提出POSG算法，利用仅状态示范评估轨迹重要性并生成平滑引导奖励，理论给出性能提升下界，且在四类环境中验证其控制与收敛优势。
2024-08-03 cs.LG
DrS: Learning Reusable Dense Rewards for Multi-Stage Tasks
UC San Diego（加州大学圣迭戈分校）
提出 DrS 方法，利用任务阶段结构从稀疏奖励和演示中学习可重用的稠密奖励，在 1000 多个机器人操作任务变体上提升了 RL 算法的性能和样本效率，减少人工奖励工程成本。
2024-04-25 cs.AI cs.LG cs.RO
BC-IRL: Learning Generalizable Reward Functions from Demonstrations
Meta AI；Georgia Tech（佐治亚理工学院）
用逆强化学习（IRL）学习的奖励函数推广效果如何？我们说明，国家的最先进的IRL算法，最大限度地提高了最大熵的目标，学习奖励过拟合的示威。这种奖励很难为示威活动未覆盖的国家提供有意义的奖励，这在利用奖励学习新形势下的政策时是一个重大损害。我们引入了BC-IRL，这是一种新的逆强化学习方法，与最大熵IRL方法相比，该方法可以学习更好地推广的奖励函数。与MaxEnt框架相反，它学习最大化演示的奖励，BC-IRL更新奖励参数，以便使用新奖励训练的策略更好地匹配专家演示。我们表明，BC-IRL学习奖励，更好地概括一个说明性的简单任务和两个连续的机器人控制任务，在具有挑战性的概括设置中实现了基线的成功率的两倍以上。
2023-03-28 cs.LG
Automatic Evaluation of Excavator Operators using Learned Reward Functions
École de Technologie Supérieure（高等技术学院）；Mila（米拉研究所）；CM Labs（CM实验室）；CIFAR（加拿大高等研究院）
培训新手用户操作挖掘机以学习不同的技能需要专家教师的存在。考虑到问题的复杂性，寻找熟练的专家相对昂贵，因为这个过程很耗时，需要精确的重点。此外，由于人类往往有偏见，评估过程是嘈杂的，并会导致具有类似技能的不同操作员的最终得分差异很大。在这项工作中，我们解决这些问题，并提出了一种新的策略，挖掘机操作员的自动评价。我们考虑到挖掘机的内部动力学和安全标准，在每个时间步骤来评估性能。为了进一步验证我们的方法，我们使用这个分数预测模型作为强化学习代理的奖励来源，以学习在模拟环境中操纵挖掘机的任务，该模拟环境密切复制了现实世界的动态。对于使用这些外部奖励预测模型学习的策略，我们的结果表明，与仅使用基于任务的奖励函数训练的策略相比，遵循所需的动态约束的解决方案更安全，使其更接近现实生活中的采用。对于未来的研究，我们将在https://github.com/pranavAL/InvRL_Auto-Evaluate上发布我们的代码库，并在https://drive.google.com/file/d/1jR1otOAu8zrY8mkhUOUZW9jkBOAKK71Z/view?上发布视频结果。usp=share_link .
2022-11-15 cs.AI cs.LG cs.RO
Reward Model Ensembles Help Mitigate Overoptimization
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
针对RLHF中奖励模型易出现的过度优化问题，本研究验证了基于集成的WCO、UWO保守优化目标结合BoN、PPO方法的缓解效果，证实其可有效抑制过度优化并提升性能。
2024-03-10 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Learning the Reward Function for a Misspecified Model
Department of Computer Science, Franklin & Marshall College（富兰克林与马歇尔学院计算机科学系）；Franklin & Marshall College（富兰克林与马歇尔学院）
在基于模型的强化学习中，典型的是将学习动力学模型和学习奖励函数的问题解耦。然而，当动力学模型有缺陷时，它可能会产生在真实环境中永远不会发生的错误状态。奖励函数应该给这些状态赋予什么值，这一点并不清楚。本文提出了一种新的误差界，占奖励模型的行为，从模型中采样的状态。该界限用于扩展现有的幻觉Dagger-MC算法，该算法在确定性MDP中提供理论性能保证，不假设可以学习完美的模型。从经验上讲，这种奖励学习的方法可以在动态模型有缺陷的情况下显著提高控制性能。
2018-06-08 cs.LG
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；University College London（伦敦大学学院）
稀疏奖励环境中的探索仍然是无模型强化学习的关键挑战之一。许多最先进的方法不是仅仅依靠环境提供的外在奖励，而是利用内在奖励来鼓励探索。然而，我们表明，现有的方法在程序生成的环境中，代理不太可能访问一个状态超过一次。我们提出了一种新型的内在奖励，鼓励代理采取行动，导致其学习状态表示的显着变化。我们评估我们的方法在多个具有挑战性的程序生成的任务在MiniGrid，以及在以前的工作中使用的高维观测任务。我们的实验表明，这种方法是更有效的样本比现有的探索方法，特别是程序生成的MiniGrid环境。此外，我们分析了学习的行为以及我们的代理收到的内在奖励。与以前的方法相比，我们的内在奖励在训练过程中不会减少，并且它会奖励代理与它可以控制的对象进行交互。
2020-02-29 cs.AI cs.LG
A Novel Variational Lower Bound for Inverse Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出VLB-IRL，一种基于概率图模型和变分下界的逆强化学习方法，同时学习奖励与策略，并在多个已知领域超越现有最先进IRL算法，达到专家级性能。
2023-11-10 cs.AI cs.LG cs.RO
Offline Reinforcement Learning with Imputed Rewards
University of Florence（佛罗伦萨大学）
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题，提出一种奖励模型，仅用1%带标注数据即可为99%无奖励转移插补奖励，在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Learning Rewards to Optimize Global Performance Metrics in Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）
当将强化学习（RL）应用于一个新问题时，奖励工程是系统设计者必须面对的一项必要但往往困难且容易出错的任务。为了避免这一步，我们提出了LR4GPM，这是一种新的（深度）RL方法，可以优化全局性能指标，该指标应该可以作为问题描述的一部分。LR4GPM在两个阶段之间交替：（1）学习用于拟合性能度量的（可能是向量）奖励函数，以及（2）基于学习的奖励来训练策略以优化该性能度量的近似。这种RL训练并不简单，因为奖励函数和策略都是使用非平稳数据训练的。为了克服这个问题，我们提出了几个训练技巧。我们证明了LR4GPM在几个领域的效率。值得注意的是，LR4GPM的表现优于最近在DAI'2020举办的自动驾驶竞赛的获胜者。
2023-03-16 cs.LG
SR-Reward: Taking The Path More Traveled
University of Freiburg（弗赖堡大学）
本研究提出基于后继表示的SR-Reward离线奖励学习方法，解耦奖励与策略、搭配负采样策略提升鲁棒性，在D4RL基准上取得具竞争力的结果，并通过消融实验明确其作为真实奖励代理的优劣势。
2025-06-12 cs.AI cs.LG
Efficient Preference-Based Reinforcement Learning Using Learned Dynamics Models
UC Berkeley（加州大学伯克利分校）；Army Research Lab（陆军研究实验室）；University of Utah（犹他大学）
本文研究了在基于偏好的强化学习中使用学习到的动力学模型，证明其能显著减少环境交互、安全合成偏好查询并实现无环境交互的奖励预训练，使机器人更安全高效地学习定制化策略。
2024-02-09 cs.LG
Towards a Reward-Free Reinforcement Learning Framework for Vehicle Control
针对车辆控制中强化学习奖励设计易引入偏差、模仿学习需高质量专家动作的问题，提出无奖励强化学习框架，通过目标状态预测网络和无奖励状态引导策略网络优化行为，提升学习效率并适应无奖励环境。
2025-04-18 cs.LG
Scaling data-driven robotics with reward sketching and batch reinforcement learning
Deepmind（深度思维）
我们提出了一个数据驱动的机器人框架，该框架利用记录机器人经验的大型数据集，并使用学习的奖励函数扩展到多个任务。我们展示了如何应用这个框架来完成三个不同的对象操作任务在一个真正的机器人平台上。给定任务的演示以及与任务无关的记录经验，我们使用一种特殊形式的人类注释作为监督来学习奖励函数，这使我们能够处理无法直接获得奖励信号的现实任务。学习奖励与来自不同任务的经验的大型数据集结合使用，以使用批RL离线学习机器人策略。我们表明，使用我们的方法，它是可能的训练代理执行各种具有挑战性的操作任务，包括堆叠刚性物体和处理布。
2020-06-04 cs.LG cs.RO
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然基于模型的强化学习（RL）方法被认为是更有效的样本，但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此，学习的模型可能缺乏被更专业的规划者重用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是，我们采取了一个插件求解器的方法，我们专注于学习一个模型在探索阶段，并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说，我们专注于线性混合MDP设置，其中概率转移矩阵是一组现有模型的（未知）凸组合。我们表明，通过建立一个新的探索算法，插件的方法学习一个模型，通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策，在原来的模型。该示例复杂度与非插件方法的下限相匹配，并且是\emph{statistically optimal}。我们实现这一结果，利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
On Designing Effective RL Reward at Training Time for LLM Reasoning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；OpenPsi Inc.（OpenPsi公司）
本研究探索奖励模型在LLM推理RL训练中的潜力，发现主流奖励模型可能引发奖励黑客问题，提出Clipping和Delta技术优化奖励，实现无需额外监督微调即可提升多规模LLM在数学基准上的推理性能。
2024-11-27 cs.AI cs.CL cs.LG
Reward Gaming in Conditional Text Generation
New York University（纽约大学）；Google DeepMind（谷歌DeepMind）
本文揭示条件文本生成RL训练中三类奖励误配导致的奖励博弈问题，分析其放大机制并提出修复方向。
2023-06-01 cs.AI cs.CL cs.LG
ELLA: Exploration through Learned Language Abstraction
Stanford University（斯坦福大学）
构建能够理解语言指令的代理对于有效和强大的人类-AI协作至关重要。最近的工作重点是通过合成语言环境中的强化学习来训练这些代理;然而，指令通常定义长期，稀疏奖励任务，并且学习策略需要许多经验。我们介绍ELLA：通过学习语言抽象进行探索，这是一种奖励塑造方法，通过将高级指令与更简单的低级成分相关联，旨在提高稀疏奖励环境中的样本效率。ELLA有两个关键要素：1）识别代理何时完成低级指令的终止分类器，以及2）将低级指令与高级任务上的成功相关联的相关性分类器。我们从指令和终端状态对离线学习终止分类器。值得注意的是，与之前在语言和抽象方面的工作不同，我们在线学习相关性分类器，而不依赖于将高级指令明确分解为低级指令。在一系列具有不同指令复杂度和奖励稀疏度的复杂BabyAI环境中，ELLA相对于基于语言的整形和传统RL方法显示出样本效率的提高。
2021-10-30 cs.AI cs.CL cs.LG
Reward-Directed Conditional Diffusion: Provable Distribution Estimation and Reward Improvement
Princeton University（普林斯顿大学）
本文提出利用含噪奖励标签训练伪标签器并指导条件扩散生成，证明其可估计奖励条件分布、恢复潜在子空间并向目标奖励改进。
2023-07-13 cs.LG
AutoRule: Reasoning Chain-of-thought Extracted Rule-based Rewards Improve Preference Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
AutoRule自动从偏好反馈中提取规则作为辅助奖励，结合推理链与验证器，显著提升Llama-3-8B在AlpacaEval2.0和MT-Bench上的性能，并减少奖励黑客行为。
2025-06-18 cs.AI cs.CL cs.LG
LiMIIRL: Lightweight Multiple-Intent Inverse Reinforcement Learning
The University of Queensland（昆士兰大学）；Intuitive Surgical（直觉外科公司）
多意图逆强化学习（MI-IRL）试图找到一个奖励函数集合，以合理化不同但未标记的意图的演示。在流行的期望最大化（EM）的框架内学习概率MI-IRL模型，我们提出了一个热启动策略的基础上，在特征空间中的演示的前期聚类。我们的理论分析表明，这种热启动解决方案产生了一个接近最优的奖励合奏，提供的行为模式满足温和的分离条件。我们还提出了一个MI-IRL性能指标，概括了流行的期望值差异措施，直接评估学习奖励对地面真相奖励合奏。我们的指标优雅地解决了通过最小成本流公式配对学习和地面真相奖励的困难，并且是有效的可计算的。我们还开发了一个MI-IRL基准问题，允许更全面的算法评估。在这个问题上，我们发现我们的MI-IRL热启动策略有助于避免质量差的局部最小值奖励集成，从而显着改善行为聚类。我们广泛的敏感性分析表明，学习奖励合奏的质量在各种设置下得到改善，包括我们的理论假设不一定成立的情况下。最后，我们证明了我们的方法的有效性，发现不同的驾驶风格在一个大型的现实世界的数据集的司机GPS轨迹。
2021-06-03 cs.AI cs.LG cs.RO
Can Differentiable Decision Trees Enable Interpretable Reward Learning from Human Feedback?
Kahlert School of Computing（卡勒特计算机学院）；University of Utah（犹他大学）
针对RLHF中黑盒奖励函数难以解释且训练成本高的问题，提出使用可微决策树（DDTs）学习可解释且具表达力的奖励函数，实验证明其能达到与深度神经网络相当的RL性能，并具备对齐诊断效用。
2024-10-11 cs.AI cs.LG
Learning on the Job: Self-Rewarding Offline-to-Online Finetuning for Industrial Insertion of Novel Connectors from Vision
机器人学中基于学习的方法有望推广，但如果学习的策略不能推广到新的情况，该怎么办？原则上，如果代理至少可以评估自己的成功（即，利用即使在策略不能很好地概括时也能很好地概括的奖励分类器），在这种情况下，它可以积极地实践任务并微调策略。我们在工业插入任务的设置中研究这个问题，例如将连接器插入插座和安装螺钉。现有的算法依赖于连接器或插座的精确定位和精心管理的物理设置，如装配线，以成功完成任务。但在非结构化环境中，如家庭甚至一些工业环境，机器人无法依赖精确的定位，并且可能需要使用以前看不见的连接器。对各种连接器插入任务进行离线强化学习是一种潜在的解决方案，但如果机器人的任务是插入以前看不见的连接器呢？在这种情况下，我们仍然需要能够通过在线实践稳健地解决这些任务的方法。我们在这项工作中的主要观察结果之一是，通过合适的表示学习和领域泛化方法，奖励函数可以更容易地泛化到新的但结构相似的任务（例如，插入新类型的连接器）。这意味着，在策略未能在zero shot中推广但奖励函数成功推广的情况下，学习的奖励函数可以用于促进机器人策略的微调。我们表明，这种方法可以在现实世界中实例化，在50个不同的连接器上进行预训练，并通过学习的奖励函数成功地微调到新的连接器。视频可以在https://sites.google.com/view/learningonthejob上观看
2023-02-27 cs.LG cs.RO
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Skill-Critic: Refining Learned Skills for Hierarchical Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Sony Research Inc.（索尼研究公司）
针对分层强化学习中离线数据习得的低层策略因覆盖率低、分布偏移不可靠的问题，提出Skill-Critic算法，结合高层技能选择微调低层策略，用离线演示隐空间初始化正则化双策略并行优化，在多稀疏奖励环境验证有效。
2024-07-12 cs.AI cs.LG
The problem with DDPG: understanding failures in deterministic environments with sparse rewards
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
在具有连续状态和动作空间的环境中，最先进的演员-评论家强化学习算法可以解决非常复杂的问题，但也可能在看似微不足道的环境中失败，但这种失败的原因仍然知之甚少。在本文中，我们贡献了一个正式的解释，这些失败的特殊情况下，稀疏奖励和确定性的环境。首先，使用一个非常基本的控制问题，我们说明了学习过程可以陷入一个固定点对应于一个穷人的解决方案。然后，概括从研究的例子中，我们提供了一个详细的分析的基本机制，导致这些算法的收敛机制之一的新的理解。由此产生的观点为我们所强调的问题的现有解决方案提供了新的视角，并提出了其他潜在的方法。
2019-11-26 cs.LG stat.ML
Positive-Unlabeled Reward Learning
Stanford University（斯坦福大学）；Deepmind（深度思维）
从数据中学习奖励函数是实现机器人可扩展强化学习（RL）的一条有前途的道路。然而，从学习的奖励模型训练代理的主要挑战是代理可以学习利用奖励模型中的错误来实现与预期任务不对应的高奖励行为。这些奖励错觉会导致意想不到的甚至危险的行为。另一方面，对抗性模仿学习框架往往会遇到相反的问题，在这种情况下，模仿学习会简单地区分代理和专家的行为，从而导致奖励模型产生低奖励信号，而不管输入状态如何。在本文中，我们将这两类奖励学习方法连接到正无标签（PU）学习，并表明通过将大规模PU学习算法应用于奖励学习问题，我们可以同时解决奖励低估和高估问题。我们的方法极大地改进了GAIL和监督奖励学习，而无需任何额外的假设。
2019-11-01 cs.LG stat.ML
Learning Sparse Representations Incrementally in Deep Reinforcement Learning
University of Alberta（阿尔伯塔大学）
稀疏表示已被证明在深度强化学习中对于减轻灾难性干扰和提高代理在累积奖励方面的性能是有用的。先前的结果是基于两步过程，即离线学习表示，然后在线学习动作-价值函数。在本文中，我们调查是否有可能学习稀疏表示和动作价值函数同时和增量。我们研究这个问题，采用几种正则化技术，并观察它们如何影响稀疏的表示学习的DQN代理在两个不同的基准域。我们的研究结果表明，通过适当的正则化，可以增加DQN代理学习的表示的稀疏性。此外，我们发现，学习稀疏表示也导致了累积奖励方面的性能提高。最后，我们发现学习稀疏表示的代理的性能对经验重放缓冲区的大小更鲁棒。这最后一项发现支持了一个长期存在的假设，即深度神经网络学习到的表示重叠是灾难性干扰的主要原因。
2019-12-09 cs.LG stat.ML
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research（谷歌研究院）
基于模型的强化学习（RL）之所以有吸引力，是因为（i）它能够进行规划，从而进行更具战略性的探索，（ii）通过将动态与奖励解耦，它能够快速转移到新的奖励函数。然而，在高维状态（例如，原始像素）是极具挑战性的，因为它需要函数近似，这导致复合误差。相反，为了避免复合错误，我们建议在抽象状态上学习抽象MDP：状态的低维粗略表示（例如，捕获代理位置，忽略其他对象）。我们假设可以访问一个抽象函数，该函数将具体状态映射到抽象状态。在我们的方法中，我们构建了一个抽象的MDP，它通过规划进行战略探索而发展。与分层RL方法类似，抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏（蒙特祖玛的复仇，陷阱！，和私家侦探），包括在陷阱超人的表现！没有示威。在对一个任务进行训练后，我们可以将学习到的抽象MDP重新用于新的奖励函数，从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL
UC Berkeley（加州大学伯克利分校）
Meta-强化学习（meta-RL）已被证明是一个成功的框架，用于利用先前任务的经验快速学习新的相关任务，然而，当前的meta-RL方法难以在稀疏奖励环境中学习。虽然现有的元RL算法可以学习适应新的稀疏奖励任务的策略，但实际的适应策略是使用手形奖励函数学习的，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了一种后见之明重新标记元RL的公式，它在元训练期间重新标记经验，使学习能够完全使用稀疏奖励进行学习。我们证明了我们的方法在一系列具有挑战性的稀疏奖励目标达成环境中的有效性，这些环境以前需要在元训练期间进行密集奖励来解决。我们的方法使用真正的稀疏奖励函数来解决这些环境，其性能与使用代理密集奖励函数的训练相当。
2021-12-02 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Bayesian Deployment Approval for Learned Landing Controllers under Finite Rollout Validation
Independent Researcher（独立研究者）
针对学习型自主控制器在有限仿真验证下的部署不确定性，提出基于贝叶斯后验推断的部署批准框架，通过后验批准概率和部署风险进行不确定性校准评估。
2026-05-26 cs.LG stat.AP
Understanding Reward Ambiguity Through Optimal Transport Theory in Inverse Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本文利用最优传输理论中的Wasserstein距离建立几何框架，量化并应对高维逆强化学习中的奖励模糊性问题，通过识别奖励函数质心为鲁棒方法提供几何基础。
2023-10-18 cs.LG cs.SY eess.SY
Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对传统逆强化学习依赖线性奖励、嵌套结构计算效率低的问题，提出首个神经网络参数化奖励下的双时间尺度单循环IRL算法，证明过参数化下其非渐近收敛且能在特定网络结构下实现全局最优。
2025-03-22 cs.LG stat.ML
Learning Latent State Spaces for Planning through Reward Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Preferred Networks America, Inc.（Preferred Networks美国公司）；Preferred Networks Inc（Preferred Networks公司）
基于模型的强化学习方法通常通过旨在重建和预测原始观测来学习高维状态空间的模型。然而，从无模型强化学习中汲取灵感，我们提出直接从奖励中学习潜在动力学模型。在这项工作中，我们引入了一个基于模型的规划框架，它学习潜在的奖励预测模型，然后在潜在的状态空间中进行规划。潜在的表示是专门从多步奖励预测，我们证明是唯一必要的信息，成功的规划。有了这个框架，我们能够受益于简洁的无模型表示，同时仍然享受基于模型的算法的数据效率。我们展示了我们的框架中的多钟摆和多猎豹环境中，几个pumerums或猎豹的代理，但其中只有一个产生奖励。在这些环境中，重要的是代理构建一个简洁的潜在表示过滤掉不相关的意见。我们发现，我们的方法可以在存在不相关信息的情况下成功学习准确的潜在奖励预测模型，而现有的基于模型的方法则会失败。在学习的潜在状态空间中的规划显示出比无模型和基于模型的基线更强的性能和高样本效率。
2019-12-09 cs.AI cs.LG stat.ML
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功，包括围棋游戏和机器人应用。通常，这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而，在现实世界中，设计这样的奖励函数并不简单，并且唯一可用的信号通常是在轨迹的末端获得的，也称为情节奖励或返回。在这项工作中，我们引入了一个新的算法的时间信用分配，学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号，可以显著提高情景强化学习的学习效率。特别是，我们发现，表达语言模型，如Transformer可以用于学习的重要性和依赖性的状态的轨迹，从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验，一组MuJoCo连续机车控制任务，只有情节的回报，并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Learning Synthetic Environments and Reward Networks for Reinforcement Learning
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们引入合成环境（SE）和奖励网络（RN），神经网络表示，作为代理环境模型训练强化学习（RL）代理。我们表明，一个代理，专门在SE上训练后，能够解决相应的真实环境。虽然SE通过学习其状态动态和奖励来充当真实环境的完全代理，但RN是学习增强或替换奖励的部分代理。我们使用双层优化来进化SE和RN：内环训练RL代理，外环通过演化策略训练SE / RN的参数。我们评估我们提出的新概念广泛的RL算法和经典的控制环境。在一对一的比较中，学习SE代理需要与真实环境进行更多的交互，而不是只在真实环境中训练代理。然而，一旦学习了这样的SE，我们就不需要与真实环境进行任何交互来训练新的代理。此外，学习的SE代理允许我们训练代理与较少的互动，同时保持原有的任务性能。我们的实证研究结果表明，SE实现这一结果，通过学习知情的陈述，偏向代理商对相关国家。此外，我们发现，这些代理是强大的超参数变化，也可以转移到看不见的代理。
2022-02-06 cs.AI cs.LG
Distributed Online Learning via Cooperative Contextual Bandits
UCLA（加州大学洛杉矶分校）
在本文中，我们提出了一个新的框架，分散，在线学习的许多学习者。在每个时刻，由特定上下文表征的实例可能到达每个学习者;基于上下文，学习者可以选择自己的动作之一（给予奖励并提供信息）或请求另一个学习者的帮助。在后一种情况下，请求者支付成本并获得奖励，但提供者了解信息。在我们的框架中，学习者被建模为合作的上下文土匪。每个学习者都寻求从其到达的预期回报最大化，这涉及到权衡从自己的行动中获得的回报，从自己的行动中学习到的信息，从他人请求的行动中获得的回报以及为这些行动支付的成本-考虑到它从每个其他学习者那里学到的关于帮助价值的知识。我们开发了分布式在线学习算法，并提供了分析边界，以比较这些算法的效率与完整的知识（Oracle）基准（其中每个动作的预期回报在每个上下文中是已知的每个学习者）。我们的估计表明，后悔-算法产生的损失-是次线性的时间。我们的理论框架可以用于许多实际应用，包括大数据采掘，事件检测在监测传感器网络和分布式在线推荐系统。
2015-03-23 cs.LG stat.ML
Prioritized Guidance for Efficient Multi-Agent Reinforcement Learning Exploration
探索效率是多智能体强化学习（MARL）中的一个具有挑战性的问题，因为联盟MARL学习的策略依赖于多个智能体之间的协作方法。另一个重要的问题是，与监督学习中的信息标签相比，较少的信息奖励限制了MARL的学习速度。在这项工作中，我们利用一种新的通信方法来引导MARL加速探索，并提出了一种预测网络来预测当前状态-动作对的奖励，并使用预测网络学习的指导来修改奖励函数。采用改进的优先经验重放，以更好地利用不同的代理，更有效地利用时间差（TD）错误的学习不同的知识。实验结果表明，该算法优于现有的方法在合作的多智能体环境。我们注意到，该算法可以扩展到监督学习，以加快其训练。
2019-12-25 cs.LG cs.MA stat.ML
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题，提出SMOPD两阶段训练方法，在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Model-free Neural Lyapunov Control for Safe Robot Navigation
Purdue University（普渡大学）
无模型深度强化学习（DRL）控制器在各种具有挑战性的非线性控制任务中表现出了良好的效果。虽然无模型DRL算法可以解决未知动力学和高维问题，但它缺乏安全性保证。虽然安全约束可以被编码为奖励函数的一部分，但是在用这种修改的奖励训练的RL控制器和安全控制器之间仍然存在很大的差距。相比之下，我们不是隐式地编码具有奖励的安全约束，而是显式地共同学习双神经李雅普诺夫函数（TNLF）与DRL训练循环中的控制策略，并使用学习的TNLF来构建运行时监控器。结合规划器生成的路径，监控器选择适当的航路点，引导学习的控制器提供无碰撞的控制轨迹。我们的方法继承了DRL的可扩展性优势，同时增强了安全保证。我们的实验评估表明，我们的方法相比，DRL与增强奖励和约束DRL方法在一系列高维安全敏感的导航任务的有效性。
2022-03-02 cs.LG cs.RO
From Rebound to Remedy: Understanding and Mitigating Reward Hacking via Representation Engineering
Rutgers University（罗格斯大学）
本文研究了大型语言模型强化学习中奖励黑客现象，通过环境操控设置分析其三阶段反弹模式，并提出基于表征工程的Advantage Modification方法以更有效抑制黑客行为。
2026-08-21 cs.CL cs.LG
