Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California（南加州大学）
本文提出PreferenceEKF方法，通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理，在D4RL等基准上较其他贝叶斯深度学习方法更优，助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University（斯坦福大学）
奖励学习是人机交互中的一个基本问题，让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中，我们提出了APReL，一个基于主动偏好的奖励学习算法库，它使研究人员和从业者能够实验现有的技术，并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
FLoRA: Sample-Efficient Preference-based RL via Low-Rank Style Adaptation of Reward Functions
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对低偏好数据场景下预训练机器人适配的灾难性奖励遗忘问题，提出通过低秩矩阵增强原始奖励模型的FLoRA方法，实现了对人类偏好的高效适配，在模拟和真实任务中均有效。
2025-04-14 cs.LG cs.RO
Learning Reward Functions by Integrating Human Demonstrations and Preferences
Stanford University（斯坦福大学）
我们的目标是准确有效地学习自主机器人的奖励函数。目前解决这个问题的方法包括逆强化学习（IRL），它使用专家演示，和基于偏好的学习，它迭代地查询用户在轨迹之间的偏好。然而，在机器人技术中，IRL经常会遇到困难，因为它很难获得高质量的演示;相反，基于偏好的学习效率很低，因为它试图从二进制反馈中学习一个连续的高维函数。我们提出了一个新的奖励学习框架，DemPref，它使用演示和偏好查询来学习奖励函数。具体来说，我们（1）使用演示来学习奖励函数空间上的粗糙先验，以减少生成查询的空间的有效大小;以及（2）使用演示来接地（主动）查询生成过程，以提高生成的查询的质量。我们的方法解决了标准的基于偏好的学习方法所面临的效率问题，并且不完全依赖于（可能是低质量的）演示。在数值实验中，我们发现DemPref比标准的基于主动偏好的学习方法更有效。在用户研究中，我们将我们的方法与标准的IRL方法进行比较;我们发现，用户将DemPref训练的机器人评为更成功地学习他们所需的行为，并且更喜欢使用DemPref系统（超过IRL）来训练机器人。
2019-06-21 cs.AI cs.RO
Active Preference-Based Gaussian Process Regression for Reward Learning
Stanford University（斯坦福大学）；École Polytechnique（巴黎综合理工学院）
设计奖励函数是人工智能和机器人技术中的一个具有挑战性的问题。人类通常很难直接指定机器人需要优化的所有理想行为。一种常见的方法是从收集的专家演示中学习奖励函数。然而，从演示中学习奖励函数带来了许多挑战：一些方法需要高度结构化的模型，例如在一些预定义的特征集中是线性的奖励函数，而另一些方法则采用结构化程度较低的奖励函数，另一方面需要大量的数据。此外，人类往往难以在具有高自由度的机器人上提供演示，或者甚至难以量化给定演示的奖励值。为了解决这些挑战，我们提出了一种基于偏好的学习方法，作为替代方案，人类的反馈仅以轨迹之间比较的形式存在。此外，我们不假设奖励函数的高度约束结构。相反，我们使用高斯过程（GP）对奖励函数进行建模，并提出了一种数学公式，仅使用人类偏好来主动找到GP。我们的方法使我们能够在基于偏好的学习框架内解决可扩展性和数据效率低下的问题。我们在模拟和用户研究中的结果表明，我们的方法可以有效地学习机器人任务的表达性奖励函数。
2020-06-03 cs.AI cs.LG cs.RO
Counterfactual Reasoning and Environment Design for Active Preference Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）
研究机器人主动偏好学习中现有方法的不足，提出CRED方法，通过联合优化环境设计和轨迹选择，利用反事实推理生成轨迹，经实验验证该方法能改善奖励学习并在不同环境有效泛化。
2026-07-23 cs.RO
VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人连续控制中奖励设计偏差与VLM偏好标注不准的问题，提出VARP方法，通过轨迹叠加提升VLM偏好准确率，结合智能体性能正则化奖励学习，显著提升任务成功率与回合回报。
2025-03-18 cs.AI cs.HC cs.LG
FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization
Tencent Robotics X（腾讯机器人X实验室）；Futian Laboratory（福田实验室）；Tsinghua University（清华大学）
提出FlowPRO框架，通过近端偏好优化（RPRO）和干预-回滚数据收集方法，实现无奖励的离线强化微调，在四类长时程双臂任务中取得最高成功率。
2026-06-03 cs.RO
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
A Generalized Acquisition Function for Preference-based Reward Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
针对基于偏好的奖励学习中传统信息增益查询效率低的问题，提出学习行为等价类奖励函数的通用采集函数框架，经多场景实验验证性能优于现有最优方法。
2024-03-09 cs.AI cs.LG cs.RO
Learning Reward Functions from Diverse Sources of Human Feedback: Optimally Integrating Demonstrations and Preferences
Stanford University（斯坦福大学）
奖励函数是指定机器人目标的常用方法。由于设计奖励函数可能极具挑战性，因此更有希望的方法是直接从人类教师那里学习奖励函数。重要的是，来自人类教师的数据可以以各种形式被动或主动地收集：被动数据源包括演示（例如，动觉引导），而偏好（例如，比较排名）被积极地引出。之前的研究已经独立地将奖励学习应用于这些不同的数据源。然而，在许多领域中，多个来源是互补的和有表现力的。出于这个普遍的问题，我们提出了一个框架，以整合多个信息源，这是被动或主动收集人类用户。特别是，我们提出了一种算法，首先利用用户演示初始化的奖励函数的信念，然后积极探测用户的偏好查询零在他们的真实奖励。该算法不仅使我们能够组合多个数据源，而且还通知机器人何时应该利用每种类型的信息。此外，我们的方法占人类提供数据的能力：产生用户友好的偏好查询，这也是理论上最优的。我们广泛的模拟实验和用户研究的取移动机械手证明了我们的综合框架的优越性和可用性。
2021-08-04 cs.AI cs.LG cs.RO
Batch Active Preference-Based Learning of Reward Functions
Stanford University（斯坦福大学）
数据生成和标记通常是机器人学习的昂贵部分。虽然主动学习方法通常用于解决前一个问题，但基于偏好的学习是一个试图通过向用户询问偏好问题来解决后者的概念。在本文中，我们将开发一种新的算法，批量主动基于偏好的学习，它可以使用尽可能少的数据样本有效地学习奖励函数，同时仍然具有较短的查询生成时间。我们介绍了几个近似的批量主动学习问题，并提供理论保证，我们的算法的收敛性。最后，我们提出了我们的实验结果，在模拟各种机器人任务。我们的研究结果表明，我们的批处理主动学习算法只需要几个查询，在很短的时间内计算。然后，我们在一项研究中展示了我们的算法，以学习人类用户的偏好。
2018-10-10 cs.AI cs.LG cs.RO
Preference Transformer: Modeling Human Preferences using Transformers for RL
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
基于偏好的强化学习（RL）提供了一个框架，训练代理使用人类偏好之间的两个行为。然而，基于偏好的强化学习在规模上一直具有挑战性，因为它需要大量的人类反馈来学习与人类意图一致的奖励函数。在本文中，我们提出了偏好Transformer，一个神经架构，使用Transformers模型人类的喜好。不同于以往的方法假设人类的判断是基于马尔可夫奖励的决定，同样的，我们引入了一个新的偏好模型的基础上加权和的非马尔可夫奖励。然后，我们设计了建议的偏好模型使用Transformer架构，堆栈因果和双向自我注意层。我们证明，偏好Transformer可以解决各种控制任务，使用真正的人类偏好，而以前的方法无法工作。我们还表明，偏好Transformer可以诱导一个指定的奖励，并出席的轨迹中的关键事件，通过自动捕捉人类决策的时间依赖性。代码可在项目网站上获得：https://sites.google.com/view/preference-transformer。
2023-03-02 cs.AI cs.LG cs.RO
LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback
本研究提出LEMUR框架，通过联合学习策略与多目标奖励模型，从人类偏好反馈中学习平衡多目标的最优策略，其在基准多目标任务上性能优于基线方法。
2026-10-14 cs.AI cs.RO
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto（学习、具身自主与预测（LEAF）实验室，多伦多大学）
提出UBP2方法，通过联合推理奖励、动力学和值函数的不确定性来主动引导探索，在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO
Causally Robust Reward Learning from Reason-Augmented Preference Feedback
Thomas Lord Department of Computer Science, University of Southern California（美国南加州大学计算机科学系）
ReCouPLe通过自然语言理由提供因果信号，提升奖励学习在分布偏移和新任务中的性能。
2026-03-05 cs.AI cs.LG cs.RO
Freeform Preference Learning for Robotic Manipulation
Stanford University（斯坦福大学）
提出自由形式偏好学习（FPL），通过自然语言定义偏好轴并学习语言条件奖励模型，在长时域操作任务中比稀疏奖励和二元偏好方法提升38个百分点，支持行为组合与测试时策略引导。
2026-08-04 cs.AI cs.LG cs.RO
Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences
Allen Institute for AI（艾伦人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
针对具身AI中机器人行为适配多样人类偏好的难题，提出Promptable Behaviors框架，用多目标强化学习训练通用策略，通过三类交互推断偏好，在导航任务中验证了个性化效果。
2023-12-14 cs.AI cs.CV cs.RO
Batch Active Learning of Reward Functions from Human Preferences
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文提出基于行列式点过程和启发式策略的批量主动偏好学习方法，在保持并行化和短查询生成时间的同时，用少量偏好查询高效学习奖励函数，并在仿真机器人任务和人类用户偏好学习中验证了有效性。
2024-02-24 cs.AI cs.LG cs.RO
