Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Preference Elicitation for Offline Reinforcement Learning
ETH AI Center（ETH人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Zürich（苏黎世大学）
本文提出Sim-OPRL算法，通过环境模型在模拟轨迹上引发偏好，结合悲观与乐观策略，解决离线偏好强化学习中的偏好获取问题，并提供样本复杂度保证与实验验证。
2025-02-28 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Reinforcement Learning with Pairwise Preferences in Long-Term Decision Problems
School of Computer Science, McGill University, Montreal, Quebec, Canada（麦吉尔大学计算机科学学院）；Mila - Quebec AI Institute, Montreal, Quebec, Canada（魁北克人工智能研究所）；Department of Electrical Engineering, Stanford University, Stanford, California, USA（斯坦福大学电气工程系）
针对长期决策问题中基于成对偏好的强化学习效率低且缺乏马尔可夫策略最优性保证的问题，提出马尔可夫决策竞赛模型，证明平稳马尔可夫策略最优性、求解复杂度为P，并给出亚线性收敛算法，在高维长期问题中显著提升学习效率。
2026-08-14 cs.AI cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
针对离线多目标强化学习对分布外偏好泛化不足的问题，提出基于扩散模型与滑动引导的MODULI方法，生成对齐偏好的轨迹，在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出后见偏好学习（HPL），通过以轨迹段未来结果为条件的奖励建模人类偏好，并利用变分自编码器近似未来结果分布，从而在离线偏好强化学习中更有效地进行信用分配，实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Learning through Probing: a decentralized reinforcement learning architecture for social dilemmas
The Alan Turing Institute（艾伦图灵研究所）；University College London（伦敦大学学院）
近年来，多智能体强化学习受到了极大的关注，这主要是由于深度强化学习的进步，这些进步允许开发新的架构和学习算法。使用社会困境作为训练场，我们提出了一种新的学习架构，通过探测学习（LTP），代理利用探测机制，将对手的行为变化时，代理采取行动。我们使用不同的训练阶段，并根据经验的总体结果调整奖励，以应对对手行为的变化。我们引入一个参数eta来确定这些未来变化对对手行为的意义。当应用于迭代囚徒困境（IPD）时，LTP代理证明他们可以学习彼此合作，实现比其他强化学习方法更高的平均累积奖励，同时在与Axelrod锦标赛中存在的静态代理进行比赛时也保持良好的表现。我们将此方法与传统的强化学习算法和代理跟踪技术进行比较，以突出关键差异和潜在应用。我们还提请注意解决游戏和类社交互动之间的差异，并分析在临时社会中Q学习代理的培训。这是为了强调合作如何在社会中出现，并使用通过IPD的随机遭遇形式确定与对手互动的环境来证明这一点。
2018-12-22 cs.AI cs.GT cs.LG
PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm
UW-Madison（威斯康星大学麦迪逊分校）；Siemens Corporate Technology（西门子企业技术部）
针对多目标强化学习中偏好动态变化和策略存储不可扩展的问题，提出PD-MORL算法，通过单一通用网络覆盖整个偏好空间，并利用偏好引导更新和并行化提升样本效率，在连续控制任务上实现更高超体积和更少参数。
2023-05-29 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Preference-based Reinforcement Learning with Finite-Time Guarantees
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
基于偏好的强化学习（PbRL）通过偏好取代传统强化学习中的奖励值，以更好地引起人们对目标目标的意见，特别是当数字奖励值难以设计或解释时。尽管在应用中取得了可喜的成果，但对PbRL的理论理解仍处于起步阶段。在本文中，我们提出了一般PbRL问题的第一个有限时间分析。我们首先表明，一个独特的最优策略可能不存在，如果偏好轨迹是确定性的PbRL。如果偏好是随机的，偏好概率与隐藏的奖励值有关，我们提出的算法PbRL，无论有没有模拟器，能够确定最佳的政策，以高概率的准确性$\varepsilon$。我们的方法通过导航到探索不足的状态来探索状态空间，并使用决斗强盗和策略搜索的组合来解决PbRL。实验表明，我们的方法是有效的，当它被应用到现实世界中的问题。
2020-10-23 cs.AI cs.LG stat.ML
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权（SPW）方案，通过从专家演示中搜索相似状态-动作对来分配信用，统一偏好与演示反馈，提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）；Texas A&M University（德克萨斯农工大学）
本文提出一种基于分布鲁棒优化的自适应偏好损失方法，通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性，并兼容DPO等框架，实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
Apple（苹果公司）
本文提出利用自监督时间一致性任务学习动力学感知状态-动作表示，并据此引导 PbRL 奖励函数，在多个运动任务上将所需偏好标签减少约一个数量级。
2024-02-28 cs.AI cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University（首尔大学）
本文提出列表式奖励估计LiRE，通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习，并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University（首尔国立大学）
本文提出APPO算法，将离线偏好强化学习建模为策略与模型的双人博弈，在不依赖显式置信集的情况下实现可处理的保守性，并给出样本复杂度界，是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University（哈佛大学）；Duke University（杜克大学）
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题，提出含时间与累积奖励的扩展 Bellman 形式，并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
Learning the Value Systems of Societies from Preferences
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；CSIC, Consejo Superior de Investigaciones Científicas（西班牙国家研究委员会）
本文形式化社会价值体系学习问题，提出基于启发式深度聚类的方法，从个体基于价值的定性偏好中学习社会共享价值锚定和多元群体价值体系，并在真实出行决策数据中验证。
2025-07-28 cs.AI cs.CY cs.LG
LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CASIA-MUST Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（智能科学与技术CASIA-MUST联合实验室，澳门科学理工学院）
LEASE通过高样本效率的离线偏好强化学习算法，在减少偏好数据需求的同时提升奖励模型的准确性与稳定性。
2026-02-07 cs.AI cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架，通过从无奖励离线数据中学习潜在后继度量表示，再利用偏好数据进行对比搜索和微调，显著提升了偏好效率。
2026-05-31 cs.LG
Batch Reinforcement Learning from Crowds
Kyoto University（京都大学）；RIKEN（理化学研究所）
批量强化学习的一个缺点是它需要数据中的奖励，因此不适用于没有奖励函数的任务。现有的缺乏奖励的设置，如行为克隆，依赖于从人类收集的最佳示范。不幸的是，需要广泛的专业知识来确保最优性，这阻碍了复杂任务的大规模数据采集。本文通过从偏好中学习奖励函数来解决批量强化学习设置中缺乏奖励的问题。生成偏好只需要对任务有基本的了解。作为一个心理过程，产生偏好比进行演示要快。因此，偏好可以通过众包从非专业人员那里大规模收集。本文解决了从非专家人类收集数据时出现的一个关键挑战：偏好中的噪音。提出了一种新的概率模型来建模标签的可靠性，它利用标签协作。此外，所提出的模型平滑的估计与学习的奖励函数。Atari数据集上的评估证明了所提出的模型的有效性，随后进行了消融研究，以分析所提出的想法的相对重要性。
2022-11-29 cs.AI cs.LG
Dueling Posterior Sampling for Preference-Based Reinforcement Learning
California Institute of Technology（加州理工学院）；Tsinghua University（清华大学）
在基于偏好的强化学习（RL）中，智能体与环境交互，同时接收偏好而不是绝对反馈。虽然基于偏好的强化学习的研究活动越来越多，但允许易于处理的理论分析的正式框架的设计仍然是一个开放的挑战。基于RL中基于偏好的强盗学习和后验采样的思想，我们提出了DUELING POSTERIOR SAMPLING（DPS），它采用基于偏好的后验采样来学习系统动态和控制偏好反馈的潜在效用函数。由于偏好反馈提供的轨迹，而不是个人的状态-动作对，我们开发了一个贝叶斯方法的信用分配问题，翻译偏好的状态-动作奖励模型的后验分布。本文利用贝叶斯线性回归信用分配模型证明了DPS的渐近贝叶斯无遗憾率。据我们所知，这是基于偏好的强化学习的第一个遗憾保证。我们还讨论了其他信用分配模型的证明方法的可能途径。最后，我们评估的方法经验，显示竞争力的表现对现有的基线。
2020-06-29 cs.AI cs.LG stat.ML
Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning
Apple（苹果公司）
基于偏好的强化学习（RL）算法通过从人类偏好反馈中提取奖励函数来帮助避免手工制作的奖励函数的陷阱，但由于即使对于相对简单的任务，也需要人类提供大量的标签，因此它们仍然不切实际。在这项工作中，我们证明了在奖励函数（REED）中对环境动态进行编码可以大大减少最先进的基于偏好的RL框架所需的偏好标签数量。我们假设基于REED的方法更好地划分状态-动作空间，并促进泛化到偏好数据集中不包括的状态-动作对。REED通过自我监督的时间一致性任务在状态-动作表示中编码环境动态，并从状态-动作表示中自举基于偏好的奖励函数。而以前的方法训练只在偏好标记的轨迹对，REED暴露的状态动作表示在政策培训期间经历的所有过渡。我们在PrefPPO [1]和PEBBLE [2]偏好学习框架中探索了REED的好处，并证明了在实验条件下对策略学习速度和最终策略性能的改进。例如，在具有50个偏好标签的四足步行和步行者步行中，基于REED的奖励函数恢复了83%和66%的地面真实奖励策略性能，而没有REED，仅恢复了38%和21%。对于某些领域，基于REED的奖励函数会产生优于在地面真实奖励上训练的策略的策略。
2022-11-12 cs.AI cs.HC cs.LG
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
RIME: Robust Preference-based Reinforcement Learning with Noisy Preferences
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, the University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对 PbRL 依赖高质量专家反馈、难以处理含噪偏好的问题，本文提出 RIME，通过样本选择判别器动态过滤噪声并以奖励模型热启动抑制累积误差，显著提升了现有方法的鲁棒性。
2024-10-28 cs.AI cs.LG cs.RO
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers
Department of Electrical and Computer Engineering, Duke University, Durham, US（电子工程系，杜克大学，达勒姆，美国）；Department of Computer Science, Duke University, Durham, US（计算机科学系，杜克大学，达勒姆，美国）；Department of Biostatistics and Bioinformatics, Duke University, Durham, US（生物统计学与生物信息学系，杜克大学，达勒姆，美国）；Department of Statistics and Data Science, Yale University, New Haven, US（统计学与数据科学系，耶鲁大学，纽 Haven，美国）
本文提出ICPRL范式，通过仅使用偏好反馈实现无奖励的强化学习，适用于奖励难以获取的场景，实验显示其在连续控制等任务中性能接近传统ICRL方法。
2026-02-09 cs.AI cs.LG
Fusing Rewards and Preferences in Reinforcement Learning
本文提出双反馈Actor（DFA）算法，将个体奖励与成对偏好融合到单一更新规则中，直接利用策略对数概率建模偏好，在多个控制环境和GridWorld中匹配或超越SAC及RLHF基线。
2025-08-15 cs.LG
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan（密歇根大学）
SP3O是一种无需奖励建模的新型PbRL算法，利用分段级偏好反馈，通过PPO型损失函数优化策略，在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
DIPPER: Direct Preference Optimization to Accelerate Primitive-Enabled Hierarchical Reinforcement Learning
DIPPER提出一种结合直接偏好优化与强化学习的层次化方法，通过原语信息正则化缓解非平稳性和不可行子目标生成问题，在复杂机器人任务上优于现有层次化和非层次化基线。
2024-12-31 cs.LG
Trust Region Preference Approximation: A simple and stable reinforcement learning algorithm for LLM reasoning
Beijing Jiaotong University（北京交通大学）；Microsoft Research AI for Science（微软研究院科学智能部）；Zhongguancun Academy（中关村学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出TRPA算法，融合规则与偏好优化，消除奖励黑客，在推理任务上性能竞争且稳定，具单调改进保证。
2025-06-18 cs.AI cs.LG
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
Mila (Quebec AI Institute)（米拉（魁北克人工智能研究所））；Université Laval（拉瓦尔大学）；CIFAR AI Chair（CIFAR人工智能教席）
发现事后重标记在多目标强化学习中导致偏好覆盖坍缩，提出her_mix方法恢复性能并大幅降低弃权偏好质量。
2026-09-24 cs.AI cs.LG
Aligning Large Vision-Language Models by Deep Reinforcement Learning and Direct Preference Optimization
AiLECS Lab, Monash University Melbourne, Australia（墨尔本大学AiLECS实验室，澳大利亚）；AiLECS Lab, Monash University, Australia ICMEC Australia, Sydney, Australia（墨尔本大学AiLECS实验室，澳大利亚 ICMEC澳大利亚，悉尼，澳大利亚）
本文综述了利用深度强化学习和直接偏好优化对齐大型视觉-语言模型的方法，分类关键技术，探讨偏好数据与奖励信号，并指出可扩展性、安全性等开放挑战。
2025-09-08 cs.AI cs.LG
Behavior Preference Regression for Offline Reinforcement Learning
Imperial College London（帝国理工学院）
针对离线强化学习的策略约束问题，提出行为偏好回归算法（BPR），通过成对比较最大化策略行为一致性并拟合Q函数最大模式，在多个数据集上取得最先进性能。
2025-03-02 cs.AI cs.LG
B-Pref: Benchmarking Preference-Based Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习（RL）需要访问一个奖励函数来激励正确的行为，但众所周知，对于复杂的任务，这些函数很难指定。基于偏好的强化学习提供了一种替代方案：使用教师的偏好而没有预定义的奖励来学习策略，从而克服了与奖励工程相关的问题。然而，由于缺乏普遍采用的基准，很难量化基于偏好的RL的进展。在本文中，我们介绍了B-Pref：一个专门为基于偏好的RL设计的基准。这样一个基准测试的一个关键挑战是提供快速评估候选算法的能力，这使得依赖真实的人类输入进行评估变得非常困难。与此同时，模拟人类输入，为地面真实奖励函数提供完美的偏好是不现实的。B-Pref通过模拟具有各种不合理性的教师来验证这一点，并提出了不仅针对绩效而且针对这些潜在不合理性的鲁棒性的指标。我们展示了B-Pref的实用性，通过使用它来分析算法设计选择，例如选择信息查询，用于最先进的基于偏好的RL算法。我们希望B-Pref可以作为一个共同的出发点，更系统地研究基于偏好的强化学习。源代码可在https://github.com/rll-research/B-Pref上获得。
2021-11-04 cs.AI cs.HC cs.LG
Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
针对生成式智能体与复杂人类价值对齐的挑战，提出基于偏好的多目标逆强化学习框架，推导帕累托前沿近似的样本复杂度界，提出可证明收敛的策略优化算法，为高维价值多元环境下的对齐学习提供理论基础。
2025-07-28 cs.AI cs.CG cs.LG
Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning
THINC Lab, School of Computing, University of Georgia（THINC实验室，计算学院，佐治亚大学）
本文提出用逆强化学习从审计日志取证数据中学习网络攻击者的行为偏好，首次证明低层级取证数据可自动揭示对手固有偏好，并可作为独特行为签名改进威胁归因。
2025-05-02 cs.AI cs.CR cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Evaluating Feature Dependent Noise in Preference-based Reinforcement Learning
本文研究了基于偏好的强化学习中特征依赖噪声的影响，提出多种噪声变体，并发现最先进的噪声鲁棒方法在某些设置下表现下降，而无显式去噪方法在多数情况下表现更优。
2026-03-17 cs.AI cs.LG
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles（加州大学洛杉矶分校）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Helixon Ltd.（Helixon有限公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习（meta-RL）通过学习可转移的策略来解决这个问题，这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展，但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标，这在许多实际应用中并不现实。为了弥合这一差距，我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法，可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务，而不是使用每步的数字奖励。通过扩展技术从信息论，我们的方法可以设计查询序列，以最大限度地提高信息增益从人类的互动，同时容忍的固有错误的非专家的人类预言。在实验中，我们广泛地评估我们的方法，适应与噪声的甲骨文（ANOLE），在各种元RL基准任务，并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Computer Science, Fudan University（复旦大学计算机学院）
针对现有基于偏好的强化学习忽略相等偏好导致信息丢失的问题，提出多类型偏好学习方法（MTPL），通过同时学习相等与显式偏好，提升了模型对反馈的理解并提高了反馈效率。
2024-10-15 cs.LG
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto（学习、具身自主与预测（LEAF）实验室，多伦多大学）
提出UBP2方法，通过联合推理奖励、动力学和值函数的不确定性来主动引导探索，在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题，提出简单对比框架SARA，通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定，计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
Controllability in preference-conditioned multi-objective reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；University of California, Berkeley（加州大学伯克利分校）；TU Delft（代尔夫特理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种新的评估指标，用于衡量偏好条件多目标强化学习中控制能力的可靠性，以解决现有指标无法准确反映偏好变化对智能体行为影响的问题。
2026-05-11 cs.LG
