Controllability in preference-conditioned multi-objective reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；University of California, Berkeley（加州大学伯克利分校）；TU Delft（代尔夫特理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种新的评估指标，用于衡量偏好条件多目标强化学习中控制能力的可靠性，以解决现有指标无法准确反映偏好变化对智能体行为影响的问题。
2026-05-11 cs.LG
Reinforcement Learning from Diverse Human Preferences
Nanyang Technological University（南洋理工大学）；Skywork AI, Singapore（Skywork AI 新加坡分部）；Tencent AI Lab（腾讯AI Lab）
针对基于偏好的RL依赖准确oracle标签的问题，本文提出通过潜在空间正则化、校正及置信度奖励模型集成，从众包且多样化的人类偏好中稳定学习奖励，并在DMcontrol和Meta-world上取得显著提升。
2024-05-08 cs.LG
Dueling RL: Reinforcement Learning with Trajectory Preferences
Microsoft Research（微软研究院）；TTI Chicago（芝加哥丰田理工学院）；Stanford University（斯坦福大学）
我们考虑基于偏好的强化学习（PbRL）问题，其中，与传统的强化学习不同，代理只接收轨迹对的1位（0/1）偏好反馈，而不是绝对的奖励。传统RL框架的成功关键依赖于底层的代理-奖励模型，然而，这取决于系统设计者能够如何准确地表达适当的奖励函数以及通常是重要的任务。我们的框架的主要新颖性是能够从基于偏好的轨迹反馈中学习，从而消除了手工制作数字奖励模型的需要。本文建立了一个非马尔可夫报酬的PbRL问题的形式化框架，其中轨迹偏好由一个维数为$d$的广义线性模型编码.假设转移模型是已知的，然后我们提出了一个几乎最优的遗憾保证$\tilde {\mathcal{O}}\left( SH d \log (T / δ) \sqrt{T} \right)$的算法。进一步，我们将上述算法推广到未知转移动态的情况，并给出了一个具有近最优后悔保证$\widetilde{\mathcal{O}}((\sqrt{d} + H^2 + |\mathcal{S}|)\sqrt{dT} +\sqrt{|\mathcal{S}||\mathcal{A}|TH} )$的算法。据我们所知，我们的工作是第一个给出严格的遗憾保证基于偏好的RL问题与轨迹偏好。
2023-02-06 cs.LG
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
University of California, Riverside（加州大学河滨分校）；AWS AI Labs（AWS AI实验室）
本文提出 PrefVLM 框架，通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注，同时利用自监督逆动力学损失微调模型，在保持性能的同时显著减少人类反馈需求，提升了基于偏好强化学习的可扩展性。
2025-02-03 cs.LG
Multi-turn Reinforcement Learning from Preference Human Feedback
Google（谷歌）
针对现有RLHF在单轮决策层面模拟偏好、难以应对多轮交互长期目标的局限，提出基于多轮对话偏好反馈的新型RL方法，在表格设置中提出镜像下降策略优化算法并证明其收敛于纳什均衡，在教育对话环境中优于RLHF基线，且在明确奖励环境中能恢复与奖励基RL相同性能。
2024-12-02 cs.LG
CLARIFY: Contrastive Preference Reinforcement Learning for Untangling Ambiguous Queries
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China（北京智能体智能系统重点实验室，自动化系，清华大学，北京，中国）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（复杂系统认知与决策智能重点实验室，自动化研究所，中国科学院，北京，中国）
针对人类难以判断相似轨迹偏好的问题，本文提出离线 PbRL 方法 CLARIFY，通过偏好感知的对比轨迹嵌入选择更清晰的查询，并在非理想教师与真实人类反馈中优于基线。
2025-06-10 cs.LG
Online Policy Learning from Offline Preferences
Kyoto University（京都大学）
本研究提出将离线偏好与虚拟偏好整合的PbRL框架，利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题，并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Preference-Guided Reinforcement Learning for Efficient Exploration
本文提出LOPE框架，通过将人类偏好作为轨迹引导直接调整在线探索，避免学习单独奖励模型，并利用信赖域策略改进与状态边缘匹配优化，在困难探索任务中显著提升收敛速度与性能。
2025-11-10 cs.LG
Boosting Robustness in Preference-Based Reinforcement Learning with Dynamic Sparsity
University of Alberta（阿尔伯塔大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Luxembourg（卢森堡大学）；Alberta Machine Intelligence Institute（阿尔伯塔人工智能研究所）
本文提出首个结合动态稀疏训练的PbRL算法R2N，通过学习专注于任务相关特征的鲁棒奖励模型，在模拟机器人环境中显著超越现有稀疏训练和PbRL方法。
2025-07-03 cs.LG
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究了具有轨迹偏好的人在回路强化学习（RL），其中代理只从人类监督者那里接收轨迹对的偏好，而不是在每一步接收数字奖励。智能体的目标是学习人类监督者最喜欢的最优策略。尽管经验上的成功，基于偏好的强化学习（PbRL）的理论理解仅限于表格的情况下。在本文中，我们提出了第一个乐观的基于模型的算法PbRL与一般函数近似，估计模型使用值为目标的回归和计算的探索性政策，通过解决一个乐观的规划问题。我们的算法实现了遗憾的$\tilde{O} (\operatorname{poly}(d H) \sqrt{K} )$，其中$d$是过渡和偏好模型的复杂性度量取决于Eluder维数和日志覆盖数，$H$是规划视野，$K$是情节的数量，和$\tilde O(\cdot)$省略对数项。我们的下限表明，我们的算法是接近最优的，当专门的线性设置。此外，我们扩展了PbRL问题，制定了一个新的问题，称为RL与$n$明智的比较，并提供了第一个样本有效的算法，这个新的设置。据我们所知，这是PbRL与（一般）函数近似的第一个理论结果。
2022-05-24 cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Multi-Agent Reinforcement Learning via Agent-Specific Preference
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；CFINS；BNRist；Institute for Embodied Intelligence and Robotics（嵌入式智能与机器人研究所）；Institute of Automation（自动化研究所）
本文提出多智能体偏好集成学习（MAGPIE），通过智能体特定偏好建模解决多智能体强化学习中全局奖励设计难题，经理论证明与实验验证，其性能可媲美奖励工程基线，为奖励工程不适用场景提供有效策略学习方案。
2026-08-11 cs.LG
On Generalizing Preference-based Reinforcement Learning to Multi-Objective Problems
Politecnico di Milano（米兰理工大学）
研究基于人类专家成对轨迹比较的强化学习问题，提出受Bradley-Terry启发的理性模型捕捉不可比性并推断多维奖励函数，分析样本复杂度，评估模型在模拟环境中重建奖励函数及恢复帕累托前沿的能力与稳健性。
2026-10-14 cs.LG
Preference-based Multi-Objective Reinforcement Learning
Center for Intelligent and Networked System (CFINS)（智能与网络化系统中心）；Department of Automation（自动化系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Key Laboratory of Embodied Intelligence Systems（北京具身智能系统重点实验室）；Tsinghua University（清华大学）
本文提出基于偏好的多目标强化学习Pb-MORL，将偏好形式化融入MORL框架，并构建与偏好对齐的奖励模型，理论证明其可等价训练Pareto最优策略，在多个基准及自动驾驶等任务中超越使用真实奖励函数的oracle方法。
2025-07-18 cs.LG
Patient-Centered Treatment Planning for Chronic Multimorbidity: A Hierarchical Reinforcement Learning Framework for Preference Modeling
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of Tennessee Health Science Center College of Medicine（田纳西大学健康科学中心医学院）；University of Tennessee Medical Center（田纳西大学医学中心）；University of Arkansas（阿肯色大学）
提出FAHOC分层强化学习框架，通过因子化动作与偏好约束建模患者偏好，在5万共病患者数据上实现QALY改善0.669且不违反偏好。
2026-10-01 cs.LG
PIPER: Primitive-Informed Preference-based Hierarchical Reinforcement Learning via Hindsight Relabeling
IIT Kanpur（印度理工学院坎普尔分校）；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Bath（巴斯大学）；University of Central Florida（中佛罗里达大学）
PIPER通过偏好学习获得奖励模型并重标记高层回放缓冲区，结合原始信息在环反馈和正则化，缓解分层强化学习中的非平稳性，在稀疏奖励机器人任务中实现超过50%的成功率。
2024-06-16 cs.LG
RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Oregon State University（俄勒冈州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对单回合奖励下的安全关键场景，论文提出 RA-PbRL，以优化嵌套与静态分位数风险目标，并证明其次线性遗憾上界且得到实验支持。
2025-01-09 cs.LG
Binary Reward Labeling: Bridging Offline Preference and Reward-Based Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出二元奖励标注框架，将偏好反馈转换为标量奖励以复用基于奖励的离线强化学习算法，并在 D4RL 偏好数据集上验证其性能。
2024-10-23 cs.LG
Robust Reinforcement Learning from Corrupted Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）
针对人类反馈偏好标签易受污染的问题，提出鲁棒RLHF方法$R^3M$，通过ℓ₁正则化建模稀疏异常值，兼具高效性与理论保证，可扩展至多类偏好优化方法，在机器人控制与大语言模型生成任务上验证了奖励鲁棒性的提升。
2024-07-09 cs.LG
Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning
School of Computer Science, University of Galway（计算机科学学院，Galway大学）
HPR通过回放增强策略改进CAPQL，提升多目标强化学习中偏好条件下的超体积和预期效用性能。
2026-01-08 cs.AI cs.LG
Regret Bounds for Reinforcement Learning from Multi-Source Imperfect Preferences
University at Buffalo（纽约州立大学布法罗分校）；The Ohio State University（俄亥俄州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究多源不完美偏好下的强化学习，提出统一算法，其遗憾界为~O(√(K/M)+ω)，并给出下限和反例，揭示多源反馈如何提升RLHF及累积不完美对其的限制。
2026-04-02 cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；UMR 9189-CRIStAL（9189号研究单元-CRIStAL）
本研究针对基于偏好的强化学习中偏好空间探索不足的问题，提出PB²方法，通过维持多样化智能体种群提升偏好探索能力，在复杂环境及教师误标注场景下性能更优。
2026-08-04 cs.AI cs.LG
A State Augmentation based approach to Reinforcement Learning from Human Preferences
SCAI, Arizona State University（亚利桑那州立大学SCAI）
即使在足够简单的领域，强化学习也存在奖励规范不佳以及奖励投机问题。基于偏好的强化学习试图通过利用循环中的人对查询轨迹对的二进制反馈来学习奖励模型来解决这个问题。在这项工作中，我们提出了一种状态增强技术，允许代理的奖励模型是强大的，并遵循不变性的一致性，显着提高性能，即奖励恢复和随后的回报计算使用我们的基线PEBBLE的学习策略。我们验证了我们的方法在三个领域，山地车，四足步行的运动任务，和机器人操作任务的扫入，并发现，使用建议的增强代理不仅有利于整体性能，但这样做，相当早在代理的训练阶段。
2023-02-17 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Preference Elicitation for Offline Reinforcement Learning
ETH AI Center（ETH人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Zürich（苏黎世大学）
本文提出Sim-OPRL算法，通过环境模型在模拟轨迹上引发偏好，结合悲观与乐观策略，解决离线偏好强化学习中的偏好获取问题，并提供样本复杂度保证与实验验证。
2025-02-28 cs.AI cs.LG
Deep reinforcement learning applied to an assembly sequence planning problem with user preferences
University of Coimbra（科英布拉大学）
本文提出在装配序列规划中引入参数化动作和双奖励信号（用户偏好与总装配时间）的深度强化学习方法，并通过与表格型Q学习对比验证了A2C、DQN和Rainbow的有效性。
2023-04-13 cs.LG
Online Iterative Reinforcement Learning from Human Feedback with General Preference Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce AI Research（Salesforce AI研究院）
研究一般偏好预言机下的人类反馈强化学习，提出基于反向KL正则化极小极大博弈的框架及样本高效的离线与在线学习算法，实证验证了其有效性。
2024-11-12 cs.LG stat.ML
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
STAIR: Addressing Stage Misalignment through Temporal-Aligned Preference Reinforcement Learning
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China（北京智能体智能系统重点实验室，自动化系，清华大学，北京，中国）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（复杂系统认知与决策智能重点实验室，自动化研究所，中国科学院，北京，中国）
针对PbRL在多阶段任务中因跨阶段偏好比较导致的阶段不对齐问题，提出STAIR，利用对比学习的时间距离识别阶段并优先进行同阶段比较，实验证明其有效且符合人类认知。
2025-09-28 cs.LG
Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models
Hong Kong Polytechnic University（香港理工大学）；Southeast University（东南大学）；National University of Singapore（新加坡国立大学）；University of Tokyo（东京大学）
本文提出了一种基于正例-未标记强化学习的本地小型模型蒸馏方法，无需人工标注或奖励模型，通过本地训练循环实现偏好优化，实验证明在低成本环境下性能优异。
2026-01-28 cs.LG
Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach
The Department of Electrical and Computer Engineering, The University of Texas, San Antonio（德克萨斯大学圣安东尼奥分校电气与计算机工程系）
人类示范可以提供可信的样本，以训练强化学习算法，使机器人能够在现实环境中学习复杂的行为。然而，获得足够的演示可能是不切实际的，因为许多行为对人类来说是难以演示的。一种更实用的方法是用人工查询代替人工演示，即，基于偏好的强化学习现有算法的一个关键限制是需要大量的人工查询，因为需要大量的标记数据来训练神经网络以近似连续的高维奖励函数。为了减少和最大限度地减少对人类查询的需求，我们提出了一种新的GAN辅助的基于人类偏好的强化学习方法，该方法使用生成对抗网络（GAN）来主动学习人类偏好，然后取代人类在分配偏好中的角色。对抗神经网络很简单，只有一个二进制输出，因此需要更少的人类查询来进行训练。此外，基于最大熵的强化学习算法被设计成朝向期望区域或远离不期望区域来塑造损失。为了表明所提出的方法的有效性，我们提出了一些研究复杂的机器人任务，没有访问的环境奖励在一个典型的MuJoCo机器人运动环境。结果表明，该方法可以在不牺牲性能的情况下减少约99.8%的人工时间。
2020-10-15 cs.LG cs.RO
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Reinforcement Learning with Pairwise Preferences in Long-Term Decision Problems
School of Computer Science, McGill University, Montreal, Quebec, Canada（麦吉尔大学计算机科学学院）；Mila - Quebec AI Institute, Montreal, Quebec, Canada（魁北克人工智能研究所）；Department of Electrical Engineering, Stanford University, Stanford, California, USA（斯坦福大学电气工程系）
针对长期决策问题中基于成对偏好的强化学习效率低且缺乏马尔可夫策略最优性保证的问题，提出马尔可夫决策竞赛模型，证明平稳马尔可夫策略最优性、求解复杂度为P，并给出亚线性收敛算法，在高维长期问题中显著提升学习效率。
2026-08-14 cs.AI cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
A Minimaximalist Approach to Reinforcement Learning from Human Feedback
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出自博弈偏好优化（SPO），将人类偏好学习构建为零和博弈，通过单智能体自对弈避免奖励模型训练和对抗训练，可证明处理非马尔可夫、不可传递及随机偏好，并在连续控制任务上比基于奖励模型的方法更高效且更鲁棒。
2024-06-13 cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
针对离线多目标强化学习对分布外偏好泛化不足的问题，提出基于扩散模型与滑动引导的MODULI方法，生成对齐偏好的轨迹，在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
Pareto Inverse Reinforcement Learning for Diverse Expert Policy Generation
Sungkyunkwan University（成均馆大学）
本文提出 ParIRL 框架，利用奖励距离估计正则化判别器，从有限专家数据集生成适应多目标偏好的帕累托策略集，并将其蒸馏为偏好条件扩散模型，在多任务和 CARLA 自动驾驶中优于其他 IRL 算法。
2024-08-22 cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出后见偏好学习（HPL），通过以轨迹段未来结果为条件的奖励建模人类偏好，并利用变分自编码器近似未来结果分布，从而在离线偏好强化学习中更有效地进行信用分配，实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Preference-based Reinforcement Learning with Finite-Time Guarantees
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
基于偏好的强化学习（PbRL）通过偏好取代传统强化学习中的奖励值，以更好地引起人们对目标目标的意见，特别是当数字奖励值难以设计或解释时。尽管在应用中取得了可喜的成果，但对PbRL的理论理解仍处于起步阶段。在本文中，我们提出了一般PbRL问题的第一个有限时间分析。我们首先表明，一个独特的最优策略可能不存在，如果偏好轨迹是确定性的PbRL。如果偏好是随机的，偏好概率与隐藏的奖励值有关，我们提出的算法PbRL，无论有没有模拟器，能够确定最佳的政策，以高概率的准确性$\varepsilon$。我们的方法通过导航到探索不足的状态来探索状态空间，并使用决斗强盗和策略搜索的组合来解决PbRL。实验表明，我们的方法是有效的，当它被应用到现实世界中的问题。
2020-10-23 cs.AI cs.LG stat.ML
PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm
UW-Madison（威斯康星大学麦迪逊分校）；Siemens Corporate Technology（西门子企业技术部）
针对多目标强化学习中偏好动态变化和策略存储不可扩展的问题，提出PD-MORL算法，通过单一通用网络覆盖整个偏好空间，并利用偏好引导更新和并行化提升样本效率，在连续控制任务上实现更高超体积和更少参数。
2023-05-29 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Dynamic Preference Multi-Objective Reinforcement Learning for Internet Network Management
Handong Global University（韩东全球大学）
针对互联网网络管理中偏好随场景动态变化的问题，提出可结合状态与动态偏好决策的强化学习智能体及偏好分布数值估计方法，显著提升了智能体在不同偏好下的泛化能力。
2025-06-16 cs.LG cs.NI
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Towards Abstractive Timeline Summarisation using Preference-based Reinforcement Learning
Intelligent Systems Laboratory, University of Bristol（布里斯托大学智能系统实验室）
针对生成式模型在时间线摘要任务上表现不及抽取式方法的问题，提出基于偏好的强化学习方法适配预训练生成式摘要模型，在多数据集上表现更优且更契合人类偏好。
2023-11-02 cs.CL cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权（SPW）方案，通过从专家演示中搜索相似状态-动作对来分配信用，统一偏好与演示反馈，提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）；Texas A&M University（德克萨斯农工大学）
本文提出一种基于分布鲁棒优化的自适应偏好损失方法，通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性，并兼容DPO等框架，实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
Apple（苹果公司）
本文提出利用自监督时间一致性任务学习动力学感知状态-动作表示，并据此引导 PbRL 奖励函数，在多个运动任务上将所需偏好标签减少约一个数量级。
2024-02-28 cs.AI cs.LG
