Dueling Posterior Sampling for Preference-Based Reinforcement Learning
California Institute of Technology（加州理工学院）；Tsinghua University（清华大学）
在基于偏好的强化学习（RL）中，智能体与环境交互，同时接收偏好而不是绝对反馈。虽然基于偏好的强化学习的研究活动越来越多，但允许易于处理的理论分析的正式框架的设计仍然是一个开放的挑战。基于RL中基于偏好的强盗学习和后验采样的思想，我们提出了DUELING POSTERIOR SAMPLING（DPS），它采用基于偏好的后验采样来学习系统动态和控制偏好反馈的潜在效用函数。由于偏好反馈提供的轨迹，而不是个人的状态-动作对，我们开发了一个贝叶斯方法的信用分配问题，翻译偏好的状态-动作奖励模型的后验分布。本文利用贝叶斯线性回归信用分配模型证明了DPS的渐近贝叶斯无遗憾率。据我们所知，这是基于偏好的强化学习的第一个遗憾保证。我们还讨论了其他信用分配模型的证明方法的可能途径。最后，我们评估的方法经验，显示竞争力的表现对现有的基线。
2020-06-29 cs.AI cs.LG stat.ML
Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning
Apple（苹果公司）
基于偏好的强化学习（RL）算法通过从人类偏好反馈中提取奖励函数来帮助避免手工制作的奖励函数的陷阱，但由于即使对于相对简单的任务，也需要人类提供大量的标签，因此它们仍然不切实际。在这项工作中，我们证明了在奖励函数（REED）中对环境动态进行编码可以大大减少最先进的基于偏好的RL框架所需的偏好标签数量。我们假设基于REED的方法更好地划分状态-动作空间，并促进泛化到偏好数据集中不包括的状态-动作对。REED通过自我监督的时间一致性任务在状态-动作表示中编码环境动态，并从状态-动作表示中自举基于偏好的奖励函数。而以前的方法训练只在偏好标记的轨迹对，REED暴露的状态动作表示在政策培训期间经历的所有过渡。我们在PrefPPO [1]和PEBBLE [2]偏好学习框架中探索了REED的好处，并证明了在实验条件下对策略学习速度和最终策略性能的改进。例如，在具有50个偏好标签的四足步行和步行者步行中，基于REED的奖励函数恢复了83%和66%的地面真实奖励策略性能，而没有REED，仅恢复了38%和21%。对于某些领域，基于REED的奖励函数会产生优于在地面真实奖励上训练的策略的策略。
2022-11-12 cs.AI cs.HC cs.LG
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
B-Pref: Benchmarking Preference-Based Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习（RL）需要访问一个奖励函数来激励正确的行为，但众所周知，对于复杂的任务，这些函数很难指定。基于偏好的强化学习提供了一种替代方案：使用教师的偏好而没有预定义的奖励来学习策略，从而克服了与奖励工程相关的问题。然而，由于缺乏普遍采用的基准，很难量化基于偏好的RL的进展。在本文中，我们介绍了B-Pref：一个专门为基于偏好的RL设计的基准。这样一个基准测试的一个关键挑战是提供快速评估候选算法的能力，这使得依赖真实的人类输入进行评估变得非常困难。与此同时，模拟人类输入，为地面真实奖励函数提供完美的偏好是不现实的。B-Pref通过模拟具有各种不合理性的教师来验证这一点，并提出了不仅针对绩效而且针对这些潜在不合理性的鲁棒性的指标。我们展示了B-Pref的实用性，通过使用它来分析算法设计选择，例如选择信息查询，用于最先进的基于偏好的RL算法。我们希望B-Pref可以作为一个共同的出发点，更系统地研究基于偏好的强化学习。源代码可在https://github.com/rll-research/B-Pref上获得。
2021-11-04 cs.AI cs.HC cs.LG
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题，提出简单对比框架SARA，通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定，计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning
School of Computer Science, University of Galway（计算机科学学院，Galway大学）
HPR通过回放增强策略改进CAPQL，提升多目标强化学习中偏好条件下的超体积和预期效用性能。
2026-01-08 cs.AI cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；UMR 9189-CRIStAL（9189号研究单元-CRIStAL）
本研究针对基于偏好的强化学习中偏好空间探索不足的问题，提出PB²方法，通过维持多样化智能体种群提升偏好探索能力，在复杂环境及教师误标注场景下性能更优。
2026-08-04 cs.AI cs.LG
A State Augmentation based approach to Reinforcement Learning from Human Preferences
SCAI, Arizona State University（亚利桑那州立大学SCAI）
即使在足够简单的领域，强化学习也存在奖励规范不佳以及奖励投机问题。基于偏好的强化学习试图通过利用循环中的人对查询轨迹对的二进制反馈来学习奖励模型来解决这个问题。在这项工作中，我们提出了一种状态增强技术，允许代理的奖励模型是强大的，并遵循不变性的一致性，显着提高性能，即奖励恢复和随后的回报计算使用我们的基线PEBBLE的学习策略。我们验证了我们的方法在三个领域，山地车，四足步行的运动任务，和机器人操作任务的扫入，并发现，使用建议的增强代理不仅有利于整体性能，但这样做，相当早在代理的训练阶段。
2023-02-17 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
Preference Elicitation for Offline Reinforcement Learning
ETH AI Center（ETH人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Zürich（苏黎世大学）
本文提出Sim-OPRL算法，通过环境模型在模拟轨迹上引发偏好，结合悲观与乐观策略，解决离线偏好强化学习中的偏好获取问题，并提供样本复杂度保证与实验验证。
2025-02-28 cs.AI cs.LG
Online Iterative Reinforcement Learning from Human Feedback with General Preference Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce AI Research（Salesforce AI研究院）
研究一般偏好预言机下的人类反馈强化学习，提出基于反向KL正则化极小极大博弈的框架及样本高效的离线与在线学习算法，实证验证了其有效性。
2024-11-12 cs.LG stat.ML
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Reinforcement Learning with Pairwise Preferences in Long-Term Decision Problems
School of Computer Science, McGill University, Montreal, Quebec, Canada（麦吉尔大学计算机科学学院）；Mila - Quebec AI Institute, Montreal, Quebec, Canada（魁北克人工智能研究所）；Department of Electrical Engineering, Stanford University, Stanford, California, USA（斯坦福大学电气工程系）
针对长期决策问题中基于成对偏好的强化学习效率低且缺乏马尔可夫策略最优性保证的问题，提出马尔可夫决策竞赛模型，证明平稳马尔可夫策略最优性、求解复杂度为P，并给出亚线性收敛算法，在高维长期问题中显著提升学习效率。
2026-08-14 cs.AI cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
针对离线多目标强化学习对分布外偏好泛化不足的问题，提出基于扩散模型与滑动引导的MODULI方法，生成对齐偏好的轨迹，在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出后见偏好学习（HPL），通过以轨迹段未来结果为条件的奖励建模人类偏好，并利用变分自编码器近似未来结果分布，从而在离线偏好强化学习中更有效地进行信用分配，实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm
UW-Madison（威斯康星大学麦迪逊分校）；Siemens Corporate Technology（西门子企业技术部）
针对多目标强化学习中偏好动态变化和策略存储不可扩展的问题，提出PD-MORL算法，通过单一通用网络覆盖整个偏好空间，并利用偏好引导更新和并行化提升样本效率，在连续控制任务上实现更高超体积和更少参数。
2023-05-29 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权（SPW）方案，通过从专家演示中搜索相似状态-动作对来分配信用，统一偏好与演示反馈，提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
The Impact of Preference Agreement in Reinforcement Learning from Human Feedback: A Case Study in Summarization
Google Research（谷歌研究院）
该研究以文本摘要任务为案例，探究人类反馈强化学习中偏好一致性的标注者一致程度对RLHF效果的影响，发现纳入不同一致性偏好可提升奖励模型准确率、改变质量特征并改善下游生成，为合成数据集设计提供参考。
2023-11-02 cs.AI cs.CL cs.HC
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）；Texas A&M University（德克萨斯农工大学）
本文提出一种基于分布鲁棒优化的自适应偏好损失方法，通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性，并兼容DPO等框架，实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
Apple（苹果公司）
本文提出利用自监督时间一致性任务学习动力学感知状态-动作表示，并据此引导 PbRL 奖励函数，在多个运动任务上将所需偏好标签减少约一个数量级。
2024-02-28 cs.AI cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University（首尔大学）
本文提出列表式奖励估计LiRE，通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习，并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University（首尔国立大学）
本文提出APPO算法，将离线偏好强化学习建模为策略与模型的双人博弈，在不依赖显式置信集的情况下实现可处理的保守性，并给出样本复杂度界，是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea（首尔国立大学）
本文针对带MNL偏好反馈的组合强化学习，提出MNL-VQL算法，解决物品价值未知与组合动作空间可处理性问题，并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University（哈佛大学）；Duke University（杜克大学）
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题，提出含时间与累积奖励的扩展 Bellman 形式，并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架，通过从无奖励离线数据中学习潜在后继度量表示，再利用偏好数据进行对比搜索和微调，显著提升了偏好效率。
2026-05-31 cs.LG
Fairness in Preference-based Reinforcement Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出FPbRL方法，通过基于福利的偏好学习向量奖励函数，并最大化广义基尼福利函数，在多个目标下实现公平且高效的策略学习，实验验证了其有效性与公平性。
2023-09-01 cs.AI cs.CY cs.LG
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
RIME: Robust Preference-based Reinforcement Learning with Noisy Preferences
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, the University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对 PbRL 依赖高质量专家反馈、难以处理含噪偏好的问题，本文提出 RIME，通过样本选择判别器动态过滤噪声并以奖励模型热启动抑制累积误差，显著提升了现有方法的鲁棒性。
2024-10-28 cs.AI cs.LG cs.RO
Provable Reward-Agnostic Preference-Based Reinforcement Learning
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
该研究提出奖励无关的基于偏好强化学习理论框架，先探索再收集人类反馈，降低了线性偏好模型下学习最优策略的反馈需求，还适配低秩MDP并提出动作反馈场景的高效查询算法，填补了理论与实践的空白。
2024-04-17 cs.AI cs.LG math.ST
PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots
The University of Manchester（曼彻斯特大学）；BAE Systems（BAE系统公司）；University of Warwick（华威大学）
提出PROMO，一种偏好条件多目标强化学习方法，将偏好作为运行时输入，使单一策略实现多目标权衡，在仿真和真实机器人上展现广泛帕累托覆盖和显著性能提升。
2026-10-02 cs.AI cs.HC cs.LG
LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CASIA-MUST Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（智能科学与技术CASIA-MUST联合实验室，澳门科学理工学院）
LEASE通过高样本效率的离线偏好强化学习算法，在减少偏好数据需求的同时提升奖励模型的准确性与稳定性。
2026-02-07 cs.AI cs.LG
Value Preferences Estimation and Disambiguation in Hybrid Participatory Systems
Delft University of Technology（代尔夫特理工大学）；Leiden University（莱顿大学）
针对混合参与式系统中参与者选择与动机的冲突问题，提出优先考虑动机估计价值的方法及结合NLP与主动学习的消歧策略，在能源转型调查数据集上验证了不一致性解决对价值偏好估计的提升作用。
2025-02-11 cs.AI cs.CL
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Fusing Rewards and Preferences in Reinforcement Learning
本文提出双反馈Actor（DFA）算法，将个体奖励与成对偏好融合到单一更新规则中，直接利用策略对数概率建模偏好，在多个控制环境和GridWorld中匹配或超越SAC及RLHF基线。
2025-08-15 cs.LG
Batch Reinforcement Learning from Crowds
Kyoto University（京都大学）；RIKEN（理化学研究所）
批量强化学习的一个缺点是它需要数据中的奖励，因此不适用于没有奖励函数的任务。现有的缺乏奖励的设置，如行为克隆，依赖于从人类收集的最佳示范。不幸的是，需要广泛的专业知识来确保最优性，这阻碍了复杂任务的大规模数据采集。本文通过从偏好中学习奖励函数来解决批量强化学习设置中缺乏奖励的问题。生成偏好只需要对任务有基本的了解。作为一个心理过程，产生偏好比进行演示要快。因此，偏好可以通过众包从非专业人员那里大规模收集。本文解决了从非专家人类收集数据时出现的一个关键挑战：偏好中的噪音。提出了一种新的概率模型来建模标签的可靠性，它利用标签协作。此外，所提出的模型平滑的估计与学习的奖励函数。Atari数据集上的评估证明了所提出的模型的有效性，随后进行了消融研究，以分析所提出的想法的相对重要性。
2022-11-29 cs.AI cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Japan Science and Technology Agency（日本科学技术振兴机构）
本文提出基于多智能体深度强化学习的统一框架，在连续状态空间中评估足球有球与无球球员的行动价值，并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
DIPPER: Direct Preference Optimization to Accelerate Primitive-Enabled Hierarchical Reinforcement Learning
DIPPER提出一种结合直接偏好优化与强化学习的层次化方法，通过原语信息正则化缓解非平稳性和不可行子目标生成问题，在复杂机器人任务上优于现有层次化和非层次化基线。
2024-12-31 cs.LG
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
针对生成式智能体与复杂人类价值对齐的挑战，提出基于偏好的多目标逆强化学习框架，推导帕累托前沿近似的样本复杂度界，提出可证明收敛的策略优化算法，为高维价值多元环境下的对齐学习提供理论基础。
2025-07-28 cs.AI cs.CG cs.LG
Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers
Department of Electrical and Computer Engineering, Duke University, Durham, US（电子工程系，杜克大学，达勒姆，美国）；Department of Computer Science, Duke University, Durham, US（计算机科学系，杜克大学，达勒姆，美国）；Department of Biostatistics and Bioinformatics, Duke University, Durham, US（生物统计学与生物信息学系，杜克大学，达勒姆，美国）；Department of Statistics and Data Science, Yale University, New Haven, US（统计学与数据科学系，耶鲁大学，纽 Haven，美国）
本文提出ICPRL范式，通过仅使用偏好反馈实现无奖励的强化学习，适用于奖励难以获取的场景，实验显示其在连续控制等任务中性能接近传统ICRL方法。
2026-02-09 cs.AI cs.LG
Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning
THINC Lab, School of Computing, University of Georgia（THINC实验室，计算学院，佐治亚大学）
本文提出用逆强化学习从审计日志取证数据中学习网络攻击者的行为偏好，首次证明低层级取证数据可自动揭示对手固有偏好，并可作为独特行为签名改进威胁归因。
2025-05-02 cs.AI cs.CR cs.LG
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan（密歇根大学）
SP3O是一种无需奖励建模的新型PbRL算法，利用分段级偏好反馈，通过PPO型损失函数优化策略，在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Trust Region Preference Approximation: A simple and stable reinforcement learning algorithm for LLM reasoning
Beijing Jiaotong University（北京交通大学）；Microsoft Research AI for Science（微软研究院科学智能部）；Zhongguancun Academy（中关村学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出TRPA算法，融合规则与偏好优化，消除奖励黑客，在推理任务上性能竞争且稳定，具单调改进保证。
2025-06-18 cs.AI cs.LG
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
Mila (Quebec AI Institute)（米拉（魁北克人工智能研究所））；Université Laval（拉瓦尔大学）；CIFAR AI Chair（CIFAR人工智能教席）
发现事后重标记在多目标强化学习中导致偏好覆盖坍缩，提出her_mix方法恢复性能并大幅降低弃权偏好质量。
2026-09-24 cs.AI cs.LG
