Prior Preference Learning from Experts:Designing a Reward with Active Inference
POSTECH（浦项工科大学）
主动推理可以被定义为用代理的生物学上合理的模型对大脑进行贝叶斯建模。它的基本思想依赖于自由能原理和代理人的优先偏好。智能体将选择一个导致其对未来观察的优先偏好的动作。在本文中，我们声称，主动推理可以解释使用强化学习（RL）算法，并找到它们之间的理论联系。本文推广了主动推理中的核心量--期望自由能的概念，并指出期望自由能可以看作是一个负的价值函数。受先验偏好概念和理论联系的启发，我们提出了一种简单但新颖的方法，用于从专家那里学习先验偏好。这说明了逆RL的问题可以用主动推理的新视角来处理。先验偏好学习的实验结果显示了基于EFE的奖励的主动推理的可能性及其在逆向RL问题中的应用。
2021-12-13 cs.LG
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California（南加州大学）
本文提出PreferenceEKF方法，通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理，在D4RL等基准上较其他贝叶斯深度学习方法更优，助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Cost-Effective Proxy Reward Model Construction with On-Policy and Active Learning
University of Washington（华盛顿大学）；Microsoft Corporation（微软公司）
针对RLHF中人类偏好数据不足、在线算法专家查询成本高的问题，首次提出结合同策略查询与主动学习的代理奖励模型构建策略，用少量标注数据实现高效偏好标注，提升模型性能且可与其他策略融合降本。
2024-07-09 cs.AI cs.CL cs.LG
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Gladstone Institutes（格拉德斯通研究所）
本文提出一种基于夏普比率的主动学习方法，通过梯度评估高效选择偏好数据，以降低RLHF中偏好标注成本，并在多个模型和数据集上将胜率提升最多5%。
2025-03-28 cs.AI cs.LG
Optimal Design for Active Preference Learning with Biased LLM Judges
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Hangzhou Innovation Institute of Beihang University（北京航空航天大学杭州创新研究院）
针对有偏LLM评判者的主动偏好学习，提出扰动调整最优设计（NAOD），通过优先选择策略相关信息并利用Frank-Wolfe优化，在理论上达到极小极大下界，实验中将代理策略遗憾降低29.1%。
2026-10-01 cs.AI cs.LG
Active Preference Optimization for Sample Efficient RLHF
Indian Institute of Science（印度科学研究院）；University of Maryland（马里兰大学）；Boston University（波士顿大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 RLHF 中人类偏好数据昂贵的问题，论文将其建模为上下文偏好老虎机，提出主动收集最不确定上下文偏好的 APO，并证明其次优差距接近理论下界。
2025-06-07 cs.AI cs.CL cs.LG
ADAPT: Actively Discovering and Adapting to Preferences for any Task
Georgia Institute of Technology（佐治亚理工学院）；FAIR Labs, Meta（Meta FAIR实验室）
本文提出ADAPT基准评估智能体通过主动提问遵循用户偏好的能力，并设计Reflection-DPO方法微调LLM以提升提问与偏好遵循效果，在未见用户上比基线高6.1%。
2025-04-05 cs.AI cs.RO
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University（南京大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对离线偏好学习中的用户相似性识别与数据不平衡挑战，提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法，通过聚类聚合数据并主动补充信息量最少的维度样本，理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
PAPA: Online Personalized Active Preference Alignment
Washington University in St. Louis（圣路易斯华盛顿大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出PAPA方法，无需参数化奖励模型，通过实时用户反馈直接优化扩散模型，实现高效的偏好对齐，并基于理论提出加速微调的EPAPA策略。
2026-07-02 cs.AI cs.CV cs.LG
CoAct: Co-Active LLM Preference Learning with Human-AI Synergy
Northwestern University（西北大学）；Google（谷歌）；University of Southern California（南加州大学）；University of Washington（华盛顿大学）
本文提出CoAct框架，通过策略性的人机协作结合自奖励与主动学习，提升LLM在不同任务中的对齐效果，在三个推理基准测试中取得显著提升。
2026-04-19 cs.CL
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment
Northwestern University（西北大学）；Microsoft（微软公司）；Peking University（北京大学）
本文提出自探索语言模型（SELM），通过双层优化主动探索高奖励响应，无需单独奖励模型，在指令遵循基准上显著提升性能。
2024-11-05 cs.AI cs.LG
Active Learning for Direct Preference Optimization
Adobe Research（奥多比研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对直接偏好优化（DPO）中反馈选择不充分的问题，提出一个适用于在线和离线场景的主动学习框架，通过线性化 DPO 目标并计算 D-最优设计来高效收集最具信息量的偏好反馈，并从理论和实验上验证了其有效性。
2025-03-03 cs.LG stat.ML
Reinforcement Learning from Human Feedback with Active Queries
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对RLHF需大量昂贵人类偏好数据的问题，本文将对齐问题形式化为上下文决斗式多臂老虎机问题，提出ADPO算法，仅用约一半查询量即可匹配最先进DPO方法的性能。
2025-02-11 cs.AI cs.CL cs.LG
STAGE: Controlled Objective Admission for Multi-Preference LLM Alignment
Ant International（蚂蚁国际）
该研究针对多偏好LLM对齐的目标准入时机问题，提出稳定性引导的STAGE控制器，通过活动集扩展与探测排序等方法，在多偏好对齐任务中取得优于基线的自动评估结果，为RLHF提供新控制变量。
2026-08-18 cs.CL
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
Quantification before Selection: Active Dynamics Preference for Robust Reinforcement Learning
Academy for Engineer & Technology（工程技术学院）；Fudan University（复旦大学）；Ji Hua Laboratory（季华实验室）
针对 Domain Randomization 训练的策略过于保守的问题，提出 Active Dynamics Preference (ADP) 方法，通过量化并主动选择高信息量、低密度的系统参数来稳定训练，显著提升了策略在四个机器人运动任务中对系统不一致性的鲁棒性。
2023-05-20 cs.LG cs.RO
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题，创建了相关基准，并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
Learning Active Perception via Self-Evolving Preference Optimization for GUI Grounding
Wanfu Wang, Qipeng Huang, Guangquan Xue, Xiaobo Liang, Juntao Li（作者）
针对VLM在GUI定位中难以有效推理图像区域的问题，提出自进化框架LASER，结合蒙特卡洛估计与IoU评估构建偏好数据，实现精准坐标预测，在7B规模模型中创下ScreenSpot-Pro基准新纪录。
2025-09-04 cs.AI cs.CV
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology（代尔夫特理工大学）
从演示和成对偏好中推断奖励函数是将强化学习（RL）代理与人类意图对齐的好方法。然而，现有技术的方法通常集中于学习单个奖励模型，从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习（MORAL），一种新的方法，结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布，我们的方法能够交互式地将深度RL代理调整到各种偏好，同时消除了计算多个策略的需要。我们实证证明了道德的有效性，在两种情况下，模型的交付和紧急任务，需要一个代理人采取行动的规范冲突的存在。总的来说，我们认为我们的研究是朝着多目标RL学习奖励迈出的一步，弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
Bootstrapping LLMs via Preference-Based Policy Optimization
Chen Jia（陈佳）
本文提出了一种基于偏好的策略优化框架，通过主动收集偏好数据实现大语言模型的持续改进，并在多个基准测试中优于现有方法。
2025-12-24 cs.AI cs.LG
Comparing Few to Rank Many: Active Human Preference Learning using Randomized Frank-Wolfe
AWS AI Labs, Amazon（亚马逊AWS AI实验室）；Adobe Research（奥多比研究中心）
本文针对有限比较反馈下的人类偏好学习问题，提出基于Plackett-Luce模型的D-最优设计，并设计随机化Frank-Wolfe算法以降低计算复杂度，在合成与NLP数据集上验证了有效性。
2024-12-27 cs.AI cs.IT cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Sample-Efficient Alignment for LLMs
National University of Singapore（新加坡国立大学）；Sea AI Lab（Sea AI实验室）；Singapore Management University（新加坡管理大学）
本研究提出基于汤普森采样的统一算法SEA，在上下文决斗老虎机框架下实现LLM在线对齐的样本高效性，实验证明其在多规模模型上优于现有主动探索方法。
2024-11-09 cs.AI cs.CL cs.LG
Automata Learning from Preference and Equivalence Queries
本研究提出用偏好查询替代成员查询的主动自动机学习新范式，设计REMAP算法结合符号观察表、约束求解等技术，在多项式查询复杂度下实现最小自动机的精确及PAC识别，实验验证其在强化学习奖励机学习任务中可扩展且有效。
2025-05-19 cs.LG
Random Is Hard to Beat: Active Selection in online DPO with Modern LLMs
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）；KAIST（韩国科学技术院）；UBC（不列颠哥伦比亚大学）
本文研究了在线DPO中主动选择策略的有效性，发现即使在强先验基础上，主动选择的计算开销难以抵消简单随机采样带来的多样性优势。
2026-04-03 cs.AI cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
PAC Apprenticeship Learning with Bayesian Active Inverse Reinforcement Learning
本文提出PAC-EIG获取函数，通过最大化学徒策略遗憾的信息增益，首次为带噪声专家示范的主动逆强化学习提供PAC理论保证，并实验验证其优于现有启发式方法。
2025-09-19 cs.LG
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto（学习、具身自主与预测（LEAF）实验室，多伦多大学）
提出UBP2方法，通过联合推理奖励、动力学和值函数的不确定性来主动引导探索，在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO
Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction
University of Washington（华盛顿大学）
本文提出Pref-LSTM框架，将BERT分类器与LSTM记忆模块结合，通过软提示注入冻结LLM，以轻量方式实现长对话中的用户偏好建模。
2025-07-03 cs.AI cs.CL
PediaMind-R1: A Temperament-Aware Language Model for Personalized Early Childhood Care Reasoning via Cognitive Modeling and Preference Alignment
School of Future Information and Innovation, Fudan University（未来信息与创新学院，复旦大学）；Corporate Research, Bosch (China) Investment Ltd.（博世（中国）投资有限公司研发部）
PediaMind-R1通过整合认知建模与偏好对齐，实现基于婴幼儿气质的个性化护理推理。
2025-12-22 cs.AI cs.CL
Is Active Persona Inference Necessary for Aligning Small Models to Personal Preferences?
Boston University（波士顿大学）；MIT（麻省理工学院）；Monash University Indonesia（墨尔本大学印度尼西亚分校）
本文构建基于名人公开偏好的合成个性化对齐数据集，评估1–8B微调模型，发现高质量主动偏好推断前缀可提升泛化、上下文忠实性并减少偏见。
2025-09-29 cs.AI cs.CL cs.LG
PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization
KAIST AI（韩国科学技术院人工智能学院）；KENTECH（韩国世宗国立大学（原韩国科学技术研究院世宗校区））
PLC-DPO针对DPO假设偏好全可靠的缺陷，提出后验标签修正方法，经57个数据集-模型-基准单元验证，其平均胜率优于DPO及次优方法，且在各类测试中表现稳定。
2026-09-01 cs.CL cs.LG
Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning
University of Washington（华盛顿大学）
针对传统RLHF无法适配个体偏好差异的问题，提出基于潜变量的多模态RLHF方法，无需额外用户数据即可学习个性化奖励与策略，在模拟控制和多元语言任务上验证了效果。
2024-08-19 cs.AI cs.CL cs.LG
Eeyore: Realistic Depression Simulation via Supervised and Preference Optimization
University of Michigan（密歇根大学）；Middlebury College（明德学院）；Harvard University（哈佛大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对LLM难以真实模拟抑郁症来访者的问题，提出8B模型Eeyore，通过专家参与的结构化对齐框架，结合抑郁特征数据集指令微调与迭代偏好优化，在语言真实性和档案依从性上超越GPT-4o。
2025-02-21 cs.AI cs.CL
Personalized LLM Decoding via Contrasting Personal Preference
Yonsei University（延世大学）；Opt-AI Inc.（Opt-AI公司）
本文提出CoPe方法，通过奖励引导解码实现个性化，提升ROUGE-L指标10.57%。
2025-11-24 cs.AI cs.CL
Personalized Benchmarking: Evaluating LLMs by Individual Preferences
University of Chicago（芝加哥大学）
本文提出个性化LLM基准测试，通过ELO评分和Bradley-Terry系数分析115名用户对LLM的排名差异，发现个体偏好与聚合排名差异显著，强调开发个性化基准的重要性。
2026-04-21 cs.AI cs.CL cs.HC
Automated Concept Discovery for LLM-as-a-Judge Preference Analysis
Department of Computer Science（计算机科学系）；Carnegie-Mellon University（卡内基梅隆大学）
本文提出了一种自动化方法，用于发现LLM判断偏好的驱动因素，通过比较不同概念提取方法，验证了LLM在敏感请求上的偏好，并揭示了新的趋势。
2026-02-09 cs.AI cs.CL
Toward Information Theoretic Active Inverse Reinforcement Learning
University of Oxford（牛津大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对主动逆强化学习中人类示范成本高的问题，提出收集更长轨迹并设计信息论获取函数及高效近似方案，通过网格世界实验验证其有效性。
2024-12-31 cs.LG stat.ML
Q-based Variational Inverse Reinforcement Learning
提出新型贝叶斯逆强化学习方法QVIRL，兼具可扩展性与不确定性量化能力，在多类任务的学徒学习中表现优异，是首个可从原始像素观测训练的贝叶斯IRL方法。
2026-08-18 cs.LG
Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对RLHF中偏好数据收集方式不同（在线/离线）的问题，提出价值激励偏好优化（VPO）统一方法，通过值函数正则化奖励函数并调节乐观/悲观策略，兼具理论保证与文本摘要、对话任务的实验有效性。
2025-02-19 cs.AI cs.LG stat.ML
Decisive: Guiding User Decisions with Optimal Preference Elicitation from Unstructured Documents
Adobe Research, India（Adobe印度研究实验室）；IIT Madras（印度理工学院马德拉斯分校）；IIT Roorkee（印度理工学院罗尔基分校）；IIIT Hyderabad（Hyderabad印度理工学院）；University of Maryland, College Park（马里兰大学学院公园分校）
Decisive结合文档基础推理与贝叶斯偏好推断，通过主动引导用户回答成对权衡问题，提高决策准确性，实验表明其在多个领域优于传统方法和大语言模型。
2026-04-20 cs.CL
Offline Preference-Based Apprenticeship Learning
University of California, Berkeley（加州大学伯克利分校）
从人类偏好中学习奖励函数具有挑战性，因为它通常需要具有高保真模拟器或在环境中使用昂贵且可能不安全的实际物理部署。但是，在许多任务中，代理可能有权访问同一目标环境中相关任务的脱机数据。虽然离线数据越来越多地被用于通过离线RL来帮助策略优化，但我们的观察是，它也可以成为偏好学习的丰富信息来源。我们提出了一种方法，使用离线数据集通过基于池的主动学习来制作偏好查询，学习奖励函数的分布，并通过离线RL优化相应的策略。至关重要的是，我们提出的方法不需要实际的物理部署或精确的模拟器来进行奖励学习或策略优化步骤。为了测试我们的方法，我们确定了一个非常适合离线奖励学习的现有离线RL基准子集，并提出了新的离线学徒学习基准，允许更多的开放式行为。我们的实证结果表明，将离线RL与学习到的人类偏好相结合，可以使智能体学习执行离线数据中没有明确显示的新任务。
2022-02-16 cs.LG
Statistical Rejection Sampling Improves Preference Optimization
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对DPO与SLiC难以从目标最优策略获取偏好对的问题，本文提出RSO，利用统计拒绝采样生成偏好数据并统一改进两类损失函数，实验显示其在三项任务上持续优于基线。
2024-01-23 cs.CL
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation
Queen Mary University of London（伦敦玛丽女王大学）
针对化学AI领域中语言-分子翻译的训练效率与分布外问题，提出对比偏好优化方法，仅用10%数据实现最高32%的性能提升，并推出细粒度跨领域幻觉评估方案。
2024-07-15 cs.CL cs.MM
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University（斯坦福大学）
奖励学习是人机交互中的一个基本问题，让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中，我们提出了APReL，一个基于主动偏好的奖励学习算法库，它使研究人员和从业者能够实验现有的技术，并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach
The Department of Electrical and Computer Engineering, The University of Texas, San Antonio（德克萨斯大学圣安东尼奥分校电气与计算机工程系）
人类示范可以提供可信的样本，以训练强化学习算法，使机器人能够在现实环境中学习复杂的行为。然而，获得足够的演示可能是不切实际的，因为许多行为对人类来说是难以演示的。一种更实用的方法是用人工查询代替人工演示，即，基于偏好的强化学习现有算法的一个关键限制是需要大量的人工查询，因为需要大量的标记数据来训练神经网络以近似连续的高维奖励函数。为了减少和最大限度地减少对人类查询的需求，我们提出了一种新的GAN辅助的基于人类偏好的强化学习方法，该方法使用生成对抗网络（GAN）来主动学习人类偏好，然后取代人类在分配偏好中的角色。对抗神经网络很简单，只有一个二进制输出，因此需要更少的人类查询来进行训练。此外，基于最大熵的强化学习算法被设计成朝向期望区域或远离不期望区域来塑造损失。为了表明所提出的方法的有效性，我们提出了一些研究复杂的机器人任务，没有访问的环境奖励在一个典型的MuJoCo机器人运动环境。结果表明，该方法可以在不牺牲性能的情况下减少约99.8%的人工时间。
2020-10-15 cs.LG cs.RO
Batch Active Preference-Based Learning of Reward Functions
Stanford University（斯坦福大学）
数据生成和标记通常是机器人学习的昂贵部分。虽然主动学习方法通常用于解决前一个问题，但基于偏好的学习是一个试图通过向用户询问偏好问题来解决后者的概念。在本文中，我们将开发一种新的算法，批量主动基于偏好的学习，它可以使用尽可能少的数据样本有效地学习奖励函数，同时仍然具有较短的查询生成时间。我们介绍了几个近似的批量主动学习问题，并提供理论保证，我们的算法的收敛性。最后，我们提出了我们的实验结果，在模拟各种机器人任务。我们的研究结果表明，我们的批处理主动学习算法只需要几个查询，在很短的时间内计算。然后，我们在一项研究中展示了我们的算法，以学习人类用户的偏好。
2018-10-10 cs.AI cs.LG cs.RO
