Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出后见偏好学习(HPL),通过以轨迹段未来结果为条件的奖励建模人类偏好,并利用变分自编码器近似未来结果分布,从而在离线偏好强化学习中更有效地进行信用分配,实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架,通过从无奖励离线数据中学习潜在后继度量表示,再利用偏好数据进行对比搜索和微调,显著提升了偏好效率。
2026-05-31 cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出APPO算法,将离线偏好强化学习建模为策略与模型的双人博弈,在不依赖显式置信集的情况下实现可处理的保守性,并给出样本复杂度界,是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本文将离线策略正则化方法扩展至多目标强化学习,提出过滤偏好不一致示范和高表达能力正则化两种方案,并集成偏好条件标量化更新与正则化权重自适应,利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Efficient Preference Poisoning Attack on Offline RLHF
Department of Electrical and Computer Engineering, University of California, Davis, Davis, CA, USA(加州大学戴维斯分校电气与计算机工程系);Department of Electrical and Computer Engineering, University of Iowa, Iowa City, IA, USA(爱荷华大学电气与计算机工程系)
针对离线RLHF中的偏好投毒攻击,提出基于梯度字典的二进制稀疏近似方法(BAL-A和BMP-A),实现高效标签翻转攻击。
2026-05-25 cs.AI cs.LG stat.ML
Offline Preference-Based Trajectory Evaluation
Carnegie Mellon University(卡内基梅隆大学)
针对离线评估中仅使用终端成功率导致统计效率低下的问题,提出基于偏好的轨迹评估方法,通过比较轨迹的时间偏好减少平局,提升区分能力、排名稳定性和数据效率。
2026-11-18 cs.AI cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington(华盛顿大学);Apple(苹果公司)
本文提出混合偏好优化(HPO),结合在线探索与离线偏好,放宽集中性条件并提高样本效率,首次给出混合RLHF的可证明最优理论界,证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Preference-Guided Diffusion for Multi-Objective Offline Optimization
TU Munich(慕尼黑技术大学);Stanford University(斯坦福大学);Helmholtz AI(海德堡人工智能研究所);Gladstone Institutes(加利福尼亚大学旧金山分校格拉德石研究所)
本文提出基于偏好的扩散模型,用于生成多目标离线优化中的帕累托最优解,通过引入多样性感知的偏好引导,提升生成解的质量与分布性。
2025-12-17 cs.AI cs.LG
LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CASIA-MUST Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology(智能科学与技术CASIA-MUST联合实验室,澳门科学理工学院)
LEASE通过高样本效率的离线偏好强化学习算法,在减少偏好数据需求的同时提升奖励模型的准确性与稳定性。
2026-02-07 cs.AI cs.LG
Offline Preference-Based Apprenticeship Learning
University of California, Berkeley(加州大学伯克利分校)
从人类偏好中学习奖励函数具有挑战性,因为它通常需要具有高保真模拟器或在环境中使用昂贵且可能不安全的实际物理部署。但是,在许多任务中,代理可能有权访问同一目标环境中相关任务的脱机数据。虽然离线数据越来越多地被用于通过离线RL来帮助策略优化,但我们的观察是,它也可以成为偏好学习的丰富信息来源。我们提出了一种方法,使用离线数据集通过基于池的主动学习来制作偏好查询,学习奖励函数的分布,并通过离线RL优化相应的策略。至关重要的是,我们提出的方法不需要实际的物理部署或精确的模拟器来进行奖励学习或策略优化步骤。为了测试我们的方法,我们确定了一个非常适合离线奖励学习的现有离线RL基准子集,并提出了新的离线学徒学习基准,允许更多的开放式行为。我们的实证结果表明,将离线RL与学习到的人类偏好相结合,可以使智能体学习执行离线数据中没有明确显示的新任务。
2022-02-16 cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University(首尔大学)
本文提出列表式奖励估计LiRE,通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习,并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出数据集内轨迹回报正则化(DTR)方法,利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题,在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Understanding the performance gap between online and offline alignment algorithms
Google DeepMind(谷歌DeepMind)
该研究针对在线与离线大模型对齐算法的性能差距展开,通过消融实验发现数据等因素无法解释差异,明确在线策略采样在AI对齐中的关键作用,指出离线对齐算法的根本性挑战。
2026-10-06 cs.AI cs.LG stat.ML
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题,提出OPPO范式,通过双目标迭代优化直接建模轨迹与偏好,性能优于现有基准方法。
2023-06-09 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题,提出扩散分类器驱动的奖励方法(DPR及条件变体C-DPR),通过判别性推断提升奖励质量,实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(奥罗拉创新公司);Cornell University(康奈尔大学)
本研究通过覆盖度理论证明离线对比方法需全局覆盖条件,而在线RL仅需局部覆盖,并据此提出混合偏好优化算法HyPO,兼具性能与效率优势。
2024-07-16 cs.AI cs.CL cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Design Considerations in Offline Preference-based RL
Google Research(谷歌研究院)
本文从理论视角研究DPO等离线偏好强化学习方法的设计选择对策略质量的影响,揭示损失函数、归一化策略及数据采样策略的作用,通过统一分析与小型实证验证理论发现。
2025-02-08 cs.AI cs.LG
Latent Adversarial Regularization for Offline Preference Optimization
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Siebel School of Computing(塞贝尔计算学院);Data Science, University of Illinois at Urbana-Champaign(数据科学,伊利诺伊大学厄巴纳-香槟分校)
本文提出GANPO,通过潜在空间正则化提升语言模型的离线偏好优化性能,增强鲁棒性并减少计算开销。
2026-02-02 cs.AI cs.LG
Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
University of California, Los Angeles(加州大学洛杉矶分校)
针对多目标强化学习中偏好未知的离线决策问题,本文构建了含180万条演示的D4MORL离线数据集,并提出基于偏好与回报条件策略的PEDA算法,可高效逼近帕累托前沿。
2023-04-30 cs.AI cs.LG
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权(SPW)方案,通过从专家演示中搜索相似状态-动作对来分配信用,统一偏好与演示反馈,提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Action Preference Query
Tsinghua University(清华大学)
本文提出无交互的 OAP 训练方案,通过查询预收集动作与学习动作间的偏好来自适应调节策略约束,纠正离线 RL 的错误估计,并在 D4RL 上显著优于现有算法。
2023-06-06 cs.AI cs.LG
PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
针对现有离线模仿学习奖励估计过度简化奖励结构的问题,提出基于LLM的PROF框架,结合RPR策略自动优化奖励函数,在D4RL基准上性能优于或持平现有强基线。
2025-11-14 cs.AI cs.LG
Towards Bridging the Gap Between Offline and Iterative Alignment via Preference Distillation
University of California, Irvine(加利福尼亚大学欧文分校);George Washington University(乔治华盛顿大学)
本文通过受控实验发现显式偏好模型是迭代DPO优于离线方法的关键,据此提出DP3O算法,将显式偏好知识蒸馏到策略优化中,在性能上媲美迭代DPO且训练时间减少42%。
2026-09-09 cs.CL cs.LG
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University(南京大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对离线偏好学习中的用户相似性识别与数据不平衡挑战,提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法,通过聚类聚合数据并主动补充信息量最少的维度样本,理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
Behavior Preference Regression for Offline Reinforcement Learning
Imperial College London(帝国理工学院)
针对离线强化学习的策略约束问题,提出行为偏好回归算法(BPR),通过成对比较最大化策略行为一致性并拟合Q函数最大模式,在多个数据集上取得最先进性能。
2025-03-02 cs.AI cs.LG
Offline Constrained RLHF with Multiple Preference Oracles
University of Iowa(爱荷华大学)
本文基于多偏好Oracle研究离线约束强化学习,通过最大似然估计Oracle奖励并分析统计不确定性传播,将约束目标转化为KL-正则化拉格朗日函数,提出仅需对偶的算法以保证约束满足并提供有限样本性能保证。
2026-09-21 cs.LG
Binary Reward Labeling: Bridging Offline Preference and Reward-Based Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出二元奖励标注框架,将偏好反馈转换为标量奖励以复用基于奖励的离线强化学习算法,并在 D4RL 偏好数据集上验证其性能。
2024-10-23 cs.LG
A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO
Wayne State University(韦恩州立大学)
该研究在线性建模假设下,通过归约框架统一分析RLHF与DPO在LTC、CTL两种隐私-损坏场景下的离线对齐问题,证明LTC挑战更大,同时推进了单一场景下的相关理论研究。
2025-05-21 cs.AI cs.LG
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero;Stanford(斯坦福大学);CMU(卡内基梅隆大学);Cornell(康奈尔大学);UCL(伦敦大学学院);USC(南加州大学)
针对大语言模型偏好对齐中人类反馈获取成本高的问题,将场景形式化为主动上下文对决式老虎机问题,提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展,在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Georgia institute of technology(佐治亚理工学院)
针对离线 PBRL 中奖励作弊与强化学习复杂的问题,本文提出 PRC,通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
PIPA: Preference Alignment as Prior-Informed Statistical Estimation
The University of Texas at Austin, US(德克萨斯大学奥斯汀分校)
提出无强化学习的统一概率框架 PIPA,将偏好对齐建模为先验约束下的 MLE,涵盖多种数据与标注设置,并以 PIPA-M、PIPA-N 在 GSM8K 和 MATH 上零额外成本提升 3~10%。
2025-07-24 cs.AI cs.LG stat.ML
OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能重点实验室);Tsinghua University(清华大学);Moonshot AI(月之暗面);Amazon(亚马逊);University of Arizona(亚利桑那大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出OPRIDE算法,通过改进探索策略和折扣调度机制提升离线偏好驱动强化学习的查询效率,实验表明其在多种任务中表现优异。
2026-02-19 cs.AI cs.LG
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind);USC(南加州大学)
针对现有在线强化学习方法无法利用离线偏好数据的问题,提出可借助离线偏好数据热启动的后验采样算法warmPref-PS,通过建模专家能力高效利用数据,在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题,提出简单对比框架SARA,通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定,计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
How Much Online RL is Enough? Informative Rollouts for Offline Preference Optimization in RLVR
TCS Research Department of CSE(TCS计算机科学系研究部);IIT Madras(印度理工学院马德拉斯分校);Department of Data Science & AI(数据科学与人工智能系);Wadhwani School of Data Science & AI(Wadhwani数据科学与人工智能学院)
本文提出G2D方法,通过短时GRPO预热、构建静态偏好数据集和离线DPO微调,以较低的计算成本实现优于GRPO的性能,强调偏好数据信息性而非数量的重要性。
2026-05-20 cs.AI cs.LG
Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
Princeton University(普林斯顿大学);UW-Madison(威斯康星大学麦迪逊分校)
本文提出SPAC方法,将自博弈与平均悲观技术结合,首次实现可证明且可扩展的LLM离线偏好对齐,并在7B Mistral模型上验证了其有效性。
2024-06-06 cs.AI cs.CL cs.LG
Provable Offline Preference-Based Reinforcement Learning
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
针对离线基于偏好的强化学习问题,提出结合MLE通用函数逼近奖励估计与分布鲁棒规划的算法,给出多项式样本学习保证与相关下界,并扩展到动作对反馈场景。
2023-09-29 cs.LG math.ST stat.ML
Unbiased Alignment for Large Language Models with Noisy Preferences
研究大语言模型与人类偏好对齐问题,针对真实偏好数据集中噪声大的问题,提出无偏对齐理论框架,引入新损失函数,能直接从噪声数据集无偏训练模型,实验表明优于现有基线。
2026-10-27 cs.AI cs.LG
Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment
University of Oxford(牛津大学);Southeast University(东南大学);University of Sydney(悉尼大学)
本文区分偏好对齐与行为对齐,证明偏好对齐可能降低模型的人类相似性,形成图灵测试差距,并提出人类相似性应作为独立对齐维度。
2026-09-23 cs.AI cs.CL cs.LG
Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出SAS框架,通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应,利用Lyapunov条件筛选可行轨迹并生成上下文提示,提升安全性与性能。
2026-04-29 cs.AI cs.LG
Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking
Shanghai Jiao Tong University(上海交通大学);Huawei Inc(华为公司)
本文针对扩散模型偏好对齐中中间步骤标签一致假设的问题,提出TailorPO框架,通过逐步奖励排序和梯度引导提升对齐效果,显著改善生成图像质量。
2025-02-01 cs.AI cs.LG
APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs
University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出APPA框架,通过动态调整群体奖励权重,提升联邦强化学习中多群体公平对齐效果,实验显示其在保持整体对齐性的同时,显著提升最差群体对齐性能。
2026-04-05 cs.AI cs.LG
MixDPO: Modeling Preference Strength for Pluralistic Alignment
Northeastern University(东北大学);Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
MixDPO通过建模偏好强度差异,提升多样的偏好对齐性能,同时保持子群体偏好,适用于高异质性场景。
2026-01-07 cs.AI cs.CL cs.LG
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Robust LLM Alignment via Distributionally Robust Direct Preference Optimization
Texas A&M University(德克萨斯大学);California Institute of Technology(加州理工学院);Tencent AI Lab(腾讯AI实验室);Google DeepMind(谷歌DeepMind)
本文提出Wasserstein DPO和KLDPO算法,通过分布鲁棒优化解决LLM与人类偏好间的分布偏移问题,提升对齐性能。
2026-01-14 cs.AI cs.LG
PARM: Multi-Objective Test-Time Alignment via Preference-Aware Autoregressive Reward Model
The Chinese University of Hong Kong(香港中文大学);University of Maryland, College Park(马里兰大学帕克分校)
本文提出PARM,利用PBLoRA将偏好向量融入单一统一自回归奖励模型,以更低推理成本实现精确的多目标测试时对齐,并支持小模型引导大冻结LLM。
2025-05-06 cs.AI cs.LG
Dual Alignment Maximin Optimization for Offline Model-based RL
UCAS(中国科学院大学)
针对离线基于模型的RL中模型偏差与策略不一致问题,本文提出DAMO极大极小演员-评论家框架,通过双重保守价值估计与策略改进对齐,实现模型-环境及合成-离线数据一致,并在基准任务上取得竞争力性能。
2025-09-30 cs.AI cs.LG
LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
本文提出LifeAlign,一种通过记忆增强的聚焦偏好优化实现终身对齐的方法,解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。
2026-04-08 cs.AI cs.CL cs.LG
Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback
Peking University(北京大学);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Rutgers University(罗格斯大学)
本文提出离线RLHF下多方多元对齐的统一框架,通过联合估计参与方奖励并在纳什、功利和平均主义目标下悲观优化,处理有限、异质及循环反馈,提供有限样本保证。
2026-09-09 cs.AI cs.LG stat.ME
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich(苏黎世大学信息学院);ETH AI Center(ETH人工智能中心)
提出两阶段框架BRIDGE,先从无奖励专家数据学习安全初始策略,再用基于偏好的人类反馈在线微调,理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Conformal Feedback Alignment: Quantifying Answer-Level Reliability for Robust LLM Alignment
Arizona State University(亚利桑那州立大学)
Conformal Feedback Alignment通过量化答案级可靠性提升大语言模型对齐的鲁棒性和数据效率。
2026-01-24 cs.AI cs.LG
Direct Alignment with Heterogeneous Preferences
Harvard University(哈佛大学);University of California Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);Ikigai Labs(Ikigai实验室);University of California San Diego(加州大学圣地亚哥分校)
本研究通过引入用户类型形式化人类偏好的异构性,证明单一策略对齐异构偏好需平均奖励,并揭示直接对齐方法中一致性与样本效率的根本矛盾。
2025-02-22 cs.AI cs.LG