Policy Optimization in RLHF: The Impact of Out-of-preference Data
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Nanjing University(南京大学)
本文通过受控实验比较DPO、RMB-PO和RMB-PO+,证明利用充足的偏好外数据进行策略优化可显著提升奖励模型泛化能力与对齐性能。
2024-02-25 cs.LG
A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
International Research Center for Neurointelligence, The University of Tokyo(国际神经智能研究中心,东京大学);ATR Neural Information Analysis Laboratories(ATR神经信息分析实验室);Department of Information Science, Kyoto University(京都大学信息科学系)
本文研究了基于偏好条件的多目标强化学习,通过平滑Tchebycheff标量化方法证明了偏好与帕累托最优回报向量的唯一性和连续性,并提出CMDPI算法实现O(1/k)的收敛速度。
2026-05-09 cs.LG
Online Policy Learning from Offline Preferences
Kyoto University(京都大学)
本研究提出将离线偏好与虚拟偏好整合的PbRL框架,利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题,并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
Policy Teaching via Data Poisoning in Learning from Human Preferences
MPI-SWS;University of Warwick(华威大学);Featurespace
本文研究人类偏好学习中的数据投毒攻击,针对RLHF与DPO建立投毒形式化框架,给出强制目标策略所需样本数的上下界并比较二者脆弱性。
2025-03-13 cs.LG
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低,并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法(PTR-PPO),该算法结合了on-policy和off-policy方法,通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点:前两个是最大和平均轨迹优先级的一步经验广义优势估计(GAE)值的基础上,最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后,将优先轨迹重放引入到PPO算法中,提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题,并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能,实现了最先进的性能。此外,通过分析训练过程中优先级内存中各个位置的优先级变化热图,我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响,从而影响算法的性能。
2021-12-08 cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Université Paris-Sud(巴黎第十一大学)
本文主要研究有限先验知识下的强化学习。例如,在群体机器人领域,专家很难设计奖励函数或演示目标行为,禁止使用标准RL和反向强化学习。虽然专业知识有限,但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架:专家的偏好被用来学习一个近似的策略返回,从而使代理实现直接的策略搜索。迭代地,代理选择一个新的候选策略,并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈,使代理细化近似的政策回报,并迭代的过程。在本文中,基于偏好的强化学习结合主动排名,以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明,几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
PAWS: Preference Learning with Advantage-Weighted Segments
University of Freiburg(弗莱堡大学)
针对偏好强化学习中训练与推理分布不匹配导致时间信用分配退化的问题,提出PAWS方法,利用片段级优势函数直接进行策略更新,在机器人操作和运动任务上优于现有方法。
2026-06-11 cs.LG
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题,提出OPPO范式,通过双目标迭代优化直接建模轨迹与偏好,性能优于现有基准方法。
2023-06-09 cs.LG
Offline Preference-Based Trajectory Evaluation
Carnegie Mellon University(卡内基梅隆大学)
针对离线评估中仅使用终端成功率导致统计效率低下的问题,提出基于偏好的轨迹评估方法,通过比较轨迹的时间偏好减少平局,提升区分能力、排名稳定性和数据效率。
2026-11-18 cs.AI cs.LG
Coverage Improvement and Fast Convergence of On-policy Preference Learning
UC Berkeley(伯克利大学);KRAFTON(KRAFTON公司);University of Arizona(亚利桑那大学)
本文提出覆盖改进原理,通过分析在线策略学习中的覆盖变化,证明其在批量大小足够时能实现快速收敛,并设计混合采样器和奖励蒸馏方案,提升语言模型对齐性能。
2026-01-13 cs.LG
Bootstrapping LLMs via Preference-Based Policy Optimization
Chen Jia(陈佳)
本文提出了一种基于偏好的策略优化框架,通过主动收集偏好数据实现大语言模型的持续改进,并在多个基准测试中优于现有方法。
2025-12-24 cs.AI cs.LG
Bradley-Terry Policy Optimization for Generative Preference Modeling
本文提出布雷德利-蒂尔利政策优化(BTPO),通过引入链式推理改变偏好建模的似然结构,实现对生成偏好模型的有效训练。
2026-03-09 cs.LG
Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Seoul National University(首尔大学);Korea University(高丽大学)
针对 RLHF 将轨迹误判为最优策略生成所导致的似然不匹配问题,本文提出 PPL,利用反映行为策略信息的遗憾建模偏好,并引入对比 KL 正则化,在离线与在线连续控制任务中验证了性能提升。
2025-05-13 cs.AI cs.LG
FDPP: Fine-tune Diffusion Policy with Human Preference
UC Berkeley(加州大学伯克利分校);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对模仿学习难以适配新偏好与环境变化的问题,提出FDPP方法,通过偏好学习获得奖励函数,结合RL与KL正则化微调扩散策略,实现策略定制且不损失原有性能。
2025-01-14 cs.LG cs.RO
Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment
PYLER;KAIST(韩国科学技术院)
GAPO通过动态几何锚定机制改进偏好对齐,通过局部敏感度自适应调整偏好对重要性,减少噪声影响,提升模型鲁棒性。
2026-10-30 cs.LG
GraphAllocBench: A Flexible Benchmark for Preference-Conditioned Multi-Objective Policy Learning
University of California, Los Angeles(加州大学洛杉矶分校);USC Institute for Creative Technologies(美国南加州大学创意技术研究所);U.S. Army DEVCOM Army Research Laboratory(美国陆军 DEVCOM 军事研究实验室)
研究针对多目标强化学习中偏好条件策略学习基准测试局限于简单任务和固定环境的问题,引入基于CityPlannerEnv的GraphAllocBench,提出补充指标,通过实验表明其能揭示新失败模式,激发图方法,是推进PCPL的通用可扩展测试平台。
2026-07-08 cs.LG
Learning to Route with Sparse Trajectory Sets---Extended Version
Aalborg University(奥尔堡大学)
由于车辆轨迹数据的可用性越来越高,我们提出了学习路线,一个全面的基于概率的路由解决方案。具体来说,我们首先从轨迹构建一个图形结构作为路由基础设施。其次,我们启用基于冗余的路由给定任意(源,目的地)对。在第一步中,给定一个道路网络和一组轨迹,我们提出了一个基于概率的聚类方法,确定道路网络中的区域。如果一对区域由轨迹连接,我们将维护这些轨迹使用的路径,并学习区域之间旅行的路由偏好。由于轨迹是倾斜和稀疏的,许多区域对不通过轨迹连接。因此,我们将路由偏好从具有足够轨迹的区域对转移到这样的区域对,然后使用转移的偏好来识别区域之间的路径。在第二步中,我们利用上面的图形结构来实现一个全面的基于冗余的路由解决方案。两个大量的轨迹数据集的实证研究提供了深入了解所提出的解决方案,表明它是实用的。与领先的路由服务的比较提供了证据,该文件的建议是能够提高路由质量。这是“学习稀疏轨迹集路由”的扩展版本[1],将出现在IEEE ICDE 2018中。
2018-02-22 cs.LG
Scalable Unsupervised Multi-Criteria Trajectory Segmentation and Driving Preference Mining
Universität Stuttgart(斯图加特大学);Aalborg University(奥尔堡大学)
我们提出了大型轨迹数据集的分析技术,其目的是提供一个语义理解的轨迹达到超越他们在时间和空间上的点序列。所提出的技术使用驾驶偏好模型w.r.t.路段穿越成本,例如,旅行时间和距离,分析和解释轨迹。特别地,我们提出了轨迹挖掘技术,其可以(a)在轨迹内找到感兴趣的点,例如,经由点,以及(b)基于驾驶员所选择的轨迹恢复驾驶员的驾驶偏好。我们评估我们的技术上的任务,通过点识别和个性化的路由使用的数据集超过1万辆车的轨迹收集在整个丹麦在3年的时间。我们的技术可以有效地实现,并且是高度并行的,允许它们扩展到数百万或数十亿的轨迹。
2020-10-23 cs.DB cs.LG cs.RO
Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment
本文提出Meta-Aligner框架,通过双向优化偏好与策略响应,生成动态偏好以提升训练稳定性,实验证明其在多目标基准上的优越性能。
2026-04-27 cs.AI cs.LG
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));SIA-Lab of Tsinghua AIR and ByteDance(清华大学AIR与字节跳动SIA实验室)
针对长视野LLM RL中轨迹诱导的状态分布偏移问题,提出TAPO框架,结合几何均值估计器与长度感知动态裁剪,在8个竞赛级基准上较GRPO实现数学推理最高48%、算法编码最高12%的提升,训练稳定性显著增强。
2026-10-28 cs.LG
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University(东北大学)
基于绿色仿真辅助策略梯度(GS-PG)的可重用性研究,本文考虑了无限时域马尔可夫决策过程,提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习,这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制,所提出的方法可以选择性地重用最相关的部分轨迹,即,重用单元基于每步骤或每决策的历史观察。具体而言,我们创建了一个混合似然比(MLR)的策略梯度优化,可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放(VRER)方法可以智能地选择和重用最相关的过渡观测值,提高策略梯度估计,加速最优策略的学习。我们的实证研究表明,它可以改善优化收敛,提高最先进的政策优化方法,如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
On Symmetric Losses for Robust Policy Optimization with Noisy Preferences
The University of Tokyo, Japan(东京大学);RIKEN AIP, Japan(日本理化学研究所AIP)
针对人类偏好数据含噪声的问题,本文将奖励建模视为分类问题,提出利用对称损失实现鲁棒策略优化的SymPO方法,并从理论和实验上证明了其在噪声标签下仍能保持奖励保序性以促进策略改进。
2025-05-30 cs.AI cs.LG
Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UW-Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
本文严格分析了多种LLM偏好微调技术,发现使用在线策略采样或“负梯度”的方法优于离线和最大似然方法,并基于分类分布的模式寻找目标概念统一了这些方法,为偏好微调与数据收集提供了可操作的指导。
2024-06-02 cs.LG
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化(MPO)算法,通过重要性采样视角结合RLHF和IPO的目标,有效处理off-policy KL正则化项,消除对奖励模型和参考策略的需求,简化学习过程。
2024-03-25 cs.AI cs.LG
Fusing Rewards and Preferences in Reinforcement Learning
本文提出双反馈Actor(DFA)算法,将个体奖励与成对偏好融合到单一更新规则中,直接利用策略对数概率建模偏好,在多个控制环境和GridWorld中匹配或超越SAC及RLHF基线。
2025-08-15 cs.LG
Query-Policy Misalignment in Preference-Based Reinforcement Learning
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文揭示现有PbRL方法中查询选择与策略学习目标不一致的“查询-策略错位”问题,并提出近在策略查询与混合经验回放相结合的方法,以少量代码改动显著提升人类反馈与样本效率。
2024-07-05 cs.LG
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出数据集内轨迹回报正则化(DTR)方法,利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题,在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Eliciting User Preferences for Personalized Multi-Objective Decision Making through Comparative Feedback
TTIC(丰田技术研究所);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文提出一种多目标决策框架,通过策略比较或代表性轨迹比较学习用户偏好向量,并以少量比较查询高效计算个性化近最优策略。
2023-11-01 cs.LG
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Enhancing PPO with Trajectory-Aware Hybrid Policies
Iowa State University(爱荷华州立大学);Translational AI Center(转化人工智能中心)
针对PPO高方差和高样本复杂度问题,提出HP3O算法,利用轨迹重放缓冲区结合FIFO策略和最佳回报轨迹更新策略,降低方差并保证策略改进。
2025-02-21 cs.LG
Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada(阿尔伯塔大学计算机科学系);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA(东北大学计算机科学学院)
本文提出了一种多步算子,用于表达轨迹感知和每决策方法,并通过理论分析为非策略强化学习提供了收敛保证,同时引入RBIS方法在不同λ值下实现稳健性能。
2025-12-21 cs.LG
On Generalizing Preference-based Reinforcement Learning to Multi-Objective Problems
Politecnico di Milano(米兰理工大学)
研究基于人类专家成对轨迹比较的强化学习问题,提出受Bradley-Terry启发的理性模型捕捉不可比性并推断多维奖励函数,分析样本复杂度,评估模型在模拟环境中重建奖励函数及恢复帕累托前沿的能力与稳健性。
2026-10-14 cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University(普林斯顿大学)
我们介绍了一种新的算法,多目标强化学习(MORL)与线性偏好,使Few-Shot适应新的任务的目标。在MORL中,目标是学习多个竞争目标的策略,这些目标的相对重要性(偏好)对代理来说是未知的。虽然这简化了对标量奖励设计的依赖,但政策的预期回报可能会随着偏好的变化而发生显着变化,这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后,我们的代理可以在任何给定的偏好下执行最优策略,或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Reward Model Learning vs. Direct Policy Optimization: A Comparative Analysis of Learning from Human Preferences
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Warwick(华威大学)
本文系统比较了RLHF与DPO两种人类偏好学习范式,推导了两者在精确与近似优化下的统计界与收敛率,发现DPO在奖励不可实现时表现更优,并将分析扩展至马尔可夫决策过程。
2024-06-05 cs.LG
Preference-based Conditional Treatment Effects and Policy Learning
Technion – Israel Institute of Technology(技术学院——以色列理工学院);Inria(法国国家信息与自动化技术研究所);Inserm(法国国家医学研究院);Université de Montpellier(蒙彼利埃大学);Department of Statistics and Operations Research, Tel Aviv University(特拉维夫大学统计与运筹学系)
本文提出了一种基于偏好的条件治疗效应估计与政策学习框架,通过排序结果实现对异质效应的灵活建模,并提供了新的可识别条件和高效的估计方法。
2026-02-03 cs.LG stat.ML
Average-Reward Policy Identification from a Single Continuing Trajectory
Southeast University(东南大学)
本文针对平均回报强化学习,提出一种可高效获取样本的算法,证明从单条轨迹学习的最坏情况复杂度不高于无限制采样学习,避免了导航的额外成本。
2026-10-14 cs.LG
Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出后见偏好学习(HPL),通过以轨迹段未来结果为条件的奖励建模人类偏好,并利用变分自编码器近似未来结果分布,从而在离线偏好强化学习中更有效地进行信用分配,实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
Bad Habits: Policy Confounding and Out-of-Trajectory Generalization in RL
Phaidra(菲德拉);Delft University of Technology(代尔夫特理工大学)
本文针对强化学习中智能体因策略收敛形成依赖特定轨迹的虚假关联习惯、偏离轨迹时表现失效的策略混淆问题,给出了该现象的数学刻画并通过示例说明其发生条件。
2024-06-24 cs.LG
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Alibaba Group(阿里巴巴集团)
RPO通过提示引导的反思增强策略对齐,减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本文将离线策略正则化方法扩展至多目标强化学习,提出过滤偏好不一致示范和高表达能力正则化两种方案,并集成偏好条件标量化更新与正则化权重自适应,利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Model-Free Trajectory-based Policy Optimization with Monotonic Improvement
DeepMind(深度思维);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Lincoln(林肯大学)
许多最近的轨迹优化算法交替之间的线性近似的系统动力学的平均轨迹和保守的政策更新。约束策略改变的一种方式是通过限制连续策略之间的Kullback-Leibler(KL)分歧。这些方法已经在具有挑战性的问题(例如物理系统的端到端控制)中取得了巨大的实验成功。然而,系统动态的线性近似可以在策略更新中引入偏差,并防止收敛到最优策略。在这篇文章中,我们提出了一个新的无模型的基于概率的策略优化算法,保证单调改善。该算法反向传播一个本地的,二次和时间依赖的\qfunc ~学习轨迹数据,而不是一个模型的系统动力学。我们的政策更新,确保确切的KL-约束满足,而不简化系统动力学的假设。我们的实验表明,在高度非线性控制任务的改进,我们的算法的性能相比,线性化系统动态的方法。为了证明我们的算法的单调改进,我们还对我们的策略更新方案进行了理论分析,以推导出连续迭代之间的策略回报变化的下界。
2018-07-02 cs.LG cs.RO
Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks
Princeton University(普林斯顿大学)
本文研究基于人类偏好数据的离线策略评估的样本效率,提出用深度 ReLU 网络进行 fitted-Q-evaluation,利用低维流形结构避免高维数据诅咒,首次为 RLHF 的 OPE 建立了可证明高效的统计保证。
2024-02-26 cs.LG stat.ML
Controllable Generative Trajectory Prediction via Weak Preference Alignment
Aalto University(阿alto大学);TU Delft(代尔夫特理工大学)
针对现有轨迹预测模型缺乏可控多样性方案的问题,提出增强型CVAE框架PrefCVAE,利用弱标记偏好对赋予潜变量语义属性,在保持基线准确率的同时实现可控且具语义意义的轨迹预测。
2026-11-19 cs.LG cs.RO
Mitigating Preference Hacking in Policy Optimization with Pessimism
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出悲观 RLHF 目标及 P3O、PRPO 算法,通过面对不确定性的悲观主义可证明地缓解偏好黑客问题,并在摘要与助手任务中验证其鲁棒性。
2025-03-10 cs.AI cs.LG
WPO: Enhancing RLHF with Weighted Preference Optimization
Zoom Video Communications(Zoom视频通讯公司)
本文提出加权偏好优化(WPO),通过对离线偏好数据按当前策略概率重新加权来模拟在线策略学习,缩小分布差距,在Alpaca Eval 2和MT-bench上超越DPO并取得对GPT-4-turbo的76.7%长度控制胜率。
2024-10-03 cs.AI cs.CL cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出APPO算法,将离线偏好强化学习建模为策略与模型的双人博弈,在不依赖显式置信集的情况下实现可处理的保守性,并给出样本复杂度界,是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
Direct Preference-based Policy Optimization without Reward Modeling
Seoul National University(首尔大学);NAVER;Line Corporation(LINE公司)
本文提出一种无需奖励建模、直接基于偏好学习策略的 PbRL 算法,通过对比学习设计策略评分指标,在离线控制任务上超越现有方法,并可微调大语言模型。
2023-10-27 cs.AI cs.LG
ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
Phi Labs, Quantiphi(Phi Labs,Quantiphi)
本文提出 ORPO-Distill,将跨架构 LLM 蒸馏转化为偏好优化问题,通过多样化推理轨迹、ORPO 目标和混合策略提升知识迁移效果。
2025-09-29 cs.AI cs.CL cs.LG
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);EPFL(洛桑联邦理工学院)
我们陈述了逆强化学习在偏好诱导方面的问题,从而得到了一个原则性的(贝叶斯)统计公式。这概括了以前的工作贝叶斯逆强化学习,并允许我们获得一个后验分布代理的偏好,政策和可选的,获得的奖励序列,从观察。通过分析和实验结果,我们研究了所得方法与其他统计方法的关系。我们表明,偏好可以准确地确定,即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下,显着改善的政策,相对于代理的喜好,获得相比,其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Changes in Policy Preferences in German Tweets during the COVID Pandemic
Berlin University of Applied Sciences(柏林应用科学大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本文构建细粒度政策偏好推文数据集并训练分类模型,分析 2019-2022 年德国 Twitter 语料,发现 COVID 疫情期间政策偏好表达增加,且主要由亲福利、亲教育和亲政府行政效率类别驱动。
2023-07-31 cs.CL cs.CY cs.IR
Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics
Harvard University(哈佛大学)
本文提出温控序贯蒙特卡洛方法,用于在可微动力学下进行有限时间跨度的轨迹和策略优化,通过将控制器设计转化为推断问题,结合退火方案和哈密顿蒙特卡洛方法,提升采样效率和优化性能。
2026-05-09 cs.LG cs.RO
COPR: Continual Human Preference Learning via Optimal Policy Regularization
针对RLHF在持续学习中因直接学习新偏好导致灾难性遗忘的问题,提出COPR方法,利用拉格朗日对偶基于历史最优策略动态正则化当前策略,有效防止遗忘并在多项评估中超越基线。
2024-12-21 cs.AI cs.LG
Online Vehicle Trajectory Prediction using Policy Anticipation Network and Optimization-based Context Reasoning
Hong Kong University of Science and Technology(香港科技大学)
在本文中,我们提出了一个用于城市自动驾驶的在线两级车辆轨迹预测框架,其中存在复杂的上下文因素,例如车道几何形状、道路建设、交通法规和移动代理。我们的方法结合了高层次的政策预期与低层次的上下文推理。我们利用长短期记忆(LSTM)网络来预测车辆的驾驶策略(例如,向前,屈服,左转,右转等)使用其连续的历史观测。然后,该策略用于指导基于优化的低级别上下文推理过程。我们表明,这是必要的,以纳入事先的政策预期,由于未来的轨迹的多模态性质。此外,与现有的基于回归的轨迹预测方法相反,我们基于优化的推理过程可以应对复杂的上下文因素。两级推理过程的最终输出是一个连续的轨迹,自动适应不同的交通配置,并准确地预测未来的车辆运动。在一个新兴的自动驾驶仿真平台(CARLA)的性能分析和验证所提出的框架。
2019-03-03 cs.LG cs.RO
Combining LLM decision and RL action selection to improve RL policy for adaptive interventions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究提出结合LLM与RL的混合方法,利用文本用户偏好通过LLM过滤RL动作选择以改进策略,构建仿真环境验证,提升了健康自适应干预的个性化效果。
2025-01-13 cs.AI cs.LG