Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题,提出扩散分类器驱动的奖励方法(DPR及条件变体C-DPR),通过判别性推断提升奖励质量,实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University(西湖大学);Zhejiang University(浙江大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而,这样的公式化不可避免地是离线数据饥渴的,并且在实践中,在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此,在本文中,我们1)通过使用从另一个动态收集的(源)离线数据来制定离线动态自适应,以放松对广泛的(目标)离线数据的要求,2)表征先前的离线方法不能很好地扩展的动态偏移问题,以及3)从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强(DARA)框架。具体而言,DARA强调从那些适应目标环境的源转换对中学习,并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明,DARA通过增加源离线数据集的奖励,可以获得目标环境的自适应策略,同时显著降低对目标离线数据的需求。只有少量的目标离线数据,我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward
The Ohio State University(俄亥俄州立大学);University at Buffalo(布法罗大学)
针对轨迹级奖励导致策略评估偏差和方差较大的问题,提出离线RL算法PARTED,通过奖励重分配与悲观值迭代及不确定性惩罚,在一般MDP和线性MDP中获得可证明的次优性保证。
2023-04-19 cs.LG stat.ML
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University(约翰霍普金斯大学)
本文提出了一种群体敏感的离线上下文老虎机优化框架,通过引入群体奖励差异约束,减少策略学习中的群体间奖励不平等,同时保持整体性能的竞争性。
2026-01-06 cs.LG
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
本文提出了一种潜在安全约束策略方法,通过条件变分自动编码器和受约束奖励-回报最大化框架,实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题,提出OPPO范式,通过双目标迭代优化直接建模轨迹与偏好,性能优于现有基准方法。
2023-06-09 cs.LG
Improving Offline Goal-Conditioned Reinforcement Learning via Selective Reward Stimulation
The Hong Kong University of Science and Technology(香港科技大学)
针对离线目标条件强化学习中稀疏奖励和长时程依赖导致的奖励传播延迟问题,提出RSIQL方法,通过在进展中间状态引入额外奖励信号,以简单非分层结构提升性能,实验验证其优于目标条件IQL并媲美分层方法。
2026-09-18 cs.LG
Reward-Relevance-Filtered Linear Offline Reinforcement Learning
University of Southern California(南加州大学)
本文针对离线强化学习提出奖励-相关性过滤方法,利用决策论稀疏性将价值函数估计聚焦于影响奖励的稀疏状态分量,并给出样本复杂度仅依赖于该分量大小的理论保证。
2024-01-23 cs.LG math.OC stat.ML
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题,创建了相关基准,并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统全国重点实验室,中国科学院自动化研究所)
本文提出CROP算法,通过同时最小化估计误差和随机动作奖励,实现保守奖励估计,缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
The Energy Loss Phenomenon in RLHF: A New Perspective on Mitigating Reward Hacking
Wuhan University(武汉大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
本文发现RLHF中LLM最后一层能量损失增大与奖励黑客相关,提出能量损失感知的EPPO算法以抑制该现象,并通过理论分析和多任务实验验证其有效性。
2025-06-02 cs.LG
medR: Reward Engineering for Clinical Offline Reinforcement Learning via Tri-Drive Potential Functions
National University of Singapore(新加坡国立大学);University of Helsinki(赫尔辛基大学);Harbin Institute of Technology(哈尔滨工业大学)
medR通过三驱动势函数实现临床离线强化学习中的自动化奖励设计,提升策略性能。
2026-02-04 cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Offline Reinforcement Learning with Imputed Rewards
University of Florence(佛罗伦萨大学)
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题,提出一种奖励模型,仅用1%带标注数据即可为99%无奖励转移插补奖励,在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Reward-Consistent Dynamics Models are Strongly Generalizable for Offline Reinforcement Learning
Nanjing University(南京大学)
针对离线强化学习中动力学模型泛化性差的问题,提出奖励一致动力学模型构想及MOREC方法,通过学习动力学奖励筛选转移样本,在D4RL和NeoRL基准上显著提升性能,首次在多类任务中达到在线RL性能95%以上。
2023-10-09 cs.LG
Offline Planning and Online Learning under Recovering Rewards
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
受新兴应用如实时流媒体电子商务、促销和推荐的启发,我们引入并解决了一类具有以下两个特征的非平稳多臂强盗问题:(i)决策者可以在每个时间段内从$N$不同的臂中提取并收集最多$K\,(\ge 1)$的奖励;(ii)手臂的预期回报在被拉动后立即下降,然后随着手臂空闲时间的增加而非参数地恢复。随着最大化的目标,在$T$的时间周期的预期累积奖励,我们设计了一类“定期政策”,共同设置一个时期,拉每个arm.For建议的政策,我们证明了性能保证离线问题和在线问题。对于离线问题,当所有的模型参数是已知的,建议的周期性政策获得的近似比是在$1-\mathcal O(1/\sqrt{K})$的顺序,这是渐近最优的$K$增长到无穷大。针对模型参数未知且需要动态学习的在线问题,将离线周期策略与置信上界过程相结合,构造在线策略。提出的在线策略被证明是近似有$\widetilde{\mathcal O}(N\sqrt{T})$遗憾对离线基准。我们的框架和政策设计可以揭示更广泛的离线规划和在线学习应用程序与非固定和恢复奖励。
2021-12-21 cs.DM cs.LG math.OC
Studying the Korean Word-Chain Game with RLVR: Mitigating Reward Conflicts via Curriculum Learning
Seoul National University(首尔大学)
本研究使用基于可验证奖励的强化学习(RLVR)研究韩语单词接龙游戏,发现规则奖励存在冲突,并证明课程学习能有效缓解该冲突,推动多语言谜题任务研究。
2025-10-15 cs.CL cs.LG
Optimal Uniform OPE and Model-based Offline Reinforcement Learning in Time-Homogeneous, Reward-Free and Task-Agnostic Settings
UC Santa Barbara(加州大学圣巴巴拉分校)
这项工作研究了离线政策评估(OPE)问题与基于模型的方法(情节MDP)的一致收敛的统计限制,并提供了一个统一的框架,以实现最佳的学习几个动机良好的离线任务。统一OPE $\sup_Π|Q^π-\hat{Q}^π|<ε$是比逐点OPE更强的度量,并且在$Π$包含所有策略(全局类)时确保离线学习。在本文中,我们建立了一个$Ω(H^2 S/d_mε^2)$下界(基于模型的家庭)的全球一致OPE和我们的主要结果建立了$\tilde{O}(H^2/d_mε^2)$的上界的\emph{local}一致收敛,适用于所有\emph{near-empirically optimal}政策的MDP与\emph{stationary}过渡。这里$d_m$是最小边际状态-动作概率。关键是,在实现最佳速率$\tilde{O}(H^2/d_mε^2)$的亮点是我们的设计\emph{singleton absorbing MDP},这是一个新的尖锐的分析工具,与基于模型的方法。我们将这样一个基于模型的框架推广到新的设置:离线任务不可知和离线无奖励的最佳复杂度分别为$\tilde{O}(H^2\log(K)/d_mε^2)$($K$是任务的数量)和$\tilde{O}(H^2S/d_mε^2)$。这些结果提供了一个统一的解决方案,同时解决不同的离线RL问题。
2021-06-24 cs.AI cs.LG stat.ML
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim,一种基于模型的离线逆强化学习框架,通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构,提升探索性和泛化能力,无需与真实环境交互。
2026-03-25 cs.AI cs.LG
OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories
Indian Institute of Technology Madras(印度理工学院马德拉斯学院)
OSIL通过非偏好轨迹推断安全策略,从离线演示中学习安全且奖励最大化的策略,优于基线方法。
2026-02-11 cs.AI cs.LG stat.ML
Online Policy Learning from Offline Preferences
Kyoto University(京都大学)
本研究提出将离线偏好与虚拟偏好整合的PbRL框架,利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题,并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出数据集内轨迹回报正则化(DTR)方法,利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题,在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Confounding Masquerading as Improvement: A Systematic Evaluation of Offline Reinforcement Learning for Stroke Antithrombotic Treatment in a 129,000-Patient Registry
AI Research Center, JLK Inc.(JLK公司AI研究中心)
本研究在12.9万例卒中患者登记数据中系统评估离线强化学习,发现其策略表观改进实为混杂因素导致,去混杂后无临床意义的总体改进,还提供了评估检查表。
2026-09-01 cs.LG stat.ML
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
University of California, Berkeley(加州大学伯克利分校)
针对RLHF中奖励模型训练1轮后性能下降、过度优化偏离真实目标的问题,提出迭代数据平滑算法,通过每轮用模型软标签更新数据,提升奖励学习效果。
2024-01-29 cs.AI cs.CL cs.LG
STO-RL: Offline RL under Sparse Rewards via LLM-Guided Subgoal Temporal Order
Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));University of Alberta(阿尔伯塔大学)
STO-RL通过LLM生成子目标时间顺序,结合潜在奖励塑造,提升稀疏奖励下离线RL的性能与稳定性。
2026-01-13 cs.AI cs.LG cs.SY
PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
针对现有离线模仿学习奖励估计过度简化奖励结构的问题,提出基于LLM的PROF框架,结合RPR策略自动优化奖励函数,在D4RL基准上性能优于或持平现有强基线。
2025-11-14 cs.AI cs.LG
Escaping Offline Pessimism: Vector-Field Reward Shaping for Safe Frontier Exploration
本文提出向量场奖励塑造方法,通过梯度对齐和旋转向量项诱导持续安全前沿探索,验证了在连续导航任务中有效平衡安全与信息收集。
2026-03-18 cs.LG
Offline Preference-Based Apprenticeship Learning
University of California, Berkeley(加州大学伯克利分校)
从人类偏好中学习奖励函数具有挑战性,因为它通常需要具有高保真模拟器或在环境中使用昂贵且可能不安全的实际物理部署。但是,在许多任务中,代理可能有权访问同一目标环境中相关任务的脱机数据。虽然离线数据越来越多地被用于通过离线RL来帮助策略优化,但我们的观察是,它也可以成为偏好学习的丰富信息来源。我们提出了一种方法,使用离线数据集通过基于池的主动学习来制作偏好查询,学习奖励函数的分布,并通过离线RL优化相应的策略。至关重要的是,我们提出的方法不需要实际的物理部署或精确的模拟器来进行奖励学习或策略优化步骤。为了测试我们的方法,我们确定了一个非常适合离线奖励学习的现有离线RL基准子集,并提出了新的离线学徒学习基准,允许更多的开放式行为。我们的实证结果表明,将离线RL与学习到的人类偏好相结合,可以使智能体学习执行离线数据中没有明确显示的新任务。
2022-02-16 cs.LG
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning
Tsinghua University(清华大学);Tongji University(同济大学);University of California, Davis(加州大学戴维斯分校);Arizona State University(亚利桑那州立大学);Ohio State University(俄亥俄州立大学);Zhongguancun Laboratory(中关村实验室)
这项工作旨在解决离线逆强化学习(IRL)中的一个主要挑战,即奖励外推误差,其中由于固有的协变量偏移,学习的奖励函数可能无法正确解释任务并在看不见的环境中误导智能体。利用专家数据和低质量的多样化数据,我们设计了一个原则性的算法(即CNOE),通过将“保守性”整合到学习的奖励函数中并利用估计的动态模型来有效地解决离线IRL。我们的理论分析提供了一个上限的学习政策和专家政策之间的回报差距,在此基础上,我们的特点的影响,协变量偏移通过检查微妙的双层之间的权衡剥削(专家和不同的数据)和勘探(估计的动态模型)。我们表明,BEE可以证明减轻奖励外推错误的打击正确的开发勘探平衡。大量实验证实了CLARE相对于MuJoCo连续控制任务(特别是对于小型离线数据集)的现有最先进算法的显着性能提升,并且所学到的奖励对于进一步学习具有很强的指导意义。
2023-02-21 cs.AI cs.LG
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University(清华大学);JD Technology(京东科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
奖励函数是强化学习(RL)中必不可少的,作为激励智能体解决给定任务的指导信号,然而,也是众所周知的难以设计。在许多情况下,只有不完美的奖励是可用的,这对RL代理造成了重大的性能损失。在这项研究中,我们提出了一个统一的离线策略优化方法,\textit{RGM (Reward Gap Minimization)},它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题:上层优化的奖励校正项,执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性,我们得到了一个易于处理的算法,使基于采样的学习没有任何在线交互。综合实验表明,RGM实现了优越的性能,现有的方法在不同的设置不完美的奖励。此外,RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息,从有偏见的奖励。
2023-02-03 cs.AI cs.LG
SEABO: A Simple Search-Based Method for Offline Imitation Learning
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tencent(腾讯);Peking University(北京大学);School of Computer Science, Peking University(北京大学计算机学院)
SEABO提出一种基于搜索的离线模仿学习方法,通过无监督地根据与专家演示最近邻的距离分配奖励,在仅需单条专家轨迹的情况下达到与真实奖励离线RL相竞争的性能。
2024-02-21 cs.AI cs.LG
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind;Google Brain(谷歌大脑)
行为克隆(BC)对于机器人学习通常是实用的,因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而,BC并没有有效地利用我们将称为未标记体验的东西:没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成,例如人类远程操作,脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习,我们引入了离线强化模仿学习(ORIL)。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数,然后用学习到的奖励来注释所有数据,最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务,我们表明,ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Offline RL by Reward-Weighted Fine-Tuning for Conversation Optimization
Adobe Research(Adobe研究院)
本文提出通过奖励加权微调实现离线强化学习,用于对话优化,相比传统方法在奖励和语言质量上取得显著提升。
2026-02-16 cs.CL cs.LG
Minimal Ingredients for Reward Assignment from Expert Demonstrations
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎赫尔分校);Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning, NYU Shanghai(上海前沿科学中心(人工智能与深度学习))
该研究探究从专家演示分配奖励的最小结构,通过32个基准测试和三种下游RL算法,发现离线场景仅需接近度,在线或多演示时需轻量级时间对应,倡导奖励设计的算法极简主义。
2026-08-10 cs.AI cs.LG
Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
Department of Computer Science(计算机科学系)
本文提出通过鲁棒策略优化方法应对奖励黑客问题,基于r相关性代理奖励空间,改进代理优化并提升鲁棒性与透明度。
2026-04-13 cs.LG
TROFI: Trajectory-Ranked Offline Inverse Reinforcement Learning
本文提出TROFI方法,通过从人类偏好中学习奖励函数来标注离线数据集,无需预定义奖励或最优轨迹即可有效训练策略,在D4RL基准和3D游戏环境中表现优于基线且媲美真实奖励。
2025-06-27 cs.AI cs.LG
Semi-supervised reward learning for offline reinforcement learning
DeepMind(深度思维)
在离线强化学习(RL)中,使用记录的数据集来训练代理。这似乎是攻击现实生活中应用程序的最自然的途径,因为在医疗保健和机器人等领域,与环境的交互要么昂贵,要么不道德。训练代理通常需要奖励功能,但不幸的是,奖励很少在实践中,他们的工程是具有挑战性和费力。为了克服这一点,我们研究奖励学习的约束下,最大限度地减少人类奖励注释。我们考虑两种类型的监督:时间步长注释和演示。我们提出了半监督学习算法,从有限的注释中学习,并将未标记的数据。在我们对模拟机器人手臂的实验中,我们大大改进了行为克隆,并接近了地面真实奖励所实现的性能。我们进一步研究了奖励模型的质量与最终策略之间的关系。例如,我们注意到,奖励模型不需要完美才能产生有用的政策。
2020-12-12 cs.AI cs.LG cs.RO
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling
Zhejiang University(浙江大学)
提出贝叶斯非负奖励模型(BNRM),通过非负因子分析和变分推断,在Bradley-Terry偏好模型中实现解耦与去偏,有效缓解奖励过度优化,提升鲁棒性和可解释性。
2026-06-01 cs.AI cs.LG
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在离线多智能体强化学习(MARL)中,智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下,外源攻击者修改奖励数据集之前,代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略,同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同,我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡(MPDSE),保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明,攻击工作在各种MARL代理,包括不确定性意识的学习者,我们表现出线性规划,有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University(首尔大学)
本文提出列表式奖励估计LiRE,通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习,并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Survival Instinct in Offline Reinforcement Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
该研究发现离线RL存在“生存本能”现象,即即便用错误奖励训练也能得到安全策略,源于悲观主义与数据偏差的共同作用,并据此提出RL新范式。
2023-11-08 cs.AI cs.LG
Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing
CAV-Lab, School of Engineering(CAV实验室、工程学院);School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
本文提出了一种生成人类对齐奖励标签的方法,用于提升自动驾驶车辆在遮挡行人横穿场景中的安全性能。
2026-01-23 cs.LG cs.RO
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan(密歇根大学)
针对无限时域折扣设置下的线性MDP离线强化学习,提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法,并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
A Comparison Between Decision Transformers and Traditional Offline Reinforcement Learning Algorithms
School of Mathematics, Statistics and Computer Science(数学、统计与计算机科学学院);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学);Centre for Artificial Intelligence Research (CAIR)(人工智能研究中心)
本文比较了决策变压器与传统离线强化学习算法在ANT环境中的表现,发现DT在稀疏奖励场景中表现优异,而传统方法在密集奖励中更具优势。
2025-11-20 cs.LG
Breaking the Self-Confirming Loop: Diagnosing and Mitigating Systemic Reward Bias in Self-Rewarding RL
University of Science and Technology of China(中国科学技术大学)
本文通过量化反馈回路偏差并提出集成奖励强化学习(RLER)方法,诊断并缓解了自奖励强化学习中由置信度耦合导致的系统性奖励偏差,从而提升性能与稳定性。
2026-06-02 cs.CL cs.LG
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种奖励感知一致性轨迹蒸馏方法,通过解耦训练和无噪声奖励信号,在离线强化学习中实现高效扩散规划器,提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
Beyond Reward Suppression: Near-Optimal Offline Attacks on Warm-Start Bandits with Bounded Rewards
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
本文研究热启动多臂老虎机的离线对抗攻击,证明目标提升的必要性,并提出实现最优次线性成本的攻击方法,扩展至多种算法并经实验验证。
2026-10-08 cs.AI cs.LG
Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking
TikTok (ByteDance)(TikTok(字节跳动));College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学技术学院)
针对RLHF中的奖励黑客问题,提出基于信息瓶颈的InfoRM框架过滤无关信息,并引入分布级正则化IBL及马氏离群概率MOP,有效检测和缓解奖励过度优化,提升对齐稳定性。
2025-10-15 cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
自我监督方法通过利用数据本身来减少对昂贵注释的需求,对于推进深度学习至关重要。然而,如何以原则性的方式进行自监督离线强化学习(RL)的问题仍然不清楚。在本文中,我们解决这个问题,通过研究在半监督设置中的线性马尔可夫决策过程(MDP)中利用无奖励数据的理论优势。此外,我们提出了一种新的,可证明的数据共享算法(PDS),利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估,确保算法的保守性。我们在各种离线RL任务上的结果表明,PDS显着提高了离线RL算法的性能与无奖励数据。总的来说,我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处,同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”,在仅限制逐点与总体扰动且不知算法的条件下,可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Scalable Ensembling For Mitigating Reward Overoptimisation
Stanford University(斯坦福大学)
针对RLHF中语言模型易出现奖励过度优化的问题,提出共享编码器加独立线性头的可扩展集成方案,在保持性能的同时显著降低大模型训练的内存与时间成本。
2024-06-18 cs.CL cs.LG
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一,提供了一种理论严谨且实用的离线安全强化学习框架,以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Penalizing Infeasible Actions and Reward Scaling in Reinforcement Learning with Offline Data
School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国科学技术院电子工程学院);LG AI Research, Seoul, Republic of Korea(LG人工智能研究)
针对离线强化学习中的Q值外推误差,本文提出结合奖励缩放与不可行动作惩罚的PARS算法,在D4RL基准上取得优于现有方法的离线训练和在线微调性能。
2025-08-19 cs.AI cs.LG