Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
在针对强化学习（RL）的奖励中毒攻击中，攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$，目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$：我们提供了一个较低的阈值，低于该奖励中毒攻击是不可行的，RL被证明是安全的，我们提供了一个相应的上限阈值，高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击，其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$，或自适应攻击，其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而，我们表明，在温和的条件下，自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$，而非自适应攻击需要指数步骤。我们提供了一个建设性的证明，一个快速自适应攻击策略达到多项式率。最后，我们表明，根据经验，攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
Efficient Preference Poisoning Attack on Offline RLHF
Department of Electrical and Computer Engineering, University of California, Davis, Davis, CA, USA（加州大学戴维斯分校电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Iowa, Iowa City, IA, USA（爱荷华大学电气与计算机工程系）
针对离线RLHF中的偏好投毒攻击，提出基于梯度字典的二进制稀疏近似方法（BAL-A和BMP-A），实现高效标签翻转攻击。
2026-05-25 cs.AI cs.LG stat.ML
When Can You Poison Rewards? A Tight Characterization of Reward Poisoning in Linear MDPs
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, Oregon, USA（电子工程与计算机科学学院，俄勒冈州立大学，俄勒冈州科瓦利斯）；Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign, Urbana, Illinois, USA（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校，伊利诺伊州厄巴纳）；Princeton University, Princeton, New Jersey, USA（普林斯顿大学，新泽西州普林斯顿）；Faculty of Computing and Data Sciences, Boston University, Boston, Massachusetts, USA（计算与数据科学学院，波士顿大学，马萨诸塞州波士顿）
本文研究了强化学习中奖励污染攻击，通过约束预算操控奖励迫使目标智能体采用符合攻击者目标的策略。研究首次给出了线性MDP中攻击可行性的精确必要和充分条件，区分了易受攻击和固有鲁棒的RL实例。理论框架扩展至深度RL环境，证明其在理论和实践上的重要性。
2026-07-07 cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”，在仅限制逐点与总体扰动且不知算法的条件下，可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在离线多智能体强化学习（MARL）中，智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下，外源攻击者修改奖励数据集之前，代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略，同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同，我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡（MPDSE），保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明，攻击工作在各种MARL代理，包括不确定性意识的学习者，我们表现出线性规划，有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；KTH Royal Institute of Technology（皇家理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出BadReward，一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击，通过特征碰撞破坏奖励模型，使T2I模型生成不当图像，揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
Robust Thompson Sampling Algorithms Against Reward Poisoning Attacks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
针对奖励投毒下 Thompson sampling 无法获得真实后验的问题，本文用抗操纵伪后验构建随机与上下文线性 bandit 鲁棒算法，并证明其在任意攻击下具有近最优遗憾。
2024-10-25 cs.LG
Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出黑盒对抗性MDP奖励投毒框架，仅需篡改少量训练时间步即可使在线DRL智能体学到低性能策略，并通过理论与实验验证其在多种环境和算法上的有效性。
2023-07-15 cs.CR cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks
Department of Computing Science, University of Alberta, Edmonton, Canada.（阿尔伯塔大学计算机科学系，加拿大埃德蒙顿）；Alberta Machine Intelligence Institute (Amii), Edmonton, Canada.（阿尔伯塔机器智能研究所（Amii），加拿大埃德蒙顿）
针对奖励投毒攻击，提出对抗训练框架AT-DPT，通过同时训练攻击者和DPT模型，显著提升上下文强化学习在赌博机环境下的鲁棒性，并泛化到MDP等复杂场景。
2026-06-05 cs.CR cs.LG
Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；University of Virginia（弗吉尼亚大学）；University of Warwick（华威大学）
为了了解强化学习（RL）算法的安全威胁，本文研究了中毒攻击，以操纵\emph{any}顺序最优的学习算法在情节RL中的目标策略，并检查了两种自然类型的中毒攻击的潜在损害，即，\emph{reward}和\emph{action}的操作。我们发现攻击的效果主要取决于奖励是有界的还是无界的。在有界奖励设置中，我们证明了只有奖励操纵或只有动作操纵不能保证成功的攻击。然而，通过结合奖励和动作操纵，对手可以操纵任何顺序最优学习算法，以遵循具有$\tildeΘ(\sqrt{T})$总攻击成本的任何目标策略，这是顺序最优的，而不需要任何底层MDP的知识。相比之下，在无界奖励设置，我们表明，奖励操纵攻击是足够的对手成功地操纵任何顺序最优的学习算法，遵循任何有针对性的政策，使用$\tilde{O}(\sqrt{T})$量的污染。我们的研究结果揭示了关于中毒攻击可以或不能实现什么的有用见解，并将激励更多关于鲁棒RL算法设计的工作。
2022-08-29 cs.CR cs.LG stat.ML
Execute Order 66: Targeted Data Poisoning for Reinforcement Learning
United States Navy（美国海军）；University of Maryland（马里兰大学）；United States Naval Academy（美国海军学院）
强化学习的数据投毒在历史上一直专注于一般性能下降，并且有针对性的攻击已经通过涉及控制受害者的策略和奖励的扰动而成功。我们为强化学习引入了一种阴险的中毒攻击，这种攻击只会在特定的目标状态下导致代理的不当行为-同时最小限度地修改一小部分训练观察结果，而不需要对策略或奖励进行任何控制。我们通过将最近的技术梯度对齐应用于强化学习来实现这一点。我们测试我们的方法，并证明在不同难度的两个雅达利游戏的成功。
2022-07-28 cs.AI cs.CR cs.LG
The Dark Side of Human Feedback: Poisoning Large Language Models via User Inputs
Michigan State University（密歇根州立大学）；University of Hawaii at Mānoa（夏威夷大学马诺阿分校）；University of South Florida（南佛罗里达大学）
本文揭示了一种通过用户输入提示毒化LLM对齐训练的新型攻击，提出基于选择和基于生成的两种恶意提示构造机制，仅注入1%特制提示即可使特定触发词的毒性分数提高两倍，证明利用用户生成提示训练时LLM存在隐蔽且可能不可避免的脆弱性。
2024-09-01 cs.AI cs.CL cs.CR
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
本文研究在线 MARL 中的对抗攻击，提出融合动作投毒与奖励投毒的混合策略，在无环境和算法先验信息时仍能高效诱导目标策略或最大化指定累积奖励。
2023-07-15 cs.AI cs.CR cs.LG
West-of-N: Synthetic Preferences for Self-Improving Reward Models
ETH AI Center（ETH AI中心）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Google（谷歌）
本文提出 West-of-N 自训练方法，利用 Best-of-N 思路从响应池中选取最佳与最差候选生成合成偏好对，以低成本提升奖励模型及 RLHF 对齐效果。
2024-10-25 cs.AI cs.CL cs.LG
Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy
Research, Skywork AI（2050研究, Skywork AI）
Skywork-Reward-V2通过人机协同扩大偏好数据整理，提出SynPref-40M数据集和两阶段流程，训练出八种参数不同的奖励模型，在多个基准中取得最佳性能。
2026-03-02 cs.AI cs.CL cs.LG
Learning from Reference Answers: Versatile Language Model Alignment without Binary Human Preference Data
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
本文提出RefAlign算法，利用采样生成与参考答案间的相似度（如BERTScore）作为替代奖励，无需二元偏好数据或奖励模型即可实现通用语言模型对齐，并在安全、置信度等场景下取得与现有方法相当的性能。
2025-10-13 cs.AI cs.CL cs.LG
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
NLP Group, Fudan University（复旦大学自然语言处理组）；Hong Kong Baptist University（香港 Baptist 大学）；LLM Team, Meituan Inc（美团公司大语言模型团队）
针对人类反馈中的带噪偏好导致奖励模型泛化错误的问题，本文提出协作奖励建模框架，通过双模型同行评审筛选噪声、课程学习同步能力，显著提升奖励模型泛化性，还可扩展至隐式奖励对齐方法。
2026-10-19 cs.AI cs.CL cs.LG
Procedural Fairness Failures in RLHF from Preference Averaging
Vishnu Institute of Technology（维什努理工学院）
该研究指出标准RLHF因偏好平均引发程序公平性失败，提出PA-RLHF分开优化不同偏好模式，提升了对齐准确率并缩小了群体公平差距，对大模型和智能体系统有重要意义。
2026-08-12 cs.AI cs.CL cs.LG
Learning to Attack: A Bandit Approach to Adversarial Context Poisoning
AdvBandit通过构建代理模型和优化扰动，提出了一种对抗性上下文污染的多臂老虎机方法，有效提升攻击效果并控制检测风险。
2026-02-28 cs.AI cs.LG
Beyond Scalar Reward Model: Learning Generative Judge from Preference Data
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Baichuan AI（拜智科技）；University of Copenhagen（哥本哈根大学）
针对传统标量奖励模型可解释性不足、易受数据偏差影响的问题，提出用自生成对比评判（Con-J）结合DPO训练生成式评判器，性能与标量模型相当且更具可解释性和鲁棒性。
2024-10-13 cs.AI cs.CL cs.LG
Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学计算机科学与工程保罗·G·艾伦学校）；Max Planck Institute for Intelligent Systems, Tübingen, Germany（德国图宾根马克斯·普朗克智能系统研究所）；Jinesis Lab, University of Toronto & Vector Institute（多伦多大学Jinesis实验室及向量研究所）
本文提出基于难度的偏好数据选择方法，利用DPO隐式奖励机制选择奖励差距小的样本，提升数据效率和模型对齐性能，在多个数据集和对齐任务中优于五个基线方法。
2026-05-16 cs.AI cs.CL cs.LG
Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization
Saarland University（萨尔兰大学）；Independent Researcher（独立研究者）；Bielefeld University（比勒菲尔德大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
提出稀疏混合专家奖励模型，通过稀疏路由和专家多样性训练，从二元偏好数据中学习可解释的专家模式，提升个性化偏好建模的测试时适应性和可解释性。
2026-10-30 cs.AI cs.CL cs.LG
LoRe: Personalizing LLMs via Low-Rank Reward Modeling
FAIR at Meta（Meta 的 FAIR 部门）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LoRe框架，通过低秩偏好建模学习用户特定奖励函数，避免僵化分类，实现可扩展和少样本适应，并在多个数据集上验证了其对未见用户的泛化能力和预测准确性。
2025-04-20 cs.AI cs.CL cs.LG
AutoRule: Reasoning Chain-of-thought Extracted Rule-based Rewards Improve Preference Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
AutoRule自动从偏好反馈中提取规则作为辅助奖励，结合推理链与验证器，显著提升Llama-3-8B在AlpacaEval2.0和MT-Bench上的性能，并减少奖励黑客行为。
2025-06-18 cs.AI cs.CL cs.LG
Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment
IIIS, Tsinghua University, Beijing, China（清华大学信息科学技术学院，北京，中国）；Shanghai Qi Zhi Institute, Shanghai, China（上海启智研究院，上海，中国）；Department of Computer Science, University of California, Los Angeles, California, USA（计算机科学系，加州大学洛杉矶分校，美国，加州）
针对 Bradley-Terry 模型难以表达非传递和循环偏好的问题，提出偏好嵌入 GPM 与 GPO 优化方法，在 RewardBench 和 AlpacaEval2.0 上优于 BT 基线。
2025-06-11 cs.AI cs.CL cs.LG
Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards
The Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对标量奖励RLHF难以捕捉多样用户偏好的问题，提出多目标奖励下的方向偏好对齐框架DPA，将偏好建模为奖励空间方向，结合偏好条件化RSF微调，实现LLM生成的算术式细粒度控制，在Mistral-7B上验证了有效性。
2024-03-06 cs.AI cs.CL cs.LG
Pragmatic Feature Preferences: Learning Reward-Relevant Preferences from Human Input
Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google DeepMind（谷歌DeepMind）
本研究提出从人类偏好中提取特征级信息以学习更准确的奖励模型，在视觉和语言领域及蘑菇觅食任务中验证了其高效性和实用性。
2024-05-23 cs.CL cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）
在有针对性的中毒攻击中，攻击者操纵代理与环境的交互，迫使代理采用感兴趣的策略，称为目标策略。以前的工作主要集中在修改标准MDP原语的攻击，如奖励或转换。在本文中，我们研究了有针对性的中毒攻击在两个代理设置，攻击者隐式毒药的有效环境的代理之一，通过修改其同行的政策。我们开发了一个优化框架，设计最佳的攻击，其中的攻击成本的措施有多少解决方案偏离假设的默认策略的对等代理。我们进一步研究这个优化框架的计算特性。专注于一个表格设置，我们表明，在中毒攻击的基础上MDP原语（转换和（无界）奖励），这总是可行的，这是NP难的，以确定隐式中毒攻击的可行性。我们提供的表征结果，建立攻击问题的可行性的充分条件，以及攻击的最佳成本的上限和下限。我们提出了两种算法方法来找到一个最佳的对抗政策：基于模型的方法与表格政策和无模型的方法与参数/神经政策。我们通过实验展示了所提出的算法的有效性。
2023-02-27 cs.AI cs.CR cs.LG
Simultaneous Reward Distillation and Preference Learning: Get You a Language Model Who Can Do Both
Colorado State University（科罗拉多州立大学）
本文提出 DRDO 方法，通过同时进行奖励蒸馏与偏好学习，克服了 DPO 等直接对齐方法在处理噪声偏好标签时导致的策略退化问题，在期望奖励和鲁棒性上均表现更优。
2025-01-31 cs.CL cs.LG
Robust Preference Optimization through Reward Model Distillation
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文分析了DPO中隐式奖励过拟合导致策略退化的问题，提出通过蒸馏奖励模型族来匹配隐式奖励，从而在保持简单监督性质的同时提升对偏好分布偏移的鲁棒性。
2025-03-03 cs.CL cs.LG
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题，创建了相关基准，并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
Direct Preference-based Policy Optimization without Reward Modeling
Seoul National University（首尔大学）；NAVER；Line Corporation（LINE公司）
本文提出一种无需奖励建模、直接基于偏好学习策略的 PbRL 算法，通过对比学习设计策略评分指标，在离线控制任务上超越现有方法，并可微调大语言模型。
2023-10-27 cs.AI cs.LG
In-Context Reward Adaptation for Robust Preference Modeling
Northwestern University（西北大学）；Meta Superintelligence Labs（Meta超智能实验室）
提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。
2026-05-28 cs.AI cs.LG
Bayesian Preference Learning for Test-Time Steerable Reward Models
LinkedIn Corporation（LinkedIn公司）；Nubank
本文提出了一种新的贝叶斯奖励建模目标，即变分上下文奖励建模（ICRM），通过上下文偏好演示实现测试时间可调节性，从而适应未见过的偏好分布，提高了奖励模型的准确性和鲁棒性。
2026-10-20 cs.CL cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University（亚利桑那州立大学SCAI）
基于偏好的强化学习（PbRL）方法利用来自回路中的人类（HiL）对查询轨迹对的二进制反馈来学习奖励模型，以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中，我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法，该方法不向回路中的人增加任何额外的成本，并且不向PbRL代理增加可忽略的成本，并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的，并且这减少了该方法在多次运行中的性能的可变性，并且与其他初始化方法相比，显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Argumentative Reward Learning: Reasoning About Human Preferences
Imperial College London（伦敦帝国学院）
我们定义了一个新的神经符号框架，论证奖励学习，它结合了基于偏好的论证与现有的方法，从人类反馈基于人类反馈的强化学习。我们的方法通过概括人类偏好，减少用户的负担和增加奖励模型的鲁棒性来改进先前的工作。我们通过一些实验证明了这一点。
2022-09-28 cs.AI cs.HC cs.LG
Rectifying Shortcut Behaviors in Preference-based Reward Learning
University of Virginia（弗吉尼亚大学）
针对基于偏好的奖励模型易利用虚假特征走捷径、泛化差的问题，提出PRISM方法，通过学习组不变核缓解捷径行为，提升模型分布外准确率与鲁棒性。
2025-10-21 cs.AI cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化（MPO）算法，通过重要性采样视角结合RLHF和IPO的目标，有效处理off-policy KL正则化项，消除对奖励模型和参考策略的需求，简化学习过程。
2024-03-25 cs.AI cs.LG
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Cost-Minimized Label-Flipping Poisoning Attack to LLM Alignment
针对LLM对齐过程中数据投毒攻击理论基础不明的问题，提出最小成本标签翻转投毒攻击方法，通过凸优化推导攻击成本上下界并设计后处理策略，实证表明可显著降低投毒成本，为评估RLHF/DPO鲁棒性提供工具。
2025-11-12 cs.AI cs.LG
Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
Apple（苹果公司）
本文提出利用自监督时间一致性任务学习动力学感知状态-动作表示，并据此引导 PbRL 奖励函数，在多个运动任务上将所需偏好标签减少约一个数量级。
2024-02-28 cs.AI cs.LG
Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning
Apple（苹果公司）
基于偏好的强化学习（RL）算法通过从人类偏好反馈中提取奖励函数来帮助避免手工制作的奖励函数的陷阱，但由于即使对于相对简单的任务，也需要人类提供大量的标签，因此它们仍然不切实际。在这项工作中，我们证明了在奖励函数（REED）中对环境动态进行编码可以大大减少最先进的基于偏好的RL框架所需的偏好标签数量。我们假设基于REED的方法更好地划分状态-动作空间，并促进泛化到偏好数据集中不包括的状态-动作对。REED通过自我监督的时间一致性任务在状态-动作表示中编码环境动态，并从状态-动作表示中自举基于偏好的奖励函数。而以前的方法训练只在偏好标记的轨迹对，REED暴露的状态动作表示在政策培训期间经历的所有过渡。我们在PrefPPO [1]和PEBBLE [2]偏好学习框架中探索了REED的好处，并证明了在实验条件下对策略学习速度和最终策略性能的改进。例如，在具有50个偏好标签的四足步行和步行者步行中，基于REED的奖励函数恢复了83%和66%的地面真实奖励策略性能，而没有REED，仅恢复了38%和21%。对于某些领域，基于REED的奖励函数会产生优于在地面真实奖励上训练的策略的策略。
2022-11-12 cs.AI cs.HC cs.LG
Repairing Reward Functions with Feedback to Mitigate Reward Hacking
Computer Science Department, Stanford University（计算机科学系， 斯坦福大学）；School of Informatics, The University of Edinburgh（信息学院， 埃迪索恩大学）
通过反馈修复奖励函数以缓解奖励黑客，提出PBRR方法，通过学习过渡依赖的修正项来改进代理奖励函数，从而在较少偏好下实现高性能策略。
2026-01-29 cs.AI cs.LG
Generalizing Reward Modeling for Out-of-Distribution Preference Learning
SI-TECH Information Technology（SI-TECH信息技术公司）
本文提出一种基于元学习和双层优化的通用奖励建模方法，用于在有限偏好反馈下实现分布外偏好学习，并在多个文本生成任务和留出领域上验证了其优于强基线的性能。
2024-06-08 cs.CL cs.LG
Inferring Lexicographically-Ordered Rewards from Preferences
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
在许多领域中，对代理商对一组替代品的偏好进行建模是一个主要关注点。主要的方法是找到一个单一的奖励/效用函数的属性，产生更高的回报的替代品产生较低的回报。然而，在许多情况下，偏好是基于多个，往往是相互竞争的，目标;一个单一的奖励函数是不足以代表这样的偏好。本文提出了一种方法来推断多目标奖励为基础的代理人的观察到的偏好表示。我们模型的代理的优先级在不同的目标，进入字典，使目标与较低的优先级问题，只有当代理是漠不关心的目标与较高的优先级。我们提供了两个医疗保健领域的应用示例，一个是受癌症治疗的启发，另一个是受器官移植的启发，以说明我们学习的词典排序奖励如何更好地理解决策者的偏好，并在强化学习中使用时帮助改进策略。
2022-06-07 cs.AI cs.LG stat.ML
PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
针对现有离线模仿学习奖励估计过度简化奖励结构的问题，提出基于LLM的PROF框架，结合RPR策略自动优化奖励函数，在D4RL基准上性能优于或持平现有强基线。
2025-11-14 cs.AI cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University（首尔大学）
本文提出列表式奖励估计LiRE，通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习，并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Specifying Reward Functions for RL Without Environment Sampling
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出EARS方法，利用LLM构建特征并采样想象轨迹，从偏好中学习奖励函数，无需环境交互，在三个长时域任务中优于直接提示LLM的基线。
2026-09-15 cs.AI cs.LG
$ξ$-DPO: Direct Preference Optimization via Ratio Reward Margin
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
本文提出$ξ$-DPO，通过重新定义奖励形式和优化目标，解决SimPO中超参数联合调优难题，实现更直观的边际解释和稳定训练。
2026-10-27 cs.AI cs.LG
