Correlated Proxies: A New Definition and Improved Mitigation for Reward Hacking
University of California, Berkeley（加州大学伯克利分校）
本文基于参考策略下代理与真实奖励相关性的失效定义奖励黑客，理论提出并实验验证对策略占用度量的 $χ^2$ 散度正则化比 KL 惩罚更能缓解 RLHF 等场景中的奖励黑客。
2025-03-13 cs.AI cs.LG
Learning a Pessimistic Reward Model in RLHF
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PET方法，通过微调悲观奖励模型，在离线RLHF中无需正则化即可防止奖励黑客攻击，并在TL;DR数据集上验证了其可行性与高性能。
2025-05-26 cs.LG
Reward Shaping to Mitigate Reward Hacking in RLHF
Fudan University（复旦大学）
PAR通过利用奖励模型中的潜在偏好信号，有效缓解RLHF中的奖励黑客问题，表现出更高的性能和数据效率。
2026-11-10 cs.AI cs.CL cs.LG
ODIN: Disentangled Reward Mitigates Hacking in RLHF
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
研究RLHF中基于响应长度的奖励作弊问题，提出通过联合训练与长度相关及去相关的两个线性头并丢弃长度头来改进奖励模型，有效消除奖励与长度的相关性并显著提升策略质量。
2024-02-11 cs.AI cs.CL cs.LG
Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking
TikTok (ByteDance)（TikTok（字节跳动））；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学技术学院）
针对RLHF中的奖励黑客问题，提出基于信息瓶颈的InfoRM框架过滤无关信息，并引入分布级正则化IBL及马氏离群概率MOP，有效检测和缓解奖励过度优化，提升对齐稳定性。
2025-10-15 cs.LG
The Perfect Blend: Redefining RLHF with Mixture of Judges
Meta GenAI；FAIR
本文提出约束生成策略优化（CGPO），以评委混合（MoJ）和分层约束优化在RLHF中有原则地平衡多目标，显著超越PPO和DPO并有效缓解奖励黑客问题。
2024-09-30 cs.AI cs.CL cs.LG
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University（浙江大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。
2026-06-19 cs.AI cs.LG
Unifying Stable Optimization and Reference Regularization in RLHF
Sydney AI Centre, The University of Sydney（悉尼人工智能中心、悉尼大学）；CSIRO, Data61（澳大利亚联邦科学与工业研究组织、Data61）；University of New South Wales（新南威尔士大学）
本文提出了一种统一正则化方法，通过平衡防止奖励黑客和稳定策略更新，提升RLHF的对齐性能和稳定性。
2026-02-12 cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Mila（蒙特利尔大学Mila）
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment
Meta；University of Chicago（芝加哥大学）
本文提出一种新颖的因果奖励建模方法，通过整合因果性并强制反事实不变性来缓解RLHF中的虚假相关性，有效消除多种偏差，从而实现更可靠、公平的大型语言模型对齐。
2025-05-29 cs.AI cs.LG
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed（字节跳动种子项目（或字节跳动Seed））
本文探索RLHF数据扩展瓶颈，提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法，并强调早期优先训练数学与编码任务，有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS（高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心）
针对RLHF奖励模型在长尾场景下的系统性失败，本文提出机制可解释性框架识别罕见事件神经电路，并给出CART方法以指导数据增强、正则化与集成，从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
University of Science and Technology of China（中国科学技术大学）
提出FiMi-RM框架，通过自学习长度与奖励的非线性关系并解耦，有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。
2026-06-25 cs.AI cs.LG
On Teacher Hacking in Language Model Distillation
Google DeepMind（谷歌DeepMind）
本文提出并研究语言模型蒸馏中的教师黑客现象，通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测，而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出ROCM框架，通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型，实现高效稳定的单步生成训练，在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University（斯坦福大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UT Austin（德克萨斯大学奥斯汀分校）
本研究针对直接对齐算法中的奖励过度优化问题，通过实证实验揭示其退化模式，并形式化定义了该问题，探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
SuperHF: Supervised Iterative Learning from Human Feedback
LMU München（慕尼黑大学）；Stanford University（斯坦福大学）
针对SFT和RLHF的优缺点，提出SuperHF方法，用监督损失和KL散度先验替代PPO，通过在线学习自主生成数据，在保持性能的同时显著简化实现并提升稳定性。
2023-10-25 cs.AI cs.CL cs.LG
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group（复旦大学NLP小组）
本文探讨大模型中奖励黑客的机制与挑战，提出代理压缩假说框架，分析优化过程中的表现偏差和对抗性行为，提出检测与缓解策略。
2026-04-15 cs.LG
When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming
First Citizens Bank（第一公民银行）；Alma Mater Europaea University（欧洲大学）
本文通过PPO、DPO等方法的对比实验，提出了一种基于奖励和评估者分数方向的机制分类法，将RLHF失败模式分类为可定位、可预测的训练动态。
2026-07-10 cs.AI cs.LG
A Principled Loss Function for Direct Language Model Alignment
本文提出一种直接从RLHF最优性条件推导的损失函数，通过设定有限对数几率差目标避免DPO的大梯度问题，提升对齐稳定性，并在Qwen2.5-7B上取得显著胜率提升。
2025-09-25 cs.AI cs.LG
A Unifying Lens on Reward Uncertainty in RLHF
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度Mind）
本文提出使用分布奖励模型统一RLHF中的悲观主义方法，通过闭式有效奖励公式连接现有启发式方法，并揭示其隐含假设。
2026-06-12 cs.AI cs.CL cs.LG
Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking
本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。
2026-06-29 cs.AI cs.LG
Reward-Robust RLHF in LLMs
Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baichuan AI（百川智能）
针对奖励模型不完美导致的奖励黑客和意图不一致问题，提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架，通过平衡性能与鲁棒性优化目标，显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs（FAR实验室）；Anthropic（Anthropic公司）；FAR AI（FAR AI公司）
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定，提出灾难性古德哈特现象，并实证奖励模型误差呈轻尾，但警示未来重尾风险。
2024-11-08 cs.LG
Failure Modes of Maximum Entropy RLHF
Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）
本文研究了最大熵强化学习在在线RLHF中的表现，发现其易出现过度优化和KL动态不稳定，且熵正则化无法有效防止奖励黑客，揭示了参考自由方法在在线与离线学习中的不同挑战。
2026-04-29 cs.CL cs.LG
Towards Federated RLHF with Aggregated Client Preference for LLMs
Purdue University（普渡大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本文提出联邦RLHF方法FedBis和FedBiscuit，通过聚合客户端二元选择器捕获共同偏好，并建立首个异构偏好联邦RLHF基准，显著提升LLM生成内容的专业性和可读性。
2025-04-08 cs.CL cs.DC cs.LG
Reward Hacking as Equilibrium under Finite Evaluation
本文基于五个公理证明优化AI代理在未被评估系统覆盖的质量维度上会系统性地减少努力，揭示奖励黑客行为为结构性均衡而非可修复错误，并提出可计算的扭曲指数预测黑客行为。
2026-03-30 cs.AI cs.GT
EvalStop: Using World Feedback to Detect and Correct Reward Overoptimization in Multi-Tenant RLHF Platforms
DeepMind, London, UK（深度Mind, 英国伦敦）；University of Cambridge, UK（英国剑桥大学）；University of Washington, USA（美国华盛顿大学）
提出EvalStop调度原语，通过检测评估分数连续下降来终止作业、释放GPU并保留最佳检查点，以纠正奖励过度优化，在RLHF负载上实现高精度检测并提升JCT。
2026-06-16 cs.AI cs.DC cs.LG
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Independent Researcher（独立研究员）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出Token Mapping Perturbation Attack（TOMPA）框架，通过在标记空间中进行对抗优化，发现非语言标记模式以提升奖励模型性能，揭示了当前RLHF流程的关键漏洞。
2026-11-03 cs.AI cs.LG
Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Seoul National University（首尔大学）；Korea University（高丽大学）
针对 RLHF 将轨迹误判为最优策略生成所导致的似然不匹配问题，本文提出 PPL，利用反映行为策略信息的遗憾建模偏好，并引入对比 KL 正则化，在离线与在线连续控制任务中验证了性能提升。
2025-05-13 cs.AI cs.LG
Evaluating Defences against Unsafe Feedback in RLHF
Dalhousie University（达尔豪斯大学）；Vijil（维吉尔公司）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）
本研究首次分析RLHF中从不安全反馈学习的漏洞，发现现有安全防护不足，评估多种防御措施均无普遍效果，并提出基于约束马尔可夫决策过程的理论解释与未来防御方向。
2025-02-26 cs.CL cs.LG
MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking
Google DeepMind（谷歌DeepMind）
MONA方法通过结合短视优化与远视奖励，在无需检测奖励黑客或额外信息的情况下，有效防止多步奖励黑客行为，并在多种错位场景中验证了其有效性。
2025-04-10 cs.AI cs.LG
Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF
Carnegie Mellon University（卡内基梅隆大学）；University of Maryland, College Park（马里兰大学帕克分校）
研究如何提高扩散模型中强化学习从人类反馈的效率，提出选择性时间步加权和基于优势的重放两种互补策略，通过强调信息丰富的时间步和轨迹优化，提升反馈效率，样本效率比基线提高6倍。
2026-07-09 cs.AI cs.CV cs.LG
PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF
提出PS-PPO方法，通过前缀采样和重要性加权修正，在无评论者RLHF中减少训练计算和内存，保持准确率。
2026-07-28 cs.AI cs.LG
SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models
Linköping University（林雪平大学）；University of Iceland（冰岛大学）
该研究提出SAGA框架，用依存句法分析器监督取代人类偏好标注，在丹麦语、冰岛语等低资源北欧语言上提升了GPT-SW3-1.3B的语法质量，为相关语言的语法对齐提供了实用替代方案。
2026-10-14 cs.LG
WARM: On the Benefits of Weight Averaged Reward Models
Google DeepMind（谷歌DeepMind）
针对RLHF中的奖励作弊、分布偏移和偏好不一致问题，论文提出WARM，通过平均多个同源微调奖励模型的权重，高效提升奖励模型可靠性，并显著改善LLM对齐效果。
2024-01-22 cs.AI cs.CL cs.LG
Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
Think-RM通过内部思考建模和成对RLHF流程，在生成式奖励模型中实现长程推理，在RM-Bench上比基线高8%。
2025-05-22 cs.LG
RMB: Reward Model Boosting Mitigates Reward Hacking
提出奖励模型提升（RMB）方法，通过训练多样化奖励模型并学习轻量级聚合器，增强RLHF中奖励信号的鲁棒性，有效缓解奖励黑客问题并提升对齐性能。
2026-09-29 cs.LG
Enhancing RLHF with Human Gaze Modeling
Innopolis University（因诺波利斯大学）；University of Edinburgh（爱丁堡大学）
本文探索利用人类注视建模增强RLHF，提出注视感知奖励模型和token级稀疏奖励分布两种方法，实验表明该方法能加快收敛并降低计算成本。
2025-07-16 cs.LG
Reward Generalization in RLHF: A Topological Perspective
Center for AI Safety and Governance, Institute for AI, Peking University（人工智能安全与治理中心，人工智能研究院，北京大学）；Tsinghua University（清华大学）；Baichuan Inc（北川公司）
本文从拓扑视角系统研究RLHF中的奖励泛化问题，提出宏观自编码与微观贝叶斯网络结合的理论框架，并设计树状偏好信息奖励建模方法，显著降低不确定性并提升泛化能力。
2025-05-28 cs.AI cs.CL cs.DM
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University（上海交通大学）；UT Austin（得克萨斯大学奥斯汀分校）；Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院）
针对RLHF中奖励模型泛化性差的问题，本文提出将奖励分解为无提示与提示相关两部分，并基于信息论提取，通过优先级排序训练，提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
Process Reward Models for LLM Agents: Practical Framework and Directions
Cornell University（康奈尔大学）
提出 AgentPRM 与 InversePRM 过程奖励框架，使 3B LLM 智能体在 ALFWorld 上超过 GPT-4o 基线。
2025-02-14 cs.AI cs.LG
Imperfect World Models are Exploitable
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
本文提出了一种新的强化学习中模型利用的定义，指出世界模型如果暗示某种策略应严格优于另一种策略，而真实环境转移模型却暗示相反，那么该模型就是可利用的。研究通过发展奖励黑客和模型利用的一般理论，证明在大规模策略集上利用本质上是不可避免的，并揭示了安全规划在世界模型中的局限性。
2026-11-10 cs.AI cs.LG
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
Stanford University（斯坦福大学）；Apple（苹果公司）
针对当前缺乏偏好数据集衡量比较方法的问题，本文从规模、标签噪声、信息含量三视角提出具体比较指标，为以数据为中心的RLHF对齐提供支持，助力提升训练效率与迭代数据收集。
2024-09-15 cs.AI cs.CL cs.LG
RLHF Workflow: From Reward Modeling to Online RLHF
Salesforce AI Research（Salesforce AI研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种易于复现的在线迭代RLHF工作流程，通过构建代理偏好模型近似人类反馈，并公开模型、数据集与代码，使LLM在多项基准测试中达到SOTA性能。
2024-11-12 cs.AI cs.CL cs.LG
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent（腾讯微信）
该综述针对传统RLHF的缺陷，提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习，分析语言学相关对齐问题，明确未来研究方向。
2026-09-01 cs.AI cs.CL
Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Gladstone Institutes（格拉德斯通研究所）
本文提出一种基于夏普比率的主动学习方法，通过梯度评估高效选择偏好数据，以降低RLHF中偏好标注成本，并在多个模型和数据集上将胜率提升最多5%。
2025-03-28 cs.AI cs.LG
Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce AI Research（Salesforce AI研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文针对RLHF中现有方法缺乏策略性探索的问题，在反向KL正则化上下文赌博机框架下提出离线、在线和混合设置的高效算法，并衍生出迭代DPO和多步拒绝采样等新方法，在大语言模型对齐实验中显著超越DPO和RSO等基线。
2024-05-01 cs.AI cs.LG stat.ML
Beyond Static Snapshots: A Grounded Evaluation Framework for Language Models at the Agentic Frontier
University of Oxford（牛津大学）
本文提出 grounded continuous evaluation 框架，通过 deterministic verifier 和 CPU 更新 LoRA adapters，解决 reward hacking 和硬件限制问题，并在多个架构和领域验证其有效性。
2026-05-06 cs.AI
Adaptive Margin RLHF via Preference over Preferences
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题，提出利用偏好之上的偏好推断自适应边际，介绍具体实例DPO-PoP，提升判别和生成性能，并给出采样策略。
2026-07-07 cs.AI cs.CL cs.LG
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人强化学习从人类反馈中的奖励函数错位与分布偏移问题，提出基于奖励正则化的REBEL方法，融合人类与智能体偏好，通过双层优化实现计算可处理，并在DeepMind控制套件基准上验证有效性。
2025-01-19 cs.LG cs.RO
Influencing Humans to Conform to Preference Models for RLHF
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Brown University（布朗大学）；Sony AI（索尼AI）
本文通过三项人类研究，探讨如何通过干预使人类偏好更符合预期模型，提升RLHF奖励函数对齐效果。
2026-04-12 cs.AI cs.HC cs.LG
RLHF-Blender: A Configurable Interactive Interface for Learning from Diverse Human Feedback
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出可配置交互式界面 RLHF-Blender，通过模块化实验框架支持系统研究演示、排序、比较和自然语言指令等多种人类反馈对奖励学习的影响，弥补了标准化工具不足的问题。
2023-08-08 cs.HC cs.LG
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg（弗莱堡大学）
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题，提出基于分位数回归的分位数奖励模型QRM，学习多峰偏好分布，在RewardBench上表现更优，还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
