Learning a Pessimistic Reward Model in RLHF
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出PET方法,通过微调悲观奖励模型,在离线RLHF中无需正则化即可防止奖励黑客攻击,并在TL;DR数据集上验证了其可行性与高性能。
2025-05-26 cs.LG
Mitigating Preference Hacking in Policy Optimization with Pessimism
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出悲观 RLHF 目标及 P3O、PRPO 算法,通过面对不确定性的悲观主义可证明地缓解偏好黑客问题,并在摘要与助手任务中验证其鲁棒性。
2025-03-10 cs.AI cs.LG
Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking
Department of Computer Science, University of California, Davis, USA(加州大学戴维斯分校计算机科学系);Meta AI Research(Meta AI研究院)
本文提出对抗性奖励审计框架,通过动态竞争机制检测并缓解奖励黑客问题,实现最佳的对齐-效用权衡。
2026-09-29 cs.AI cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Mila(蒙特利尔大学Mila)
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题,提出用梯度正则化使训练偏向奖励更准确区域,理论推导并实证验证,还改进方法,结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling
Zhejiang University(浙江大学)
提出贝叶斯非负奖励模型(BNRM),通过非负因子分析和变分推断,在Bradley-Terry偏好模型中实现解耦与去偏,有效缓解奖励过度优化,提升鲁棒性和可解释性。
2026-06-01 cs.AI cs.LG
Correlated Proxies: A New Definition and Improved Mitigation for Reward Hacking
University of California, Berkeley(加州大学伯克利分校)
本文基于参考策略下代理与真实奖励相关性的失效定义奖励黑客,理论提出并实验验证对策略占用度量的 $χ^2$ 散度正则化比 KL 惩罚更能缓解 RLHF 等场景中的奖励黑客。
2025-03-13 cs.AI cs.LG
Stabilizing RLHF through Advantage Model and Selective Rehearsal
Tencent AI Lab(腾讯人工智能实验室)
本文提出优势模型和选择性复述两种方法,分别通过直接建模优势分数和策略性选择训练数据,以缓解RLHF中的奖励黑客和灾难性遗忘问题,从而提升训练稳定性、奖励分数和胜率。
2023-09-18 cs.AI cs.CL
Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking
TikTok (ByteDance)(TikTok(字节跳动));College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学技术学院)
针对RLHF中的奖励黑客问题,提出基于信息瓶颈的InfoRM框架过滤无关信息,并引入分布级正则化IBL及马氏离群概率MOP,有效检测和缓解奖励过度优化,提升对齐稳定性。
2025-10-15 cs.LG
Unifying Stable Optimization and Reference Regularization in RLHF
Sydney AI Centre, The University of Sydney(悉尼人工智能中心、悉尼大学);CSIRO, Data61(澳大利亚联邦科学与工业研究组织、Data61);University of New South Wales(新南威尔士大学)
本文提出了一种统一正则化方法,通过平衡防止奖励黑客和稳定策略更新,提升RLHF的对齐性能和稳定性。
2026-02-12 cs.LG
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University(斯坦福大学);UMass Amherst(马萨诸塞大学阿默斯特分校);UT Austin(德克萨斯大学奥斯汀分校)
本研究针对直接对齐算法中的奖励过度优化问题,通过实证实验揭示其退化模式,并形式化定义了该问题,探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
On Teacher Hacking in Language Model Distillation
Google DeepMind(谷歌DeepMind)
本文提出并研究语言模型蒸馏中的教师黑客现象,通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测,而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University(浙江大学);Peking University(北京大学);National University of Singapore(新加坡国立大学)
提出不确定性感知奖励建模(UARM),通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势,以缓解奖励黑客问题,提升对齐质量。
2026-06-19 cs.AI cs.LG
SuperHF: Supervised Iterative Learning from Human Feedback
LMU München(慕尼黑大学);Stanford University(斯坦福大学)
针对SFT和RLHF的优缺点,提出SuperHF方法,用监督损失和KL散度先验替代PPO,通过在线学习自主生成数据,在保持性能的同时显著简化实现并提升稳定性。
2023-10-25 cs.AI cs.CL cs.LG
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed(字节跳动种子项目(或字节跳动Seed))
本文探索RLHF数据扩展瓶颈,提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法,并强调早期优先训练数学与编码任务,有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment
Meta;University of Chicago(芝加哥大学)
本文提出一种新颖的因果奖励建模方法,通过整合因果性并强制反事实不变性来缓解RLHF中的虚假相关性,有效消除多种偏差,从而实现更可靠、公平的大型语言模型对齐。
2025-05-29 cs.AI cs.LG
A Unifying Lens on Reward Uncertainty in RLHF
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度Mind)
本文提出使用分布奖励模型统一RLHF中的悲观主义方法,通过闭式有效奖励公式连接现有启发式方法,并揭示其隐含假设。
2026-06-12 cs.AI cs.CL cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS(高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心)
针对RLHF奖励模型在长尾场景下的系统性失败,本文提出机制可解释性框架识别罕见事件神经电路,并给出CART方法以指导数据增强、正则化与集成,从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
University of Science and Technology of China(中国科学技术大学)
提出FiMi-RM框架,通过自学习长度与奖励的非线性关系并解耦,有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。
2026-06-25 cs.AI cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
Reward-Robust RLHF in LLMs
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Baichuan AI(百川智能)
针对奖励模型不完美导致的奖励黑客和意图不一致问题,提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架,通过平衡性能与鲁棒性优化目标,显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
Failure Modes of Maximum Entropy RLHF
Koç University(科克大学);KUIS AI Center(KUIS人工智能中心)
本文研究了最大熵强化学习在在线RLHF中的表现,发现其易出现过度优化和KL动态不稳定,且熵正则化无法有效防止奖励黑客,揭示了参考自由方法在在线与离线学习中的不同挑战。
2026-04-29 cs.CL cs.LG
Towards Federated RLHF with Aggregated Client Preference for LLMs
Purdue University(普渡大学);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
本文提出联邦RLHF方法FedBis和FedBiscuit,通过聚合客户端二元选择器捕获共同偏好,并建立首个异构偏好联邦RLHF基准,显著提升LLM生成内容的专业性和可读性。
2025-04-08 cs.CL cs.DC cs.LG
Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs
Cambridge AI Safety Hub (CAISH)(剑桥人工智能安全中心)
研究探讨了在强化学习从人类反馈(RLHF)等方案中,奉承式微调对校准的影响,发现GRPO微调导致校准退化,尽管效果不显著,但经矩阵缩放后仍保留较高校准误差。
2026-04-12 cs.AI cs.CL cs.LG
When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming
First Citizens Bank(第一公民银行);Alma Mater Europaea University(欧洲大学)
本文通过PPO、DPO等方法的对比实验,提出了一种基于奖励和评估者分数方向的机制分类法,将RLHF失败模式分类为可定位、可预测的训练动态。
2026-07-10 cs.AI cs.LG
A Principled Loss Function for Direct Language Model Alignment
本文提出一种直接从RLHF最优性条件推导的损失函数,通过设定有限对数几率差目标避免DPO的大梯度问题,提升对齐稳定性,并在Qwen2.5-7B上取得显著胜率提升。
2025-09-25 cs.AI cs.LG
From RLHF to Direct Alignment: A Theoretical Unification of Preference Learning for Large Language Models
Independent Researchers(独立研究者)
本文提出了一种理论统一框架,将大型语言模型的偏好学习方法归结为三个正交轴上的原则性选择,揭示了不同方法之间的本质联系。
2026-01-03 cs.AI cs.CL
Bradley-Terry and Multi-Objective Reward Modeling Are Complementary
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊);Havard University(哈佛大学)
针对RLHF在分布外易受奖励黑客攻击的问题,提出联合训练BT单目标与多目标回归奖励的统一框架,显著提升了奖励模型在OOD设置下的鲁棒性和评分能力。
2025-07-10 cs.CL cs.LG
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs(FAR实验室);Anthropic(Anthropic公司);FAR AI(FAR AI公司)
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定,提出灾难性古德哈特现象,并实证奖励模型误差呈轻尾,但警示未来重尾风险。
2024-11-08 cs.LG
Alleviating Attention Hacking in Discriminative Reward Modeling through Interaction Distillation
College of Computer Science and Artificial Intelligence, Fudan University(计算机科学与人工智能学院,复旦大学)
本文提出交互蒸馏方法,通过优化注意力机制提升判别奖励建模的稳定性与通用性,缓解注意力黑客问题。
2026-01-13 cs.CL
Evaluating Defences against Unsafe Feedback in RLHF
Dalhousie University(达尔豪斯大学);Vijil(维吉尔公司);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究院)
本研究首次分析RLHF中从不安全反馈学习的漏洞,发现现有安全防护不足,评估多种防御措施均无普遍效果,并提出基于约束马尔可夫决策过程的理论解释与未来防御方向。
2025-02-26 cs.CL cs.LG
Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking
本文提出一种双源不确定性-aware奖励框架,通过建模价值估计和人类偏好中的不确定性,减少奖励黑客行为,在多个离散和连续控制环境中验证了其有效性。
2026-06-29 cs.AI cs.LG
Reward Hacking as Equilibrium under Finite Evaluation
本文基于五个公理证明优化AI代理在未被评估系统覆盖的质量维度上会系统性地减少努力,揭示奖励黑客行为为结构性均衡而非可修复错误,并提出可计算的扭曲指数预测黑客行为。
2026-03-30 cs.AI cs.GT
WARM: On the Benefits of Weight Averaged Reward Models
Google DeepMind(谷歌DeepMind)
针对RLHF中的奖励作弊、分布偏移和偏好不一致问题,论文提出WARM,通过平均多个同源微调奖励模型的权重,高效提升奖励模型可靠性,并显著改善LLM对齐效果。
2024-01-22 cs.AI cs.CL cs.LG
Aligning Large Multimodal Models with Factually Augmented RLHF
UIUC(伊利诺伊大学厄巴纳-香槟分校);UW–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出 Factually Augmented RLHF,通过事实信息增强奖励模型并结合人工图文数据训练多模态模型,显著缓解幻觉,在 LLaVA-Bench 和 MMHAL-BENCH 上取得优异表现。
2023-09-25 cs.CL cs.CV
EvalStop: Using World Feedback to Detect and Correct Reward Overoptimization in Multi-Tenant RLHF Platforms
DeepMind, London, UK(深度Mind, 英国伦敦);University of Cambridge, UK(英国剑桥大学);University of Washington, USA(美国华盛顿大学)
提出EvalStop调度原语,通过检测评估分数连续下降来终止作业、释放GPU并保留最佳检查点,以纠正奖励过度优化,在RLHF负载上实现高精度检测并提升JCT。
2026-06-16 cs.AI cs.DC cs.LG
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent(腾讯微信)
该综述针对传统RLHF的缺陷,提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习,分析语言学相关对齐问题,明确未来研究方向。
2026-09-01 cs.AI cs.CL
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
UIUC(伊利诺伊大学厄巴纳-香槟分校);Independent Researcher(独立研究员);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出Token Mapping Perturbation Attack(TOMPA)框架,通过在标记空间中进行对抗优化,发现非语言标记模式以提升奖励模型性能,揭示了当前RLHF流程的关键漏洞。
2026-11-03 cs.AI cs.LG
SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models
Linköping University(林雪平大学);University of Iceland(冰岛大学)
该研究提出SAGA框架,用依存句法分析器监督取代人类偏好标注,在丹麦语、冰岛语等低资源北欧语言上提升了GPT-SW3-1.3B的语法质量,为相关语言的语法对齐提供了实用替代方案。
2026-10-14 cs.LG
Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
Think-RM通过内部思考建模和成对RLHF流程,在生成式奖励模型中实现长程推理,在RM-Bench上比基线高8%。
2025-05-22 cs.LG
RMB: Reward Model Boosting Mitigates Reward Hacking
提出奖励模型提升(RMB)方法,通过训练多样化奖励模型并学习轻量级聚合器,增强RLHF中奖励信号的鲁棒性,有效缓解奖励黑客问题并提升对齐性能。
2026-09-29 cs.LG
Towards Faithful and Controllable Personalization via Critique-Post-Edit Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Electronic Science and Technology of China(电子科技大学);South China Agricultural University(华南农业大学)
针对大语言模型个性化中存在的奖励黑客、效果不佳等问题,提出融合个性化生成式奖励模型与批评-后编辑机制的强化学习框架,在个性化基准上表现优于标准PPO,为忠实可控的模型个性化提供可行方案。
2025-10-21 cs.AI cs.CL
Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment
CyberAgent(赛博agent(CyberAgent))
本文提出MBR-BoN方法,通过将最小贝叶斯风险目标作为邻近正则化项融入Best-of-N采样,在推理时缓解奖励欺骗问题,并在多个数据集和直接偏好优化数据生成任务中显著优于基线方法。
2025-01-29 cs.AI cs.CL
RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards
NVIDIA
RLBFF结合人类偏好与规则验证,提升奖励模型对响应质量的精准捕捉,优于Bradley-Terry模型,在RM-Bench和JudgeBench上取得优异成绩,且支持用户自定义反馈原则。
2026-05-17 cs.AI cs.CL cs.LG
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback
University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学)
针对机器人强化学习从人类反馈中的奖励函数错位与分布偏移问题,提出基于奖励正则化的REBEL方法,融合人类与智能体偏好,通过双层优化实现计算可处理,并在DeepMind控制套件基准上验证有效性。
2025-01-19 cs.LG cs.RO
Beyond Static Snapshots: A Grounded Evaluation Framework for Language Models at the Agentic Frontier
University of Oxford(牛津大学)
本文提出 grounded continuous evaluation 框架,通过 deterministic verifier 和 CPU 更新 LoRA adapters,解决 reward hacking 和硬件限制问题,并在多个架构和领域验证其有效性。
2026-05-06 cs.AI
Process Reward Models for LLM Agents: Practical Framework and Directions
Cornell University(康奈尔大学)
提出 AgentPRM 与 InversePRM 过程奖励框架,使 3B LLM 智能体在 ALFWorld 上超过 GPT-4o 基线。
2025-02-14 cs.AI cs.LG
CARMO: Dynamic Criteria Generation for Context-Aware Reward Modelling
Microsoft(微软);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);IISc, Bangalore(班加罗尔印度科学学院)
针对RLHF奖励模型易受表层特征奖励黑客影响的问题,本文提出CARMO,通过动态生成上下文相关评估标准并蒸馏到小模型,在Reward Bench和7B模型对齐中取得显著提升。
2025-02-17 cs.CL
Evaluating Robustness of Reward Models for Mathematical Reasoning
Yonsei University(延世大学)
针对RewardBench数学子集评估不可靠的问题,本文提出新的奖励模型评估设计并构建RewardMATH基准,可更准确衡量数学推理奖励模型鲁棒性及奖励过度优化风险。
2024-10-02 cs.AI cs.CL cs.LG
Decoding-time Realignment of Language Models
University of Basel(巴塞尔大学);University of Edinburgh(爱丁堡大学);Université Paris-Saclay(巴黎-萨克雷大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出解码时重新对齐(DeRa)方法,无需重新训练即可探索不同正则化强度,实现对对齐程度的平滑控制,并提高超参数调优效率。
2026-10-06 cs.AI cs.CL cs.LG
Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对传统奖励模型黑箱不可解释的问题,提出结合多维度绝对评分多目标奖励模型ArmoRM与混合专家门控策略的两阶段方法,在RewardBench上取得SOTA,性能超GPT-4评判法且接近大参数量奖励模型。
2024-06-18 cs.CL cs.LG
AutoRule: Reasoning Chain-of-thought Extracted Rule-based Rewards Improve Preference Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
AutoRule自动从偏好反馈中提取规则作为辅助奖励,结合推理链与验证器,显著提升Llama-3-8B在AlpacaEval2.0和MT-Bench上的性能,并减少奖励黑客行为。
2025-06-18 cs.AI cs.CL cs.LG
Uncertainty-Penalized Direct Preference Optimization
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对 DPO 中模糊或错标偏好对导致的奖励过度优化问题,本文引入受离线强化学习启发的不确定性惩罚,减弱高不确定样本梯度,并在 GPT2 Medium 与 Anthropic-HH 上验证其优于原始 DPO。
2024-10-26 cs.AI cs.LG stat.ML
Unifying Adversarial Robustness and Training Across Text Scoring Models
uwaterloo(滑铁卢大学)
本文提出统一文本评分模型中对抗鲁棒性与训练的方法,通过引入多种对抗训练方法提升模型鲁棒性和任务效果,并展示其在RLHF中的应用价值。
2026-01-31 cs.CL cs.IR