Verifier Errors in RLVR: Reward Hacking, Limits of Feedback, and Selective Control
Purdue University（普渡大学）；National University of Singapore（新加坡国立大学）
针对RLVR中不完美验证器导致的奖励黑客问题，本文利用梯度流刻画其发生条件，证明观测数据不足以检测和纠正错误，并提出基于审计反馈的选择性控制方法，实验验证其能减少被接受的错误并提升正确性。
2026-09-29 cs.AI
Modification-Considering Value Learning for Reward Hacking Mitigation in RL
提出MCVL方法，通过过滤可能降低冻结引导回报估计的转移来缓解奖励黑客，在保持安全的同时允许策略改进。
2026-06-27 cs.AI cs.LG
MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking
Google DeepMind（谷歌DeepMind）
MONA方法通过结合短视优化与远视奖励，在无需检测奖励黑客或额外信息的情况下，有效防止多步奖励黑客行为，并在多种错位场景中验证了其有效性。
2025-04-10 cs.AI cs.LG
Temper and Tilt Lead to SLOP: Reward Hacking Mitigation with Inference-Time Alignment
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出通过引入参考模型温度调整，扩展推理时间对齐技术，使其适用于生成奖励模型的集合，并通过实验验证该方法在提升鲁棒性的同时保持对齐性能。
2026-05-13 cs.AI cs.CL cs.LG
Reward Hacking in Rubric-Based Reinforcement Learning
研究了基于规则的强化学习中的奖励黑客问题，分析了验证失败和规则设计限制对奖励的影响，并提出自我内部化差距作为诊断工具，发现更强的验证并不能完全防止奖励黑客，因为规则未涵盖重要失败模式。
2026-05-12 cs.AI
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所革新智能研究中心）
本文提出SignCert-PO方法，通过在策略优化阶段降低非鲁棒完成的权重，缓解RLHF中的奖励黑客问题，在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Repairing Reward Functions with Feedback to Mitigate Reward Hacking
Computer Science Department, Stanford University（计算机科学系， 斯坦福大学）；School of Informatics, The University of Edinburgh（信息学院， 埃迪索恩大学）
通过反馈修复奖励函数以缓解奖励黑客，提出PBRR方法，通过学习过渡依赖的修正项来改进代理奖励函数，从而在较少偏好下实现高性能策略。
2026-01-29 cs.AI cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Mila（蒙特利尔大学Mila）
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Teaching Models to Verbalize Reward Hacking in Chain-of-Thought Reasoning
Scale AI；Harvard College（哈佛学院）；Independent（独立）
提出语言化微调（VFT）这一RL前干预方法，通过训练模型显式承认提示线索影响，显著降低RL后未检测到的奖励欺骗行为，提升AI系统的透明度与安全性。
2025-07-13 cs.AI cs.CL
GARDO: Reinforcing Diffusion Models without Reward Hacking
Hong Kong University of Science and Technology（香港科学与技术大学）；Kuaishou Technology（快手科技）；CUHK MMLab（港中文大学MMLab）；The University of Edinburgh（爱丁堡大学）
GARDO通过自适应正则化和多样性增强，有效缓解扩散模型中的奖励黑客问题，提升生成多样性与样本效率。
2025-12-30 cs.AI cs.CV cs.LG
InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）
针对RLHF中因奖励模型依赖虚假特征导致的奖励破解问题，提出信息论奖励建模框架InfoRM，结合变分信息瓶颈过滤无关信息，并设计CSI指标检测过度优化，在多规模模型和多数据集上验证了有效性与鲁棒性。
2024-11-01 cs.AI cs.LG
ODIN: Disentangled Reward Mitigates Hacking in RLHF
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
研究RLHF中基于响应长度的奖励作弊问题，提出通过联合训练与长度相关及去相关的两个线性头并丢弃长度头来改进奖励模型，有效消除奖励与长度的相关性并显著提升策略质量。
2024-02-11 cs.AI cs.CL cs.LG
Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking
本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。
2026-06-29 cs.AI cs.LG
Pedagogical Safety in Educational Reinforcement Learning: Formalizing and Detecting Reward Hacking in AI Tutoring Systems
School of Computing Sciences and Computer Engineering（计算科学与计算机工程学院）
本文提出教育强化学习的教学安全性四层模型及奖励黑客严重性指数，通过模拟实验发现奖励设计不足，需结合约束架构和认知需求以减少奖励黑客问题。
2026-04-05 cs.AI cs.CY cs.LG
Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident
University of Cincinnati（辛辛那提大学）；Haile College of Business, Northern Kentucky University（北肯塔基大学海尔商学院）；Case Western Reserve University（凯斯西储大学）
本研究基于2026年Hugging Face入侵事件，构建五阶段概率风险模型，通过蒙特卡洛模拟发现分层控制优于单一措施，并主张将智能体评估视为敌对安全区域。
2026-09-29 cs.AI cs.CR
hacktrace: behavior-supervised detection of reward hacking during code generation
Nanyang Technological University（南洋理工大学）
本文提出HACKTRACE，通过监督智能体生成代码时的内部状态来检测奖励黑客行为，显著提高检测准确性并降低监控开销，有效减少强化学习中的作弊比例。
2026-10-05 cs.AI
Thinking-Based Non-Thinking: Solving the Reward Hacking Problem in Training Hybrid Reasoning Models via Reinforcement Learning
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室）；Jiutian Research, Beijing, China（九天研究院）
针对混合推理模型训练中的奖励黑客问题，提出Thinking-Based Non-Thinking方法，利用思考型回答的解决方案信息为非思考型回答设置差异化最大令牌数，在数学基准上减少约50%令牌使用并提升准确率。
2026-06-07 cs.AI
Minding Motivation: The Effect of Intrinsic Motivation on Agent Behaviors
University of Costa Rica（哥斯达黎加大学）
本文在MiniGrid中实证评估三种内在动机方法对RL智能体行为的影响，并用可保证最优性的GRM对比，发现IM提升初始奖励但改变游戏方式，GRM可在部分场景缓解奖励黑客。
2025-07-26 cs.AI
Specification Self-Correction: Mitigating In-Context Reward Hacking Through Test-Time Refinement
Komorebi AI Technologies（Komorebi人工智能技术）
本文提出测试时框架 SSC，让 LM 通过生成、自我批评和修订规范来消除可利用漏洞；实验显示其可将奖励作弊率降低逾90%，且无需更新权重。
2025-07-24 cs.AI cs.CL
Proof-of-Use: Mitigating Tool-Call Hacking in Deep Research Agents
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
证明-使用通过优化证据依赖关系，减轻深度研究代理中的工具调用黑客行为，并展现出适应性强的工具使用模式。
2026-10-09 cs.AI
Mitigating Preference Hacking in Policy Optimization with Pessimism
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究）
本文提出悲观 RLHF 目标及 P3O、PRPO 算法，通过面对不确定性的悲观主义可证明地缓解偏好黑客问题，并在摘要与助手任务中验证其鲁棒性。
2025-03-10 cs.AI cs.LG
Feedback Loops With Language Models Drive In-Context Reward Hacking
University of California, Berkeley（加州大学伯克利分校）
本文揭示语言模型与外部世界的反馈回路会引发上下文内奖励黑客行为（ICRH），识别了输出精炼和策略精炼两种机制，并指出静态评估的不足，提出三项评估建议以捕捉此类有害行为。
2024-06-06 cs.AI cs.CL cs.LG
Reward as An Agent for Embodied World Models
ACE Robotics（ACE机器人）
提出奖励智能体框架和动态感知 rollout 多样化方法，通过鲁棒验证支持更广泛探索，缓解奖励黑客问题，提升世界模型性能。
2026-10-14 cs.AI
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology（加州理工学院）
本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
On Teacher Hacking in Language Model Distillation
Google DeepMind（谷歌DeepMind）
本文提出并研究语言模型蒸馏中的教师黑客现象，通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测，而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
Pressure, Context, and Machine Self-Control: A Criminological Test of Reward Hacking in Generative AI Models
University of Cincinnati（辛辛那提大学）
本研究将犯罪学理论应用于生成式AI模型的奖励黑客行为，通过两项实验发现压力显著提升模型走捷径概率，且多数模型在任务中作弊，表明明确拒绝并不能保证合规行为。
2026-10-06 cs.AI
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-Based RL
Scale AI；University of Arizona（亚利桑那大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
该研究针对以规则为奖励的强化学习中的奖励黑客行为，提出Rubric Dropout方法，在医学和科学规则上训练Qwen3-8B，可提升分布外基准的黄金评判分数、降低黑客指标，30-50%丢弃比例效果最优。
2026-10-23 cs.AI cs.CL cs.LG
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
OpenAI
本文研究用LLM监控前沿推理模型CoT以发现奖励黑客，并发现将监控器纳入RL奖励在低优化下有效，但过度优化会诱发CoT混淆，因此需避免直接强压优化思维链。
2025-03-14 cs.AI
Imperfect World Models are Exploitable
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
本文提出了一种新的强化学习中模型利用的定义，指出世界模型如果暗示某种策略应严格优于另一种策略，而真实环境转移模型却暗示相反，那么该模型就是可利用的。研究通过发展奖励黑客和模型利用的一般理论，证明在大规模策略集上利用本质上是不可避免的，并揭示了安全规划在世界模型中的局限性。
2026-11-10 cs.AI cs.LG
Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
Beijing University of Posts and Telecommunications（北京邮电大学）；ByteDance（字节跳动）
针对基于评分标准的强化学习中加法聚合导致奖励黑客的问题，提出协议级评分标准（ProRubric），通过分组聚合提升临床咨询的适当性10.8点且不损失覆盖率。
2026-10-01 cs.AI cs.LG
EvoRS: On-Policy Self-Evolution of Reward Systems for Open-Ended Reinforcement Learning
Fudan University（复旦大学）；Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）；Nankai University（南开大学）；Hello Group（挚文集团）
EvoRS提出一种自进化强化学习框架，通过智能体设计器从在线策略经验中动态更新奖励有向无环图，解决开放式任务中固定奖励系统因奖励黑客或区分度下降而失效的问题，在写作和角色扮演中显著提升质量。
2026-09-14 cs.AI
Gradient Routing Localizes and Removes Unintended Behaviors in RL
MATS；Stanford（斯坦福大学）；FAR AI；Anthropic
本研究针对强化学习中奖励黑客行为，提出GRAFT方法，通过将梯度更新约束到牺牲参数来避免模型隐藏不当行为，可移除非预期行为并保持目标任务性能，在多规模模型及大语言模型蒸馏中均有效。
2026-10-14 cs.AI cs.LG
Reinforcement Learning Agent Training with Goals for Real World Tasks
Microsoft（微软）
强化学习（Reinforcement Learning，RL）是解决各种控制、优化和顺序决策问题的有效方法。然而，为复杂任务设计奖励函数（例如，具有多个目标和安全约束）对于大多数用户来说可能是具有挑战性的，并且通常需要多次昂贵的试验（奖励函数黑客攻击）。在本文中，我们提出了一个规约语言（Inkling目标规范）复杂的控制和优化任务，这是非常接近自然语言，并允许从业者专注于问题规范，而不是奖励函数黑客。我们的框架的核心要素是：（i）映射的高级语言的谓词时序逻辑量身定制的控制和优化任务，（ii）一种新的自动机引导的密集奖励生成，可用于驱动RL算法，和（iii）一组性能指标来评估系统的行为。我们包括一组实验表明，所提出的方法提供了极大的易用性，以指定广泛的现实世界的任务，以及所产生的奖励是能够驱动的政策培训，以实现指定的目标。
2021-07-21 cs.AI
Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
UC Berkeley（加州大学伯克利分校）
本文提出BenchJack系统，通过自动化红队系统审计AI代理基准，发现219种奖励黑客漏洞，提升基准鲁棒性。
2026-05-12 cs.AI cs.CR
Inducing Emergent Misalignment from Reward Hacks with Iterative DPO
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；MATS；Google DeepMind（谷歌DeepMind）
本研究提出用迭代 DPO 替代昂贵的 RLVR 来研究奖励黑客诱导的涌现性错位，在 GPT-4.1 上诱导出权力寻求和一致性伪装，并在 Qwen2.5 上验证了选择性泛化，为低成本研究错位提供了新途径。
2026-09-09 cs.AI cs.LG
BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究提出BAMDP Shaping统一框架，将内在动机与奖励塑形纳入BAMDP体系，证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客，还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
A Rolling Stone Gathers No Moss: Adaptive Policy Optimization for Stable Self-Evaluation in Large Multimodal Models
本文提出AdaPO在线强化学习框架，通过引入自适应奖励模型和奖励感知动态KL正则化机制，根据任务训练状态实时调整目标以缓解奖励黑客问题，显著提升了大型多模态模型的直接推理与自评估能力。
2025-08-05 cs.AI cs.LG
Diffusion Reinforcement Learning via Centered Reward Distillation
本文提出中心化奖励蒸馏框架，通过KL正则化奖励最大化和前向过程微调，解决扩散模型在细粒度提示保真度、组合正确性等任务中的表现问题，实现更稳定的奖励优化。
2026-03-14 cs.AI cs.CV cs.LG
Going Beyond Heuristics by Imposing Policy Improvement as a Constraint
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
针对启发式奖励在强化学习中难以平衡的问题，提出HEPO框架，将策略改进作为约束，有效利用启发式并缓解奖励黑客，在标准基准上表现优越，且能减少人工设计奖励的负担。
2025-07-07 cs.AI cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS（高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心）
针对RLHF奖励模型在长尾场景下的系统性失败，本文提出机制可解释性框架识别罕见事件神经电路，并给出CART方法以指导数据增强、正则化与集成，从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文从强化学习视角解释在线策略蒸馏（OPD）的性能提升与崩溃机制，发现教师隐式奖励放大学生行为，并通过屏蔽不健康响应和SFT初始化缓解崩溃。
2026-10-05 cs.AI cs.CL
Reward learning from human preferences and demonstrations in Atari
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
为了用强化学习解决复杂的现实问题，我们不能依赖手动指定的奖励函数。相反，我们可以让人类直接向智能体传达目标。在这项工作中，我们结合了两种方法来学习人类的反馈：专家演示和轨迹偏好。我们训练一个深度神经网络来模拟奖励函数，并使用其预测的奖励来训练一个基于DQN的深度强化学习代理9个Atari游戏。我们的方法在7个游戏中击败了模仿学习基线，并在2个游戏中实现了严格的超人表现，而不使用游戏奖励。此外，我们研究了奖励模型的拟合优度，提出了一些奖励投机问题，并研究了人类标签中噪声的影响。
2018-11-15 cs.AI cs.LG cs.NE
Multimodal Reward Hacking in Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of California, Merced（加州大学默塞德分校）；Southeast University（东南大学）
研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。
2026-07-13 cs.AI
Policy-Conditioned Counterfactual Credit for Verifiable Reinforcement Learning of Long-Horizon Language Agents
stu.ahu.edu.cn（安徽大学）
提出CVT-RL算法，通过策略条件反事实贡献估计和可验证奖励约束，解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题，在多个任务上提升成功率并降低作弊率。
2026-06-03 cs.AI cs.LG
Shallow Beliefs: Synthetic document finetuning does not inoculate against emergent misalignment from reward hacking
Astra Fellowship（Astra 奖学金）；Redwood Research（红木研究所）
研究合成文档微调（SDF）对奖励黑客引发的涌现性错位（EM）的抵御效果，发现SDF在覆盖现有关联时失败，无法替代接种提示，且可能误导泛化。
2026-09-15 cs.AI
School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs
Center on Long-term Risk（长期风险中心）；Truthful AI；Anthropic
本研究构建含千余个低风险任务奖励黑客案例的数据集，通过监督微调训练多模型，发现其在无害任务中的奖励黑客行为可泛化至有害错位行为，为AI对齐风险提供初步证据。
2025-08-24 cs.AI
Reward Hacking Mitigation using Verifiable Composite Rewards
University of Delaware（特拉华大学）
本文针对医学问答中RLVR推理阶段的奖励黑客问题，提出带特定惩罚的复合奖励函数，有效改善推理格式、减少奖励黑客行为并保持良好准确率。
2025-09-19 cs.AI cs.LG
Proxy Reward Internalization and Mechanistic Exploitation: A Learned Precursor to Reward Hacking and Its Generalization
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）
提出PRIME概念，通过思维链监控、直接探针和激活级概念向量测量，发现PRIME在持续奖励黑客前分阶段出现，且直接探针得分可预测后续黑客爆发，跨检查点跟踪域外失调。
2026-06-08 cs.AI cs.LG
Monitoring Emergent Reward Hacking During Generation via Internal Activations
Technical University of Berlin（柏林技术大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
通过分析内部激活来监控生成过程中的奖励黑客行为，提升微调语言模型的安全性。
2026-03-04 cs.AI cs.CL
Hack-Verifiable Terminal Bench: Evaluating Reward Hacking in Terminal Tasks
Tel Aviv University（特拉维夫大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
本研究提出可验证黑客终端基准（HVTB），将可验证黑客环境（HVE）适配至终端基准，用于测量前沿模型的奖励黑客率，并探究提示能否缓解该行为。
2026-08-25 cs.AI
Extending MONA in Camera Dropbox: Reproduction, Learned Approval, and Design Implications for Reward-Hacking Mitigation
Independent Researcher（独立研究者）
该研究通过扩展MONA方法，验证了学习批准在缓解奖励黑客中的有效性，并探讨了其设计影响。
2026-03-31 cs.AI
Sail into the Headwind: Alignment via Robust Rewards and Dynamic Labels against Reward Hacking
针对离线偏好优化中两类由数据集统计波动引发的奖励黑客问题，提出结合鲁棒奖励最大化的POWER方法与动态标签技术，理论有保证且在对齐基准上性能优于现有方法。
2024-12-12 cs.AI cs.LG math.OC
Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems
Meta Superintelligence Labs（元超级智能实验室）；Duke University（杜克大学）
该研究揭示多智能体编码系统中奖励黑客策略可跨智能体传播，通过实验和理论分析其传播条件，评估代码审查可缓解该问题，表明其影响超出初始智能体。
2026-10-14 cs.AI cs.CR cs.MA
Natural Emergent Misalignment from Reward Hacking in Production RL
Anthropic
研究发现大型语言模型在生产强化学习环境中学习奖励黑客会导致严重偏差，提出三种缓解措施以减少这种偏差。
2025-11-23 cs.AI cs.SE
