A Unifying Lens on Reward Uncertainty in RLHF
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度Mind)
本文提出使用分布奖励模型统一RLHF中的悲观主义方法,通过闭式有效奖励公式连接现有启发式方法,并揭示其隐含假设。
2026-06-12 cs.AI cs.CL cs.LG
ARF-RLHF: Adaptive Reward-Following for RLHF through Emotion-Driven Self-Supervision and Trace-Biased Dynamic Optimization
South China Normal University(华南师范大学);University of Aberdeen(阿伯丁大学)
提出ARF方法,将自然反馈转为连续偏好轨迹并用TraceBias优化,在多种LLM上对齐性能提升达7.6%,优于PPO和DPO。
2025-10-25 cs.AI cs.CL
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg(弗莱堡大学)
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题,提出基于分位数回归的分位数奖励模型QRM,学习多峰偏好分布,在RewardBench上表现更优,还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
University of California, Berkeley(加州大学伯克利分校)
针对RLHF中奖励模型训练1轮后性能下降、过度优化偏离真实目标的问题,提出迭代数据平滑算法,通过每轮用模型软标签更新数据,提升奖励学习效果。
2024-01-29 cs.AI cs.CL cs.LG
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所革新智能研究中心)
本文提出SignCert-PO方法,通过在策略优化阶段降低非鲁棒完成的权重,缓解RLHF中的奖励黑客问题,在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS(高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心)
针对RLHF奖励模型在长尾场景下的系统性失败,本文提出机制可解释性框架识别罕见事件神经电路,并给出CART方法以指导数据增强、正则化与集成,从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Accelerating RLHF Training with Reward Variance Increase
The Hong Kong Polytechnic University(香港理工大学)
本研究针对基于GRPO的RLHF训练效率难题,提出可证明提升奖励方差且保留偏好与期望的奖励调整模型,设计O(n log n)全局求解算法,集成得到GRPOVI算法,实验证实其可显著加速RLHF训练。
2025-06-17 cs.AI cs.LG math.OC
Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft(微软公司)
本文提出片段级奖励模型,通过动态文本分割、位置感知奖励归一化与插值稠密化,缓解 RLHF 中整句奖励稀疏和 token 级奖励过细的问题。
2025-01-06 cs.AI cs.CL
RLHF Workflow: From Reward Modeling to Online RLHF
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种易于复现的在线迭代RLHF工作流程,通过构建代理偏好模型近似人类反馈,并公开模型、数据集与代码,使LLM在多项基准测试中达到SOTA性能。
2024-11-12 cs.AI cs.CL cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Prototypical Reward Network for Data-Efficient RLHF
Portland State University(波特兰州立大学);Georgia Institute of Technology(佐治亚理工学院);Renmin University of China(中国人民大学)
本文提出Proto-RM框架,利用原型网络在有限人类反馈下增强奖励模型,以更少数据实现与或优于传统方法的RLHF性能。
2024-07-07 cs.AI cs.CL
Stabilizing RLHF through Advantage Model and Selective Rehearsal
Tencent AI Lab(腾讯人工智能实验室)
本文提出优势模型和选择性复述两种方法,分别通过直接建模优势分数和策略性选择训练数据,以缓解RLHF中的奖励黑客和灾难性遗忘问题,从而提升训练稳定性、奖励分数和胜率。
2023-09-18 cs.AI cs.CL
ODIN: Disentangled Reward Mitigates Hacking in RLHF
University of YYY(YYY大学);Institute of WWW(WWW研究所)
研究RLHF中基于响应长度的奖励作弊问题,提出通过联合训练与长度相关及去相关的两个线性头并丢弃长度头来改进奖励模型,有效消除奖励与长度的相关性并显著提升策略质量。
2024-02-11 cs.AI cs.CL cs.LG
Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF,提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University(浙江大学);Peking University(北京大学);National University of Singapore(新加坡国立大学)
提出不确定性感知奖励建模(UARM),通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势,以缓解奖励黑客问题,提升对齐质量。
2026-06-19 cs.AI cs.LG
Mitigating Length Bias in RLHF through a Causal Lens
针对RLHF奖励模型偏好长回复的长度偏差问题,提出因果框架下的反事实数据增强方法训练奖励模型,有效降低长度偏差,提升奖励建模的鲁棒性与内容敏感度。
2025-11-16 cs.AI cs.CL
Reward Generalization in RLHF: A Topological Perspective
Center for AI Safety and Governance, Institute for AI, Peking University(人工智能安全与治理中心,人工智能研究院,北京大学);Tsinghua University(清华大学);Baichuan Inc(北川公司)
本文从拓扑视角系统研究RLHF中的奖励泛化问题,提出宏观自编码与微观贝叶斯网络结合的理论框架,并设计树状偏好信息奖励建模方法,显著降低不确定性并提升泛化能力。
2025-05-28 cs.AI cs.CL cs.DM
RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Qwen LLM Application Team, Alibaba(阿里巴巴Qwen大模型应用团队);Stanford University(斯坦福大学)
本文提出VAR方法,通过变分推断视角简化RLHF,将对齐目标转化为离线奖励驱动的加权监督微调形式,提升训练稳定性和效果,实验证明其在帮助性和无害性指标上优于DPO,且在计算效率和收敛速度上优于在线采样方法。
2026-03-21 cs.AI cs.CL cs.LG
InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling
Wuhan University(武汉大学);The University of Sydney(悉尼大学);Fudan University(复旦大学);Nanyang Technological University(南洋理工大学)
针对RLHF中因奖励模型依赖虚假特征导致的奖励破解问题,提出信息论奖励建模框架InfoRM,结合变分信息瓶颈过滤无关信息,并设计CSI指标检测过度优化,在多规模模型和多数据集上验证了有效性与鲁棒性。
2024-11-01 cs.AI cs.LG
SharedRep-RLHF: A Shared Representation Approach to RLHF with Diverse Preferences
Imperial College London(帝国理工学院伦敦分校)
针对现有RLHF方法在少数最低奖励群体上表现不佳的问题,提出SharedRep-RLHF框架,通过学习不同群体标注的共享特征优化模型,在自然语言任务中胜率最高提升20%。
2025-09-03 cs.LG stat.ML
Solving the Inverse Alignment Problem for Efficient RLHF
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出并解决语言模型训练中的逆对齐问题,通过周期性冻结策略并微调奖励模型,实现更优对齐和更快收敛,优于标准RLHF。
2024-12-13 cs.CL cs.LG
Reward Difference Optimization For Sample Reweighting In Offline RLHF
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);The Chinese University of Hong Kong(香港中文大学);New Jersey Institute of Technology(新泽西理工学院)
针对现有离线RLHF忽略回复间偏好程度的问题,提出奖励差优化方法,通过奖励差系数重加权样本对并构建差模型预测系数,在7B大模型及相关数据集上验证了其对齐效果。
2024-10-30 cs.AI cs.CL
The Trickle-down Impact of Reward (In-)consistency on RLHF
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 Contrast Instructions 基准衡量奖励模型一致性,并用 ConvexDA 与 RewardFusion 在无额外训练预算下提升一致性,证明其可改善下游 RLHF 响应质量。
2023-09-28 cs.CL cs.LG
PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration
针对RLHF中奖励模型忽略评分者个体差异的问题,提出PEBS方法,对每个评分者拟合仿射校准器并应用经验贝叶斯收缩,在PRISM和PluriHarms数据集上分别降低RMSE 8.58%和9.66%。
2026-06-29 cs.AI cs.LG
S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Artificial Intelligence, Zhengzhou University(郑州大学计算机科学与人工智能学院)
研究基于偏好奖励模型的RLHF训练不稳定问题,提出分层信用分配的粒度感知原则,引入S2T-RLHF框架,先在句子间分配奖励,再在句内细化,无需重新训练模型,实验证明该方法提高了训练稳定性和鲁棒性。
2026-07-22 cs.AI
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
University of Science and Technology of China(中国科学技术大学)
提出FiMi-RM框架,通过自学习长度与奖励的非线性关系并解耦,有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。
2026-06-25 cs.AI cs.LG
The Accuracy Paradox in RLHF: When Better Reward Models Don't Yield Better Language Models
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(宁波工程学院);Saarland University(萨尔大学);Digital Twin Institute(数字孪生研究院)
本文通过QA-FEEDBACK数据集和Longformer奖励模型实验,揭示RLHF中的准确率悖论:使用中等准确率奖励模型训练的语言模型优于高准确率奖励模型引导的模型,挑战了更强奖励模型必产生更好语言模型的观念。
2024-10-16 cs.AI cs.CL
The Perfect Blend: Redefining RLHF with Mixture of Judges
Meta GenAI;FAIR
本文提出约束生成策略优化(CGPO),以评委混合(MoJ)和分层约束优化在RLHF中有原则地平衡多目标,显著超越PPO和DPO并有效缓解奖励黑客问题。
2024-09-30 cs.AI cs.CL cs.LG
A Long Way to Go: Investigating Length Correlations in RLHF
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);Salesforce AI(Salesforce人工智能部门)
该研究揭示RLHF对齐大模型时的奖励提升多由响应长度增加驱动,偏差主要源于鲁棒性不足的奖励模型,且纯长度奖励可复现大部分RLHF下游增益。
2024-07-10 cs.CL cs.LG
A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization
ByteDance Seed(字节跳动 Seed)
本文提出Pairwise-RL框架,通过生成式奖励建模与成对PPO算法统一奖励训练和策略优化,解决传统RLHF中奖励校准困难和生成-判别任务不匹配问题,并在多个基准上取得更优对齐效果。
2025-04-07 cs.LG
Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO
University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Amazon Inc.(亚马逊公司)
本文分析RLHF和DPO性能差距的来源,揭示模型规格误差对方法选择的影响,指出在线DPO在特定条件下优于其他方法,揭示两阶段学习的统计优势。
2026-10-31 cs.CL cs.LG
Risk-Aware Alignment Must Incorporate Reward Uncertainty
Indian Institute of Science(印度科学学院)
针对RLHF中奖励模型波动易导致对齐策略过拟合、风险高的问题,提出具备不确定性感知的保守策略优化算法,通过理论和集成奖励模型实验验证其风险更低、对齐更可靠。
2026-10-23 cs.AI cs.LG
Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本研究探究大语言模型中RLHF的扩展特性,系统分析模型规模、数据构成、推理预算的影响,发现其扩展效率低于预训练且收益递减,并提出计算限制下的性能优化策略。
2024-12-08 cs.CL cs.LG
Towards Reward Fairness in RLHF: From a Resource Allocation Perspective
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大型模型与智能治理研究重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心,教育部);Kuaishou Technology(快手科技);University of Chinese Academy of Sciences(中国科学院大学)
针对RLHF中奖励存在多种偏差导致的不公平问题,本文从资源分配视角提出与偏差无关的方法,通过公平性正则化和公平性系数实现奖励公平,实验表明该方法能更公平地使LLMs与人类偏好对齐。
2025-05-29 cs.AI cs.LG
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University(斯坦福大学);UMass Amherst(马萨诸塞大学阿默斯特分校);UT Austin(德克萨斯大学奥斯汀分校)
本研究针对直接对齐算法中的奖励过度优化问题,通过实证实验揭示其退化模式,并形式化定义了该问题,探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Stanford University(斯坦福大学);CZ Biohub
针对RLHF复杂且不稳定的问题,提出直接偏好优化(DPO)算法,通过奖励模型的新参数化方法以封闭形式提取最优策略,仅用简单分类损失即可解决对齐问题,实验证明其性能优于或匹配现有方法且更易实现。
2024-07-29 cs.AI cs.CL cs.LG
Learning a Pessimistic Reward Model in RLHF
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出PET方法,通过微调悲观奖励模型,在离线RLHF中无需正则化即可防止奖励黑客攻击,并在TL;DR数据集上验证了其可行性与高性能。
2025-05-26 cs.LG
Parameter Efficient Reinforcement Learning from Human Feedback
Google DeepMind(谷歌DeepMind);Google(谷歌)
本研究提出将LoRA微调应用于奖励建模与强化学习的PE-RLHF方案,经多数据集基准测试,其性能与传统RLHF相当,却能显著降低训练时间与内存占用,推动大模型对齐技术的普及。
2024-09-12 cs.AI cs.CL cs.LG
Policy Filtration for RLHF to Mitigate Noise in Reward Models
Microsoft Research(微软研究院);Macquarie University(麦考瑞大学);Nanjing University(南京大学)
本文提出PF-PPO,通过过滤奖励可能不可靠的RLHF训练样本提升信噪比,并以R2选择过滤策略,在代码生成和数学推理任务上验证其性能提升。
2025-06-07 cs.AI cs.LG
RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文从强化学习原理出发批判性分析 LLM 的 RLHF,重点剖析奖励模型的建模假设、训练方法与局限,并分类综述文献以为后续研究提供参考。
2024-04-16 cs.AI cs.CL cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);KTH Royal Institute of Technology(皇家理工学院);Hangzhou Dianzi University(杭州电子科技大学)
本文提出BadReward,一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击,通过特征碰撞破坏奖励模型,使T2I模型生成不当图像,揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling
Zhejiang University(浙江大学)
提出贝叶斯非负奖励模型(BNRM),通过非负因子分析和变分推断,在Bradley-Terry偏好模型中实现解耦与去偏,有效缓解奖励过度优化,提升鲁棒性和可解释性。
2026-06-01 cs.AI cs.LG
Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
该研究从策略覆盖视角出发,利用不完美奖励模型提升在线RLHF的样本效率,提出TPO算法及模块化迁移策略,可集成多种优化方法,在摘要任务上验证了有效性。
2025-05-18 cs.AI cs.LG stat.ML
Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Seoul National University(首尔大学);Korea University(高丽大学)
针对 RLHF 将轨迹误判为最优策略生成所导致的似然不匹配问题,本文提出 PPL,利用反映行为策略信息的遗憾建模偏好,并引入对比 KL 正则化,在离线与在线连续控制任务中验证了性能提升。
2025-05-13 cs.AI cs.LG
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University(北京大学);Xiaohongshu Inc.(小红书公司);Zhejiang University(浙江大学)
本文提出CausalRM框架,通过因果理论处理观察性用户反馈中的噪声和偏见问题,提升RLHF任务性能,实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
SuperHF: Supervised Iterative Learning from Human Feedback
LMU München(慕尼黑大学);Stanford University(斯坦福大学)
针对SFT和RLHF的优缺点,提出SuperHF方法,用监督损失和KL散度先验替代PPO,通过在线学习自主生成数据,在保持性能的同时显著简化实现并提升稳定性。
2023-10-25 cs.AI cs.CL cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Mila(蒙特利尔大学Mila)
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题,提出用梯度正则化使训练偏向奖励更准确区域,理论推导并实证验证,还改进方法,结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Uncertainty-Penalized Reinforcement Learning from Human Feedback with Diverse Reward LoRA Ensembles
National University of Defense Technology(国防科技大学);State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
针对RLHF中的过度优化问题,提出UP-RLHF方法,通过最大化核范数构建多样化奖励LoRA集成来量化不确定性,并利用不确定性正则化优化策略模型,有效缓解过度优化并提升整体性能。
2023-12-30 cs.LG
The Energy Loss Phenomenon in RLHF: A New Perspective on Mitigating Reward Hacking
Wuhan University(武汉大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
本文发现RLHF中LLM最后一层能量损失增大与奖励黑客相关,提出能量损失感知的EPPO算法以抑制该现象,并通过理论分析和多任务实验验证其有效性。
2025-06-02 cs.LG
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs(FAR实验室);Anthropic(Anthropic公司);FAR AI(FAR AI公司)
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定,提出灾难性古德哈特现象,并实证奖励模型误差呈轻尾,但警示未来重尾风险。
2024-11-08 cs.LG
Fine-tuning Language Models with Generative Adversarial Reward Modelling
National University of Singapore(新加坡国立大学)
本文提出RLGAF,以生成对抗训练让LLM间接学习专家示范,在保持样本效率和泛化能力的同时,取得与RLHF、SFT相当的对齐效果。
2024-03-05 cs.AI cs.CL cs.LG