The Accuracy Paradox in RLHF: When Better Reward Models Don't Yield Better Language Models
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(宁波工程学院);Saarland University(萨尔大学);Digital Twin Institute(数字孪生研究院)
本文通过QA-FEEDBACK数据集和Longformer奖励模型实验,揭示RLHF中的准确率悖论:使用中等准确率奖励模型训练的语言模型优于高准确率奖励模型引导的模型,挑战了更强奖励模型必产生更好语言模型的观念。
2024-10-16 cs.AI cs.CL
How to Evaluate Reward Models for RLHF
UC Berkeley(加州大学伯克利分校)
本文提出首个与RLHF后真实人类偏好性能直接关联的奖励模型基准PPE,通过代理任务预测下游LLM性能,并结合大规模端到端RLHF实验验证指标相关性。
2024-10-22 cs.AI cs.CL cs.LG
Reward Model Overoptimisation in Iterated RLHF
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);Department of Computer Science(计算机科学系);University College London(伦敦大学学院);UK AI Security Institute(英国人工智能安全研究所);Department of Computer Science and Engineering(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文首次系统研究迭代式 RLHF 中的奖励模型过度优化,分析数据迁移、奖励函数与策略初始化选择,并基于 AlpacaFarm 给出稳定流程设计洞见。
2025-09-29 cs.AI cs.CL cs.LG
S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Artificial Intelligence, Zhengzhou University(郑州大学计算机科学与人工智能学院)
研究基于偏好奖励模型的RLHF训练不稳定问题,提出分层信用分配的粒度感知原则,引入S2T-RLHF框架,先在句子间分配奖励,再在句内细化,无需重新训练模型,实验证明该方法提高了训练稳定性和鲁棒性。
2026-07-22 cs.AI
Reward Shaping to Mitigate Reward Hacking in RLHF
Fudan University(复旦大学)
PAR通过利用奖励模型中的潜在偏好信号,有效缓解RLHF中的奖励黑客问题,表现出更高的性能和数据效率。
2026-11-10 cs.AI cs.CL cs.LG
Procedural Fairness Failures in RLHF from Preference Averaging
Vishnu Institute of Technology(维什努理工学院)
该研究指出标准RLHF因偏好平均引发程序公平性失败,提出PA-RLHF分开优化不同偏好模式,提升了对齐准确率并缩小了群体公平差距,对大模型和智能体系统有重要意义。
2026-08-12 cs.AI cs.CL cs.LG
Exploration-Driven Policy Optimization in RLHF: Theoretical Insights on Efficient Data Utilization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Research(英伟达研究院);Technion(以色列理工学院)
本研究针对RLHF少量反馈即获优效的理论解释不足问题,提出基于策略优化的PO-RLHF算法,通过轨迹级椭圆势分析给出低查询复杂度性能界,为其高效数据利用提供理论支撑。
2024-07-15 cs.AI cs.CL cs.LG
Reward-Robust RLHF in LLMs
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Baichuan AI(百川智能)
针对奖励模型不完美导致的奖励黑客和意图不一致问题,提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架,通过平衡性能与鲁棒性优化目标,显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
A Unifying Lens on Reward Uncertainty in RLHF
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度Mind)
本文提出使用分布奖励模型统一RLHF中的悲观主义方法,通过闭式有效奖励公式连接现有启发式方法,并揭示其隐含假设。
2026-06-12 cs.AI cs.CL cs.LG
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
University of California, Berkeley(加州大学伯克利分校)
针对RLHF中奖励模型训练1轮后性能下降、过度优化偏离真实目标的问题,提出迭代数据平滑算法,通过每轮用模型软标签更新数据,提升奖励学习效果。
2024-01-29 cs.AI cs.CL cs.LG
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg(弗莱堡大学)
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题,提出基于分位数回归的分位数奖励模型QRM,学习多峰偏好分布,在RewardBench上表现更优,还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
RLHF Workflow: From Reward Modeling to Online RLHF
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种易于复现的在线迭代RLHF工作流程,通过构建代理偏好模型近似人类反馈,并公开模型、数据集与代码,使LLM在多项基准测试中达到SOTA性能。
2024-11-12 cs.AI cs.CL cs.LG
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所革新智能研究中心)
本文提出SignCert-PO方法,通过在策略优化阶段降低非鲁棒完成的权重,缓解RLHF中的奖励黑客问题,在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS(高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心)
针对RLHF奖励模型在长尾场景下的系统性失败,本文提出机制可解释性框架识别罕见事件神经电路,并给出CART方法以指导数据增强、正则化与集成,从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
Fudan University(复旦大学);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出对比奖励方法,通过在奖励中引入惩罚项来改进RLHF,提高奖励模型鲁棒性,并在PPO中减少方差,经实验验证优于强基线。
2024-03-14 cs.AI cs.CL
Reward Generalization in RLHF: A Topological Perspective
Center for AI Safety and Governance, Institute for AI, Peking University(人工智能安全与治理中心,人工智能研究院,北京大学);Tsinghua University(清华大学);Baichuan Inc(北川公司)
本文从拓扑视角系统研究RLHF中的奖励泛化问题,提出宏观自编码与微观贝叶斯网络结合的理论框架,并设计树状偏好信息奖励建模方法,显著降低不确定性并提升泛化能力。
2025-05-28 cs.AI cs.CL cs.DM
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
ODIN: Disentangled Reward Mitigates Hacking in RLHF
University of YYY(YYY大学);Institute of WWW(WWW研究所)
研究RLHF中基于响应长度的奖励作弊问题,提出通过联合训练与长度相关及去相关的两个线性头并丢弃长度头来改进奖励模型,有效消除奖励与长度的相关性并显著提升策略质量。
2024-02-11 cs.AI cs.CL cs.LG
It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF
ByteDance(字节跳动)
本文提出“无缝性”概念和自动度量指标 SEAM,用于衡量 RLHF 中奖励模型与策略模型判断的差异,并通过数据筛选和模型增强分别提升 RLHF 性能 4.5% 和 4%。
2024-06-13 cs.AI cs.CL cs.LG
RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Qwen LLM Application Team, Alibaba(阿里巴巴Qwen大模型应用团队);Stanford University(斯坦福大学)
本文提出VAR方法,通过变分推断视角简化RLHF,将对齐目标转化为离线奖励驱动的加权监督微调形式,提升训练稳定性和效果,实验证明其在帮助性和无害性指标上优于DPO,且在计算效率和收敛速度上优于在线采样方法。
2026-03-21 cs.AI cs.CL cs.LG
InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling
Wuhan University(武汉大学);The University of Sydney(悉尼大学);Fudan University(复旦大学);Nanyang Technological University(南洋理工大学)
针对RLHF中因奖励模型依赖虚假特征导致的奖励破解问题,提出信息论奖励建模框架InfoRM,结合变分信息瓶颈过滤无关信息,并设计CSI指标检测过度优化,在多规模模型和多数据集上验证了有效性与鲁棒性。
2024-11-01 cs.AI cs.LG
Solving the Inverse Alignment Problem for Efficient RLHF
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出并解决语言模型训练中的逆对齐问题,通过周期性冻结策略并微调奖励模型,实现更优对齐和更快收敛,优于标准RLHF。
2024-12-13 cs.CL cs.LG
The Trickle-down Impact of Reward (In-)consistency on RLHF
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 Contrast Instructions 基准衡量奖励模型一致性,并用 ConvexDA 与 RewardFusion 在无额外训练预算下提升一致性,证明其可改善下游 RLHF 响应质量。
2023-09-28 cs.CL cs.LG
PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration
针对RLHF中奖励模型忽略评分者个体差异的问题,提出PEBS方法,对每个评分者拟合仿射校准器并应用经验贝叶斯收缩,在PRISM和PluriHarms数据集上分别降低RMSE 8.58%和9.66%。
2026-06-29 cs.AI cs.LG
Taming Overconfidence in LLMs: Reward Calibration in RLHF
Carnegie Mellon University(卡内基梅隆大学);Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本研究揭示了RLHF会导致LLM产生言语化过度自信,其根源在于PPO的奖励模型存在偏向高置信度的固有偏见。为此提出PPO-M和PPO-C两种变体以校准奖励,在不需额外标签的情况下有效降低了校准误差并保持了模型性能。
2025-02-28 cs.CL
A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs
Department of Electrical Engineering and Computer Science University of California, Irvine(电气工程与计算机科学系 加州大学伊文斯分校)
本文提出了一种自适应偏好聚合方法,通过动态调整权重提升联邦RLHF中LLM的公平性与对齐性能。
2025-12-15 cs.AI cs.CL
RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Davis(加州大学戴维斯分校)
该研究提出针对RLHF的投毒攻击方法RankPoison,通过操纵偏好排名数据投毒,可诱导大语言模型生成更长token且不破坏原有安全对齐,还能实现后门攻击,揭示了RLHF的安全隐患与鲁棒对齐的必要性。
2024-06-19 cs.AI cs.CL cs.CR
The Perfect Blend: Redefining RLHF with Mixture of Judges
Meta GenAI;FAIR
本文提出约束生成策略优化(CGPO),以评委混合(MoJ)和分层约束优化在RLHF中有原则地平衡多目标,显著超越PPO和DPO并有效缓解奖励黑客问题。
2024-09-30 cs.AI cs.CL cs.LG
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);KTH Royal Institute of Technology(皇家理工学院);Hangzhou Dianzi University(杭州电子科技大学)
本文提出BadReward,一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击,通过特征碰撞破坏奖励模型,使T2I模型生成不当图像,揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
本文通过构建干净数据集CHH-RLHF并基准测试多种奖励模型,系统揭示了奖励模型质量对LLM对齐优化与评估可靠性的关键影响,呼吁重视奖励模型评估与更可靠人类代理的开发。
2024-09-26 cs.AI cs.CL
Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
该研究从策略覆盖视角出发,利用不完美奖励模型提升在线RLHF的样本效率,提出TPO算法及模块化迁移策略,可集成多种优化方法,在摘要任务上验证了有效性。
2025-05-18 cs.AI cs.LG stat.ML
A Long Way to Go: Investigating Length Correlations in RLHF
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);Salesforce AI(Salesforce人工智能部门)
该研究揭示RLHF对齐大模型时的奖励提升多由响应长度增加驱动,偏差主要源于鲁棒性不足的奖励模型,且纯长度奖励可复现大部分RLHF下游增益。
2024-07-10 cs.CL cs.LG
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University(北京大学);Xiaohongshu Inc.(小红书公司);Zhejiang University(浙江大学)
本文提出CausalRM框架,通过因果理论处理观察性用户反馈中的噪声和偏见问题,提升RLHF任务性能,实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO
University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Amazon Inc.(亚马逊公司)
本文分析RLHF和DPO性能差距的来源,揭示模型规格误差对方法选择的影响,指出在线DPO在特定条件下优于其他方法,揭示两阶段学习的统计优势。
2026-10-31 cs.CL cs.LG
Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本研究探究大语言模型中RLHF的扩展特性,系统分析模型规模、数据构成、推理预算的影响,发现其扩展效率低于预训练且收益递减,并提出计算限制下的性能优化策略。
2024-12-08 cs.CL cs.LG
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University(斯坦福大学);UMass Amherst(马萨诸塞大学阿默斯特分校);UT Austin(德克萨斯大学奥斯汀分校)
本研究针对直接对齐算法中的奖励过度优化问题,通过实证实验揭示其退化模式,并形式化定义了该问题,探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Stanford University(斯坦福大学);CZ Biohub
针对RLHF复杂且不稳定的问题,提出直接偏好优化(DPO)算法,通过奖励模型的新参数化方法以封闭形式提取最优策略,仅用简单分类损失即可解决对齐问题,实验证明其性能优于或匹配现有方法且更易实现。
2024-07-29 cs.AI cs.CL cs.LG
Policy Filtration for RLHF to Mitigate Noise in Reward Models
Microsoft Research(微软研究院);Macquarie University(麦考瑞大学);Nanjing University(南京大学)
本文提出PF-PPO,通过过滤奖励可能不可靠的RLHF训练样本提升信噪比,并以R2选择过滤策略,在代码生成和数学推理任务上验证其性能提升。
2025-06-07 cs.AI cs.LG
Mitigating Cognitive Bias in RLHF by Altering Rationality
University of Oxford(牛津大学);Brown University(布朗大学)
本文提出通过动态调整理性参数beta来缓解人类反馈中的认知偏差,提升奖励学习模型的理性度,即使在存在强烈偏见的偏好数据集上也能获得更理性的下游模型。
2026-05-07 cs.AI
Reward Modeling with Weak Supervision for Language Models
Technical University of Berlin(柏林工业大学);Occiglot(奥西格洛特公司);DFKI GmbH(德国人工智能研究中心)
本文提出用弱监督扩展RLHF偏好数据,通过启发式标注函数和标签模型标注未标注回复,从而提升奖励模型性能。
2024-10-28 cs.CL
RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文从强化学习原理出发批判性分析 LLM 的 RLHF,重点剖析奖励模型的建模假设、训练方法与局限,并分类综述文献以为后续研究提供参考。
2024-04-16 cs.AI cs.CL cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
Cross-lingual Transfer of Reward Models in Multilingual Alignment
KAIST AI(韩国科学技术院人工智能学院)
本研究探讨了奖励模型从英语到多语言的跨语言迁移,发现英语奖励模型在Multilingual RewardBench上平均提升3~4%,并通过多语言对齐增强了指令跟随能力。
2025-01-23 cs.AI cs.CL
Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Seoul National University(首尔大学);Korea University(高丽大学)
针对 RLHF 将轨迹误判为最优策略生成所导致的似然不匹配问题,本文提出 PPL,利用反映行为策略信息的遗憾建模偏好,并引入对比 KL 正则化,在离线与在线连续控制任务中验证了性能提升。
2025-05-13 cs.AI cs.LG
Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward
Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学);Google Research(谷歌研究);University of California, Berkeley(伯克利加州大学)
针对现有多轮对话个性化依赖用户历史、传统RLHF共情适配不足的问题,提出融入好奇心内在奖励的多轮RLHF方法,可主动推断用户特征,在推荐与教育场景提升个性化效果与泛化能力。
2025-10-02 cs.AI cs.CL
Direct Advantage Regression: Aligning LLMs with Online AI Reward
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出直接优势回归(DAR)算法,利用在线AI奖励通过加权监督微调优化策略,在理论上与在线RLHF一致,实验证明其优于OAIF和在线RLHF基线。
2025-04-19 cs.AI cs.CL cs.HC
Towards Understanding the Influence of Reward Margin on Preference Model Performance
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Sichuan University(四川大学)
针对传统排序目标训练的奖励模型难以区分回答优劣的问题,本文提出无需详尽人工标签的偏好差异估计方法,并证明引入 margin 值可显著提升奖励预测准确率与实际效果。
2024-04-07 cs.AI cs.CL
Self-Evolved Reward Learning for LLMs
School of Computer Science, Fudan University(复旦大学计算机学院);School of Computer Science, Peking University(北京大学计算机学院);Microsoft(微软公司)
本文提出自进化奖励学习(SER)方法,让奖励模型通过生成额外训练数据迭代自我改进,实验证明在有限人类标注数据下也能稳健提升奖励模型性能,从而增强大语言模型能力。
2025-06-03 cs.AI cs.CL
SuperHF: Supervised Iterative Learning from Human Feedback
LMU München(慕尼黑大学);Stanford University(斯坦福大学)
针对SFT和RLHF的优缺点,提出SuperHF方法,用监督损失和KL散度先验替代PPO,通过在线学习自主生成数据,在保持性能的同时显著简化实现并提升稳定性。
2023-10-25 cs.AI cs.CL cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学);University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI)
提出SAVE框架,利用价值函数生成在线策略反馈,通过对比学习更新奖励模型,在六个基准上超越现有方法。
2026-05-29 cs.CL
Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF
Carnegie Mellon University(卡内基梅隆大学);University of Maryland, College Park(马里兰大学帕克分校)
研究如何提高扩散模型中强化学习从人类反馈的效率,提出选择性时间步加权和基于优势的重放两种互补策略,通过强调信息丰富的时间步和轨迹优化,提升反馈效率,样本效率比基线提高6倍。
2026-07-09 cs.AI cs.CV cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Mila(蒙特利尔大学Mila)
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题,提出用梯度正则化使训练偏向奖励更准确区域,理论推导并实证验证,还改进方法,结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG