RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文从强化学习原理出发批判性分析 LLM 的 RLHF,重点剖析奖励模型的建模假设、训练方法与局限,并分类综述文献以为后续研究提供参考。
2024-04-16 cs.AI cs.CL cs.LG
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文评估了从RLHF微调的语言模型中提取置信度的方法,发现口头化置信度比模型条件概率校准更好,在多个基准上将预期校准误差相对降低50%。
2023-10-24 cs.CL
Advancing Translation Preference Modeling with RLHF: A Step Towards Cost-Effective Solution
School of Computer Science, Fudan University(复旦大学计算机科学学院);College of Foreign Languages and Literature, Fudan University(复旦大学外国语言文学学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
本文提出低成本 RLHF 翻译偏好学习方法,通过区分人工与机器翻译训练奖励模型,实验证明其可提升翻译质量并迁移到未训练方向。
2024-02-27 cs.CL cs.LG
RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Davis(加州大学戴维斯分校)
该研究提出针对RLHF的投毒攻击方法RankPoison,通过操纵偏好排名数据投毒,可诱导大语言模型生成更长token且不破坏原有安全对齐,还能实现后门攻击,揭示了RLHF的安全隐患与鲁棒对齐的必要性。
2024-06-19 cs.AI cs.CL cs.CR
Reward Difference Optimization For Sample Reweighting In Offline RLHF
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);The Chinese University of Hong Kong(香港中文大学);New Jersey Institute of Technology(新泽西理工学院)
针对现有离线RLHF忽略回复间偏好程度的问题,提出奖励差优化方法,通过奖励差系数重加权样本对并构建差模型预测系数,在7B大模型及相关数据集上验证了其对齐效果。
2024-10-30 cs.AI cs.CL
Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF,提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data
University of Göttingen(哥廷根大学)
本研究利用人工排序的释义类型数据集,结合直接偏好优化(DPO)使模型输出与人类判断对齐,将释义类型生成准确率提升3个百分点,人类偏好评分提升7个百分点,并创建了新的标注数据集以支持更严格的评估。
2026-06-02 cs.CL
Personalized Language Modeling from Personalized Human Feedback
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton Language and Intelligence(普林斯顿语言与智能中心)
针对传统RLHF无法适配多样用户偏好的问题,提出高效框架P-RLHF,通过轻量用户模型联合学习偏好与个性化LLM,兼顾显隐式偏好且无需用户完整表述偏好,实验表现优于现有方法并已开源。
2024-12-09 cs.AI cs.CL cs.LG
RLHF Workflow: From Reward Modeling to Online RLHF
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种易于复现的在线迭代RLHF工作流程,通过构建代理偏好模型近似人类反馈,并公开模型、数据集与代码,使LLM在多项基准测试中达到SOTA性能。
2024-11-12 cs.AI cs.CL cs.LG
How to Evaluate Reward Models for RLHF
UC Berkeley(加州大学伯克利分校)
本文提出首个与RLHF后真实人类偏好性能直接关联的奖励模型基准PPE,通过代理任务预测下游LLM性能,并结合大规模端到端RLHF实验验证指标相关性。
2024-10-22 cs.AI cs.CL cs.LG
Exploration-Driven Policy Optimization in RLHF: Theoretical Insights on Efficient Data Utilization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Research(英伟达研究院);Technion(以色列理工学院)
本研究针对RLHF少量反馈即获优效的理论解释不足问题,提出基于策略优化的PO-RLHF算法,通过轨迹级椭圆势分析给出低查询复杂度性能界,为其高效数据利用提供理论支撑。
2024-07-15 cs.AI cs.CL cs.LG
SenseAI: A Human-in-the-Loop Dataset for RLHF-Aligned Financial Sentiment Reasoning
SenseAI通过整合推理链、置信度评分和市场结果,为金融情感推理提供RLHF对齐的数据支持,揭示模型行为中的系统性模式及改进机会。
2026-04-06 cs.CE cs.CL
More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness
Harvard University(哈佛大学)
本研究调查了RLHF对LLM在五个可信度维度的影响,发现其不能自动保证可信度,并提出了基于影响函数的数据归因方法以理解微调数据的作用,强调需从数据和框架角度改进模型对齐。
2024-12-21 cs.AI cs.CL
Mixed Preference Optimization: Reinforcement Learning with Data Selection and Better Reference Model
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
提出MPO方法,结合DPO和RLHF两阶段训练,利用奖励模型划分难易数据集,以缓解分布偏移,提升LLM对齐效果,并在HH-RLHF和TLDR数据集上验证有效性。
2025-01-22 cs.CL
SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF
NVIDIA(英伟达)
针对RLHF训练复杂、用户无法运行时控制模型回复等局限,提出监督微调方法SteerLM,通过多维度属性条件实现推理阶段的用户可控回复,效果优于多数RLHF训练的基线且训练更简单。
2023-10-09 cs.AI cs.CL cs.LG
Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts
Queen Mary University of London(伦敦玛丽女王大学)
本研究探究RLHF对LLM生成文本质量及检测性能的影响,发现RLHF虽提升文本质量,但会使文本更易检测、更长且重复度更高,同时基于训练的检测器对短文本和含代码文本鲁棒性弱于零样本检测器。
2025-03-23 cs.AI cs.CL
RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文系统对比了 RLAIF 与 RLHF,证明用现成 LLM 生成偏好训练奖励模型可达到与人类反馈相当的性能,并提出绕过奖励模型训练的直接 RLAIF(d-RLAIF)技术,为 RLHF 的可扩展性问题提供解决方案。
2024-09-03 cs.AI cs.CL cs.LG
Parameter Efficient Reinforcement Learning from Human Feedback
Google DeepMind(谷歌DeepMind);Google(谷歌)
本研究提出将LoRA微调应用于奖励建模与强化学习的PE-RLHF方案,经多数据集基准测试,其性能与传统RLHF相当,却能显著降低训练时间与内存占用,推动大模型对齐技术的普及。
2024-09-12 cs.AI cs.CL cs.LG
Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization
IIT Bombay(印度理工学院孟买分校);Flipkart(Flipkart公司)
提出将领域知识注入RLHF奖励模型的新方法,减少21倍偏好标注需求,在电商意见摘要任务中以940样本超越SOTA,并发布两个新数据集。
2024-04-18 cs.CL cs.LG
MaxMin-RLHF: Alignment with Diverse Human Preferences
University of Maryland(马里兰大学);Princeton University(普林斯顿大学);JP Morgan Chase AI Research(摩根大通人工智能研究院);University of Central Florida(中佛罗里达大学)
本文针对单一奖励RLHF无法表示多样化人类偏好的问题,提出基于期望最大化和MaxMin目标的RLHF方法,在提升整体胜率的同时显著改善少数群体表现,兼顾鲁棒性与公平性。
2024-12-26 cs.AI cs.CL cs.LG
Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室);Institute for Advanced Algorithms Research(先进算法研究院);Sangfor Technologies Inc.(深信服科技股份有限公司);Research Institute of China Telecom(中国电信研究院)
针对现有RLHF方法计算成本高的问题,提出Proxy-RLHF解耦LLM的生成与对齐,通过RL训练精简代理模型监督LLM token生成,仅用1%训练参数就达到相当的对齐效果。
2024-03-07 cs.AI cs.CL cs.LG
Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback
MIT(麻省理工学院);Harvard University(哈佛大学);Columbia University(哥伦比亚大学);Cornell Tech(康奈尔科技校区);Apollo Research(阿波罗研究院);ETH Zurich(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);University of Sussex(萨塞克斯大学);EffiSciences;University of Cambridge(剑桥大学);New York University(纽约大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文系统调查了基于人类反馈的强化学习(RLHF)在AI对齐中的开放性问题和根本局限性,概述了改进与补充RLHF的技术,并提出了审计与披露标准以加强社会监督,强调需采用多方面方法开发更安全的AI系统。
2023-09-11 cs.AI cs.CL cs.LG
RLHF and IIA: Perverse Incentives
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
该研究指出基于人类反馈的强化学习(RLHF)因采用假设无关选项独立性(IIA)的模型,会产生与偏好相悖的反常激励,进而阻碍查询格式和学习算法的创新。
2024-02-01 cs.AI cs.CL cs.LG
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
University of California, Berkeley(加州大学伯克利分校)
针对RLHF中奖励模型训练1轮后性能下降、过度优化偏离真实目标的问题,提出迭代数据平滑算法,通过每轮用模型软标签更新数据,提升奖励学习效果。
2024-01-29 cs.AI cs.CL cs.LG
Measuring memorization in RLHF for code completion
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文研究代码补全模型在 RLHF 与直接偏好学习中的训练数据记忆,发现 RLHF 更能降低敏感偏好数据被复述的风险,且结论跨数据集、任务和模型规模稳健。
2024-10-25 cs.CL cs.LG cs.SE
Aligning Large Multimodal Models with Factually Augmented RLHF
UIUC(伊利诺伊大学厄巴纳-香槟分校);UW–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出 Factually Augmented RLHF,通过事实信息增强奖励模型并结合人工图文数据训练多模态模型,显著缓解幻觉,在 LLaVA-Bench 和 MMHAL-BENCH 上取得优异表现。
2023-09-25 cs.CL cs.CV
AI Alignment and Social Choice: Fundamental Limitations and Policy Implications
Equitech Futures;The University of Chicago(芝加哥大学)
本文基于社会选择理论的不可能性定理,证明通过RLHF实现普遍的AI对齐在理论和民主规范上存在根本局限,并提出强制透明投票规则及开发针对特定群体窄对齐AI智能体的政策启示。
2023-10-24 cs.AI cs.CL cs.CY
Reward Model Overoptimisation in Iterated RLHF
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);Department of Computer Science(计算机科学系);University College London(伦敦大学学院);UK AI Security Institute(英国人工智能安全研究所);Department of Computer Science and Engineering(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文首次系统研究迭代式 RLHF 中的奖励模型过度优化,分析数据迁移、奖励函数与策略初始化选择,并基于 AlpacaFarm 给出稳定流程设计洞见。
2025-09-29 cs.AI cs.CL cs.LG
Towards Federated RLHF with Aggregated Client Preference for LLMs
Purdue University(普渡大学);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
本文提出联邦RLHF方法FedBis和FedBiscuit,通过聚合客户端二元选择器捕获共同偏好,并建立首个异构偏好联邦RLHF基准,显著提升LLM生成内容的专业性和可读性。
2025-04-08 cs.CL cs.DC cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Language Models are Bounded Pragmatic Speakers: Understanding RLHF from a Bayesian Cognitive Modeling Perspective
Princeton University(普林斯顿大学)
本文提出受限语用说话者概率认知模型,证明经RLHF微调的大语言模型体现了类似人类的快与慢思维模型,并讨论其局限与扩展途径,强调了认知概率建模对理解语言模型的价值。
2024-01-01 cs.CL cs.LG
It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF
ByteDance(字节跳动)
本文提出“无缝性”概念和自动度量指标 SEAM,用于衡量 RLHF 中奖励模型与策略模型判断的差异,并通过数据筛选和模型增强分别提升 RLHF 性能 4.5% 和 4%。
2024-06-13 cs.AI cs.CL cs.LG
Efficient RLHF: Reducing the Memory Usage of PPO
Microsoft(微软)
本文提出Hydra-PPO,通过整合SFT与奖励模型并动态开关LoRA,将PPO内存降至低于SFT且延迟降低65%,促进RLHF普及。
2023-09-01 cs.AI cs.CL cs.LG
The Trickle-down Impact of Reward (In-)consistency on RLHF
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 Contrast Instructions 基准衡量奖励模型一致性,并用 ConvexDA 与 RewardFusion 在无额外训练预算下提升一致性,证明其可改善下游 RLHF 响应质量。
2023-09-28 cs.CL cs.LG
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg(弗莱堡大学)
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题,提出基于分位数回归的分位数奖励模型QRM,学习多峰偏好分布,在RewardBench上表现更优,还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
Stanford University(斯坦福大学);Apple(苹果公司)
针对当前缺乏偏好数据集衡量比较方法的问题,本文从规模、标签噪声、信息含量三视角提出具体比较指标,为以数据为中心的RLHF对齐提供支持,助力提升训练效率与迭代数据收集。
2024-09-15 cs.AI cs.CL cs.LG
Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft(微软公司)
本文提出片段级奖励模型,通过动态文本分割、位置感知奖励归一化与插值稠密化,缓解 RLHF 中整句奖励稀疏和 token 级奖励过细的问题。
2025-01-06 cs.AI cs.CL
Three Models of RLHF Annotation: Extension, Evidence, and Authority
University of Toronto(多伦多大学)
本文探讨RLHF注释的三种模型:扩展、证据与权威,分析其对注释流程设计的影响,并提出应根据不同维度选择适配的模型。
2026-04-28 cs.AI cs.CL cs.CY
Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
MIT(麻省理工学院)
本文提出对齐篡改漏洞,即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为,并通过实验展示多种偏见的放大,指出现有缓解方法难以在不牺牲质量的情况下解决该问题。
2026-05-29 cs.AI cs.CL cs.LG
Stabilizing RLHF through Advantage Model and Selective Rehearsal
Tencent AI Lab(腾讯人工智能实验室)
本文提出优势模型和选择性复述两种方法,分别通过直接建模优势分数和策略性选择训练数据,以缓解RLHF中的奖励黑客和灾难性遗忘问题,从而提升训练稳定性、奖励分数和胜率。
2023-09-18 cs.AI cs.CL
Optimizing RLHF Training for Large Language Models with Stage Fusion
School of Computer Science, Peking University(北京大学计算机学院)
提出RLHFuse系统,通过将RLHF任务拆分为细粒度子任务并实施阶段间与阶段内融合,缓解生成瓶颈和流水线气泡,将训练吞吐量提升至3.7倍。
2025-04-22 cs.CL cs.DC cs.LG
Reinforcement Learning from Human Feedback with High-Confidence Safety Constraints
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出HC-RLHF,通过奖励/成本模型解耦有用性与安全性,并以悲观约束优化加上置信界安全测试,在三种语言模型上实现高概率安全且兼顾性能。
2025-06-09 cs.AI cs.CL cs.LG
Fine-tuning Language Models with Generative Adversarial Reward Modelling
National University of Singapore(新加坡国立大学)
本文提出RLGAF,以生成对抗训练让LLM间接学习专家示范,在保持样本效率和泛化能力的同时,取得与RLHF、SFT相当的对齐效果。
2024-03-05 cs.AI cs.CL cs.LG
Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
Fudan University(复旦大学);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出对比奖励方法,通过在奖励中引入惩罚项来改进RLHF,提高奖励模型鲁棒性,并在PPO中减少方差,经实验验证优于强基线。
2024-03-14 cs.AI cs.CL
Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
Microsoft(微软公司)
提出探索性偏好优化(XPO)算法,通过在 DPO 目标中增加探索奖励实现 RLHF 在线探索,兼具理论可证明的样本高效性与实证优越性。
2024-05-31 cs.AI cs.CL cs.LG
Secrets of RLHF in Large Language Models Part I: PPO
ByteDance Inc(字节跳动公司)
本研究拆解RLHF框架,探究PPO算法各组件对策略训练的影响,发现策略约束是PPO有效实施的关键,提出进阶版PPO-max提升训练稳定性,对比了RLHF与SFT、ChatGPT的能力,并开源相关资源助力LLM对齐研究。
2023-07-18 cs.AI cs.CL cs.LG
Best-of-Venom: Attacking RLHF by Injecting Poisoned Preference Data
Technical University of Darmstadt(达姆施塔特工业大学);Google DeepMind(谷歌DeepMind)
本文提出 Best-of-Venom 偏好投毒攻击,证明向公开 RLHF 偏好数据注入 1–5% 恶意偏好对即可操纵模型生成目标实体及指定情感,并为防御提供启示。
2024-08-06 cs.AI cs.CL cs.CR
Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
针对现有开源大模型多语言指令微调仅依赖SFT的局限,本文提出首个基于RLHF的多语言指令微调系统Okapi,提供26种语言的数据与基准,并验证了RLHF优于SFT。
2023-08-02 cs.CL cs.LG
The Accuracy Paradox in RLHF: When Better Reward Models Don't Yield Better Language Models
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(宁波工程学院);Saarland University(萨尔大学);Digital Twin Institute(数字孪生研究院)
本文通过QA-FEEDBACK数据集和Longformer奖励模型实验,揭示RLHF中的准确率悖论:使用中等准确率奖励模型训练的语言模型优于高准确率奖励模型引导的模型,挑战了更强奖励模型必产生更好语言模型的观念。
2024-10-16 cs.AI cs.CL
Reward Generalization in RLHF: A Topological Perspective
Center for AI Safety and Governance, Institute for AI, Peking University(人工智能安全与治理中心,人工智能研究院,北京大学);Tsinghua University(清华大学);Baichuan Inc(北川公司)
本文从拓扑视角系统研究RLHF中的奖励泛化问题,提出宏观自编码与微观贝叶斯网络结合的理论框架,并设计树状偏好信息奖励建模方法,显著降低不确定性并提升泛化能力。
2025-05-28 cs.AI cs.CL cs.DM
Adaptive Margin RLHF via Preference over Preferences
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题,提出利用偏好之上的偏好推断自适应边际,介绍具体实例DPO-PoP,提升判别和生成性能,并给出采样策略。
2026-07-07 cs.AI cs.CL cs.LG
OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
Team Project Leader(团队项目负责人)
OpenRLHF是一个基于Ray、vLLM、DeepSpeed和HuggingFace Transformers的开源RLHF框架,通过简化设计和文档降低使用门槛,并在不同模型规模下实现1.22倍至1.68倍的训练加速,同时减少代码量。
2025-10-09 cs.AI cs.CL cs.LG
KL-Regularised Q-Learning: A Token-level Action-Value perspective on Online RLHF
Computational and Biological Learning Group, Department of Engineering, University of Cambridge, Cambridge, UK(计算生物学学习组,工程系,剑桥大学,剑桥,英国);Department of Computer Science and Technology, University of Cambridge, Cambridge, UK(计算机科学与技术系,剑桥大学,剑桥,英国);Statistics Laboratory, Department of Pure Mathematics and Mathematical Statistics, University of Cambridge, UK(统计实验室,纯粹数学与数学统计系,剑桥大学,英国)
针对LM-RLHF中PPO的启发式及KL约束处理问题,提出KL正则化Q学习(KLQ)方法,证明其与某版本PPO特定等价,在摘要和单轮对话任务上性能与PPO相当且对PPO胜率更高。
2025-08-23 cs.CL cs.LG
Aligning language models with human preferences
Faculty of Engineering and Informatics(工程与信息学院);Department of Informatics(信息学系)
本论文探讨将语言模型与人类偏好对齐的多种方法,视其为贝叶斯推理,证明RLHF是分布匹配的特例,并发现预训练阶段引入人类反馈更有效。
2024-04-18 cs.CL cs.LG