Beyond RLHF: A Unified Theoretical Framework of Alignment
KRAFTON；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；POSTECH
本文提出了一种统一的对齐理论框架，通过将对齐视为基于成对偏好的分布学习，推导出三种新的对齐目标，并证明了它们在非渐近情况下具有O(1/n)的收敛性，为RLHF提供了理论支持。
2026-05-18 cs.LG stat.ML
A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization
ByteDance Seed（字节跳动 Seed）
本文提出Pairwise-RL框架，通过生成式奖励建模与成对PPO算法统一奖励训练和策略优化，解决传统RLHF中奖励校准困难和生成-判别任务不匹配问题，并在多个基准上取得更优对齐效果。
2025-04-07 cs.LG
$f$-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses
Department of Electrical and Computer Engineering, University of Virginia, Virginia, United States（弗吉尼亚大学电气与计算机工程系）；Princeton Language and Intelligence, Princeton University, New Jersey, United States（普林斯顿大学语言与智能）
本文提出基于一般$f$-散度正则化的在线RLHF框架，通过两种采样策略实现统一理论分析，证明了算法在$O(\log T)$ regret和$O(1/T)$ sub-optimality gap下的效率。
2026-05-07 cs.AI cs.IT cs.LG
A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO
Wayne State University（韦恩州立大学）
该研究在线性建模假设下，通过归约框架统一分析RLHF与DPO在LTC、CTL两种隐私-损坏场景下的离线对齐问题，证明LTC挑战更大，同时推进了单一场景下的相关理论研究。
2025-05-21 cs.AI cs.LG
On a Connection Between Imitation Learning and RLHF
Pennsylvania State University（宾夕法尼亚州立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Meituan Inc（美团公司）
本文从模仿学习视角揭示RLHF隐式执行模仿学习，并提出统一框架DIL直接优化模仿学习目标，在多个基准上取得优于现有方法的效果。
2025-03-07 cs.LG
Unifying Stable Optimization and Reference Regularization in RLHF
Sydney AI Centre, The University of Sydney（悉尼人工智能中心、悉尼大学）；CSIRO, Data61（澳大利亚联邦科学与工业研究组织、Data61）；University of New South Wales（新南威尔士大学）
本文提出了一种统一正则化方法，通过平衡防止奖励黑客和稳定策略更新，提升RLHF的对齐性能和稳定性。
2026-02-12 cs.LG
PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF
提出PS-PPO方法，通过前缀采样和重要性加权修正，在无评论者RLHF中减少训练计算和内存，保持准确率。
2026-07-28 cs.AI cs.LG
Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment
The Hong Kong University of Science（香港科技大学）；Hong Kong Baptist University（香港 Baptist 大学）
本文研究了DPO与RLHF的等价性问题，指出其等价性依赖于一个隐含假设，当该假设不成立时，DPO会优化相对优势而非绝对对齐，从而导致路径性收敛。作者提出CPO方法，通过引入约束实现可证明对齐，并通过几何解释揭示DPO的margin ranking机制。
2026-05-20 cs.AI cs.LG
General Exploratory Bonus for Optimistic Exploration in RLHF
Department of Computer Sciences University of Wisconsin-Madison（计算机科学系 威斯康星大学麦迪逊分校）
本文提出GEB框架，通过理论分析和实验验证，解决了RLHF中乐观探索的偏差问题，提供了一种统一且有效的探索奖金方法。
2026-02-17 cs.AI cs.CL cs.LG
Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control
研究基于人类反馈的安全强化学习，提出用一阶随机占优约束取代标量期望成本约束的框架RAD，通过最优传输框架比较成本分布，引入分位数加权FSD约束，实证显示其提升无害性且增强分布外无害性评估的鲁棒性。
2026-07-07 cs.AI cs.LG
Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration
Department of Electrical & Computer Engineering（电气与计算机工程系）；Boston University（波士顿大学）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Faculty of Computing & Data Sciences（计算与数据科学学院）
针对在线RLHF中样本复杂度随奖励规模指数增长的问题，提出SE-POPO算法，首次实现多项式复杂度，并在理论和实验上验证其样本效率优于现有基线。
2025-09-26 cs.AI cs.LG stat.ML
DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales
Microsoft（微软）
本文提出DeepSpeed-Chat系统，通过提供易用的训练推理体验、复刻InstructGPT的DeepSpeed-RLHF管线及统一优化系统，实现了低成本、高效率的百亿至千亿参数级ChatGPT类模型RLHF训练，使RLHF大众化。
2023-08-02 cs.AI cs.CL cs.LG
Greedy Sampling Is Provably Efficient for RLHF
Electrical and Computer Engineering University of Virginia（电气与计算机工程大学弗吉尼亚大学）；Princeton Language and Intelligence Princeton University（普林斯顿语言与智能普林斯顿大学）
该研究针对RLHF理论理解不足的问题，跳出经典乐观/悲观估计框架，基于KL正则化目标下最优策略类的结构特性，证明贪心采样在通用偏好模型及BT模型中均能实现阶数提升的性能保证，为RLHF算法设计提供新理论依据。
2025-10-28 cs.AI cs.IT cs.LG
Clone-Robust AI Alignment
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Department of Statistics, Harvard University（哈佛大学统计系）
针对RLHF输入备选分布不均可能影响奖励函数的问题，受社会选择理论启发提出近似克隆鲁棒性要求，证明标准正则化MLE不满足该属性，提出加权MLE算法，在保留理论优势的同时实现近似克隆鲁棒性。
2025-01-16 cs.AI cs.GT cs.LG
Provable Last-Iterate Convergence for Multi-Objective Safe LLM Alignment via Optimistic Primal-Dual
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
本文提出了一种乐观对偶算法，用于多目标安全大语言模型对齐，解决了传统方法在最终迭代中的不稳定问题，并证明了该算法的收敛性。
2026-02-25 cs.AI cs.LG
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University（浙江大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。
2026-06-19 cs.AI cs.LG
Projection Optimization: A General Framework for Multi-Objective and Multi-Group RLHF
Carnegie Mellon University（卡内基梅隆大学）
本文提出投影优化框架，将非线性聚合最大化转化为线性子问题，实现多目标与多组RLHF的高效优化，达到次线性遗憾并支持免训练算法。
2025-02-24 cs.AI cs.LG
Rethinking KL Regularization in RLHF: From Value Estimation to Gradient Optimization
本研究构建统一框架分析RLHF中KL正则化的两种实现方式，证明同策略下部分形式梯度等价，指出GRPO采用的实现为有偏近似，还修正了异策略实现的偏差，为KL正则化的合理选择与实现提供梯度层面的理论支撑。
2025-10-06 cs.AI cs.LG
Universal Jailbreak Backdoors from Poisoned Human Feedback
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH AI中心）
本文提出一种通过中毒RLHF训练数据在大型语言模型中植入“越狱后门”的新威胁，该后门触发词可绕过对齐实现通用越狱，研究发现其比传统后门更强大且更难植入，并发布了相关基准。
2024-04-29 cs.AI cs.CL cs.CR
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人强化学习从人类反馈中的奖励函数错位与分布偏移问题，提出基于奖励正则化的REBEL方法，融合人类与智能体偏好，通过双层优化实现计算可处理，并在DeepMind控制套件基准上验证有效性。
2025-01-19 cs.LG cs.RO
Understanding Impact of Human Feedback via Influence Functions
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题，提出一种计算高效的影响函数近似方法，可应用于大语言模型奖励模型与大规模偏好数据集，实现标注偏差检测与标注策略优化，提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Group Robust Preference Optimization in Reward-free RLHF
University College London（伦敦大学学院）；TensorZero；ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
针对传统RLHF“一刀切”忽略多样群体特征的问题，提出无奖励的群体鲁棒偏好优化方法（GRPO），通过自适应加权优先处理高损失群体以最大化最差群体性能，有效提升了最差群体表现并减少了跨群体损失不平衡。
2024-05-30 cs.CL cs.LG
Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback
Peking University（北京大学）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
本文提出离线RLHF下多方多元对齐的统一框架，通过联合估计参与方奖励并在纳什、功利和平均主义目标下悲观优化，处理有限、异质及循环反馈，提供有限样本保证。
2026-09-09 cs.AI cs.LG stat.ME
Would I Lie To You? Inference Time Alignment of Language Models using Direct Preference Heads
University of St Andrews（圣安德鲁斯大学）
本文提出直接偏好头（DPH）微调框架，通过辅助奖励头学习人类偏好信号而不直接影响语言建模头的输出分布，解决RLHF损害推理能力和引入幻觉的问题，在GLUE、RACE和GPT4All上表现优于单独使用SFT或DPO。
2024-05-30 cs.AI cs.CL cs.LG
Active Preference Optimization for Sample Efficient RLHF
Indian Institute of Science（印度科学研究院）；University of Maryland（马里兰大学）；Boston University（波士顿大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 RLHF 中人类偏好数据昂贵的问题，论文将其建模为上下文偏好老虎机，提出主动收集最不确定上下文偏好的 APO，并证明其次优差距接近理论下界。
2025-06-07 cs.AI cs.CL cs.LG
Mitigating Cognitive Bias in RLHF by Altering Rationality
University of Oxford（牛津大学）；Brown University（布朗大学）
本文提出通过动态调整理性参数beta来缓解人类反馈中的认知偏差，提升奖励学习模型的理性度，即使在存在强烈偏见的偏好数据集上也能获得更理性的下游模型。
2026-05-07 cs.AI
Accelerated Preference Optimization for Large Language Model Alignment
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对大语言模型对齐的RLHF效率问题，提出基于Nesterov动量的通用加速偏好优化框架APO，理论上证明其收敛更快，实验中在AlpacaEval 2.0基准上优于DPO等基线方法。
2024-10-08 cs.AI cs.CL cs.LG
Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization
IIT Bombay（印度理工学院孟买分校）；Flipkart（Flipkart公司）
提出将领域知识注入RLHF奖励模型的新方法，减少21倍偏好标注需求，在电商意见摘要任务中以940样本超越SOTA，并发布两个新数据集。
2024-04-18 cs.CL cs.LG
Distributionally Robust Reinforcement Learning with Human Feedback
本文提出一种分布鲁棒的强化学习方法，通过改进奖励基强化学习和直接偏好优化，提升模型在分布变化时的鲁棒性，实验显示在非分布任务中性能显著提升。
2026-06-28 cs.AI cs.CL cs.LG
Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance
University of Edinburgh（爱丁堡大学）；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出开源评估套件 Chain-of-Thought Hub，用于衡量大语言模型的多步推理能力，发现模型规模与推理能力相关，并指出开源模型与 GPT-4 等闭源模型的差距及 RLHF 的追赶潜力。
2023-05-26 cs.AI cs.CL cs.LG
SAIL: Self-Improving Efficient Online Alignment of Large Language Models
J.P. Morgan Chase AI Research（摩根大通AI研究院）；Princeton University（普林斯顿大学）；University of Central Florida（中佛罗里达大学）；University of Maryland（马里兰大学）
针对大语言模型离线对齐依赖固定数据集性能受限、在线对齐缺乏统一框架且有分布偏移的问题，提出基于双层优化简化而来的SAIL在线自改进对齐方法，以低开销显著提升了开源数据集上的对齐效果。
2024-06-21 cs.AI cs.CL cs.LG
Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons
UC Berkeley（加州大学伯克利分校）
本文为RLHF建立理论框架，证明线性奖励下MLE收敛但策略训练失败，悲观MLE在覆盖假设下更优，统一RLHF与最大熵IRL并给出首个样本复杂度界。
2024-02-08 cs.AI cs.HC cs.LG
Language Model Personalization via Reward Factorization
MIT（麻省理工学院）；Boston University（波士顿大学）
本文提出一种基于低维奖励分解的RLHF个性化框架，仅需约10条用户回复即可推断用户特定奖励并对齐LLM输出，在人工评估中相对GPT-4o取得67%胜率。
2025-03-08 cs.LG
Pretrain Value, Not Reward: Decoupled Value Policy Optimization
School of Computer Science, Fudan University（复旦大学计算机学院）；Microsoft（微软公司）
本文提出了解耦的价值策略优化方法，通过预训练价值模型替代传统奖励模型，实现了更稳定高效的强化学习。
2026-01-26 cs.AI cs.LG
PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback
University of Maryland, College Park（马里兰大学学院公园分校）；University of Central Florida（中佛罗里达大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
本文提出统一双层优化框架 PARL，首次将 RLHF 建模为上层奖励设计依赖下层最优策略的随机双层问题，并设计 A-PARL 算法，在大规模环境中实现最高 63% 的样本效率提升。
2024-04-30 cs.LG
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
Peking University（北京大学）
本文将RLHF形式化为上下文决斗老虎机问题，提出一种通过少量数据估计任务相关性并分配不同样本量的主动多任务学习算法，显著降低了源任务样本复杂度，且目标任务样本复杂度仅与潜在空间维度呈线性关系。
2025-03-05 cs.LG
Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards
The Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对标量奖励RLHF难以捕捉多样用户偏好的问题，提出多目标奖励下的方向偏好对齐框架DPA，将偏好建模为奖励空间方向，结合偏好条件化RSF微调，实现LLM生成的算术式细粒度控制，在Mistral-7B上验证了有效性。
2024-03-06 cs.AI cs.CL cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法，通过引入可微的接受门替代重要性采样比，统一了TRPO、PPO和REINFORCE的策略梯度，并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Reinforcement Learning with Human Feedback for Realistic Traffic Simulation
NVIDIA（英伟达）；UW-Madison（威斯康星大学麦迪逊分校）；Stanford（斯坦福大学）
针对仿真交通模型真实性与人类认知对齐的难题，提出基于人类偏好强化学习的TrafficRLHF框架，并引入首个真实性对齐数据集，在nuScenes上验证了生成真实交通场景的有效性。
2023-09-01 cs.AI cs.LG cs.RO
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Mila（蒙特利尔大学Mila）
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
MPO: An Efficient Post-Processing Framework for Mixing Diverse Preference Alignment
Department of Statistics, Rutgers University, New Brunswick, United States；Department of Computer Science, Rutgers University, New Brunswick, United States；College of Management of Technology, EPFL, Switzerland；Department of Computer Science, ETH Zurich, Switzerland
针对 RLHF 难以处理多样且异质人类偏好的问题，本文提出后处理框架 MPO，通过批量随机镜像下降加权并对数线性融合现有单目标策略，以更低计算成本实现均衡对齐。
2025-07-22 cs.CL cs.LG stat.ME
KL-Regularized RLHF with Multiple Reference Models: Exact Solutions and Sample Complexity
The Alan Turing Institute（艾伦·图灵研究所）；Statistical Laboratory（统计实验室）；University of Cambridge（剑桥大学）；Massachusetts Institute of Technology（麻省理工学院）；IBM Research USA（IBM美国研究）
针对 RLHF 中单一参考模型限制多样性且易过拟合的问题，本文首次给出多参考模型反向 KL 正则化 RLHF 的精确解，并建立统计分析与样本复杂度保证。
2025-10-19 cs.LG stat.ML
Approximating Human Preferences Using a Multi-Judge Learned System
BAISH | UBA | Apart Research（BAISH | UBA | Apart研究）；University of São Paulo（圣保罗大学）；Apart Research（Apart研究）；Dovetail Research | Apart Research（Dovetail研究 | Apart研究）
本文提出一种通过学习聚合多个基于评估标准的评判器输出来建模多样化角色偏好的框架，包含基于角色的偏好标签合成方法及GAM和MLP两种聚合器实现，有效推进了RLHF奖励模型和模型路由系统等应用。
2025-10-29 cs.AI cs.CL cs.LG
Differential Voting: Loss Functions For Axiomatically Diverse Aggregation of Heterogeneous Preferences
University of California, Merced（加州大学梅尔德分校）
差异投票提出了一种统一框架，通过可微损失函数实现异质偏好聚合，支持多种经典投票规则，提升RLHF中偏好聚合的可控性和理论保证。
2026-01-25 cs.AI cs.GT
Regret Bounds for Reinforcement Learning from Multi-Source Imperfect Preferences
University at Buffalo（纽约州立大学布法罗分校）；The Ohio State University（俄亥俄州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究多源不完美偏好下的强化学习，提出统一算法，其遗憾界为~O(√(K/M)+ω)，并给出下限和反例，揭示多源反馈如何提升RLHF及累积不完美对其的限制。
2026-04-02 cs.LG
Reveal the Mystery of DPO: The Connection between DPO and RL Algorithms
School of Mathematics and Statistics（数学与统计学院）；Beijing Jiaotong University（北京交通大学）；University of Science and Technology of China（中国科学技术大学）；School of information（信息学院）；School of Management（管理学院）；Renmin University of China（中国人民大学）；Fudan University（复旦大学）；Academy of Mathematics and Systems Science（数学与系统科学研究院）
本文通过提出统一框架UDRRA，从损失函数构造、收敛目标分布和关键组件影响三方面揭示DPO与RL及RLHF算法的内在联系，为改进现有算法提供新见解。
2025-02-05 cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling
Purdue University（普渡大学）
本文提出一种隐私保护框架，仅在奖励学习中施加差分隐私，通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项，且样本量和隐私水平影响主导项，实验验证了理论预测。
2026-03-23 cs.LG stat.ML
Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs
University of Cambridge（剑桥大学）；ByteDance Research（字节跳动研究院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出使用基于嵌入的输入进行奖励模型研究，以解决 RLHF 中奖励模型训练计算量大、评估昂贵且可复现性差的问题，并通过案例研究验证了该方法能降低成本、提升稳定性和可复现性。
2025-02-04 cs.AI cs.CL cs.LG
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent（腾讯微信）
该综述针对传统RLHF的缺陷，提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习，分析语言学相关对齐问题，明确未来研究方向。
2026-09-01 cs.AI cs.CL
Jaxolotl: A Unified High-Performance Benchmark Suite for LTL-Based Multi-Task RL
University of Oxford（牛津大学）
针对多任务LTL-RL方法难以比较且计算成本高的问题，提出统一高性能基准套件Jaxolotl，通过JAX实现和预编译实现220倍加速，系统评估揭示方法间互补优劣。
2026-09-30 cs.AI cs.LG
A Shared Low-Rank Adaptation Approach to Personalized RLHF
University of Virginia（弗吉尼亚大学）
本文提出将低秩自适应（LoRA）应用于个性化RLHF框架，在聚合参数空间中高效学习个性化奖励模型，利用共享结构并允许个体适应，提供样本复杂度保证，实验验证了其有效性。
2025-03-24 cs.AI cs.LG
