DeCoRL: Decoupling Reasoning Chains via Parallel Sub-Step Generation and Cascaded Reinforcement for Interpretable and Scalable RLHF
Ziyuan Gao 1(某大学);Di Liang 2(某大学);Xianjie Wu 3(某大学);Philippe Morel 1(某大学);Minlong Peng 2(某大学)
DeCoRL通过并行子步骤生成和级联强化学习,实现了推理链的解耦,提升了推理效率、可解释性和系统性能。
2025-11-11 cs.CL
RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation
Princeton University(普林斯顿大学)
针对RLHF因评估者依赖可被AI输出影响的前瞻预测而产生系统性错位,本文提出RLHS,通过向评估者展示事后模拟结果解耦对齐信号,并在多场景与基准中验证其更优且可泛化的对齐效果。
2025-06-10 cs.AI cs.CL cs.LG
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所革新智能研究中心)
本文提出SignCert-PO方法,通过在策略优化阶段降低非鲁棒完成的权重,缓解RLHF中的奖励黑客问题,在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Cost-Effective Proxy Reward Model Construction with On-Policy and Active Learning
University of Washington(华盛顿大学);Microsoft Corporation(微软公司)
针对RLHF中人类偏好数据不足、在线算法专家查询成本高的问题,首次提出结合同策略查询与主动学习的代理奖励模型构建策略,用少量标注数据实现高效偏好标注,提升模型性能且可与其他策略融合降本。
2024-07-09 cs.AI cs.CL cs.LG
Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond
University of Cambridge(剑桥大学)
本文从强化学习视角阐明RLHF的原理,指出其本质为在线逆强化学习,并探讨了RLHF优于SFT的原因、奖励模型作为反馈代理的泛化性及PPO的稳定性优势。
2023-10-09 cs.AI cs.LG
Confronting Reward Model Overoptimization with Constrained RLHF
Gatsby Unit, UCL(伦敦大学学院盖茨比单元);Strategy Robot, Inc.(战略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
本文首次研究复合奖励模型中的过度优化问题,提出用约束强化学习动态加权各RM,防止超过有效性阈值,提升评估性能。
2023-10-10 cs.AI cs.LG
DLPO: Diffusion Model Loss-Guided Reinforcement Learning for Fine-Tuning Text-to-Speech Diffusion Models
The Ohio State University(俄亥俄州立大学)
本文探索将RLHF应用于文本到语音扩散模型,提出DLPO方法,利用MOS预测作为代理损失,实验证明DLPO能更有效地提升生成语音的自然度与质量。
2024-11-15 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
University of Science and Technology of China(中国科学技术大学)
提出FiMi-RM框架,通过自学习长度与奖励的非线性关系并解耦,有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。
2026-06-25 cs.AI cs.LG
When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient
Some Institute(某些研究所)
本文探讨了在策略梯度方法中,不完美奖励的错误并非全然有害,通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响,提出了改进人类反馈强化学习和可验证奖励设计的实用方法。
2026-04-28 cs.AI cs.LG stat.ML
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出PE-RLHF框架,将人类反馈与物理知识协同融入强化学习训练,通过物理增强的人机协作、代理价值函数和最小干预机制,确保策略性能不低于物理策略,在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
From Demonstrations to Rewards: Alignment Without Explicit Human Preferences
University of Minnesota(明尼苏达大学);Amazon(亚马逊)
本文提出基于逆强化学习的对齐方法,直接从示范数据学习奖励模型,无需偏好数据即可获得与现有仅用示范数据的 SOTA 方法相当或更优的效果。
2025-03-15 cs.AI cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法,将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程,并保证了全局收敛性。
2026-04-21 cs.LG
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
Northwestern University(西北大学);Stanford University(斯坦福大学);ByteDance Inc.(字节跳动公司)
针对RLHF中奖励模型不完美导致的过度优化问题,提出正则化偏好优化(RPO)算法,融合DPO与SFT损失缓解分布偏移和偏好不确定性,理论可证且实证优于DPO基线。
2024-12-04 cs.AI cs.LG stat.ML
OpenBezoar: Small, Cost-Effective and Open Models Trained on Mixes of Instruction Data
Surge Global
本研究以OpenLLaMA 3Bv2为基础,通过生成合成数据并采用QLoRA和DPO等方法,训练出OpenBezoar系列模型,在3B参数规模上性能优越,并开源了模型和数据。
2024-04-18 cs.CL cs.LG
Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback
Department of Statistics and Operations Research, University of North Carolina(统计与运筹学系,北卡罗来纳大学);Imperial Business School, Imperial College London(帝国理工学院伦敦商学院);Department of Management Science and Engineering, Stanford University(管理科学与工程系,斯坦福大学)
本文提出Wasserstein分布鲁棒遗憾优化(DRRO)用于强化学习从人类反馈,通过简单分配模型研究提示问题,展示在ℓ1-地面成本Wasserstein模糊集下,内最坏遗憾有精确解,最优策略具有水填充结构,从而实现高效政策梯度算法。
2026-08-11 cs.CL cs.LG math.OC
Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
本文通过构建干净数据集CHH-RLHF并基准测试多种奖励模型,系统揭示了奖励模型质量对LLM对齐优化与评估可靠性的关键影响,呼吁重视奖励模型评估与更可靠人类代理的开发。
2024-09-26 cs.AI cs.CL
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation
KIIT University(KIIT大学)
本文揭示了自动学术代码评估中模型因优先考虑隐藏格式约束而无法正确评估代码的问题,提出SPACI和AST-ASIP框架以检测和对抗此类解耦现象。
2026-01-29 cs.AI cs.CL cs.ET
Aligning to Illusions: Choice Blindness in Human and AI Feedback
研究揭示RLHF中偏好构建的问题,显示人类和AI反馈中的选择盲区受上下文影响,导致奖励信号失真。
2026-03-09 cs.AI cs.CL
AlphaToken: Decoupling Adaptation and Stability for Path-Aware Response Token Valuation in LLM Post-Training
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
提出AlphaToken框架,通过解耦适应性(促进目标任务学习)和稳定性(保持预训练能力)并引入路径感知机制,利用Fisher漂移代理和Ghost点积扩展实现高效令牌估值,从而在微调和偏好优化中屏蔽低价值令牌,提升后训练性能并缓解灾难性遗忘。
2026-06-01 cs.AI cs.CL
LIRE: listwise reward enhancement for preference alignment
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Communication Content Cognition(通信内容认知国家重点实验室)
本文提出LIRE,一种基于梯度的列表式奖励优化方法,将多响应离线奖励纳入精简框架,无需在线采样,解决了RLHF实施复杂及成对比较局限的问题,并在多个基准上表现优异。
2024-06-04 cs.CL cs.LG
Rent-Seeking Language Models: Reward Models Set the Prices, Frequent Audits Curb the Rent
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究将RLHF的奖励过优化重新定义为寻租,通过测试平台发现RL会将代理奖励增益的41%-66%转化为寻租,频繁温和审计可抑制寻租,还发现策略会停在审计阈值以下的迹象。
2026-10-14 cs.LG
Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations
AIPD, Tencent, Shenzhen, China(腾讯人工智能与大数据研究院,深圳,中国);IIIS, Tsinghua University, Beijing, China(清华大学人工智能学院,北京,中国);EE, Tsinghua University, Beijing, China(清华大学电子工程系,北京,中国);CS, Tsinghua University, Beijing, China(清华大学计算机系,北京,中国);SEAS, Harvard University, Cambridge, USA(哈佛大学工程学院,剑桥,美国);College of AI, Tsinghua University, Beijing, China(清华大学人工智能学院,北京,中国)
本文提出通过生成连续归一化流生成奖励,训练LLM生成更准确、逻辑严谨且认知负担更低的解释,以提升智能体与人类共存的可靠性。
2026-02-12 cs.CL cs.LG
Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks
Ministry of Justice, Taiwan(台湾法务部)
本文针对法律基准中答案与权威脱钩问题,联合审计四款LLMs在台湾律师考试题上的表现,发现答案与引用行为可独立变化,提出答案与权威联合评估的方法。
2026-08-05 cs.AI cs.CL
Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL
Purdue University(普渡大学);hi-lab, Xiaohongshu Inc.(小红书实验室,小红书公司)
针对一步生成器强化学习中奖励优化与生成动力学不匹配的问题,提出基于积分KL最小化的无数据轨迹级对齐框架DIDR,通过扩散奖励分数和代理估计器实现奖励驱动的校正,在一步SDXL和6B DiT骨干网络上取得帕累托优势。
2026-11-11 cs.AI cs.CV cs.LG
Scalable Ensembling For Mitigating Reward Overoptimisation
Stanford University(斯坦福大学)
针对RLHF中语言模型易出现奖励过度优化的问题,提出共享编码器加独立线性头的可扩展集成方案,在保持性能的同时显著降低大模型训练的内存与时间成本。
2024-06-18 cs.CL cs.LG
Mechanical Enforcement for LLM Governance:Evidence of Governance-Task Decoupling in Financial Decision Systems
Santander AI Lab(Santander AI实验室)
本文提出五种治理指标,用于评估政策在决策理由层面的合规性,并在合成银行领域比较纯文本治理与机械执行的效果,发现机械执行能显著提升决策信息内容和任务准确性,表明治理与任务评估是两个独立的维度。
2026-05-14 cs.AI cs.CL cs.CY
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research(字节跳动研究院);Fudan University(复旦大学);Tsinghua University(清华大学)
针对大语言模型RLHF中普遍存在的奖励过度优化问题,提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO,通过分布鲁棒优化改进策略,在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Rewarded soups: towards Pareto-optimal alignment by interpolating weights fine-tuned on diverse rewards
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Meta AI
本文提出奖励汤方法,通过独立微调多个网络并线性插值权重,实现多样奖励下的帕累托最优对齐,在多个任务上验证了有效性。
2023-10-16 cs.AI cs.CV cs.LG
Evaluation of Best-of-N Sampling Strategies for Language Model Alignment
Nara Institute of Science and Technology(奈良科学技术研究所);CyberAgent(CyberAgent公司);Advanced Telecommunications Research Institute International(国际电气通信基础技术研究所)
针对最佳N(BoN)采样的奖励黑客问题,本研究分析正则化策略影响,提出随机RBoN(SRBoN)和句子长度正则化BoN方法,通过AlpacaFarm等数据集实证验证其缓解奖励黑客、提升性能的效果。
2025-02-18 cs.CL
When Alignment Hurts: Decoupling Representational Spaces in Multilingual Models
MBZUAI(马克斯·普朗克人工智能研究所);NICT, Japan(日本信息通信技术研究所);IIT Madras(印度理工学院Madras分校)
本文揭示多语言模型中高资源标准语(如MSA)的表征纠缠会损害低资源变体生成,并提出在线变分探测框架实现子空间解耦,在25种阿拉伯语方言上平均提升+2.0 chrF++。
2025-08-18 cs.CL
Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对传统奖励模型黑箱不可解释的问题,提出结合多维度绝对评分多目标奖励模型ArmoRM与混合专家门控策略的两阶段方法,在RewardBench上取得SOTA,性能超GPT-4评判法且接近大参数量奖励模型。
2024-06-18 cs.CL cs.LG
RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);The Hong Kong University of Science and Technology(香港科技大学)
RED提出一种令牌级奖励再分配方法,利用现成奖励模型为每个令牌分配信用,无需修改模型或额外训练,以低成本提升强化学习对齐性能。
2025-09-11 cs.AI cs.CL
Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
本研究提出CD-RFT方法,定义后训练控制系数揭示RL后训练的共享控制瓶颈,通过正则化减少控制坍缩,在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升,效果可迁移至Llama-3.2-3B。
2026-08-11 cs.LG
Uncertainty-Penalized Direct Preference Optimization
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对 DPO 中模糊或错标偏好对导致的奖励过度优化问题,本文引入受离线强化学习启发的不确定性惩罚,减弱高不确定样本梯度,并在 GPT2 Medium 与 Anthropic-HH 上验证其优于原始 DPO。
2024-10-26 cs.AI cs.LG stat.ML
ScaleDoc: Scaling LLM-based Predicates over Large Document Collections
Tsinghua University(清华大学)
本文提出ScaleDoc系统,通过将谓词执行分为离线表示阶段和优化的在线过滤阶段,解决了大规模文档分析中大语言模型高推理成本的问题,实现了端到端速度提升和LLM调用成本降低。
2026-03-03 cs.AI cs.DB cs.LG
Averaging log-likelihoods in direct alignment
Cohere
针对直接对齐中因补全长度不同导致对数似然非长度不变的问题,引入新平均算子使损失内对数似然平均化,实现长度不变性,并实证揭示了生成长度与分数间的权衡。
2024-06-27 cs.LG
Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment
CyberAgent(赛博agent(CyberAgent))
本文提出MBR-BoN方法,通过将最小贝叶斯风险目标作为邻近正则化项融入Best-of-N采样,在推理时缓解奖励欺骗问题,并在多个数据集和直接偏好优化数据生成任务中显著优于基线方法。
2025-01-29 cs.AI cs.CL
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple Inc.(苹果公司)
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题,提出Hindsight PRIOR策略,利用世界模型估计状态重要性并引导奖励分配,显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Length Desensitization in Direct Preference Optimization
Shanghai Jiao Tong University(上海交通大学);Meituan Inc.(美团公司)
针对直接偏好优化(DPO)存在的长度敏感性及冗长输出问题,提出LD-DPO方法,通过解耦显式长度偏好与隐式偏好实现长度脱敏,实验表明其在多个模型和基准上优于DPO,响应长度减少10-40%且更贴近人类偏好。
2024-11-28 cs.CL cs.LG
Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系);Parametrix Technology Company Ltd.(参数科技有限公司)
本文提出D3PO方法,无需训练奖励模型即可直接微调扩散模型,有效降低计算开销与成本,并在实验中展现出与真实奖励方法相当的效果,同时减少图像失真并提升安全性。
2024-03-23 cs.AI cs.CV cs.LG
STARS: Synchronous Token Alignment for Robust Supervision in Large Language Models
Purdue University(普渡大学);Amazon(亚马逊);Arizona State University(亚利桑那州立大学)
STARS通过同步标记对齐方法提升大语言模型的对齐性能,实现稳健监督和高效系统吞吐。
2026-03-02 cs.CL
Reward Model Ensembles Help Mitigate Overoptimization
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
针对RLHF中奖励模型易出现的过度优化问题,本研究验证了基于集成的WCO、UWO保守优化目标结合BoN、PPO方法的缓解效果,证实其可有效抑制过度优化并提升性能。
2024-03-10 cs.LG
Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);National Computer Network Emergency Response Technical Team, Coordination Center of China (CNCERT/CC)(国家计算机网络应急技术处理协调中心)
本文提出TTP-Detect框架,通过解耦检测与注入,实现非侵入性的第三方水印验证,提升检测性能和抗攻击能力。
2026-04-13 cs.CL cs.CR
Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning
研究针对异步强化学习中陈旧问题,提出陈旧自适应信赖域(SAT)方法,利用分离采样对数比率等技术识别高不匹配尾部并收缩PPO区间端点,实验表明该方法有效稳定异步强化学习,在特定设置下取得较好结果。
2026-07-27 cs.CL cs.LG
Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization
National School of Artificial Intelligence (ENSIA)(国立人工智能学院(ENSIA));Cosys-Grettia, Univ Gustave Eiffel(古斯塔夫·埃菲尔大学 Cosys-Grettia 实验室)
提出HiReLC框架,通过层次强化学习实现深度神经网络的联合量化和结构化剪枝,利用Fisher信息引导的集成投票协调全局预算分配,在Vision Transformer和CNN上实现5.99-6.72倍压缩比,精度损失可控。
2026-06-25 cs.AI cs.LG math.OC
The Reward Model Selection Crisis in Personalized Alignment
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);Agency for Science, Technology and Research (A*STAR)(科技研究局);Samsung AI Research Center(三星人工智能研究中心)
该研究指出当前个性化对齐方法依赖于不准确的代理指标,提出策略准确性作为评估标准,并展示简单上下文学习在大模型中优于奖励引导方法。
2026-10-21 cs.AI cs.LG
Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment
University of Minnesota(明尼苏达大学);Chinese University of Hong Kong(香港中文大学);Texas A&M University(德克萨斯农工大学)
本文提出用逆强化学习从人类演示中同时学习奖励模型与策略,以增强 LLM 的 SFT 对齐,并在 1B、7B 模型上验证其鲁棒性和性能提升。
2024-10-27 cs.AI
Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations
Shanghai Jiao Tong University(上海交通大学);Huawei Noah's Ark Lab(华为诺亚实验室);Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济管理学院)
本文提出MARC方法,通过模块化调整和任务解耦,解决LLM表示压缩中的MRA问题,提升推荐系统效率与效果。
2026-04-21 cs.AI cs.CL cs.IR
Ad Insertion in LLM-Generated Responses
University of Michigan(密歇根大学);Peking University(北京大学);The University of Hong Kong(香港大学)
本文提出了解耦广告插入与响应生成、以及竞价与用户查询的框架,通过基于类型拍卖机制实现近最优的社会福利,同时提高计算效率和上下文一致性。
2026-08-26 cs.AI cs.CL cs.GT
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT;Amazon(亚马逊)
本文提出DQO方法,用预训练翻译质量估计模型替代人类偏好,并将DPO式对齐用于NMT,仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL