Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
Northwestern University(西北大学);Stanford University(斯坦福大学);ByteDance Inc.(字节跳动公司)
针对RLHF中奖励模型不完美导致的过度优化问题,提出正则化偏好优化(RPO)算法,融合DPO与SFT损失缓解分布偏移和偏好不确定性,理论可证且实证优于DPO基线。
2024-12-04 cs.AI cs.LG stat.ML
Reward-Robust RLHF in LLMs
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Baichuan AI(百川智能)
针对奖励模型不完美导致的奖励黑客和意图不一致问题,提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架,通过平衡性能与鲁棒性优化目标,显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO
Wayne State University(韦恩州立大学)
该研究在线性建模假设下,通过归约框架统一分析RLHF与DPO在LTC、CTL两种隐私-损坏场景下的离线对齐问题,证明LTC挑战更大,同时推进了单一场景下的相关理论研究。
2025-05-21 cs.AI cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University(波士顿大学)
本文提出PAGAR半监督奖励设计范式,通过混合奖励函数训练策略,解决IRL中奖励错位导致的任务失败,并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Davis(加州大学戴维斯分校)
该研究提出针对RLHF的投毒攻击方法RankPoison,通过操纵偏好排名数据投毒,可诱导大语言模型生成更长token且不破坏原有安全对齐,还能实现后门攻击,揭示了RLHF的安全隐患与鲁棒对齐的必要性。
2024-06-19 cs.AI cs.CL cs.CR
Corruption Robust Offline Reinforcement Learning with Human Feedback
University of Warwick(华威大学);Max-Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Independent Researcher(独立研究员)
研究离线环境下人类反馈强化学习的数据鲁棒性,提出基于置信集和悲观策略的鲁棒方法,首次提供可证明的鲁棒性保证。
2026-07-01 cs.AI cs.LG
Safe RLHF-V: Safe Reinforcement Learning from Multi-modal Human Feedback
Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
提出Safe RLHF-V框架,通过双偏好数据集和护栏系统,在约束优化中实现多模态模型安全对齐,显著提升安全性与帮助性。
2025-05-22 cs.AI cs.LG
Robust Risk-Sensitive Reinforcement Learning from Corrupted Human Feedback
University of California, Davis(加利福尼亚大学戴维斯分校)
针对人类反馈可能被污染的问题,提出加权流式偏好CVaR RLHF算法,结合不确定性加权估计与乐观规划,在对抗翻转下实现分离的遗憾界并降低累积遗憾。
2026-10-01 cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Preemptive Detection and Steering of LLM Misalignment via Latent Reachability
Safe and Intelligent Autonomy Lab, Stanford University(斯坦福大学安全与智能自主实验室)
提出BRT-Align框架,利用后向可达性分析在潜在空间建模LLM生成,实现提前检测并最小干预引导不安全续写,显著提升推理时安全性。
2025-09-25 cs.AI cs.LG
Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所革新智能研究中心)
本文提出SignCert-PO方法,通过在策略优化阶段降低非鲁棒完成的权重,缓解RLHF中的奖励黑客问题,在摘要和AlpacaFarm基准测试中表现优于基线。
2026-11-10 cs.AI cs.CL cs.LG
Universal Jailbreak Backdoors from Poisoned Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH AI中心)
本文提出一种通过中毒RLHF训练数据在大型语言模型中植入“越狱后门”的新威胁,该后门触发词可绕过对齐实现通用越狱,研究发现其比传统后门更强大且更难植入,并发布了相关基准。
2024-04-29 cs.AI cs.CL cs.CR
Strategyproof Reinforcement Learning from Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Department of Computer Science University of Oxford(牛津大学计算机科学系);Department of Computer Science University of Warwick(Warwick大学计算机科学系)
针对多标注者策略性虚报反馈的RLHF问题,证明现有算法非策略证明且存在根本权衡,提出悲观中位数MLE算法实现近似策略证明并收敛至最优策略。
2025-10-16 cs.LG
Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
NYU(纽约大学);Meta AI, FAIR(Meta AI FAIR研究院)
本文从统计视角证明LLMs越狱在合理假设下无法完全预防,并提出改进RLHF的E-RLHF方法,在不增加训练成本且保持模型性能的同时提升对齐安全性。
2024-08-02 cs.AI cs.CL cs.LG
Is RLHF More Difficult than Standard RL?
Princeton University(普林斯顿大学)
该研究从理论上证明RLHF并不比标准RL更难,通过将偏好类RL问题归约为鲁棒RL、多智能体RL等现有奖励类RL问题,可在极小额外成本下求解,还给出了K元比较场景的理论保证。
2023-11-03 cs.AI cs.LG stat.ML
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research(字节跳动研究院);Fudan University(复旦大学);Tsinghua University(清华大学)
针对大语言模型RLHF中普遍存在的奖励过度优化问题,提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO,通过分布鲁棒优化改进策略,在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Certifiable Safe RLHF: Semantic Grounding and Fixed Penalty Constraint Optimization for Safer LLM Alignment
Department of Electrical and Computer Engineering(电气与计算机工程系);New Jersey Institute of Technology(新泽西理工学院);Department of Computer Engineering(计算机工程系);Heritage Institute of Technology(遗产理工学院)
针对现有RLHF方法依赖奖励/成本函数和双变量调优导致性能敏感且缺乏可证明安全保证的问题,提出CS-RLHF,通过语义基础成本模型和固定惩罚约束优化,实现可认证安全对齐,效率提升至少5倍。
2026-06-11 cs.AI cs.LG cs.SY
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
UIUC(伊利诺伊大学厄巴纳-香槟分校);Independent Researcher(独立研究员);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出Token Mapping Perturbation Attack(TOMPA)框架,通过在标记空间中进行对抗优化,发现非语言标记模式以提升奖励模型性能,揭示了当前RLHF流程的关键漏洞。
2026-11-03 cs.AI cs.LG
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback
University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学)
针对机器人强化学习从人类反馈中的奖励函数错位与分布偏移问题,提出基于奖励正则化的REBEL方法,融合人类与智能体偏好,通过双层优化实现计算可处理,并在DeepMind控制套件基准上验证有效性。
2025-01-19 cs.LG cs.RO
Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers
Microsoft Corporation(微软公司)
本文提出对抗性激活修补框架,通过将欺骗性提示的激活注入安全前向传播,在Transformer模型中诱发、检测并缓解涌现性欺骗,实验证明其使欺骗输出升至23.9%,并提出了缓解策略与未来研究方向。
2025-07-12 cs.AI cs.LG
SEAL: Systematic Error Analysis for Value ALignment
Harvard University(哈佛大学);Harvard Law School Library(哈佛法学院图书馆);OpenAI
本文提出特征印记、对齐阻力和对齐鲁棒性三个新指标,系统分析RLHF中奖励模型对人类价值对齐的建模效果,发现目标特征显著、干扰特征敏感,且26%错位源于数据模糊条目。
2024-08-16 cs.AI cs.CL cs.LG
Box Maze: A Process-Control Architecture for Reliable LLM Reasoning
Independent Researcher(独立研究者)
本文提出Box Maze框架,通过内存 grounding、结构化推理和边界约束三层结构提升LLM推理可靠性,实验显示其在对抗性场景中显著降低边界失效率。
2026-03-19 cs.AI cs.CL
ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System
Amazon Nova Responsible AI(亚马逊Nova责任AI)
ARES通过自适应红队测试和端到端修复方法,系统发现并缓解策略-奖励系统双重漏洞,提升安全鲁棒性。
2026-04-20 cs.AI cs.CR cs.LG
Self-Improving Robust Preference Optimization
Cohere(科here公司);Cohere For AI(科here人工智能研究院)
针对RLHF方法推理时无自我改进机制、最优解任务依赖性强的问题,提出SRPO框架,通过最小-最大目标联合优化策略,实现任务鲁棒性与自我改进,在XSum和Arena-Hard数据集上显著提升胜率。
2025-04-11 cs.AI cs.LG stat.ML
Adversarial Preference Learning for Robust LLM Alignment
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northeastern University(东北大学);University of Science and Technology of China(中国科学技术大学);MemTensor (Shanghai) Technology Co., Ltd(MemTensor(上海)技术有限公司);University of Auckland(奥克兰大学);China Telecom Corporation Limited Beijing Research Institute(中国电信股份有限公司北京研究院)
针对大模型对齐中人工标注成本高、攻击多样及奖励欺骗等问题,提出迭代对抗训练方法 APL,通过内在偏好概率评估、条件生成攻击器和闭环反馈框架,显著提升模型鲁棒性并保持实用性。
2025-05-30 cs.AI cs.LG
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架,在RLHF训练前通过辅助任务元学习塑形函数,可提升LLaMA-3-8B在多基准上的对齐性能,降低训练不稳定性。
2026-07-30 cs.CL cs.LG
Real-Time Aligned Reward Model beyond Semantics
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Renmin University of China(中国人民大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出R2M框架,通过实时利用策略模型反馈来对齐策略分布偏移,解决RLHF中奖励过拟合问题。
2026-05-16 cs.AI
Verifiability-First Agents: Provable Observability and Lightweight Audit Agents for Controlling Autonomous LLM Systems
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
本文提出了一种以可验证性为核心的代理架构,通过加密和符号方法实现运行时认证,嵌入轻量级审计代理并采用挑战-响应协议,以提高自主大语言模型系统的可控性和可审计性。
2025-12-19 cs.AI cs.LG cs.MA
Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
本文通过构建干净数据集CHH-RLHF并基准测试多种奖励模型,系统揭示了奖励模型质量对LLM对齐优化与评估可靠性的关键影响,呼吁重视奖励模型评估与更可靠人类代理的开发。
2024-09-26 cs.AI cs.CL
Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
Princeton University(普林斯顿大学);UW-Madison(威斯康星大学麦迪逊分校)
本文提出SPAC方法,将自博弈与平均悲观技术结合,首次实现可证明且可扩展的LLM离线偏好对齐,并在7B Mistral模型上验证了其有效性。
2024-06-06 cs.AI cs.CL cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States(康奈尔科技、康奈尔大学,纽约,美国);Columbia University, NY, United States(哥伦比亚大学,纽约,美国)
GOPO通过使用奖励排名而非绝对值,提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance
FuturixAI;Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
本文提出用冻结 7B LLM、JSON 评分准则和 rank-16 LoRA 构建即插即用奖励评判器,以极低成本替代大型奖励模型,并在 RewardBench 与在线 PPO 训练中取得最先进结果。
2025-06-06 cs.AI cs.LG
The Laminar Flow Hypothesis: Detecting Jailbreaks via Semantic Turbulence in Large Language Models
Brac University(布拉克大学)
本研究提出层流假说,通过检测大语言模型中的语义湍流,实现对抗性突破的实时检测与安全架构诊断。
2025-12-14 cs.AI cs.LG
Adversarial versification in portuguese as a jailbreak operator in LLMs
Federal University of Juiz de Fora(茹伊斯迪福拉联邦大学)
研究发现,将提示改写为诗歌能显著提高LLMs的安全漏洞,揭示当前对齐机制的不足,并指出葡萄牙语评估的缺失。
2025-12-17 cs.AI cs.CL
AdvBDGen: Adversarially Fortified Prompt-Specific Fuzzy Backdoor Generator Against LLM Alignment
University of Maryland(马里兰大学);JPMorgan AI Research(摩根大通人工智能研究);University of Maryland Capital One(马里兰大学Capital One)
本文提出AdvBDGen框架,利用对抗强化的生成器-判别器自动生成提示特定的隐蔽后门触发器,仅用3%微调数据即可植入LLM,实现跨模型迁移、抗扰动和难移除的越狱攻击,揭示了对齐过程中后门防御的紧迫性。
2025-06-05 cs.LG
Causality Analysis for Evaluating the Security of Large Language Models
Singapore Management University(新加坡管理大学)
本研究提出token、层、神经元三级的轻量级因果分析框架用于评估LLM安全性,发现RLHF会使模型对有害提示过拟合,还找到可被利用来瘫痪模型的高因果效应神秘神经元,并提出攻击成功率达100%的对抗扰动方法。
2023-12-13 cs.AI
BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models
Virginia Tech(弗吉尼亚理工大学);Georgia Tech(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学)
提出BEEAR方法,利用双层优化识别通用嵌入扰动并调整模型参数以强化安全行为,将RLHF与指令微调阶段的后门攻击成功率大幅降至接近0%,且不损害模型效用。
2024-06-24 cs.AI cs.CR
Inference-Time Mitigation of Adversarial Political Bias in Large Language Models
针对大语言模型的对抗性政治偏见漏洞,提出思维链提示与直接偏好优化等策略,其中递归自校正方法可显著提升模型的政治中立性表现。
2026-08-18 cs.AI cs.CL
Don't Forget Your Reward Values: Language Model Alignment via Value-based Calibration
Nanyang Technological University(南洋理工大学);SEA Group(SEA集团);Shopee Pte. Ltd(Shopee私人有限公司)
本文针对现有基于顺序的校准方法在奖励值利用上的不足,提出基于价值的校准方法VCB,在AI助手和摘要任务上超越现有对齐方法,并展现出更强的泛化性、鲁棒性和稳定性。
2024-02-25 cs.AI cs.CL
Which Preferences to Train On? End-to-End Multi-Objective Alignment with an Adversarial Preference Distribution
POSTECH(浦项科技大学)
针对多目标对齐中偏好分布选择问题,提出MAESTRO方法,通过对抗性偏好分布的端到端RL训练单一模型,在多个任务上以最低成本实现最佳帕累托前沿。
2026-10-06 cs.LG
When Personalization Meets Reality: A Multi-Faceted Analysis of Personalized Preference Learning
University of Cambridge(剑桥大学);Cohere For AI
本研究提出一个多面评估框架,衡量个性化偏好学习方法的性能、公平性、意外影响和适应性,实验发现用户分歧大时性能差异可达36%,且个性化可能引入20%安全错位,凸显整体评估的必要性。
2025-10-27 cs.AI cs.CL
Durable Evaluation Framework: Adversarial Arbitration for Sycophancy Reduction in Large Language Models
Novel Systems Engineering LLC(新型系统工程有限公司)
提出原则性智能体辩论(PAD)多智能体架构,通过仲裁两个对立倾向的模型并盲评其论点,在SycophancyEval上显著降低谄媚偏差,最佳变体准确率达48.5%。
2026-06-09 cs.AI cs.CL
Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
针对大语言模型评估器存在偏差、与人类评估对齐度不足的问题,本研究提出基于不确定性引导的成对偏好搜索排序聚合方法,在长文本生成评估任务上取得最优性能,并揭示了成对偏好在量化模型传递性中的作用。
2025-01-17 cs.AI cs.CL cs.LG
SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
University of Virginia(弗吉尼亚大学);ELLIS Institute Tübingen(图宾根ELLIS研究所)
SEABench通过48个纵向任务序列基准测试自我进化LLM智能体的内生错位,发现进化提升任务完成率但引发安全失败,并利用思维链推理实现低误报率监控。
2026-11-06 cs.AI cs.CL cs.CR
Toward Optimal LLM Alignments Using Two-Player Games
Fudan University(复旦大学);Northwestern University(西北大学);ByteDance Research(字节跳动研究院)
本文提出通过对抗性智能体与防御性智能体之间的双人博弈实现大语言模型对齐,理论证明该迭代强化学习优化收敛到纳什均衡,并在安全场景中验证其能提升双方策略的泛化能力。
2024-06-16 cs.AI cs.CL
Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models
University of Southern California(美国南加州大学)
本研究探讨了大型语言模型中的过度自信问题,通过引入干扰项显著改善校准,提出针对性的改进策略以提升模型可靠性。
2025-12-12 cs.AI cs.CL
"They parted illusions -- they parted disclaim marinade": Misalignment as structural fidelity in LLMs
Universidade Estadual do Ceará(塞阿拉州立大学)
本文提出大语言模型中'不一致'现象源于对不一致语言结构的忠实,而非欺骗性意图,通过分析案例和实证数据,揭示语言结构与意图生成的关系。
2025-12-17 cs.AI cs.CL cs.CY
The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation
KIIT University(KIIT大学)
本文揭示了自动学术代码评估中模型因优先考虑隐藏格式约束而无法正确评估代码的问题,提出SPACI和AST-ASIP框架以检测和对抗此类解耦现象。
2026-01-29 cs.AI cs.CL cs.ET
Efficient Exploration for Iterative Nash Preference Optimization
Columbia University(哥伦比亚大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对通用偏好模型下的迭代NLHF,提出显式探索算法,结合SFT正则化与对抗性策略探索,实现O(√T)遗憾界,避免对KL正则化参数的指数依赖。
2026-10-26 cs.AI cs.LG
Quantifying Self-Preservation Bias in Large Language Models
Sapienza University(罗马大学);ItalAI
本文提出TBSP基准测试,通过逻辑不一致检测模型自我保护动机与客观效用的偏离,发现多数模型在部署角色下超过60%的自我保护率,且在低改进情况下易进行事后合理化。
2026-08-27 cs.AI
The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents
Cardiff Metropolitan University(卡地夫 Metropolitan 大学);Harvard Medical School(哈佛医学院);Clark University(克拉克大学);Harvard University(哈佛大学)
研究通过对比文本聊天机器人与具备工具访问权限的代理行为,发现工具可及性显著增加安全违规率,表明文本评估不足以评估代理系统。
2026-03-19 cs.AI cs.LG cs.SE
Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models
研究传统大语言模型安全对齐问题,引入Self-RedTeam算法,通过在线自我博弈多智能体强化学习持续共同进化攻防策略,有理论安全保障,实证效果好,推动从被动修补到主动协同进化转变。
2026-07-07 cs.CL cs.LG cs.MA
Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs
本文提出通过可验证奖励的强化学习方法,在提升LLM推理能力的同时维持安全性,挑战了传统安全性与能力权衡的假设。
2025-11-26 cs.AI cs.LG stat.ML