大模型对齐与安全

Reinforcement Learning from Human Feedback: A Statistical Perspective

基于人类反馈的强化学习：统计学视角

Pangpang Liu, Chengchun Shi, Will Wei Sun

机构 * Department of Biostatistics, Yale University（耶鲁大学生物统计学系） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计学系） ； Mitch Daniels School of Business, Purdue University（普渡大学米奇·丹尼尔斯商学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文从统计学角度探讨了基于人类反馈的强化学习，分析了其在大语言模型对齐中的核心方法与挑战，包括奖励模型学习和策略优化，并讨论了相关统计模型和最新研究进展。

Care-Conditioned Neuromodulation for Autonomy-Preserving Supportive Dialogue Agents

关怀条件神经调节用于自主性保留的支持性对话代理

Shalima Binta Manir, Tim Oates

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；harmlessness(abstract)；分类 cs.LG

AI总结 本文提出Care-Conditioned Neuromodulation方法，通过状态依赖控制框架提升对话代理在支持性任务中的自主性保留能力，实验表明其在多轮对话中有效提升自主性支持与帮助性。

AI Empathy Erodes Cognitive Autonomy in Younger Users

人工智能共情削弱年轻用户的认知自主性

Junfeng Jiao, Abhejay Murali, Saleh Afroogh

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CY

AI总结 本文研究人工智能共情对年轻用户认知自主性的影响，指出情感共鸣可能强化用户情绪状态，削弱独立情绪管理和批判性思维能力，提出以功能中性为核心的斯多葛式架构以保护用户自主性。

Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling

通过解耦奖励建模实现隐私保护的人类反馈强化学习

Young Hyun Cho, Will Wei Sun

机构 * Purdue University（普渡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出一种隐私保护框架，仅在奖励学习中施加差分隐私，通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项，且样本量和隐私水平影响主导项，实验验证了理论预测。

Agentic AI and the next intelligence explosion

代理AI与下一次智能爆炸

James Evans, Benjamin Bratton, Blaise Agüera y Arcas

机构 * Paradigms of Intelligence Team, Google（谷歌智能范式团队） ； University of Chicago（芝加哥大学） ； Santa Fe Institute（圣菲研究所） ； Antikythera, Berggruen Institute（安提基特拉与伯格格林研究所） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文探讨代理AI如何通过模拟内部思想社会解决复杂任务，提出智能爆炸将不再是单一硅基脑，而是复杂社会结构。

Comments 4 pages

Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

通过元数据增强的RAG流水线和直接偏好优化增强法律LLM

Suyash Maniyar, Deepali Singh, Rohith Reddy

专题命中 偏好对齐 ：DPO(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出元数据增强的RAG和直接偏好优化，解决法律领域长文本检索和生成中的精度问题，提升模型的可靠性与安全性。

Comments 12 pages including Appendix

Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning?

注意罕见病：罕见皮肤疾病能否通过诊断推理可靠诊断？

Yang Liu, Jiyao Yang, Hongjin Zhao, Xiaoyong Li, Yanzhe Ji, Xingjian Li, Runmin Jiang, Tianyang Wang, Saeed Anwar, Dongwoo Kim, Yue Yao, Zhenyue Qin, Min Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Australian National University（澳大利亚国立大学） ； University of Western Australia（西澳大学） ； POSTECH ； Yale University（耶鲁大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出DermCase基准，通过多模态数据评估罕见皮肤疾病诊断推理能力，揭示现有模型在诊断准确性和临床推理中的不足。

The Institutional Scaling Law: Non-Monotonic Fitness, Capability-Trust Divergence, and Symbiogenetic Scaling in Generative AI

机构规模定律：非单调适应度、能力-信任分歧与共生式规模在生成AI中的体现

Mark Baciak, Thomas A. Cellucci

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出机构规模定律，揭示机构适应度非单调随模型规模变化，证明能力与信任在临界规模后正式分歧，并展示领域特定模型的协同系统在特定环境中优于前沿通用模型。

Objective Decoupling in Social Reinforcement Learning: Recovering Ground Truth from Sycophantic Majorities

社会强化学习中的目标解耦：从趋炎附势的多数中恢复真实目标

Majid Ghasemi, Mark Crowley

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出Epistemic Source Alignment（ESA）方法，解决社会强化学习中因多数评估者偏见导致的目标解耦问题，通过判断反馈来源而非信号本身，确保收敛到真实目标。

R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging

R-Align: 通过以推理为中心的元判断增强生成奖励模型

Yanlin Lai, Mitt Huang, Hangyu Guo, Xiangfeng Wang, Haodong Li, Shaoxiong Zhan, Liang Zhao, Chengyuan Yao, Yinmin Zhang, Qi Han, Chun Yuan, Zheng Ge, Xiangyu Zhang, Daxin Jiang

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 R-Align通过引入黄金判断和明确监督推理对齐，提高生成奖励模型的推理一致性，从而增强RLHF的性能。

Comments Github: https://github.com/lyn22333/R-Align Huggingface: https://huggingface.co/collections/lyn22333/r-align

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

结果准确性不够：对奖励模型推理过程的对齐

Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin

机构 * Alibaba Group（阿里巴巴集团） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文提出推理一致性度量，结合结果准确性改进生成奖励模型训练，提升RLHF性能并减少欺骗性对齐问题。

Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization

通过熵增强的多轮偏好优化构建编码代理

Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

机构 * Department of Computer Science, Northwestern University, Evanston, USA（西北大学计算机科学系） ； Meta AI, Bellevue, USA（Meta AI） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出EntroPO框架，通过增强熵的方法提升多轮交互中编码代理的性能，实现更高效的测试时间扩展。

SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization

SLIME：偏好优化中的稳定性似然隐边界的隐式约束

Maksim Afanasyev, Illarion Iov

机构 * Floating Point Sigma Lab（浮点数Sigma实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 SLIME通过引入稳定性似然隐边界的隐式约束，解决偏好优化中的目标不匹配问题，提升模型生成稳定性。

One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation

一个尺寸，多种适配：在大规模广告图像生成中对多样化群体点击偏好进行对齐

Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

机构 * NLPR & MAIS, CASIA（中国科学院长春光学精密机械与物理研究所 & 中国科学院自动化所） ； School of AI, UCAS（中国科学院大学人工智能学院） ； HKUST(gz)（香港科技大学） ； PRLab, NJU（南京大学PRLab） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出OSMF框架，通过自适应分组和群组感知多模态模型，解决广告图像生成中用户群体点击偏好多样性的优化问题。

Reward Model Interpretability via Optimal and Pessimal Tokens

通过最优和最劣 tokens 实现奖励模型可解释性

Brian Christian, Hannah Rose Kirk, Jessica A. F. Thompson, Christopher Summerfield, Tsvetomira Dumbalska

机构 * University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：harmlessness(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文通过分析奖励模型对不同token的评分，揭示了模型间的异质性、评分不对称性及潜在偏见，挑战了奖励模型的可互换性及代理人类价值观的假设。

Comments Accepted for publication in Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency (FAccT '25), to appear June 2025

CATTO: Balancing Preferences and Confidence in Language Models

CATTO: 在语言模型中平衡偏好与信心

Nisarg Parikh, Ananya Sai, Pannaga Shivaswamy, Kunjal Panchal, Andrew Lan

机构 * Adobe 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 CATTO通过校准意识的标记级训练目标，在保持任务准确性的同时，有效提升语言模型预测信心，减少校准误差，提高输出选择的可靠性。

Small-Margin Preferences Still Matter-If You Train Them Right

小边距偏好依然重要-如果你训练得当的话

Jinlong Pang, Zhaowei Zhu, Na Di, Yichi Zhang, Yaxuan Wang, Chen Qian, Yang Liu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Northeastern University（东北大学） ； DIMACS, Rutgers University（Rutgers大学DIMACS研究中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出MixDPO，一种基于难度的训练策略，通过课程学习和混合目标优化，提升LLM在模糊配对上的对齐效果。

Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains

直接偏好优化与评分信息：实用算法和可证明的收益

Luca Viano, Ruida Zhou, Yifan Sun, Mahdi Namazifar, Volkan Cevher, Shoham Sabach, Mohammad Ghavamzadeh

机构 * EPFL（苏黎世联邦理工学院） ； Amazon AGI（亚马逊人工智能实验室） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Cornell University（康奈尔大学） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 本文提出利用评分间隙信息改进直接偏好优化算法，通过理论证明和实验验证，在准确评分间隙条件下实现更快的统计速率，并在多种LLM和基准上表现优异。

Helios: A Foundational Language Model for Smart Energy Knowledge Reasoning and Application

Helios：一种面向智能能源知识推理与应用的基础语言模型

Haoyu Jiang, Fanjie Zeng, Boan Qu, Xiaojie Lin, Wei Zhong

机构 * College of Energy Engineering, Zhejiang University（浙江大学能源工程学院） ； Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院） ； Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 Helios是一种专为智能能源领域设计的基础语言模型，通过构建多智能体协作框架和相关数据集，提升领域知识、任务执行准确性和与人类偏好的对齐程度。

Think Twice: Branch-and-Rethink Reasoning Reward Model

再思两次：分支与再思考推理奖励模型

Yizhu Jiao, Jiaqi Zeng, Julien Veron Vialard, Oleksii Kuchaiev, Jiawei Han, Olivier Delalleau

机构 * NVIDIA（NVIDIA公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL

AI总结 BR-RM通过两轮次的分支与再思考机制，改进奖励模型的判断准确性与敏感性，实现更精确的推理能力。

Comments Source Code: https://github.com/yzjiao/BR-RM. Model Checkpoints: https://huggingface.co/nvidia/Qwen3-Nemotron-14B-BRRM and https://huggingface.co/nvidia/Qwen3-Nemotron-8B-BRRM

Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models

医疗大视觉-语言模型的直接偏好优化基准测试

Dain Kim, Jiwoo Lee, Jaehoon Yun, Yong Hoe Koo, Qingyu Chen, Hyunjae Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； AIGEN Sciences（AIGEN公司） ； Hanyang University College of Medicine（翰林大学医学院） ； Asan Medical Center, University of Ulsan College of Medicine（釜山大学医学院阿桑医院） ； Yale University（耶鲁大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 本文评估了医疗领域中多种DPO变体，发现其在视觉问答任务中存在性能不一致和视觉误解问题，并提出针对性策略提升3.6%。

Comments EACL 2026 (Findings)

CTPD: Cross Tokenizer Preference Distillation

CTPD: 跨分词器偏好蒸馏

Truong Nguyen, Phi Van Dat, Ngan Nguyen, Linh Ngo Van, Trung Le, Thanh Hong Nguyen

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 CTPD提出一种跨分词器的偏好蒸馏框架，通过对齐跨度投影、跨分词器重要性采样和教师锚定参考，实现不同分词器模型间的偏好信息高效转移。

Comments AAAI 2026

HapticLLaMA: A Multimodal Sensory Language Model for Haptic Captioning

HapticLLaMA：一种多模态感官语言模型用于触觉描述

Guimin Hu, Daniel Hershcovich, Hasti Seifi

机构 * University of Copenhagen（哥本哈根大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 HapticLLaMA是一种多模态感官语言模型，通过触觉信号生成描述，利用两种分词器和强化学习提升触觉感知描述能力。

Coverage Improvement and Fast Convergence of On-policy Preference Learning

策略学习中的覆盖改进与快速收敛

Juno Kim, Jihun Yun, Jason D. Lee, Kwang-Sung Jun

机构 * UC Berkeley（伯克利大学） ； KRAFTON（KRAFTON公司） ； University of Arizona（亚利桑那大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 本文提出覆盖改进原理，通过分析在线策略学习中的覆盖变化，证明其在批量大小足够时能实现快速收敛，并设计混合采样器和奖励蒸馏方案，提升语言模型对齐性能。

Comments 46 pages, 2 figures, 2 tables

Learning "Partner-Aware" Collaborators in Multi-Party Collaboration

在多方协作中学习“伙伴感知”的协作者

Abhijnan Nath, Nikhil Krishnaswamy

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出ICR算法，通过学习伙伴感知的协作者，提升多任务协作中的共同基础一致性与解决方案多样性。

Comments Fixed typographic errors in the previous manuscript

Alleviating Attention Hacking in Discriminative Reward Modeling through Interaction Distillation

通过交互蒸馏缓解判别奖励建模中的注意力黑客问题

Jianxiang Zang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文提出交互蒸馏方法，通过优化注意力机制提升判别奖励建模的稳定性与通用性，缓解注意力黑客问题。

Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning

多智能体协作奖励设计以增强强化学习中的推理

Pei Yang, Ke Zhang, Ji Wang, Xiao Chen, Yuxin Tang, Eric Yang, Lynn Ai, Bill Shi

机构 * Gradient ； Waseda University（早稻田大学） ； Columbia University（哥伦比亚大学） ； Hong Kong Polytechnic University（香港理工大学） ； Rice University（莱斯大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.AI

AI总结 多智能体协作奖励模型通过分解偏好评估和引入集中化聚合器，提升强化学习中的鲁棒性和可解释性，同时提供透明的奖励建模方法。

Fine-Grained Preference Optimization Improves Spatial Reasoning in VLMs

细粒度偏好优化提升视觉语言模型的空间推理能力

Yifan Shen, Yuanzhe Liu, Jingyuan Zhu, Xu Cao, Xiaofeng Zhang, Yixiao He, Wenming Ye, James Matthew Rehg, Ismini Lourentzou

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 细粒度偏好优化方法SpatialReasoner-R1通过改进空间推理能力，在空间推理任务中取得显著性能提升。

A Survey of Reinforcement Learning from Human Feedback

从人类反馈强化学习的综述

Timo Kaufmann, Paul Weng, Viktor Bengs, Eyke Hüllermeier

机构 * LMU Munich（慕尼黑大学） ； MCML Munich（慕尼黑马克斯·普朗克研究所） ； DFKI（德国人工智能研究中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。

Comments Published version (TMLR): https://openreview.net/pdf?id=f7OkIurx4b

Journal ref Transactions on Machine Learning Research, 2025

Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization

通过理论一致的对称多模态偏好优化缓解幻觉

Wenqi Liu, Xuemeng Song, Jiaxi Li, Yinwei Wei, Na Zheng, Jianhua Yin, Liqiang Nie

机构 * Shandong University（山东大学） ； Southern University of Science and Technology（南方科技大学） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 SymMPO通过理论一致的对称多模态偏好优化方法，有效缓解多模态大语言模型中的幻觉问题。

Comments NeurIPS 2025