大模型对齐与安全

Proximalized Preference Optimization for Diverse Feedback Types: A Decomposed Perspective on DPO

近端化偏好优化用于多样化反馈类型：对DPO的分解视角

Kaiyang Guo, Yinchuan Li, Zhitang Chen

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文提出PRO方法，通过分解DPO损失并恢复完整正则化项，解决似然不足确定性问题，提升对多样化反馈类型的适应能力。

Comments NeurIPS'2025

Full-Stack Alignment: Co-Aligning AI and Institutions with Thick Models of Value

全栈对齐：通过厚价值模型对齐人工智能与机构

Joe Edelman, Tan Zhi-Xuan, Ryan Lowe, Oliver Klingefjord, Vincent Wang-Mascianica, Matija Franklin, Ryan Othniel Kearns, Ellie Hain, Atrisha Sarkar, Michiel Bakker, Fazl Barez, David Duvenaud, Jakob Foerster, Iason Gabriel, Joseph Gubbels, Bryce Goodman, Andreas Haupt, Jobst Heitzig, Julian Jara-Ettinger, Atoosa Kasirzadeh, James Ravi Kirkpatrick, Andrew Koh, W. Bradley Knox, Philipp Koralus, Joel Lehman, Sydney Levine, Samuele Marro, Manon Revel, Toby Shorin, Morgan Sutherland, Michael Henry Tessler, Ivan Vendrov, James Wilken-Smith

机构 * Meaning Alignment Institute（意义对齐研究所） ； Massachusetts Institute of Technology（麻省理工学院） ； University College London（伦敦大学学院） ； University of Oxford（牛津大学） ； Western University（西方大学） ； University of Toronto（多伦多大学） ； McGill University（麦吉尔大学） ； Stanford University（斯坦福大学） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） ； Yale University（耶鲁大学） ； Carnegie Mellon University（卡内基梅隆大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） ； Harvard University（哈佛大学） ； Midjourney Core contributor（Midjourney核心贡献者） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出通过厚价值模型实现全栈对齐，以解决AI与机构目标不一致导致的不良后果，涵盖价值表示、规范推理和集体利益建模。

Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences

让它们轻松一些！LLM护栏对用户感知和偏好的情境影响

Mingqian Zheng, Wenjia Hu, Patrick Zhao, Motahhare Eslami, Jena D. Hwang, Faeze Brahman, Carolyn Rose, Maarten Sap

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 偏好对齐 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了LLM护栏对用户感知和偏好的影响，发现部分合规策略能显著降低负面感知，强调应通过创造性的拒绝策略而非意图检测来提升安全性和用户体验。

Comments Accepted to Findings of EMNLP 2025

Uncertainty Quantification for Large Language Model Reward Learning under Heterogeneous Human Feedback

大语言模型奖励学习中异质人类反馈的不确定性量化

Pangpang Liu, Junwei Lu, Will Wei Sun

机构 * Department of Biostatistics, Yale University（耶鲁大学生物统计学系） ； Department of Biostatistics, Harvard University（哈佛大学生物统计学系） ； Department of Quantitative Methods, Purdue University（普渡大学定量方法系） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出了一种异质偏好框架，通过双凸优化解决大语言模型奖励学习中的不确定性量化问题，并通过理论保证和实验证明其有效性。

Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training

轨迹平衡与异步性：解耦探索与学习以实现快速、可扩展的LLM后训练

Brian Bartoldson, Siddarth Venkatraman, James Diffenderfer, Moksh Jain, Tal Ben-Nun, Seanie Lee, Minsu Kim, Johan Obando-Ceron, Yoshua Bengio, Bhavya Kailkhura

机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Mila – Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； KAIST（韩国科学技术院） ； CIFAR Fellow 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 TBA通过解耦探索与学习，提升LLM后训练的速度和性能，适用于多种任务并支持大规模数据生成。

Comments NeurIPS 2025; 27 pages