大模型对齐与安全

LLM Active Alignment: A Nash Equilibrium Perspective

LLM主动对齐：从纳什均衡视角出发

Tonghan Wang, Yuqi Pan, Xinyi Yang, Yanchen Jiang, Milind Tambe, David C. Parkes

机构 * College of AI, Tsinghua University, Beijing, China（人工智能学院，清华大学，北京，中国） ； Harvard University, Cambridge, MA, USA（哈佛大学，马萨诸塞州剑桥，美国） ； Department of Electronic Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出了一种基于纳什均衡的LLM主动对齐方法，通过建模代理行为以避免文本空间计算难题，并展示其在社交媒体中防止政治排斥的应用潜力。

Displacement-Resistant Extensions of DPO with Nonconvex $f$-Divergences

对抗位移的DPO扩展：非凸f-散度

Idan Pipano, Shoham Sabach, Kavosh Asadi, Mohammad Ghavamzadeh

机构 * Faculty of Data and Decision Sciences（数据与决策科学学院） ； Technion - Israel Institute of Technology（技术ion-以色列理工学院） ； Meta ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出了一种对抗位移的DPO扩展方法，通过非凸f-散度改进了传统DPO，提供了更强的理论保证和实际表现。

Comments Published as a conference paper at ICLR 2026

compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data

compar:IA：法国政府的LLM竞技场，用于收集法语人类提示和偏好数据

Lucie Termignon, Simonas Zilinskas, Hadrien Pélissier, Aurélien Barrot, Nicolas Chesnais, Elie Gavoty

机构 * The French Government（法国政府） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 compar:IA由法国政府开发，旨在通过收集法语人类提示和偏好数据，提升非英语语言中LLM的性能和文化契合度，同时推动多语言模型训练和评估的国际发展。

Comments 18 pages, 7 figures, preprint

R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging

R-Align: 通过以推理为中心的元判断增强生成奖励模型

Yanlin Lai, Mitt Huang, Hangyu Guo, Xiangfeng Wang, Haodong Li, Shaoxiong Zhan, Liang Zhao, Chengyuan Yao, Yinmin Zhang, Qi Han, Chun Yuan, Zheng Ge, Xiangyu Zhang, Daxin Jiang

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 R-Align通过引入黄金判断和明确监督推理对齐，提高生成奖励模型的推理一致性，从而增强RLHF的性能。

Comments Github: https://github.com/lyn22333/R-Align Huggingface: https://huggingface.co/collections/lyn22333/r-align

DeDPO: Debiased Direct Preference Optimization for Diffusion Models

DeDPO：用于扩散模型的去偏直接偏好优化

Khiem Pham, Quang Nguyen, Tung Nguyen, Jingsen Zhu, Michele Santacatterina, Dimitris Metaxas, Ramin Zabih

机构 * Cornell University（康奈尔大学） ； Rutgers University（罗格斯大学） ； NYU（纽约大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 DeDPO通过整合因果推理的去偏技术，提升扩散模型在低成本合成监督下的对齐性能，实现与人类标注数据相当的鲁棒性。

PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction

PrefIx: 在人机交互中理解并适应用户偏好

Jialin Li, Zhenhao Chen, Hanjun Luo, Hanan Salam

专题命中 偏好对齐 ：alignment(abstract)

AI总结 PrefIx通过交互作为工具范式，评估智能体在人机交互中的偏好适应能力，提升用户体验和偏好对齐度。

ACE-Step 1.5: Pushing the Boundaries of Open-Source Music Generation

ACE-Step 1.5：推动开源音乐生成的边界

Junmin Gong, Yulin Song, Wenxiao Zhao, Sen Wang, Shengyuan Xu, Jing Guo, Xuerui Yang

机构 * ACE Studio（ACE工作室） ； Step Fun 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 ACE-Step 1.5通过高效开源模型实现商业级音乐生成，结合内在强化学习与混合架构，支持多语言创作与风格控制。