大模型对齐与安全

S2H-DPO: Hardness-Aware Preference Optimization for Vision-Language Models

S2H-DPO：面向视觉-语言模型的硬度感知偏好优化

Nitish Shukla, Surgan Jandial, Arun Ross

机构 * Michigan State University（密歇根州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(abstract)

AI总结 本文提出S2H-DPO框架，通过三级层次推理构建多图象偏好数据，提升多图象推理性能，同时保持单图象推理能力，推动视觉偏好对齐的前沿发展。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Holistic Utility Preference Learning for Listwise Alignment

整体效用偏好学习用于列表对齐

Jiacong Zhou, Xianyun Wang, Min Zhang, Jun Yu

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（计算机科学与技术学院，杭州电子科技大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 DRPO通过整体效用学习提升列表对齐效果，优化响应排名质量

A Biosecurity Agent for Lifecycle LLM Biosecurity Alignment

Meiyin Meng, Zaixi Zhang

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；safety(abstract)；jailbreak(abstract)

Reinforcement Learning from Human Feedback with High-Confidence Safety Constraints

Yaswanth Chittepu, Blossom Metevier, Will Schwarzer, Austin Hoag, Scott Niekum, Philip S. Thomas

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；alignment(abstract)；RLHF(abstract)；harmlessness(abstract)

Comments 20 pages, 6 figures, 4 tables, Second Reinforcement Learning Conference (RLC 2025)

Backtracking Improves Generation Safety

Yiming Zhang, Jianfeng Chi, Hailey Nguyen, Kartikeya Upasani, Daniel M. Bikel, Jason Weston, Eric Michael Smith

专题命中 偏好对齐 ：safety(title,abstract)；alignment(abstract)；DPO(abstract)；harmlessness(abstract)

Safety Alignment of LMs via Non-cooperative Games

通过非合作博弈实现语言模型的安全对齐

Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

机构 * DeepMind, London, UK（深度Mind，伦敦，英国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出将安全对齐建模为攻击者与防御者语言模型之间的非零和博弈，通过在线强化学习联合训练，迭代提升安全性与实用性。

Safety Game: Inference-Time Alignment of Black-Box LLMs via Constrained Optimization

安全博弈：通过约束优化实现黑盒大语言模型的推理时对齐

Tuan Nguyen, Long Tran-Thanh

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 提出一种无需重新训练或访问模型内部结构的黑盒安全对齐框架，通过将安全与帮助性的权衡建模为二人零和博弈，并在推理时使用线性规划求解均衡策略，实现了黑盒LLM的安全对齐。

Configurable Reward Model for Balanced Safety Alignment

可配置奖励模型用于平衡安全对齐

Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出可配置安全奖励模型（CSRM），通过配置目标数据增强和联合优化，实现对细粒度安全配置和对话细微差别的敏感性，在可配置安全基准上达到最优性能，并改善有用性与安全性的权衡。

Expert Evaluation and the Limits of Human Feedback in Mental Health AI Safety Testing

专家评估与心理健康AI安全测试中人类反馈的局限性

Kiana Jafari, Paul Ulrich Nikolaus Rust, Duncan Eddy, Robbie Fraser, Nina Vasan, Darja Djordjevic, Akanksha Dadlani, Max Lamparth, Eugenia Kim, Mykel Kochenderfer

机构 * Stanford University（斯坦福大学） ； University College London（伦敦大学学院） ； Microsoft（微软） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；AI safety(title)；alignment(abstract)；分类 cs.AI

AI总结 本研究探讨了在心理健康AI安全测试中，专家评估与人类反馈的有效性，发现专家间一致性差，揭示了专家分歧是社会技术现象，建议转向保留专家分歧的对齐方法。

Comments 17 pages, 7 pages of appendix, 21 tables

Guardrails in Logit Space: Safety Token Regularization for LLM Alignment

对数空间中的Guardrails：用于LLM对齐的安全令牌正则化

Thong Bach, Truyen Tran

机构 * Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2）） ； Deakin University（德克萨斯大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 本文提出安全令牌正则化（STR）方法，通过约束关键令牌的logits来保持细调模型的安全性，实验显示其在安全性和任务性能方面表现优异。

Comments 10 pages, 3 figures

Bridging the Multilingual Safety Divide: Efficient, Culturally-Aware Alignment for Global South Languages

弥合多语言安全鸿沟：为全球南方语言实现高效、文化感知的对齐

Somnath Banerjee, Rima Hazra, Animesh Mukherjee

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 本文提出为全球南方低资源语言提供高效、文化感知的安全对齐方法，以解决现有安全机制在多语言环境中的失效问题。

Comments Accepted to the EGSAI Workshop at AAAI 2026

SafeNeuron: Neuron-Level Safety Alignment for Large Language Models

SafeNeuron: 大语言模型的神经层面安全对齐

Zhaoxin Wang, Jiaming Liang, Fengbin Zhu, Weixiang Zhao, Junfeng Fang, Jiayi Ji, Handing Wang, Tat-Seng Chua

机构 * Xidian University, Xi'an, China（西安电子科技大学） ； Harbin Institute of Technology, Harbin, China（哈尔滨工业大学） ； National University of Singapore,Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 SafeNeuron通过神经层面安全对齐框架提升模型鲁棒性，减少攻击风险并保持通用能力。

D-STEER - Preference Alignment Techniques Learn to Behave, not to Believe -- Beneath the Surface, DPO as Steering Vector Perturbation in Activation Space

D-STEER - 通过偏好对齐技术学习行为而非信念 -- 在表象之下，DPO作为激活空间中的低秩引导机制

Samarth Raina, Saksham Aggarwal, Aman Chadha, Vinija Jain, Amitava Das

机构 * IIIT Delhi（印度理工学院德里分校） ； Microsoft（微软） ； Apple (USA)（苹果（美国）） ； Google (USA)（谷歌（美国）） ； Pragya Lab, BITS Pilani, K. K. Birla Goa Campus（普拉吉亚实验室，比斯科大学，K.K. 布尔拉果阿校区） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.LG

AI总结 D-STEER研究揭示DPO通过引导激活空间中的低秩机制实现行为对齐，而非改变模型内部信念。

SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning

Kehua Feng, Keyan Ding, Yuhao Wang, Menghan Li, Fanjunduo Wei, Xinda Wang, Qiang Zhang, Huajun Chen

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学Hangzhou全球科技创新中心） ； Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院） ； School of Software Technology, Zhejiang University（浙江大学软件技术学院） ； ZJU-UIUC Institute, Zhejiang University（浙江大学UIUC研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

Comments 22 pages, 5 figures

RLHF Fine-Tuning of LLMs for Alignment with Implicit User Feedback in Conversational Recommenders

Zhongheng Yang, Aijia Sun, Yushang Zhao, Yinuo Yang, Dannier Li, Chengrui Zhou

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.LG

DREAM: Disentangling Risks to Enhance Safety Alignment in Multimodal Large Language Models

Jianyu Liu, Hangyu Guo, Ranjie Duan, Xingyuan Bu, Yancheng He, Shilong Li, Hui Huang, Jiaheng Liu, Yucheng Wang, Chenchen Jing, Xingwei Qu, Xiao Zhang, Yingshui Tan, Yanan Wu, Jihao Gu, Yangguang Li, Jianke Zhu

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； M-A-P ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

Comments [NAACL 2025] The first four authors contribute equally, 23 pages, repo at https://github.com/Kizna1ver/DREAM

MCP Safety Training: Learning to Refuse Falsely Benign MCP Exploits using Improved Preference Alignment

John Halloran

机构 * Leidos（莱迪斯公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title)；DPO(abstract)；分类 cs.LG

Comments 27 pages, 19 figures, 4 tables

Mask-DPO: Generalizable Fine-grained Factuality Alignment of LLMs

Yuzhe Gu, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.CL

Comments Accepted by ICLR 2025. Code is available at https://github.com/open-compass/ANAH

YINYANG-ALIGN: Benchmarking Contradictory Objectives and Proposing Multi-Objective Optimization based DPO for Text-to-Image Alignment

Amitava Das, Yaswanth Narsupalli, Gurpreet Singh, Vinija Jain, Vasu Sharma, Suranjana Trivedy, Aman Chadha, Amit Sheth

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.AI

Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks

Amir Saeidi, Shivanshu Verma, Md Nayem Uddin, Chitta Baral

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.CL

SALSA: Soup-based Alignment Learning for Stronger Adaptation in RLHF

Atoosa Chegini, Hamid Kazemi, Iman Mirzadeh, Dong Yin, Maxwell Horton, Moin Nabi, Mehrdad Farajtabar, Keivan Alizadeh

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.LG

Optimizing Autonomous Driving for Safety: A Human-Centric Approach with LLM-Enhanced RLHF

Yuan Sun, Navid Salami Pargoo, Peter J. Jin, Jorge Ortiz

专题命中 偏好对齐 ：RLHF(title,abstract)；safety(title,abstract)；分类 cs.AI

Alignment with Preference Optimization Is All You Need for LLM Safety

Reda Alami, Ali Khalifa Almansoori, Ahmed Alzubaidi, Mohamed El Amine Seddik, Mugariya Farooq, Hakim Hacid

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

Contextual Value Alignment via Multilayer Combinatorial Fusion

基于多层组合融合的上下文价值对齐

Yuanhong Wu, Djallel Bouneffouf, D. Frank Hsu

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出MCF-CVA框架，通过多层组合融合及EAR算法，结合多道德智能体的认知多样性缓解冲突冗余，在标准指标上优于单智能体等基线，提升LLM的上下文价值对齐能力。

Comments 12 pages, 5 figures, 5 tables

A Descriptive and Normative Theory of Human Beliefs in RLHF

基于人类反馈强化学习中的人类信念描述性与规范性理论

Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

机构 * College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校） ； Department of Computer Science The University of Texas at Austin（计算机科学系 德州大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 研究 RLHF 中人类信念作用，提出新偏好模型，通过人类和综合实验，证实人类对智能体能力信念影响偏好，指出减少信念与能力不匹配可提升 RLHF 并给出新实践方向。

Comments Published at TMLR

Towards Spec Learning: Inference-Time Alignment from Preference Pairs

面向规范学习：从偏好对进行推理时对齐

Dhriti Krishnan, Tejas Goyal, Jaromir Savelka

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 提出规范学习框架，利用少量用户指令和偏好判断生成自然语言规范，在推理时引导LLM行为，无需参数更新，在密集偏好信号领域优于DPO，且规范可解释。

Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users

你的鼠标和眼睛悄悄泄露你的偏好：利用用户隐式反馈进行LLM对齐

Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； York University（约克大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title)；分类 cs.CL、cs.LG

AI总结 针对显式反馈稀缺的问题，提出利用鼠标轨迹和眼动数据等隐式反馈训练奖励模型，将文本奖励模型准确率从55%提升至64%，并显著提高DPO对齐后响应质量。

Mechanistic Analysis of Alignment Algorithms in Language Models

语言模型中对齐算法的机制分析

Aarush Sinha, Ishan Garg, Veeraraju Elluru, Arth Singh, Kushal Garg

机构 * University of Copenhagen（哥本哈根大学） ； Independent（独立研究者） ； IIT Jodhpur（印度理工学院焦特布尔分校） ； NIT Agartala（印度国立理工学院阿加尔塔拉分校） ； Narris 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过层间线性探针、稀疏自编码器和交叉编码器，系统分析了六种偏好优化方法在语言模型中的内部机制，发现不同目标函数导致不同的表示几何变换，并揭示了行为对齐与内部结构变化的不一致性。

Comments Work in Progress

It Takes Two: Your GRPO Is Secretly DPO

两人即可：你的GRPO其实暗含DPO

Yihong Wu, Liheng Ma, Lei Ding, Muzhi Li, Xinyu Wang, Kejia Chen, Zhan Su, Zhanguang Zhang, Chenyang Huang, Yingxue Zhang, Mark Coates, Jian-Yun Nie

机构 * UdeM（蒙特利尔大学） ； McGill（麦吉尔大学） ； Mila（Mila人工智能研究院） ； UManitoba（曼尼托巴大学） ； CUHK（香港中文大学） ； ZJU（浙江大学） ； UAlberta（阿尔伯塔大学） ； Amii（阿米人工智能研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本文提出2-GRPO，通过仅两个rollouts构建对比信号，理论分析显示其性能接近16-GRPO，训练效率提升显著。

Distributionally Robust Token Optimization in RLHF

强化学习中对抗性令牌优化

Yeping Jin, Jiaming Hu, Ioannis Ch. Paschalidis

机构 * Department of System Engineering（系统工程系） ； Boston University（波士顿大学） ； Department of Math & Statistics（数学与统计学系） 纠错

专题命中 偏好对齐 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。