大模型对齐与安全

SAFER: Probing Safety in Reward Models with Sparse Autoencoder

SAFER: 通过稀疏自动编码器探索奖励模型的安全性

Wei Shi, Ziyuan Xie, Sihang Li, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 SAFER通过稀疏自动编码器探索奖励模型的安全性，揭示可解释特征并改进安全性对齐。

SP^2DPO: An LLM-assisted Semantic Per-Pair DPO Generalization

SP^2DPO: 一种基于大语言模型的语义逐对DPO泛化

Chaoyue He, Xin Zhou, Di Wang, Hong Xu, Wei Liu, Chunyan Miao

机构 * Alibaba--NTU Global e-Sustainability CorpLab (ANGEL), Singapore（阿里-NTU全球可持续性公司实验室（ANGEL），新加坡） ； Alibaba Group, China（阿里集团，中国） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SP^2DPO通过语义逐对DPO泛化提升AlpacaEval 2.0的长度控制胜率，避免每模型beta扫描。

Comments 39 pages, 15 figures, 16 tables, 60 equations

MARE: Multimodal Alignment and Reinforcement for Explainable Deepfake Detection via Vision-Language Models

MARE: 多模态对齐与强化学习用于通过视觉-语言模型的可解释深度伪造检测

Wenbo Xu, Wei Lu, Xiangyang Luo, Jiantao Zhou

机构 * School of Computer Science and Engineering, MoE Key Laboratory of Information Technology, Guangdong Province Key Laboratory of Information Security Technology, Sun Yat-sen University, Guangzhou 510006, China（计算机科学与工程学院，信息技术MOE实验室，广东省信息安全技术重点实验室，中山大学，广州510006，中国） ； State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） ； Department of Computer and Information Science, University of Macau.（计算机与信息科学系，澳门大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)

AI总结 MARE通过多模态对齐和强化学习提升视觉-语言模型在深度伪造检测中的准确性和可靠性。

Helios: A Foundational Language Model for Smart Energy Knowledge Reasoning and Application

Helios：一种面向智能能源知识推理与应用的基础语言模型

Haoyu Jiang, Fanjie Zeng, Boan Qu, Xiaojie Lin, Wei Zhong

机构 * College of Energy Engineering, Zhejiang University（浙江大学能源工程学院） ； Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院） ； Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 Helios是一种专为智能能源领域设计的基础语言模型，通过构建多智能体协作框架和相关数据集，提升领域知识、任务执行准确性和与人类偏好的对齐程度。

Metis-SPECS: Decoupling Multimodal Learning via Self-distilled Preference-based Cold Start

Metis-SPECS: 通过基于偏好自我蒸馏的冷启动解耦多模态学习

Kun Chen, Peng Shi, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao, Lin Ma

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Metis-SPECS通过基于偏好的自我蒸馏冷启动框架解耦多模态学习，提升泛化能力和下游RL表现。

Comments Published as a conference paper at ICLR 2026!

ReNCE: Learning to Reason by Noise Contrastive Estimation

ReNCE: 通过噪声对比估计学习推理

Wenzheng Zhang, Karl Stratos

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.LG

AI总结 ReNCE通过噪声对比估计学习提升大语言模型的推理能力，采用显式对比学习方法在数学基准测试中表现优异。

DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding

DIFFA-2：一种实用的扩散大型语言模型用于通用音频理解

Jiaming Zhou, Xuxin Cheng, Shiwan Zhao, Yuhang Jia, Cao Liu, Ke Zeng, Xunliang Cai, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） ； Meituan LongCat Interaction Team（美团LongCat交互团队） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 DIFFA-2是一种基于扩散模型的实用大型音频语言模型，通过升级语音编码器和双适配器提升音频理解性能，且在实际训练预算下表现优异。

How Well Can Preference Optimization Generalize Under Noisy Feedback?

在有噪声反馈下，偏好优化能有多好？

Shawn Im, Sharon Li

机构 * Department of Computer Sciences（计算机科学系） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 本文研究了在噪声反馈下偏好优化的一般化能力，分析了不同噪声类型和强度对模型性能的影响，并验证了其在实际LLM训练中的有效性。

Comments TMLR 2026

Self-Improvement of Language Models by Post-Training on Multi-Agent Debate

通过多智能体辩论进行语言模型的自改进

Ankur Samanta, Akshayaa Magesh, Runzhe Wu, Ayush Jain, Youliang Yu, Daniel Jiang, Boris Vidolov, Paul Sajda, Yonathan Efroni, Kaveh Hassani

机构 * Meta AI ； Columbia University（哥伦比亚大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 通过多智能体辩论和强化学习提升语言模型的自我改进能力，实现推理准确性、自洽性和泛化能力的提升。

Safer Policy Compliance with Dynamic Epistemic Fallback

动态认知回退：更安全的政策合规性

Joseph Marvin Imperial, Harish Tayyar Madabushi

机构 * University of Bath, UK（巴斯大学） ； National University Philippines（菲律宾国家大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出动态认知回退机制，通过文本提示提升LLM对抗恶意扰动政策文本的检测与拒绝能力，DeepSeek-R1在特定设置中实现100%检测率。

Clipping-Free Policy Optimization for Large Language Models

无需裁剪的策略优化用于大语言模型

Ömer Veysel Çağatan, Barış Akgün, Gözde Gül Şahin, Xuandong Zhao

机构 * KUIS AI Center, Koç University, Istanbul, Türkiye（Koç大学） ； Koç University, Istanbul, Türkiye（Koç大学） ； University of California, Berkeley, CA, USA（加州大学伯克利分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 CFPO通过凸二次惩罚替代裁剪机制，实现稳定策略优化，适用于大语言模型的训练。

Comments 23 pages, 10 tables, 8 figures

Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning

通过在线强化学习将大语言模型接地于交互环境

Thomas Carta, Clément Romac, Thomas Wolf, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer

机构 * Inria (Flowers)（Inria（Flowers）） ； University of Bordeaux（波尔多大学） ； Hugging Face ； Univ Angers, LERIA, SFR MATHSTIC（昂热大学，LERIA，SFR MATHSTIC） ； Sorbonne Université（索邦大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出GLAM方法，通过在线强化学习将大语言模型接地于交互环境，以提升样本效率和泛化能力，并探讨在线学习的影响。

Comments The associated code can be found at https://github.com/flowersteam/Grounding_LLMs_with_online_RL. This is an extended version of the paper published at ICML 2023: https://proceedings.mlr.press/v202/carta23a

Journal ref PMLR 202 (2023):3676-3713

Learning to flock in open space by avoiding collisions and staying together

在开放空间中通过避障和保持在一起学习群体运动

Martino Brambati, Antonio Celani, Marco Gherardi, Francesco Ginelli

专题命中 安全训练 ：alignment(abstract)

AI总结 该研究通过多智能体强化学习框架，在开放空间中实现群体协同运动，通过避障和保持在一起的策略，产生高极性秩序的集体运动。

Comments 13 pages + appendices

Visual Personalization Turing Test

视觉个性化图灵测试

Rameen Abdal, James Burgess, Sergey Tulyakov, Kuan-Chieh Jackson Wang

机构 * Snap Research（Snap研究） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出视觉个性化图灵测试，通过感知不可区分性评估个性化生成模型，引入VPTT框架和评分指标，验证其在人类和VLM判断中的可靠性。

Comments Webpage: https://snap-research.github.io/vptt

Operating Imperfect AI: Reliability Drift and Human Congestion

操作不完美的AI：可靠性漂移与人类拥堵

Ziyao Wang, Svetlozar T Rachev

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出动态排队控制方法，解决算法可靠性漂移与人类接管能力稀缺之间的矛盾，通过容量影子价格驱动最优策略，建立拥堵缓解与安全缓冲机制，并识别容量相变临界点。

Defending Large Language Models Against Jailbreak Attacks via In-Decoding Safety-Awareness Probing

通过解码过程中的安全意识探测防御大型语言模型的劫持攻击

Yinzhi Zhao, Ming Wang, Shi Feng, Xiaocui Yang, Daling Wang, Yifei Zhang

机构 * Northeastern University, China（东北大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 通过在解码过程中激活内在安全意识，提升大型语言模型对劫持攻击的防御能力。

TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment

TriPlay-RL：三角色自我对抗强化学习用于大语言模型安全对齐

Zhewen Tan, Wenhan Yu, Jianfeng Si, Tongxin Liu, Kaiqi Guan, Huiyan Jin, Jiawen Tao, Xiaokun Yuan, Duohe Ma, Xiangzheng Zhang, Tong Yang, Lin Sun

机构 * Peking University（北京大学） ； Qiyuan Tech（启元科技） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 TriPlay-RL通过三角色自我对抗强化学习，实现LLM安全对齐的高效且可扩展范式，提升攻击有效性、安全性能和评估准确性。

Multi-Level Safety Continual Projection for Fine-Tuned Large Language Models without Retraining

多级安全连续投影：无需重新训练的微调大语言模型安全增强方法

Bing Han, Feifei Zhao, Dongcheng Zhao, Guobin Shen, Ping Wu, Yu Shi, Yi Zeng

机构 * Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（脑启发认知人工智能实验室，中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Long-term AI（长期人工智能） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种无需重新训练的微调后安全增强方法MSCP，通过多级表示对齐和安全方向投影，有效抑制有害输出并提升与人类偏好的对齐度。

Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures

字符作为大语言模型中的潜在变量：对涌现偏差和条件安全失败的机制解释

Yanghao Su, Wenbo Zhou, Tianwei Zhang, Qiu Han, Weiming Zhang, Nenghai Yu, Jie Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 越狱攻击 ：safety(title)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示了大语言模型中字符层面倾向对齐风险的核心机制，指出行为倾向的稳定转变是导致涌现偏差和安全失败的关键因素，而非单纯的能力退化或提示防御。

A Systematic Literature Review on LLM Defenses Against Prompt Injection and Jailbreaking: Expanding NIST Taxonomy

针对提示注入和劫持攻击的LLM防御措施系统文献综述：扩展NIST分类

Pedro H. Barcha Correia, Ryan W. Achjian, Diego E. G. Caetano de Oliveira, Ygor Acacio Maria, Victor Takashi Hayashi, Marcos Lopes, Charles Christian Miers, Marcos A. Simplicio

专题命中 越狱攻击 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统回顾了针对提示注入和劫持攻击的LLM防御措施，扩展了NIST分类，并提供了全面的防御目录和指南。

Comments 27 pages, 14 figures, 11 tables, submitted to Elsevier Computer Science Review

In Vino Veritas and Vulnerabilities: Examining LLM Safety via Drunk Language Inducement

葡萄酒中的真理与漏洞：通过醉酒语言诱导检验LLM安全性

Anudeex Shetty, Aditya Joshi, Salil S. Kanhere

机构 * School of Computer Science and Engineering, UNSW Sydney（计算机科学与工程学院，新南威尔士大学悉尼分校） ； School of Computing and Information System, the University of Melbourne（计算与信息系统学院，墨尔本大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过诱导LLM产生醉酒语言，研究其安全漏洞，发现其易受劫持攻击和隐私泄露，揭示了LLM安全性的潜在风险。

Comments WIP

Jailbreaks on Vision Language Model via Multimodal Reasoning

通过多模态推理实现对视觉语言模型的逃逸攻击

Aarush Noheria, Yuguang Yao

机构 * Novi High School, MI, USA（诺维高中） ； Michigan State University, MI, USA（密歇根州立大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出了一种基于多模态推理的逃逸攻击框架，通过训练后链式推理和自适应噪声机制提高对视觉语言模型的安全过滤器的绕过能力。

Now You Hear Me: Audio Narrative Attacks Against Large Audio-Language Models

现在你能听见我：对抗大型音频-语言模型的音频叙述攻击

Ye Yu, Haibo Jin, Yaoning Yu, Jun Zhuang, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Boise State University（博伊西州立大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出了一种音频叙述攻击，通过在叙述式音频流中嵌入非法指令，成功绕过大型音频-语言模型的安全机制，验证了语音接口安全性的关键挑战。

Comments to be published at EACL 2026 main conference

The Unintended Trade-off of AI Alignment:Balancing Hallucination Mitigation and Safety in LLMs

AI对齐中的意外权衡：在LLMs中平衡幻觉缓解与安全

Omar Mahmoud, Ali Khalil, Buddhika Laknath Semage, Thommen George Karimpanal, Santu Rana

机构 * Applied Artificial Intelligence Initiative（应用人工智能倡议） ； Deakin University（德肯大学） ； School of Information Technology（信息科技学院） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 本文提出了一种方法，通过解耦幻觉和拒绝特征，平衡LLMs中的真实性与安全性，减少因提高真实性而削弱安全对齐的问题。

AlignGemini: Generalizable AI-Generated Image Detection Through Task-Model Alignment

AlignGemini: 通过任务-模型对齐实现通用的AI生成图像检测

Ruoxin Chen, Jiahui Gao, Kaiqing Lin, Keyue Zhang, Yandan Zhao, Isabel Guan, Taiping Yao, Shouhong Ding

机构 * Tencent Youtu Lab ； East China University of Science ； Shenzhen University ； Hong Kong University of Science ； Department of XXX, University of YYY, Location, Country ； School of ZZZ, Institute of WWW, Location, Country 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI

AI总结 AlignGemini通过任务-模型对齐原则，结合语义和像素伪影检测，提升AI生成图像检测的泛化能力。

Token-Guard: Towards Token-Level Hallucination Control via Self-Checking Decoding

Token-Guard: 通过自检解码实现token级幻觉控制

Yifan Zhu, Huiqiang Rong, Haoran Luo

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与事实性 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 Token-Guard通过自检解码技术，实现对大型语言模型中token级幻觉的有效控制，提升生成准确性与输出可靠性。

Comments Accepted by ICLR 2026 main conference

Journal ref ICLR 2026

Deep Search with Hierarchical Meta-Cognitive Monitoring Inspired by Cognitive Neuroscience

受认知神经科学启发的深度搜索与分层元认知监控

Zhongxiang Sun, Qipeng Wang, Weijie Yu, Jingxuan Yang, Haolang Lu, Jun Xu

机构 * Gaoling School of Artificial Intelligence\ University of China Beijing China ； School of Information Technology ； Search Applications Department, Tencent Beijing China ； Beijing University of Posts ； Gaoling School of Artificial Intelligence\ University of China ； Search Applications Department, Tencent 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 本研究提出DS-MCM框架，通过分层元认知监控机制提升深度搜索的性能和鲁棒性。

Comments 11 pages, 3 figures

Learn More with Less: Uncertainty Consistency Guided Query Selection for RLVR

学得更多，用得更少：不确定性一致性引导的查询选择用于RLVR

Hao Yi, Yulan Hu, Xin Li, Sheng Ouyang, Lizhong Ding, Yong Liu

机构 * Renmin University of China（中国人民大学） ； Gaoling School of Artificial Intelligence（北京人工智能学院） ； Amap, Alibaba Group（阿里集团阿里的地图部门） ； School of Computer Science & Technology（计算机科学与技术学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出基于不确定性一致性的查询选择方法，通过改进RLVR的样本选择策略，减少查询预算，提升推理任务的效率。

Foundation Models for Logistics: Toward Certifiable, Conversational Planning Interfaces

物流领域的基础模型：迈向可验证、对话式规划界面

Yunhao Yang, Neel P. Bhatt, Christian Ellis, Samuel Li, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

机构 * Neurosymbolic Intelligence（神经符号智能） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Colorado Boulder（科罗拉多大学波德分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于神经符号框架的视觉-语言物流代理，通过自然语言对话和可验证保证实现可信赖的物流规划决策，模型在少量训练样本下实现了高效且准确的物流规划性能。

One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs

单次优化的转向向量用于VLMs的幻觉缓解

Youxu Shi, Suorong Yang, Dong Liu

机构 * University of Science（科学大学） ； Nanjing University（南京大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文提出OSGA框架，通过单次优化生成通用转向向量，有效缓解VLMs的幻觉问题并提升安全性。