大模型对齐与安全

Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth

Jiawei Zhang, Andrew Estornell, David D. Baek, Bo Li, Xiaojun Xu

机构 * University of Chicago（芝加哥大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning

Yi Zhang, An Zhang, XiuYu Zhang, Leheng Sheng, Yuxin Chen, Zhenkai Liang, Xiang Wang

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

Safe Pruning LoRA: Robust Distance-Guided Pruning for Safety Alignment in Adaptation of LLMs

Shuang Ao, Yi Dong, Jinwei Hu, Sarvapali Ramchurn

机构 * School of Electronics and Computer Science, University of Southampton, UK（索姆塞特大学电子与计算机科学学院） ； Department of Computer Science, University of Liverpool, UK（利弗pool大学计算机科学系） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

Comments 13 pages, 3 figures

From Threat to Tool: Leveraging Refusal-Aware Injection Attacks for Safety Alignment

Kyubyung Chae, Hyunbin Jin, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

NeuroAI for AI Safety

Patrick Mineault, Niccolò Zanichelli, Joanne Zichen Peng, Anton Arkhipov, Eli Bingham, Julian Jara-Ettinger, Emily Mackevicius, Adam Marblestone, Marcelo Mattar, Andrew Payne, Sophia Sanborn, Karen Schroeder, Zenna Tavares, Andreas Tolias, Anthony Zador

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.LG

Comments 152 pages, 22 figures

Safety Cases: A Scalable Approach to Frontier AI Safety

Benjamin Hilton, Marie Davidsen Buhl, Tomek Korbak, Geoffrey Irving

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.CY

Comments 18 pages, 2 figures, 3 tables

Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model

Siyin Wang, Xingsong Ye, Qinyuan Cheng, Junwen Duan, Shimin Li, Jinlan Fu, Xipeng Qiu, Xuanjing Huang

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

Journal ref NAACL 2025

Refining Positive and Toxic Samples for Dual Safety Self-Alignment of LLMs with Minimal Human Interventions

Jingxin Xu, Guoshun Nan, Sheng Guan, Sicong Leng, Yilian Liu, Zixiao Wang, Yuyang Ma, Zhili Zhou, Yanzhao Hou, Xiaofeng Tao

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

Comments This work has been submitted to the IEEE for possible publication

Watching the AI Watchdogs: A Fairness and Robustness Analysis of AI Safety Moderation Classifiers

Akshit Achara, Anshuman Chhabra

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Main Conference

A Case for AI Safety via Law

Jeffrey W. Johnston

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.CY

Comments 25 pages

AI Safety Gridworlds

Jan Leike, Miljan Martic, Victoria Krakovna, Pedro A. Ortega, Tom Everitt, Andrew Lefrancq, Laurent Orseau, Shane Legg

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.LG

SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models

Somnath Banerjee, Sayan Layek, Soham Tripathy, Shanu Kumar, Animesh Mukherjee, Rima Hazra

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

Comments Accepted at AAAI 2025 (AI Alignment Track). Also selected for Microsoft Academic Partnership Grant (MAPG) 2024

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

专题命中 安全训练 ：safety(title,abstract)；alignment(title,abstract)；分类 cs.CL

Comments EMNLP 2024 Main. Codes are available at: https://github.com/declare-lab/safety-arithmetic

Into the Gray Zone: Domain Contexts Can Blur LLM Safety Boundaries

进入灰色区域：领域上下文可以模糊大语言模型安全边界

Ki Sen Hung, Xi Yang, Chang Liu, Haoran Li, Kejiang Chen, Changxuan Fan, Tsun On Kwok, Weiming Zhang, Xiaomeng Li, Yangqiu Song

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract,abstract_cn)；alignment(abstract)；harmlessness(abstract)

AI总结 研究探讨了领域上下文如何模糊大语言模型的安全边界，提出Jargon框架通过多轮对抗交互提升攻击成功率，通过激活空间分析揭示灰色区域的不可靠性，并设计政策引导的防护策略以减少攻击成功率。

Comments ACL 2026 Main Conference

Stepwise Alignment for Constrained Language Model Policy Optimization

Akifumi Wachi, Thien Q. Tran, Rei Sato, Takumi Tanabe, Youhei Akimoto

专题命中 安全训练 ：alignment(title,abstract)；DPO(abstract)；safety(abstract)；harmlessness(abstract)

Comments Accepted at NeurIPS 2024. Code and models are available at https://github.com/line/sacpo

When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

当安全覆盖视觉时：探索视觉语言模型中视觉影响与安全对齐之间的动态关系

Mehak Gupta, Tanmoy Chakraborty

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态，发现安全对齐未抑制感知接地，抑制拒绝相关表征可恢复接地回答，揭示了其一种新的失败模式。

BabelSteering: Multilingual Safety Alignment via English Steering Vectors

BabelSteering：通过英文引导向量实现多语言安全对齐

Emma V. Stein, Dominik Meier, Terry Ruas, Jan Philip Wahle, Bela Gipp

机构 * University of Göttingen（哥廷根大学） ； German State Police NRW（北莱茵-威斯特伐利亚州德国警察） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 本研究提出BabelSteering激活引导方法，利用英语安全监督的拒绝方向实现多语言安全对齐，可提升多语言有害请求拒绝率且任务效用损失极小，还引入多语言翻译评估流程。

Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

安全对齐的定位：MLP层与网络中间块编码大语言模型的拒绝行为

Mingyu Zong, Sampad Mohanty, Bhaskar Krishnamachari

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本研究通过移植不同粒度的模型权重实验，发现大语言模型的安全拒绝行为主要编码在MLP层，且集中于网络中间块，其构成具有非加性，存在基准依赖的精度-覆盖权衡。

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。

Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks

移动安全屏障：针对白盒攻击的动态路由自适应对齐

Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对大型基础模型易受路由级白盒攻击的问题，提出动态路由自适应对齐框架，通过引入动态补偿路由提升模型安全稳健性且保留通用实用性。

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元：针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题，提出分布式安全对齐（DSA），通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性，且保留通用语言与多模态效用。

Matching Ranks Over Probability Yields Truly Deep Safety Alignment

概率匹配排名实现真正深度的安全对齐

Jason Vega, Gagandeep Singh

机构 * Siebel School of Computing and Data Science（塞比尔计算与数据科学学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究开源大语言模型安全问题，针对预填充攻击及相关防御，提出排名辅助预填充（RAP）攻击，又通过匹配令牌排名提出PRESTO方法，提升了模型在RAP攻击下的安全性，为安全开源模型发展助力。

Automated Analysis of Global AI Safety Initiatives: A Taxonomy-Driven LLM Approach

全球人工智能安全举措的自动化分析：基于分类学的LLM方法

Takayuki Semitsu, Naoto Kiribuchi, Kengo Zenitani

机构 * Japan AI Safety Institute（日本人工智能安全研究所） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 本文提出一种自动化框架，通过共享活动分类法比较AI安全政策文件，利用活动地图上的活动类别提取并映射相关活动，生成摘要、比较和相似度评分，评估LLM在政策文档中的稳定性与有效性。

Comments 18 pages, 6 figures, 6 tables, to be published in PoliticalNLP 2026

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐

Shei Pern Chua, Hao Wu, Qianli Ma, Fangzhao Wu

机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

并非所有拒绝都是等同的：安全对齐如何在大规模情况下使网络安全失败

Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

机构 * Cracken AI 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究安全对齐在网络安全领域的问题，通过对24个开源语言模型的实验，以Kimi K2为例展示特定领域删减可行，探讨模型特征与删减效果的关联并分类模型，提出相关猜想。

Comments 14 pages, 11 figures. Under review at NeurIPS 2026

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II：大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。

Agent Safety Is Action Alignment

智能体安全即行动对齐

Shawn Li, Yue Zhao

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本文指出将内容安全方法（如拒绝训练）直接应用于智能体场景存在根本性错误，提出智能体安全应通过最小权限原则在行动边界外部强制执行，并作为行动对齐（关系性、部署条件属性）来评估。

PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

PolicyAlign: 大型语言模型的直接基于策略的安全对齐

Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出PolicyAlign框架，通过合成违规指令和策略敏感过滤，直接根据自然语言安全策略对齐LLM，提升安全性并保持低过度拒绝和通用能力。

IatroBench: Pre-Registered Evidence of Iatrogenic Harm from AI Safety Measures

IatroBench: AI安全措施中意外伤害的预注册证据

David Gringras

机构 * Harvard T.H. Chan School of Public Health（哈佛大学T.H. 洪学校公共卫生学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究通过IatroBench评估了AI安全措施在医疗决策中的意外伤害风险，发现不同模型在身份相关性上的隐瞒行为存在显著差异，尤其在高度安全训练的模型中表现更明显。

Comments 30 pages, 3 figures, 11 tables. Pre-registered on OSF (DOI: 10.17605/OSF.IO/G6VMZ). Code and data: https://github.com/davidgringras/iatrobench. v2: Fix bibliography entries (add arXiv IDs, published venues); correct p-value typo in Limitations section; add AI Assistance Statement v3: Correct Figure 1 (decoupling scatter accidentally reverted to earlier draft in v2)

When Autoregressive Consistency Hurts Safety Alignment

当自回归一致性损害安全对齐

Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

机构 * University of Southampton（索姆塞特大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 本文通过分析自回归一致性机制，揭示了大语言模型安全对齐的浅层性，并提出随机插入攻击和对抗性安全对齐方法。

Comments 21 pages