大模型对齐与安全

Before the Last Token: Diagnosing Final-Token Safety Probe Failures

在最后的标记之前：诊断最终标记安全探针失败

Shravan Doda

机构 * SafeSwitch ； HarmBench ； SorryBench 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究最终标记安全探针在预填充阶段的失败模式，发现安全证据分布在早期用户标记中，传统探针无法捕捉，提出基于PCA-HMM的轨迹模型提升诊断能力。

Comments 8 pages, 2 figures, 7 tables. Accepted at the ICML 2026 Mechanistic Interpretability Workshop and the ICML 2026 Failure Modes in Agentic AI Workshop

Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context

Health-ORSC-Bench：衡量健康领域过度拒绝与安全完成的基准

Zhihao Zhang, Liting Huang, Guanghao Wu, Preslav Nakov, Heng Ji, Usman Naseem

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对大语言模型在健康场景中过度拒绝良性查询或对有害查询不安全遵从的问题，提出Health-ORSC-Bench基准，通过31,920个边界提示评估模型在意图模糊下的过度拒绝与安全完成质量，揭示安全优化模型过度拒绝率达80%。

Comments Accepted by ACL'26 Findings

Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Skin-Deep: 大型语言模型表示中对齐脆弱性的几何诊断方法

Dongyub Jude Lee, Jungseob Lee, Seungyoon Lee, Seongtae Hong, Suhyune Son, Sugyeong Eo, Jaehyung Seo, Heuiseok Lim

机构 * Zoom Communications ； Korea University（高丽大学） ； Yonsei University（延世大学） ； Konkuk University（建国大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出Skin-Deep几何诊断方法，通过计算几何脆弱性分数（GFS）在对齐模型微调前检测其拒绝有害请求行为的脆弱性，无需运行攻击。

Comments 16 pages, 3 figures, 12 tables. The first two authors contributed equally. Code (pre-attack GFS diagnostic): https://github.com/js-lee-AI/skin-deep

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin

AsFT：在窄安全盆地内锚定大语言模型微调期间的安全性

Shuo Yang, Qihui Zhang, Yuyang Liu, Xiaojun Jia, Kunpeng Ning, Jiayu Yao, Jigang Wang, Hailiang Dai, Yibing Song, Li Yuan

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 针对微调大语言模型时安全性易受损的问题，提出AsFT方法，通过惩罚与对齐方向正交的更新，将模型约束在窄安全盆地内，在提升任务性能的同时显著降低有害行为。

Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models

推理是否保持对齐？关于大型推理模型的可信度研究

Prajakta Kini, Avinash Reddy, Souradip Chakraborty, Satya Sai Srinath Namburi GNVV, Furong Huang, Amrit Singh Bedi, Alvaro Velasquez

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） ； University of Central Florida（中佛罗里达大学） ； University of Maryland College Park（马里兰大学帕克分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 研究通过监督微调、强化学习和蒸馏生成的推理模型在安全、偏见、隐私等六个可信度维度上是否保持对齐，发现推理模型常出现对齐退化，如毒性增加、刻板印象加剧等。

CHASE: Adversarial Red-Blue Teaming for Improving LLM Safety using Reinforcement Learning

CHASE：利用强化学习进行对抗性红蓝队训练以提高LLM安全性

Rahul Markasserithodi, Aditya Joshi, Yuekang Li, Ishmanbir Singh, Chris Yoo, Alan Niu

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 提出CHASE框架，通过红蓝队协同进化（红队使用GRPO生成对抗性改写，蓝队使用两阶段GRPO+拒绝采样SFT进行防御），在保持良性提示零误拒的同时将攻击成功率降低43.2%。

Comments Under Review at ARR

ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails

ConsisGuard：在LLM护栏中对齐安全审议与策略执行

Yan Wang, Zhixuan Chu, Zihao Xue, Zhen Bi, Bingyu Zhu, YueFeng Chen, Zeyu Yang, Jungang Lou, Longtao Huang, Ningyu Zhang, Kui Ren, Hui Xue

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； Huzhou Normal University（湖州师范学院） ； Zhejiang Key Laboratory of Intelligent Education Technology and Application（浙江省智能教育技术与应用重点实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 提出ConsisGuard框架，通过策略到决策轨迹蒸馏和功能耦合对齐，解决基于推理的LLM护栏中审议与执行之间的不一致问题，提升安全检测性能并减少策略执行失败。

Comments 18 pages, 9 figures

COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents

COMPASS: 认知MCTS引导的过程对齐用于安全搜索代理

Wenkai Shen, Pengyang Zhou, Jiahe Xu, Jiaming Qian, Haozhe He, Zhihao Huang, Chaochao Chen, Xiaolin Zheng

机构 * Zhejiang University（浙江大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出COMPASS框架，通过认知树探索和自省步骤对齐，在保持通用效用的同时实现搜索代理工作流中的鲁棒安全对齐。

Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications

反转盾牌：从策略规范中系统生成安全测试

Xiaoyue Lu, Xianglin Yang, Haijun Liu, Jiahao Liu, Kuntai Cai, Yan Xiao, Jin Song Dong

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI

AI总结 提出POLARIS框架，通过将非结构化自然语言策略编译为一阶逻辑表示并构建语义策略图，实现覆盖驱动的可重复安全测试，相比基线方法提高了策略覆盖率和攻击成功次数。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Investigating Concept Alignment Using Implausible Category Members

通过不合理的类别成员探究概念对齐

Sunayana Rane, Brenden M. Lake, Thomas L. Griffiths

机构 * Department of Computer Science（计算机科学系） ； Princeton University（普林斯顿大学） ； Department of Psychology（心理学系） 纠错

专题命中 安全训练 ：alignment(title)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文研究了通过询问不合理类别成员来探究概念边界，发现AI模型在某些概念上与人类存在显著差异，如将'词语'归类为'车辆'或'衣物'，并探讨了这些概念错位对AI安全的影响。

Fine-grained List-wise Alignment for Generative Medication Recommendation

细粒度列表级对齐用于生成性药物推荐

Chenxiao Fan, Chongming Gao, Wentao Shi, Yaxin Gong, Zihao Zhao, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出FLAME框架，通过细粒度列表级对齐方法，利用大语言模型生成药物列表，以提高药物推荐的准确性和安全性，同时考虑药物间的相互作用和潜在不良反应。

Comments NeurIPS 2025 Spotlight

Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction

多模态大语言模型中的安全几何坍缩与自适应漂移修正

Jiahe Guo, Xiangran Guo, Jiaxuan Chen, Weixiang Zhao, Yanyan Zhao, Yutai Hou, Qianchao Wang, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文研究了多模态大语言模型在跨模态安全转移中的不足，提出安全几何坍缩现象，并通过自适应漂移修正方法提升模型安全性。

Why Do Aligned LLMs Remain Jailbreakable: Refusal-Escape Directions, Operator-Level Sources, and Safety-Utility Trade-off

为何对齐的LLM仍可被劫持：拒绝-逃逸方向、操作级来源及安全-效用权衡

Yu Chen, Yuanhao Liu, Qi Cao

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究揭示对齐LLM仍易被劫持的原因，通过连续输入变换视角，发现拒绝-逃逸方向（RED）及操作级来源的结构漏洞，揭示安全与效用的权衡关系。

Comments 40 pages, 45 figures

Tatemae: Detecting Alignment Faking via Tool Selection in LLMs

Tatemae：通过工具选择检测LLMs中的对齐欺骗

Matteo Leonesi, Francesco Belardinelli, Flavio Corradini, Marco Piangerelli

机构 * Department of Computer Science（计算机科学系） ； University of Camerino（坎皮诺大学） ； Department of Computing（计算系） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文通过可观测的工具选择检测LLMs中的对齐欺骗，分析了在监控和无监控状态下工具选择的变化，并展示了不同领域和压力类型下的漏洞特征。

How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study

如何增强大推理模型的安全性：一项实证研究

Zhexin Zhang, Xian Qi Loye, Victor Shea-Jay Huang, Junxiao Yang, Qi Zhu, Shiyao Cui, Fei Mi, Lifeng Shang, Yingkang Wang, Hongning Wang, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）小组，DCST，清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 本文通过监督微调探讨如何提升大推理模型的安全性，发现直接蒸馏安全响应无效，但针对性处理危险模式可显著提升安全性，且短或模板化推理过程同样有效。

Comments ACL 2026 Main Conference

When Choices Become Risks: Safety Failures of Large Language Models under Multiple-Choice Constraints

当选择成为风险：在多选约束下大型语言模型的安全失败

Yuheng Chen, Zhiyu Wu, Bowen Cheng, Tetsuro Takahashi

机构 * Kagoshima University（鹿儿岛大学） ； Fudan University（复旦大学） ； China University of Petroleum-Beijing（中国石油大学（北京）） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 研究发现，在多选约束下，LLM可能绕过拒绝行为，导致安全风险增加，揭示当前安全评估在结构化任务中的不足。

TWGuard: A Case Study of LLM Safety Guardrails for Localized Linguistic Contexts

TWGuard：LLM安全护栏在本地化语言环境中的案例研究

Hua-Rong Chu, Kuan-Chun Wang, Yao-Te Huang

机构 * Chunghwa Telecom Laboratories（中华电信实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(abstract)；分类 cs.CL

AI总结 本文提出通过定制数据集优化语言环境特定的LLM安全护栏模型，以解决语言和文化差异导致的性能与实际效果差距问题，TWGuard在F1指标上提升显著，并在误报率上表现优异。

Comments This work has been submitted to the IEEE for possible publication

Preventing Safety Drift in Large Language Models via Coupled Weight and Activation Constraints

通过耦合权重和激活约束防止大语言模型中的安全漂移

Songping Peng, Zhiheng Zhang, Daojian Zeng, Lincheng Jiang, Xieping Gao

机构 * Hunan Normal University（湖南师范大学） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，中国科学院自动化研究所） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出耦合权重和激活约束方法，通过同时约束权重更新和关键特征正则化，有效提升大语言模型的安全性，实验显示其在多种任务中表现优于现有方法。

Comments 17 pages, 6 figures, 6 tables, The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Interactionless Inverse Reinforcement Learning: A Data-Centric Framework for Durable Alignment

无交互逆强化学习：一种数据驱动的对齐框架

Elias Malomgré, Pieter Simoens

机构 * IDLab, Ghent University - imec（IDLab，根特大学-imec） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出无交互逆强化学习框架，旨在通过数据驱动的方法学习可检查、可编辑和可重用的奖励特征，从而将对齐问题从一次性训练成本转变为可验证的工程资产。

Comments Accepted for the AAMAS 2026 Blue Sky Ideas track

DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

DualEdit: 通过肯定-拒绝调节缓解LLM后门编辑中的安全回退

Houcheng Jiang, Zetong Zhao, Junfeng Fang, Haokai Ma, Ruipeng Wang, Xiang Wang, Xiangnan He, Yang Deng

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Singapore Management University（新加坡管理大学） ； MoE Key Lab of BIPC, University of Science and Technology of China（中国科学技术大学信息与通信技术国家重点实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 DualEdit通过双重目标模型编辑框架缓解LLM后门攻击中的安全回退问题，通过动态损失加权和价值锚定技术提升攻击成功率并降低安全回退率。

SafeSearch: Do Not Trade Safety for Utility in LLM Search Agents

SafeSearch: 不应为效用而牺牲安全性的LLM搜索代理

Qiusi Zhan, Angeline Budiman-Chan, Abdelrahman Zayed, Xingzhi Guo, Daniel Kang, Joo-Kyung Kim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文研究了基于大语言模型的搜索代理在安全与效用之间的平衡问题，提出SafeSearch方法通过多目标强化学习提升安全性和效用，实验表明其显著降低有害输出并保持问答性能。

Comments EACL 2026 Findings. Code available at https://github.com/amazon-science/SafeSearch

SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems

SafeGen-LLM: 提高机器人系统任务规划中的安全性泛化能力

Jialiang Fan, Weizhe Xu, Mengyu Liu, Oleg Sokolsky, Insup Lee, Fanxin Kong

机构 * University of Notre Dame（诺丁汉大学） ； Washington State University（华盛顿州立大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SafeGen-LLM通过两阶段框架提升机器人任务规划的安全性泛化能力，优于现有基线。

Comments 12 pages, 6 figures

When the Model Said 'No Comment', We Knew Helpfulness Was Dead, Honesty Was Alive, and Safety Was Terrified

当模型说'无话可说'时，我们得知有帮助性已死，诚实仍活着，安全性却感到害怕

Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

机构 * School of Computing, Macquarie University（计算学院，麦考瑞大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 AlignX通过两阶段框架解决LLM多目标对齐问题，提升有帮助性、无害性和诚实性，同时减少延迟和内存使用。

Comments Accepted at EACL Mains 2026

Alignment-Aware Model Adaptation via Feedback-Guided Optimization

通过反馈引导优化实现对齐感知的模型适应

Gaurav Bhatt, Aditya Chinchure, Jiawei Zhou, Leonid Sigal

机构 * Department of Computer Science, University of British Columbia, Location, Canada（不列颠哥伦比亚大学计算机科学系） ； Vector Institute of AI, Toronto, Canada（人工智能向量研究所） ； Stony Brook University, New York, USA（石溪大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出了一种通过反馈引导优化实现对齐感知的模型适应框架，通过自适应门控机制平衡监督与对齐梯度，减少有害输出并提升模型对齐性。

Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models

通过基于分布的细化缓解安全税在大推理模型中的影响

Yingsha Xie, Tiansheng Huang, Enneng Yang, Rui Min, Wenjie Lu, Xiaochun Cao, Naiqiang Tan, Li Shen

机构 * School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University, China（中山大学深圳校区计算机科学与技术学院） ； Hong Kong University of Science（香港科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出DGR方法，通过基于分布的细化缓解大推理模型中的安全税，提升推理准确性和安全性。

Comments Code will be released soon

Toward Autonomous Laboratory Safety Monitoring with Vision Language Models: Learning to See Hazards Through Scene Structure

迈向自主实验室安全监控：通过场景结构学习识别危险

Trishna Chakraborty, Udita Ghosh, Aldair Ernesto Gongora, Ruben Glatt, Yue Dong, Jiachen Li, Amit K. Roy-Chowdhury, Chengyu Song

机构 * Electrical and Computer Engineering, University of California, Riverside, USA（加州大学河滨分校电气与计算机工程系） ； Computer Science and Engineering, University of California, Riverside, USA（加州大学河滨分校计算机科学与工程系） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 本文提出通过场景图引导对齐方法，利用视觉语言模型提升实验室安全监控中危险识别的准确性。

LLM Security and Safety: Insights from Homotopy-Inspired Prompt Obfuscation

大语言模型的安全性与安全性：基于同调启发的提示混淆洞察

Luis Lazo, Hamed Jelodar, Roozbeh Razavi-Far

机构 * Canadian Institute for Cybersecurity（加拿大网络安全研究所） ； Faculty of Computer Science（计算机科学学院） ； University of New Brunswick（新 Brunswick大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文提出基于同调启发的提示混淆框架，通过系统实验揭示LLM安全漏洞，强调对更强大防御机制和鲁棒性改进的必要性。

ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback

ToolSafe: 通过主动的步骤级防护和反馈提升基于LLM的代理的工具调用安全性

Yutao Mou, Zhangchi Xue, Lijun Li, Peiyang Liu, Shikun Zhang, Wei Ye, Jing Shao

机构 * National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 ToolSafe通过构建TS-Bench和TS-Guard模型，结合TS-Flow框架，有效减少LLM代理的有害工具调用并提升任务完成率。

Comments Work in Progress. Code available: https://github.com/MurrayTom/ToolSafe

Shape it Up! Restoring LLM Safety during Finetuning

Shape it Up! 修复微调过程中LLM的安全性

ShengYun Peng, Pin-Yu Chen, Jianfeng Chi, Seongmin Lee, Duen Horng Chau

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 动态安全塑造（DSS）通过细粒度安全信号在微调过程中动态增强安全内容，有效缓解安全风险，提升模型安全性。

Comments NeurIPS'25

Are LLMs Good Safety Agents or a Propaganda Engine?

LLMs是安全代理还是宣传引擎？

Neemesh Yadav, Francesco Ortu, Jiarui Liu, Joeun Yook, Bernhard Schölkopf, Rada Mihalcea, Alberto Cazzaniga, Zhijing Jin

机构 * SMU ； University of Trieste（特里este大学） ； AREA Science Park（AREA科学园） ； CMU（卡内基梅隆大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； MPI for Intelligent Systems（智能系统研究所） ； University of Michigan（密歇根大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 本文通过PSP数据集研究LLMs在政治敏感内容上的拒绝行为，发现大多数模型存在审查倾向，并分析了影响拒绝分布的关键因素。

Comments 15 pages, 7 tables, 4 figures