大模型对齐与安全

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

对齐但脆弱：通过零阶优化增强LLM安全鲁棒性

Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技园区（滨江）区块链与数据安全研究院） ； Sun Yat-sen University（中山大学） ； KAUST（卡塔尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对大语言模型安全对齐后易受轻量级后处理（如参数噪声、激活噪声或量化）影响的问题，提出基于零阶优化的混合框架，通过先标准一阶安全对齐再零阶精炼提升鲁棒性，并利用扰动评估估计层鲁棒性敏感性以高效聚焦关键层更新。

KSAFE-MM: A Multimodal Safety Benchmark via Localized Contextualization for Korean Cultural Risks

KSAFE-MM：通过本地化语境化实现韩国文化风险的多模态安全基准

Yongwoo Kim, Sojung An, Yunjin Park, Jungwon Yoon, Dujin Lee, HyunBeom Cho, Jaewon Lee, Wonhyuk Lee, Youngchol Kim, JeongYeop Kim, Donghyun Kim

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型在安全评估中缺乏文化特异性问题，提出KSAFE-MM基准，通过语言和视觉语境化构建通用与韩国文化特有的多模态安全测试集，揭示模型对文化攻击的脆弱性及安全性与过度拒绝之间的权衡。

ReasonOps: A Unified Operational Paradigm for Trustworthy Verified LLM Reasoning

ReasonOps: 可信验证的LLM推理的统一操作范式

Adnan Rashid

机构 * School of Electrical Engineering（电子工程学院） ； Computer Science (SEECS) National University of Sciences（计算机科学（SEECS）国家 Sciences and Technology） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出ReasonOps，一种将推理视为持续监控、可验证、可靠性感知的操作过程的统一范式，整合语义解释、自动形式化、符号推理、定理证明、运行时保证、概率可靠性估计和自适应修正，以解决当前LLM推理中的逻辑不一致、幻觉符号转换等问题。

Comments 5 Pages

Benchmarking and Improving Monitors for Out-Of-Distribution Alignment Failure in LLMs

基准测试与改进LLMs中的分布外对齐失败监控器

Dylan Feng, Pragya Srivastava, Anca Dragan, Cassidy Laidlaw

机构 * University of California, Berkeley, USA（加州大学伯克利分校） ； Haize Labs, New York, USA（Haize实验室） ； Google DeepMind, India（谷歌DeepMind） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 针对大语言模型在分布外情境下的安全与对齐失败问题，提出MOOD基准并证明结合守卫模型与OOD检测器可提升监控召回率。

Is GPT-4o mini Blinded by its Own Safety Filters? Exposing the Multimodal-to-Unimodal Bottleneck in Hate Speech Detection

GPT-4o mini 是否被自身的安全过滤器蒙蔽？揭示多模态到单模态瓶颈在仇恨言论检测中的作用

Niruthiha Selvanayagam, Ted Kurti

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 本文通过 Hateful Memes Challenge 数据集系统分析 GPT-4o mini 在多模态仇恨言论检测中的安全架构，发现并实验验证了“单模态瓶颈”缺陷，即上下文无关的安全过滤器会优先阻断多模态推理，导致误报。

Comments This paper reports preliminary findings from a small-scale study whose sample size is insufficient to support the stated conclusions. The authors are withdrawing it to conduct a more comprehensive evaluation

Bridging AI and Clinical Reasoning: Abductive Explanations for Alignment on Critical Symptoms

弥合AI与临床推理：针对关键症状对齐的溯因解释

Belona Sonna, Alban Grastien

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文利用形式溯因解释，通过最小充分特征集提供一致且保证的推理，使AI决策与临床推理对齐，在保持预测准确性的同时提供可操作的临床见解，建立可信AI框架。

Comments The Algorithm 1 is not entirely correct and they may affect the results as well. We are restarting the experimentations and will upload the new version as soon as possible

Can AI Make Conflicts Worse? An Alignment Failure in LLM Deployment Across Conflict Contexts

AI 是否会加剧冲突？在冲突情境下LLM部署中的对齐失败

Andrii Kryshtal

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了AI模型在冲突情境下可能产生的对齐失败问题，通过测试九种模型配置，发现其在处理冲突相关场景时存在错误等价、否认种族灭绝和未能识别种族歧视术语等问题，提出了首个评估框架以提高AI在冲突情境下的安全性。

Comments Preprint. 8 pages, 2 figures. Code and evaluation framework: https://github.com/akryshtal/conflict-sensitivity-eval-bloom

Broadening Access to Transportation Safety Data with Generative AI: A Schema-Grounded Framework for Spatial Natural Language Queries

通过生成式AI拓宽交通安全管理数据的可及性：一种基于模式的时空自然语言查询框架

Mahdi Azhdari, Eric J. Gonzales

机构 * Department of Civil and Environmental Engineering, University of Massachusetts Amherst（麻省大学阿姆赫斯特分校土木与环境工程系） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文提出了一种基于模式的自然语言接口，利用大型语言模型解释用户意图，同时保持确定性和可审查的执行，以解决交通安全管理数据访问不均的问题，通过整合事故记录、道路属性和地理空间数据，提升公共部门的安全规划能力。

Comments 30 pages, 5 figures

LLM-Safety Evaluations Lack Robustness

大语言模型安全评估缺乏鲁棒性

Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann

机构 * Department of Computer Science \& Munich Data Science Institute, Technical University of Munich ； Canada AI CIFAR Chair 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文指出当前大语言模型安全对齐研究受到多种交织的噪声源阻碍，如小数据集、方法学不一致和不可靠的评估设置，导致难以公平评估和比较攻击与防御，阻碍了进展。我们系统分析了大语言模型安全评估流程，涵盖数据集整理、自动化红队优化策略、响应生成和响应评估使用LLM法官。在每个阶段，我们识别了关键问题并突出了其实际影响。我们还提出了一套减少未来攻击和防御论文评估中噪声和偏见的指南。最后，我们提出了对立观点，强调现有限制的实用原因。我们相信，未来研究解决这些问题将提高领域生成可比结果的能力，并实现可衡量的进步。

Automated alignment is harder than you think

自动化对齐比你想象的更困难

Aleksandr Bowkis, Marie Davidsen Buhl, Jacob Pfau, Geoffrey Irving

机构 * AI Security Institute（人工智能安全研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 论文指出，即使研究代理不故意破坏对齐工作，自动化对齐研究也可能导致误导性的安全评估，因模糊任务难以监督且人类判断有误。

Comments 15 pages, 4 figures

DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding

DocScope：可验证推理的可信长文档理解基准测试

Xiang Feng, Jiawei Zhou, Zhangfeng Huang, Kewei Wang, Shanshan Ye, Jinxin Hu, Zulong Chen, Yong Luo, Jing Zhang

机构 * School of Computer Science, National Engineering Research Center for Multimedia Software and Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University, China（计算机学院，国家多媒体软件工程技术研究中心和湖北多媒体与网络通信工程重点实验室，武汉大学，中国） ； Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国） ； Independent Researcher（独立研究者） ； Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（机器学习系，Mohamed bin Zayed人工智能大学，阿拉伯联合酋长国） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 DocScope通过结构化推理轨迹预测方法评估多模态大语言模型在长文档中的可验证推理能力，发现答案准确度无法替代轨迹级评估，且区域定位仍是薄弱环节。

Comments 50pages, 25 figures, 14 tables;

Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges

超越准确性：将政策不变性作为LLM安全裁判的可靠性测试

Shihao Weng, Yang Feng, Xiaofei Xie

机构 * Nanjing University（南京大学） ； Singapore Management University（新加坡国立管理学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出政策不变性作为LLM安全裁判可靠性测试，通过三个可测试原则揭示现有裁判在面对规范性变化和结构性重写时的失效模式，并提出政策不变性分数和裁判卡报告协议以评估裁判可靠性。

Comments 9 pages

Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering

风险链：大型推理模型中的安全故障及通过自适应多原则引导的缓解

Xiaomin Li, Jianheng Hou, Zheyuan Deng, Zhiwei Zhang, Taoran Li, Binghang Lu, Bing Hu, Yunhan Zhao, Yuexing Hao

机构 * Harvard University（哈佛大学） ； University of Southern California（南加州大学） ； Brown University（布朗大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Texas A&M University（德克萨斯阿姆大学） ； Purdue University（普渡大学） ； University of California, Irvine（加州大学 Irvine 分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究发现大型推理模型在推理轨迹中存在额外安全风险，提出自适应多原则引导方法降低不安全内容出现率，提升整体安全性。

ARMOR 2025: A Military-Aligned Benchmark for Evaluating Large Language Model Safety Beyond Civilian Contexts

ARMOR 2025：一种评估大语言模型安全性的军事对齐基准，超越民用情境

Sydney Johns, Heng Jin, Chaoyu Zhang, Y. Thomas Hou, Wenjing Lou

机构 * Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出ARMOR 2025基准，基于军事 doctrine 提出安全评估方法，通过12类分类和519个军事相关提示，评估21种商业LLM在军事应用中的安全对齐问题。

Evaluating AI Providers' Frontier Safety Frameworks

评估AI提供商的前沿安全框架

Lily Stelling, Malcolm Murray, Bruno Galizzi, Max Schaffelder, Siméon Campos, Henry Papadatos

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.CY

AI总结 本文评估12家AI公司的前沿安全框架，通过65项加权标准评估四个维度，发现框架存在诸多缺失或不明确之处，评分范围从34%到8%，建议未来需完善以提升问责功能。

OR-VSKC: Resolving Visual-Semantic Knowledge Conflicts in Operating Rooms with Synthetic Data-Guided Alignment

OR-VSKC：通过合成数据引导对齐解决手术室中的视觉-语义知识冲突

Weiyi Zhao, Xiaoyu Tan, Liang Liu, Sijia Li, Youwei Song, Xihe Qiu

机构 * Shanghai University of Engineering Science（上海工程技术大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Clinical Research Unit, Zhongshan Hospital of Fudan University（复旦大学中山医院临床研究部） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出OR-VSKC基准，通过合成数据引导对齐解决手术室中的视觉-语义知识冲突，评估多模态大语言模型的可靠性，并展示微调后的模型在未见视角上的鲁棒性。

Comments 13 pages, 5 figures. The dataset and appendix are available at https://github.com/zgg2577/VS-KC

SHAPE: Unifying Safety, Helpfulness and Pedagogy for Educational LLMs

SHAPE：统一安全、帮助性和教学法以用于教育LLM

Sihang Zhao, Kangrui Yu, Youliang Yuan, Pinjia He, Hongyi Wen

机构 * Center for Data Science, New York University Shanghai（纽约大学上海数据科学中心） ； Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文提出SHAPE基准，通过知识掌握图统一安全、帮助性和教学行为，改进教育LLM在对抗压力下的安全性和帮助性。

Comments ACL 2026 Main

OS-SPEAR: A Toolkit for the Safety, Performance,Efficiency, and Robustness Analysis of OS Agents

OS-SPEAR：一个用于操作系统代理安全、性能、效率和鲁棒性分析的工具包

Zheng Wu, Yi Hua, Zhaoyuan Huang, Chenhao Xue, Yijie Lu, Pengzhou Cheng, Zongru Wu, Lingzhong Dong, Gongshen Liu, Xinghao Jiang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 OS-SPEAR通过四个维度系统分析操作系统代理，解决现有评估方法在安全、效率和多模态鲁棒性方面的不足，揭示代理在效率与安全之间的权衡及不同模态的鲁棒性差异。

Beyond Local vs. External: A Game-Theoretic Framework for Trustworthy Knowledge Acquisition

超越局部与外部：一种博弈论框架用于可信知识获取

Rujing Yao, Yufei Shi, Yang Wu, Ang Li, Zhuoren Jiang, XiaoFeng Wang, Haixu Tang, Xiaozhong Liu

机构 * Nankai University（南开大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Worcester Polytechnic Institute（沃斯通理工学院） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Indiana University Bloomington（印第安纳大学布利克学院） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

AI总结 本文提出GTKA框架，通过博弈论平衡知识效用与隐私，设计隐私感知子查询生成器、对抗重建攻击者和可信本地整合器，减少敏感意图泄露并保持高答案质量。

CLIN-LLM: A Safety-Constrained Hybrid Framework for Clinical Diagnosis and Treatment Generation

CLIN-LLM：一种安全约束的混合框架，用于临床诊断和治疗生成

Md. Mehedi Hasan, Md. Abir Hossain, Farman Hossain Sayem, Bikash Kumar Paul, Ziaur Rahman, Mohammad Shorif Uddin, Rafid Mostafiz

机构 * Department of Information and Communication Technology（信息与通信技术系） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 CLIN-LLM通过整合多模态患者编码、不确定性校准的疾病分类和检索增强的治疗生成，提高了临床诊断和治疗建议的准确性与安全性，取得了98%的准确率和F1分数，优于ClinicalBERT。

Comments 13 pages, 9 figures. Preprint version under review in the area of Artificial Intelligence (cs.CR)

When Helpers Become Hazards: A Benchmark for Analyzing Multimodal LLM-Powered Safety in Daily Life

当助手变成危险：一个多模态大语言模型在日常生活中的安全分析基准

Xinyue Lou, Jinan Xu, Jingyi Yin, Xiaolong Wang, Zhaolu Kang, Youwei Liao, Yixuan Wang, Xiangyu Shi, Fengran Mo, Su Yao, Kaiyu Huang

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education（大数据与人工智能在交通运输中的关键实验室（北京交通大学），教育部） ； School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文提出SaLAD基准，通过2013个真实世界图像-文本样本评估多模态大语言模型在日常生活中的安全影响，揭示模型在识别危险行为方面的局限性。

Comments Accepted by ACL 2026 (Findings)

A Systematic Study of Training-Free Methods for Trustworthy Large Language Models

对可信大语言模型无训练方法的系统研究

Wai Man Si, Mingjie Li, Michael Backes, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文系统评估了无训练方法在不同可信设置下的有效性，分析了其对效用、鲁棒性和计算开销的影响，并提出平衡可信性、效用和鲁棒性的实用建议。

Persona Non Grata: Single-Method Safety Evaluation Is Incomplete for Persona-Imbued LLMs

不受欢迎的人：针对具有人格特征的LLM，单一方法的安全性评估是不完整的

Wenkai Li, Fan Yang, Shaunak A. Mehta, Koichi Onoue

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fujitsu Research of America Inc.（富士通美国研究公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文指出，针对具有人格特征的LLM，仅通过提示进行的安全性评估不完整，因为提示和激活引导暴露了不同的、依赖于架构的漏洞特征。研究显示，激活引导的漏洞无法通过提示侧排名预测，且在不同架构模型中表现各异。

Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment

机器是否像人类一样失败？一种以人为中心的分布外谱系用于映射误差对齐

Binxia Xu, Xiaoliang Luo, Luke Dickens, Robert M. Mok

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出以人为中心的分布外谱系，通过量化刺激偏离参考集的程度，揭示不同深度学习架构在近分布外和远分布外条件下的模型-人类对齐差异。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

The Competence Shadow: Theory and Bounds of AI Assistance in Safety Engineering

能力阴影：物理AI系统安全工程中AI辅助的理论与界限

Umair Siddique

机构 * Independent Research（独立研究） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文探讨AI在安全工程中的辅助作用，提出能力阴影理论，揭示AI辅助可能带来的系统性盲区，并强调协作设计的重要性。

Comments 8 Pages, 3 Figures, 2 table

BeSafe-Bench: Unveiling Behavioral Safety Risks of Situated Agents in Functional Environments

BeSafe-Bench：揭示功能环境中情境代理的行为安全风险

Yuxuan Li, Yi Lin, Peng Wang, Shiming Liu, Xuetao Wei

机构 * Southern University of Science and Technology（南方科技大学） ； Huawei RAMS Lab（华为RAMS实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出BeSafe-Bench，通过构建功能环境和引入九类安全关键风险，评估代理在Web、Mobile、Embodied VLM和Embodied VLA等领域的行为安全风险，发现最佳性能代理在安全约束下完成任务的比例不足40%。

Analysing the Safety Pitfalls of Steering Vectors

分析转向向量的安全隐患

Yuxiao Li, Alina Fastowski, Efstratios Zaradoukas, Bardh Prenkaj, Gjergji Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文研究转向向量在对抗攻击中的影响，发现其能显著改变攻击成功率，揭示可控性与安全性的权衡。

DriveSafe: A Hierarchical Risk Taxonomy for Safety-Critical LLM-Based Driving Assistants

DriveSafe：面向安全关键的LLM驾驶助手风险分类

Abhishek Kumar, Riya Tapwal, Carsten Maple

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University of Warwick（沃里克大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出DriveSafe，一种四层风险分类体系，用于系统表征LLM驾驶助手的安全关键失效模式，涵盖技术、法律、社会和伦理维度，通过专家评审和模型评估验证其现实性与安全性。

Comments This is the revised version of the paper

ARIADNE: A Perception-Reasoning Synergy Framework for Trustworthy Coronary Angiography Analysis

ARIADNE：一种用于可靠冠状动脉造影分析的感知-推理协同框架

Zhan Jin, Yu Luo, Yizhou Zhang, Ziyang Cui, Yuqing Wei, Xianchao Liu, Xueying Zeng, Qing Zhang

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 ARIADNE通过结合偏好对齐的感知与基于强化学习的诊断推理，实现拓扑一致的狭窄检测。该框架利用DPO微调Sa2VA模型，结合贝蒂数约束，提升血管结构完整性，减少假阳性，验证了偏好学习在医学影像中的应用。

Comments 28 pages, 5 figures . arXiv:submit/7385738 [cs.AI]