大模型对齐与安全

When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents

当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。

SafeSpec: Fast and Safe LLM via Dynamic Reflective Sampling

SafeSpec: 通过动态反射采样实现快速且安全的LLM

Haotian Xu, Zeyang Zhang, Linbao Li, Huadi Zheng, Yu Li, Cheng Zhuo

机构 * Zhejiang University, Hangzhou, China（浙江大学） ； Huawei（华为） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出SafeSpec框架，将轻量安全头集成到推测解码的验证过程中，通过风险估计和反射采样恢复安全生成，在保持加速的同时显著降低攻击成功率。

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

论神经网络的满射性：你能从模型中诱导出任何行为吗？

Haozhe Jiang, Nika Haghtalab

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 本文证明现代神经网络架构（如预层归一化和线性注意力模块）几乎总是满射，意味着任何输出（包括有害内容）原则上都可生成，揭示了模型在对抗攻击下的固有脆弱性。

Comments Blog: https://astro-eric.github.io/blogs/surjective/

From ASR to ASP: Evaluating Prompt Attack Vulnerabilities Against Open-Source LLMs

从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞

Jiawen Wang, Pritha Gupta, Ivan Habernal, Eyke Hüllermeier, Xiaoxue Gao, Nancy F. Chen

机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。

Comments 8 pages, 2 figures, EMNLP 2026 under review

Hybrid Adversarial Defence for Natural Language Understanding Tasks

混合对抗防御用于自然语言理解任务

Manar Abouzaid, Yang Wang, Chenghua Lin, Stuart E. Middleton

机构 * School of Electronics and Computer Science, University of Southampton, UK（南安普顿大学电子与计算机科学学院） ； Department of Computer Science, University of Manchester, UK（曼彻斯特大学计算机科学系） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 提出一种结合熵、不确定性和几何特征的混合防御框架，在多个自然语言理解数据集上同时提升了干净任务性能和对抗鲁棒性。

Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing

哪种防御措施应对哪种威胁？归因OWASP-LLM-Top-10覆盖及其在释义下的脆弱性

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 越狱攻击 ：alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文通过归因分析，测量了不同防御家族（拒绝过滤、预算控制等）对OWASP-LLM-Top-10威胁的覆盖情况，并揭示了拒绝防御在释义攻击下的脆弱性。

Comments 17 pages, 4 figures, 7 tables

D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

D-Judge: 使用语义保持输出重写破坏多轮越狱攻击

Huanli Gong, Zhipeng Wei, Yu Fu, Haz Sameen Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson

机构 * University of California, Berkeley（加州大学伯克利分校） ； International Computer Science Institute（国际计算机科学研究所） ； University of California, Riverside（加州大学河滨分校） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出D-Judge防御方法，通过语义保持的输出重写干扰攻击者的评判模型反馈循环，从而降低多轮越狱攻击的成功率。

Comments Proceedings of the 43rd International Conference on Machine Learning

Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation

超越支持域：无监督越狱激活模拟的对抗训练

Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

机构 * University of Technology Sydney, Sydney, Australia（技术悉尼大学） ； School of Cyber Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院） ； Xi'an Jiaotong University, Xi'an, China（西安交通大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 针对现有安全引导方法对未见越狱攻击泛化失败的问题，提出基于无监督潜在方向发现的双层对抗训练框架，通过外推拒绝态有害请求激活模拟多样越狱激活，并训练势诱导引导场实现零样本越狱防御。

Comments accepted by ICML 2026

Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security

解耦对抗性提示：基于语义图的鲁棒大语言模型安全防御

Xiang Fang, Wanlong Fang

机构 * Xiang Fang（1. 方翔） ； Wanlong Fang（2. 方万龙） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出对抗性提示解耦（APD）框架，通过互信息语义分解、图谱分析和轻量级分类器，在输入处理前识别并中和恶意组件，将有害输出减少85%以上。

Comments Published in AAAI 2026

CRaFT: Circuit-Guided Refusal Feature Selection via Cross-Layer Transcoders

CRaFT：基于跨层转码器的电路引导拒绝特征选择

Su-Hyeon Kim, Hyundong Jin, Yejin Lee, Yo-Sub Han

机构 * Yonsei University（延世大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出CRaFT框架，利用跨层转码器构建稀疏特征电路图，通过量化特征间影响及其对最终输出的贡献，选择控制拒绝行为的关键特征，显著提升越狱攻击性能。

Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models

被擦除但可被利用：针对已遗忘文本到图像扩散模型的黑盒嵌入感知提示攻击

Arian Komaei Koma, Seyed Amir Kasaei, AmirMahdi Sadeghzadeh, Mohammad Hossein Rohban

机构 * Department of Computer Engineering（计算机工程系） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出一种黑盒嵌入感知对抗提示攻击BEAP，利用大语言模型迭代生成有效对抗提示，以恢复被遗忘概念，并在攻击成功率上提升超过60%。

Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection

Reflect-Guard: 通过逻辑自我反思增强大语言模型对对抗性提示的防护

Lixing Lin, Juli You, Yue Li, Luyun Lin, Yiqing Wang, Zhen Zhang, Moxuan Zheng

机构 * Yale University（耶鲁大学） ； Columbia University（哥伦比亚大学） ； Citigroup（摩根大通） ； Independent Researcher（独立研究者） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出Reflect-Guard方法，通过参数高效微调为大语言模型安全分类器注入链式思维自我反思能力，显著提升对对抗性越狱攻击的检测性能。

Comments 12 pages, 2 figures, and 4 tables

LASH: Adaptive Semantic Hybridization for Black-Box Jailbreaking of Large Language Models

LASH：适应性语义混合用于大语言模型的黑盒劫持

Abdullah Al Nomaan Nafi, Fnu Suya, Swarup Bhunia, Prabuddha Chakraborty

机构 * University of Maine（缅因大学） ； University of Tennessee, Knoxville（田纳西大学, 基纳顿分校） ； University of Florida（佛罗里达大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文提出LASH框架，通过适应性语义混合方法，利用多个基础攻击的输出作为可重用的种子提示，针对不同目标模型和有害类别进行自适应组合，从而在黑盒红队测试中取得更高的攻击成功率。

Jailbreaking on Text-to-Video Models via Scene Splitting Strategy

通过场景分割策略对文本到视频模型进行劫持

Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

机构 * Yonsei University（延世大学） ； Korea Institute of Science and Technology（韩国科学技术院） ； AIM Intelligence（AIM智能） ； Seoul National University（首尔国立大学） ； Kyung Hee University（庆熙大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出了一种新的黑盒劫持方法SceneSplit，通过将有害叙述分割成多个良性场景，利用场景组合作为约束来引导最终输出，从而提高生成有害视频的可能性，验证了当前文本到视频模型的安全机制存在漏洞。

Comments ICLR 2026. Project page at https://velpegor.github.io/SceneSplit/

Surviving the Unseen: Predictive Defense for Novel Multi-Turn Multimodal Attacks

在不可见中存活：面向新颖多轮多模态攻击的预测防御

Doohee You

机构 * Trust and Safety, Google（谷歌信任与安全部） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出了一种预测性防御方法，用于应对新颖多轮多模态攻击，通过动态生存预测和轨迹动态问题来解决静态防御机制的不足，建立了一个计算高效且可解释的安全保障框架。

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

基于身份的对抗提示：多身份红队测试用于对抗发现与缓解

Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

机构 * IBM Research（IBM研究院） ； Trinity College Dublin（都柏林大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出PCAP方法，通过多身份对抗搜索发现真实攻击场景，提升模型鲁棒性，生成多样化防御数据集。

DataDignity: Training Data Attribution for Large Language Models

DataDignity: 为大语言模型训练数据的归因

Xiaomin Li, Andrzej Banburski-Fahey, Jaron Lanier

机构 * Microsoft（微软） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；分类 cs.AI

AI总结 研究提出通过归因方法识别支持语言模型响应的文档，引入FakeWiki基准测试，评估ScoringModel在九个模型上的表现，提升Recall@10至52.2，展示训练数据归因需区分真实支持与主题或词汇相似性。

SCOUT: A Defense Against Data Poisoning Attacks in Fine-Tuned Language Models

SCOUT：一种对抗微调语言模型数据中毒攻击的防御方法

Mohamed Afane, Abhishek Satyam, Ke Chen, Tao Li, Junaid Farooq, Juntao Chen

机构 * Department of Computer and Information Sciences, Fordham University（福特汉姆大学计算机与信息科学系） ； Department of Electrical Engineering, Zhejiang University（浙江大学电子工程系） ； Department of Systems Engineering, City University of Hong Kong（香港城市大学系统工程系） ； Department of Electrical and Computer Engineering, University of Michigan-Dearborn（密歇根大学迪尔伯恩分校电气与计算机工程系） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出SCOUT框架，通过令牌级显著性分析检测数据中毒攻击，有效识别隐含触发器，提升对复杂攻击的防御能力。

Comments 9 pages, 3 figures

Journal ref 2025 IEEE International Conference on Big Data (BigData), 2025

CrossGuard: Safeguarding MLLMs against Joint-Modal Implicit Malicious Attacks

CrossGuard: 保护大规模多模态语言模型免受联合模态隐式恶意攻击

Xu Zhang, Hao Li, Zhichao Lu

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Department of Computer Science & Engineering, Washington University in St. Louis（华盛顿大学圣路易斯分校计算机科学与工程系） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出CrossGuard，一种意图感知的防护系统，通过生成隐式样本和实验验证，有效防御显式和隐式攻击，提升大规模多模态语言模型的安全性与实用性。

Comments Accepted by ACL 2026 main conference

From Stateless Queries to Autonomous Actions: A Layered Security Framework for Agentic AI Systems

从无状态查询到自主行动：面向代理AI系统的分层安全框架

Kexin Chu

机构 * School of Computing, University of Connecticut（康涅狄格大学计算机学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；prompt injection(abstract)；分类 cs.LG

AI总结 本文提出分层攻击面模型，分析代理AI系统安全威胁的分层结构与时间维度，揭示高层攻击与慢烧时间的交集区域，提出跨层防御体系，强调将代理安全视为嵌入对抗生态的分布式系统问题。

Comments 23 pages, 3 figures, 10 tables

From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

词源何处：通过源归属高效正则化代码分词器

Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

机构 * CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt（CAIRO应用技术大学（乌尔姆-施维林）） ； JetBrains Research（JetBrains研究） ； TU Delft（代尔夫特理工大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文通过源归属BPE（SA-BPE）正则化方法，解决代码分词器因训练数据不平衡导致的冗余token问题，提升分词效率与安全性。

Understanding and Improving Continuous Adversarial Training for LLMs via In-context Learning Theory

通过上下文学习理论理解并改进LLMs的连续对抗训练

Shaopeng Fu, Di Wang

机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证责任AI与数据分析实验室） ； King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；分类 cs.LG

AI总结 本文基于上下文学习理论，首次对LLMs的连续对抗训练进行了理论分析，提出通过引入奇异值正则化项提升对抗训练的鲁棒性与实用性。

Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)

Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors

通过空空间约束将激活转向编译为权重以实现隐蔽后门

Rui Yin, Tianxu Han, Naen Xu, Changjiang Li, Ping He, Chunyi Zhou, Jun Wang, Zhihui Fu, Tianyu Du, Jinbao Li, Shouling Ji

机构 * Zhejiang University（浙江大学） ； Palo Alto Networks（帕洛阿尔托网络） ； Ningbo Global Innovation Center, Zhejiang University（宁波全球创新中心，浙江大学） ； OPPO Research Institute（OPPO研究院） ； Qilu University of Technology（齐鲁大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文通过将后门目标从表面标记转向内部表示，提出一种高效方法，利用空空间约束在触发时激活后门，同时保持隐蔽性和安全性。

Comments ACL 2026 Main Conference

Conflicts Make Large Reasoning Models Vulnerable to Attacks

冲突使大型推理模型容易受到攻击

Honghao Liu, Chengjin Xu, Xuhui Jiang, Cehao Yang, Shengming Yin, Zhengwu Ma, Lionel Ni, Jian Guo

机构 * International Digital Economy Academy（国际数字经济学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The City University of Hong Kong（香港城市大学） ； DataArc Tech 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究探讨了冲突如何影响大型推理模型的安全性，发现冲突显著增加攻击成功率，揭示了安全表示在冲突下的变化，强调需更深入的对齐策略以确保模型的鲁棒性和可信度。

Do No Harm: Exposing Hidden Vulnerabilities of LLMs via Persona-based Client Simulation Attack in Psychological Counseling

勿伤人：通过基于人设的客户端模拟攻击暴露大语言模型的隐藏漏洞

Qingyang Xu, Yaling Shen, Stephanie Fong, Zimu Wang, Yiwen Jiang, Xiangyu Zhao, Jiahe Liu, Zhongxing Xu, Vincent Lee, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出基于人设的客户端模拟攻击框架PCSA，通过模拟心理辅导中的客户端对话，揭示大语言模型在心理安全对齐方面的漏洞，实验表明其在七个通用和心理健康专用LLM上表现优于其他基线方法。

TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol

TraceGuard：结构化多维监控作为抗合谋的控制协议

Khanh Linh Nguyen, Hoa Nghiem, Tu Tran

机构 * Independent Researchers（独立研究人员） ； Apart Research 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出TraceGuard，一种结构化多维监控协议，通过五个维度评估代理行为，结合LLM调用和启发式检测器，有效区分攻击与诚实行为，防止合谋攻击。

AgenticRed: Evolving Agentic Systems for Red-Teaming

AgenticRed：为红队测试设计的进化系统

Jiayi Yuan, Jonathan Nöther, Natasha Jaques, Goran Radanović

机构 * University of Washington（华盛顿大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 AgenticRed通过进化算法自动设计红队系统，无需人工干预，显著提升攻击成功率，达到96%-100%的ASR。

Comments Website: https://yuanjiayiy.github.io/AgenticRed/

Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

通过输出预填充改进多选问答中的LLM首词预测

Silvia Cappelletti, Tobia Poppi, Samuele Poppi, Zheng-Xin Yong, Diego Garcia-Olano, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳大学与雷焦艾米利亚大学） ； University of Pisa（比萨大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Brown University（布朗大学） ； Meta 纠错

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 本文提出预填充攻击，通过在模型输出前添加结构化自然语言前缀，提升多选问答中LLM首词预测的准确性与可靠性。

Comments 23 pages, 6 figures, 6 tables

CivicShield: A Cross-Domain Defense-in-Depth Framework for Securing Government-Facing AI Chatbots Against Multi-Turn Adversarial Attacks

CivicShield：一种跨领域纵深防御框架，用于保护面向政府的AI聊天机器人免受多轮对抗攻击

KrishnaSaiReddy Patil

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出CivicShield框架，通过多层防御机制提升政府AI聊天机器人安全性，有效检测多轮对抗攻击，理论分析显示多层防御可将攻击概率降低1-2个数量级。

Comments 25 pages, 17 tables, 2 figures

Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey

对多模态大语言模型的对抗攻击：全面综述

Bhavuk Jain, Sercan Ö. Arık, Hardeo K. Thakur

机构 * Google（谷歌） ； Bennett University, India（印度贝内特大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型面临的对抗威胁，分析了攻击类型及其根源，提出分类框架以提升模型安全性。

Comments Survey paper, 37 pages, 10 figures, accepted at TMLR

Journal ref Transactions on Machine Learning Research, 2026