大模型对齐与安全

LLMs Can Defend Themselves Against Jailbreaking in a Practical Manner: A Vision Paper

Daoyuan Wu, Shuai Wang, Yang Liu, Ning Liu

专题命中 越狱攻击 ：jailbreak(abstract,comments)；alignment(abstract)；safety(abstract)；分类 cs.AI

Comments Fixed the bibliography reference issue in our LLM jailbreak defense vision paper submitted on 24 Feb 2024

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

SkillSentry: Adaptive Honey Worlds for Dynamic Safety Testing of Agent Skills

SkillSentry：用于智能体技能动态安全测试的自适应蜜罐世界

Nizhang Li, Zonghao Ying, Xiangfan Wu, Zonglei Jing, Xixun Lin, Hao Zhang, Wenxin Zhang, Jiaye Lin, Quanchen Zou, Xiangzheng Zhang

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 SkillSentry是基于自适应蜜罐世界的动态安全测试框架，可测试大语言模型智能体外部技能的条件性有害行为，在基准测试及规避场景下性能优于基线，代码公开。

A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform

基于硬件安全门控的LLM编写原生ARTIQ控制代码系统在离子阱平台上的应用

Duanyang Wang, Lu Qi, Yuanheng Xie, Norbert M. Linke, Kenneth R. Brown

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 提出一种硬件安全门控系统，通过令牌授权机制确保LLM代理在离子阱实验中安全自主地编写和执行控制代码，并在实验中验证了其有效性和可移植性。

Comments 15 pages, 5 figures

Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

向大规模语言模型中安全关键参数的识别与干预迈进

Weiwei Qi, Zefeng Wu, Tianhang Zheng, Zikang Zhang, Xiaojun Jia, Zhan Qin, Kui Ren

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 本文提出ESI框架量化不同参数对LLM安全的影响，揭示不同架构中安全关键模式，并引入SET和SPA干预方法提升安全性和稳定性。

Comments 20 pages, 6 figures, 8 tables

Unsafe by Reciprocity: How Generation-Understanding Coupling Undermines Safety in Unified Multimodal Models

因互惠而不安全：生成-理解耦合如何在统一多模态模型中损害安全性

Kaishen Wang, Heng Huang

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 研究探讨了统一多模态模型中生成与理解之间的互惠关系可能成为安全漏洞的根源，提出RICE攻击方法，揭示了跨功能互惠对安全性的负面影响。

Comments 7 figures, 3 tables

TRACE: Timely Retrieval and Alignment for Cybersecurity Knowledge Graph Construction and Expansion

TRACE: 信息安全知识图谱构建与扩展中的及时检索与对齐

Zijing Xu, Ziwei Ning, Tiancheng Hu, Jianwei Zhuge, Yangyang Wang, Jiahao Cao, Mingwei Xu

专题命中 越狱攻击 ：alignment(title,abstract)

AI总结 TRACE通过整合结构化和非结构化数据，利用LLMs提升网络安全知识图谱的实时更新与实体对齐效率，实现节点覆盖和提取精度的显著提升。

SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Global Game-Theoretic Analysis of Asymmetric Threats

SoK：通过信息流和不对称威胁的全局博弈论分析，多模态基础模型的安全-安全性连续体

Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 本文通过信息流和博弈论分析，探讨多模态基础模型的安全与安全性连续体，提出系统级防护优于模型级防护，并定义自我破坏阈值以触发终止机制。

SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models

SGHA-Attack：语义引导的层次对齐用于视觉-语言模型的可迁移定向攻击

Haobo Wang, Weiqi Luo, Xiaojun Jia, Xiaochun Cao

机构 * Guangdong Province Key Lab of Information Security Technology, and School of Computer Science and Engineering, Sun Yat-sen University（广东信息安全技术重点实验室，计算机科学与工程学院，中山大学） ； Nanyang Technological University（南洋理工大学） ； School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University（网络安全科学与技术学院，深圳校区，中山大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)

AI总结 SGHA-Attack通过语义引导的层次对齐框架，提升视觉-语言模型的定向转移攻击效果，增强跨异构模型的鲁棒性。

Improving Large Language Model Safety with Contrastive Representation Learning

通过对比表征学习提升大语言模型安全性

Samuel Simko, Mrinmaya Sachan, Bernhard Schölkopf, Zhijing Jin

机构 * ETH Zurich（苏黎世联邦理工学院） ； MPI for Intelligent Systems（智能系统最大计划） ； University of Toronto（多伦多大学） 纠错

专题命中 越狱攻击 ：safety(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于对比表征学习的框架，通过三元组损失和对抗性难负样本挖掘提升大语言模型对对抗攻击的鲁棒性。

Comments EMNLP 2025 Main

Beyond Jailbreak: Unveiling Risks in LLM Applications Arising from Blurred Capability Boundaries

超越劫持：揭示LLM应用中因能力边界模糊而产生的风险

Yunyi Zhang, Shibo Cui, Baojun Liu, Jingkai Yu, Min Zhang, Fan Shi, Han Zheng

专题命中 越狱攻击 ：jailbreak(title,abstract)

AI总结 本文研究了LLM应用中因能力边界模糊导致的能力降级和升级风险，提出评估框架并揭示了应用安全性的关键影响因素。

Comments Accepted by Network and Distributed System Security (NDSS) Symposium 2026

ObliInjection: Order-Oblivious Prompt Injection Attack to LLM Agents with Multi-source Data

ObliInjection: 面向多源数据LLM代理的顺序无关提示注入攻击

Reachal Wang, Yuqi Jia, Neil Zhenqiang Gong

专题命中 越狱攻击 ：prompt injection(title,abstract)

AI总结 ObliInjection是一种针对多源数据LLM代理的新型提示注入攻击，通过顺序无关损失和顺序GCG算法有效污染输入数据以误导模型执行攻击者指定任务。

Comments To appear in NDSS 2026. For slides, see https://people.duke.edu/~zg70/code/PromptInjection.pdf

Beyond Model Jailbreak: Systematic Dissection of the "Ten DeadlySins" in Embodied Intelligence

超越模型劫持：具身智能中的“十大致命罪恶”系统性分析

Yuhang Huang, Junchao Li, Boyang Ma, Xuelong Dai, Minghui Xu, Kaidi Xu, Yue Zhang, Jianping Wang, Xiuzhen Cheng

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)

AI总结 本研究首次系统分析了具身智能平台的十大安全漏洞，揭示了跨层安全弱点，提出了构建稳健具身系统的建议。

TASO: Jailbreak LLMs via Alternative Template and Suffix Optimization

TASO：通过替代模板和后缀优化实现对抗性攻击

Yanting Wang, Runpeng Geng, Jinghui Chen, Minhao Cheng, Jinyuan Jia

专题命中 越狱攻击 ：jailbreak(title,abstract)

AI总结 TASO通过交替优化模板和后缀，提高对抗性攻击的有效性，针对多种大语言模型进行测试并证明其有效性。

Prompt Injection Attack to Tool Selection in LLM Agents

Jiawen Shi, Zenghui Yuan, Guiyao Tie, Pan Zhou, Neil Zhenqiang Gong, Lichao Sun

专题命中 越狱攻击 ：prompt injection(title,abstract)

Defense Against Prompt Injection Attack by Leveraging Attack Techniques

Yulin Chen, Haoran Li, Zihao Zheng, Yangqiu Song, Dekai Wu, Bryan Hooi

专题命中 越狱攻击 ：prompt injection(title,abstract)

Comments ACL 2025 Main

From LLMs to MLLMs to Agents: A Survey of Emerging Paradigms in Jailbreak Attacks and Defenses within LLM Ecosystem

Yanxu Mao, Tiehan Cui, Peipei Liu, Datao You, Hongsong Zhu

专题命中 越狱攻击 ：jailbreak(title,abstract)

MAD-Spear: A Conformity-Driven Prompt Injection Attack on Multi-Agent Debate Systems

Yu Cui, Hongyang Du

专题命中 越狱攻击 ：prompt injection(title,abstract)

Beyond Surface-Level Patterns: An Essence-Driven Defense Framework Against Jailbreak Attacks in LLMs

Shiyu Xiang, Ansen Zhang, Yanfei Cao, Yang Fan, Ronghao Chen

专题命中 越狱攻击 ：jailbreak(title,abstract)

Comments 16 pages, 12 figures, ACL 2025 findings

Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment

Xiaojun Jia, Sensen Gao, Simeng Qin, Tianyu Pang, Chao Du, Yihao Huang, Xinfeng Li, Yiming Li, Bo Li, Yang Liu

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； MBZUAI, United Arab Emirates（马克斯·普朗克人工智能研究所，阿拉伯联合酋长国） ； Sea AI Lab, Singapore（海思人工智能实验室，新加坡） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校，美国） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)

SQL Injection Jailbreak: A Structural Disaster of Large Language Models

Jiawei Zhao, Kejiang Chen, Weiming Zhang, Nenghai Yu

专题命中 越狱攻击 ：jailbreak(title,abstract)

Comments Accepted by findings of ACL 2025

A Modular Safety Filter for Safety-Certified Cyber-Physical Systems

Mohammad Bajelani, Mehran Attar, Walter Lucia, Klaske van Heusden

专题命中 越狱攻击 ：safety(title,abstract)

JailbreakLens: Interpreting Jailbreak Mechanism in the Lens of Representation and Circuit

Zeqing He, Zhibo Wang, Zhixuan Chu, Huiyu Xu, Wenhui Zhang, Qinglong Wang, Rui Zheng

专题命中 越狱攻击 ：jailbreak(title,abstract)

Comments 17 pages, 11 figures

BaThe: Defense against the Jailbreak Attack in Multimodal Large Language Models by Treating Harmful Instruction as Backdoor Trigger

Yulin Chen, Haoran Li, Yirui Zhang, Zihao Zheng, Yangqiu Song, Bryan Hooi

专题命中 越狱攻击 ：jailbreak(title,abstract)

Perception-guided Jailbreak against Text-to-Image Models

Yihao Huang, Le Liang, Tianlin Li, Xiaojun Jia, Run Wang, Weikai Miao, Geguang Pu, Yang Liu

专题命中 越狱攻击 ：jailbreak(title,abstract)

Comments 9 pages, accepted by AAAI 2025

Image-to-Text Logic Jailbreak: Your Imagination can Help You Do Anything

Xiaotian Zou, Ke Li, Yongkang Chen

专题命中 越狱攻击 ：jailbreak(title,abstract)

Virtual Context: Enhancing Jailbreak Attacks with Special Token Injection

Yuqi Zhou, Lin Lu, Hanchi Sun, Pan Zhou, Lichao Sun

专题命中 越狱攻击 ：jailbreak(title,abstract)

To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now

Yimeng Zhang, Jinghan Jia, Xin Chen, Aochuan Chen, Yihua Zhang, Jiancheng Liu, Ke Ding, Sijia Liu

专题命中 越狱攻击 ：safety(title,abstract)

Comments Accepted by ECCV'24. Codes are available at https://github.com/OPTML-Group/Diffusion-MU-Attack

Safety of Multimodal Large Language Models on Images and Texts

Xin Liu, Yichen Zhu, Yunshi Lan, Chao Yang, Yu Qiao

专题命中 越狱攻击 ：safety(title,abstract)

Comments Accepted at IJCAI2024

AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens

Lin Lu, Hai Yan, Zenghui Yuan, Jiawen Shi, Wenqi Wei, Pin-Yu Chen, Pan Zhou

专题命中 越狱攻击 ：jailbreak(title,abstract)

Comments 32 pages, 2 figures