大模型对齐与安全

Red-teaming the Multimodal Reasoning: Jailbreaking Vision-Language Models via Cross-modal Entanglement Attacks

多模态推理的红队测试：通过跨模态纠缠攻击劫持视觉-语言模型

Yu Yan, Sheng Sun, Shengjia Cheng, Teli Liu, Mingfeng Li, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出CrossTALK方法，通过跨模态纠缠攻击提升对视觉-语言模型的劫持效果，实现高攻击成功率。

from Benign import Toxic: Jailbreaking the Language Model via Adversarial Metaphors

从无害到有害：通过对抗隐喻 jailbreak 语言模型

Yu Yan, Sheng Sun, Zenghao Duan, Teli Liu, Min Liu, Zhiyi Yin, Jingyu Lei, Qi Li

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） ； Tsinghua University（清华大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 通过对抗隐喻诱导语言模型生成有害内容，提出AVATAR框架以提升jailbreak攻击效果。

Comments arXiv admin note: substantial text overlap with arXiv:2412.12145

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard

针对多模态大语言模型的语音音频组合攻击及其通过SALMONN-Guard的缓解

Yudong Yang, Xuezhen Zhang, Zhifeng Han, Siyin Wang, Jimin Zhuang, Zengrui Jin, Jing Shao, Guangzhi Sun, Chao Zhang

机构 * Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 针对多模态LLMs的安全性，提出SACRED-Bench评估语音音频组合攻击，并通过SALMONN-Guard将攻击成功率降低至20%。