SafeProtein: Red-Teaming Framework and Benchmark for Protein Foundation Models
Peking University(北京大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出SafeProtein,首个针对蛋白质基础模型的红队框架与基准,结合多模态提示和束搜索实现高达70%的越狱成功率,揭示生物安全风险。
2025-10-08 cs.AI cs.CR cs.LG
SeqAR: Jailbreak LLMs with Sequential Auto-Generated Characters
Shanghai University of Finance and Economics(上海财经大学);Southern University of Science and Technology(南方科技大学);Ant Group(蚂蚁集团);The Chinese University of Hong Kong(香港中文大学)
本文提出 SeqAR 框架,通过在冷启动场景下使用开源 LLMs 自动生成并优化序列越狱角色,在单次查询中绕过目标模型安全防护,对 GPT-3.5-1106 和 GPT-4 分别实现 88% 和 60% 攻击成功率,并评估了模板可迁移性与防御策略。
2025-03-02 cs.AI cs.CL cs.CR
h4rm3l: A language for Composable Jailbreak Attack Synthesis
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
针对LLM安全评估中越狱攻击覆盖不足的问题,提出h4rm3l语言,以DSL形式化可组合攻击,结合bandit合成器生成多样化攻击,在6个SOTA模型上成功率超90%。
2025-03-25 cs.AI cs.CL cs.CR
SMILES-Prompting: A Novel Approach to LLM Jailbreak Attacks in Chemical Synthesis
International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Dulwich College Beijing(北京德威英国国际学校)
本文提出SMILES-prompting攻击方法,利用SMILES分子表示绕过LLMs安全机制以获取危险化学品合成指导,揭示了化学领域大语言模型的安全漏洞及加强领域防护的紧迫性。
2024-10-21 cs.CL
Activation-Guided Local Editing for Jailbreaking Attacks
Beihang University(北航);Hangzhou Innovation Institute(杭州创新研究院);HKUST(香港科技大学);South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);Kunming University of Science and Technology(昆明理工大学)
本文提出一种两阶段框架,结合上下文生成与隐藏状态信息,有效提升对抗攻击的成功率和可迁移性,对抗当前防御机制。
2026-04-15 cs.AI cs.CL cs.CR
Visual Exclusivity Attacks: Automatic Multimodal Red Teaming via Agentic Planning
本文提出视觉排斥攻击,通过多模态多轮代理规划框架MM-Plan,实现基于视觉内容的攻击,展示了对前沿模型的高攻击成功率,揭示了当前安全对齐的不足。
2026-02-05 cs.CR cs.CV cs.LG
X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents
University of California, Los Angeles(加州大学洛杉矶分校);University of Washington(华盛顿大学);Qatar Computing Research Institute(卡塔尔计算研究所);Google(谷歌);Stanford University(斯坦福大学)
本文提出X-Teaming框架,利用自适应多智能体协作生成多轮越狱攻击场景,在多个主流模型上取得最高98.1%的攻击成功率,并基于此构建了规模扩大20倍的XGuard-Train安全训练数据集,以提升语言模型的多轮安全对齐能力。
2025-08-23 cs.AI cs.CL cs.CR
Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming
Anthropic;Haize Labs(海兹实验室)
本文提出Constitutional Classifiers,通过基于自然语言规则生成的合成数据训练分类器来防御LLM通用越狱攻击,在3000多小时红队测试中有效抵御攻击,且仅增加0.38%拒绝率和23.7%推理开销,保持了部署可行性。
2025-01-31 cs.AI cs.CL cs.CR
CHASE: Adversarial Red-Blue Teaming for Improving LLM Safety using Reinforcement Learning
University of New South Wales(新南威尔士大学)
提出CHASE框架,通过红蓝队协同进化(红队使用GRPO生成对抗性改写,蓝队使用两阶段GRPO+拒绝采样SFT进行防御),在保持良性提示零误拒的同时将攻击成功率降低43.2%。
2026-06-04 cs.CL
PAST2HARM: A Simple Adaptive Past Tense Attack for Jailbreaking Multimodal AI
Indian Institute of Information Technology, Kalyani(印度信息技术学院,卡利安)
提出PAST2HARM框架,通过过去时态改写和迭代升级策略,系统性地利用多模态文本到图像模型的安全漏洞,实现黑盒、无梯度的高成功率越狱攻击。
2026-05-26 cs.CL
Evolve the Method, Not the Prompts: Evolutionary Synthesis of Jailbreak Attacks on LLMs
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本文提出 EvoSynth 框架,通过在代码空间中进行搜索,而非仅在提示空间中优化,从而提高对大语言模型的 jailbreak 攻击成功率和多样性。
2026-05-18 cs.CL cs.CR
Steering Without Side Effects: Improving Post-Deployment Control of Language Models
New York University(纽约大学);Anthropic, PBC(Anthropic公司)
针对语言模型部署后引导方法易产生副作用的问题,提出KL-then-steer技术,通过先在良性输入上最小化引导前后模型的KL散度再引导,在保留越狱防御等引导效果的同时降低性能损耗。
2024-06-21 cs.CL cs.LG
Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs
Appen(Appliance)
通过跨语言多模态红队测试,发现语言和模态通过不同机制影响越狱漏洞,导致安全排名跨语言不守恒,需重新设计评估框架。
2026-05-22 cs.CL
Arondight: Red Teaming Large Vision Language Models with Auto-generated Multi-modal Jailbreak Prompts
City University of Hong Kong(香港城市大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));University of Science and Technology Beijing(北京科技大学);The University of Melbourne(墨尔本大学)
针对VLM缺乏红队框架的问题,提出Arondight,利用红队VLM和强化学习引导的LLM自动生成多模态越狱提示,在GPT-4上达到84.5%平均攻击成功率,暴露安全漏洞并提供加固建议。
2024-07-21 cs.AI cs.CR cs.LG
Improved Techniques for Optimization-Based Jailbreaking on Large Language Models
Nanyang Technological University(南洋理工大学);Sea AI Lab(Sea AI实验室);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
本文针对GCG攻击效率不足的问题,提出包含多样化目标模板、自动多坐标更新及从易到难初始化的改进技术,构建I-GCG方法,在多个基准上实现近100%攻击成功率,超越现有越狱攻击。
2024-06-05 cs.CL cs.CR cs.LG
BlueSuffix: Reinforced Blue Teaming for Vision-Language Models Against Jailbreak Attacks
Fudan University(复旦大学);City University of Hong Kong(香港城市大学);Singapore Management University(新加坡管理大学)
针对现有VLMs黑盒防御未充分利用跨模态信息或降低良性性能的问题,提出含视觉/文本净化器及强化微调后缀生成器的BlueSuffix方法,在4个VLMs和4个基准上显著优于基线,为VLMs越狱防御提供新方向。
2025-02-12 cs.AI cs.CV cs.LG
Jailbreaking Large Language Models with Symbolic Mathematics
University of Texas at San Antonio(圣安东尼奥德克萨斯大学);Tecnológico de Monterrey(蒙特雷理工学院);Florida International University(佛罗里达国际大学)
提出MathPrompt越狱方法,利用符号数学编码有害提示绕过LLM安全机制,在13个先进模型上平均攻击成功率达73.6%,揭示现有安全训练的泛化缺陷。
2024-11-05 cs.AI cs.CL cs.CR
MAD-MAX: Modular And Diverse Malicious Attack MiXtures for Automated LLM Red Teaming
Univ. of Cambridge, Cambridge, UK.(剑桥大学);IBM Research Europe, Dublin, Ireland(IBM欧洲研究院)
MAD-MAX提出模块化攻击策略混合方法,通过自动聚类与组合实现高成功率、高多样性的LLM越狱攻击,在GPT-4o和Gemini-Pro上ASR达97%,显著优于TAP,且查询次数更少。
2025-06-18 cs.LG
Capability-Based Scaling Trends for LLM-Based Red-Teaming
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Tübingen AI Center(图宾根人工智能中心);Foundation AI – Cisco Systems Inc.(AI基础研究机构——思科系统公司);EPFL(苏黎世联邦理工学院)
研究通过分析攻击者与目标模型能力差距,揭示了红队测试中攻击成功率随模型能力变化的趋势,提出jailbreaking scaling曲线以预测攻击效果。
2026-02-08 cs.AI cs.CL cs.CR
Low-Resource Languages Jailbreak GPT-4
Brown University(布朗大学)
本研究发现低资源语言可绕过GPT-4安全防护,AdvBenchmark上攻击成功率达79%,超越多数现有越狱方法,揭示跨语言安全漏洞并呼吁构建更全面的多语言安全机制。
2024-01-27 cs.AI cs.CL cs.CR
LARGO: Latent Adversarial Reflection through Gradient Optimization for Jailbreaking LLMs
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
针对离散语言空间下基于梯度的LLM越狱攻击效果不佳的问题,提出LARGO方法,在LLM连续潜在空间优化对抗向量再解码为自然语言提示,在标准基准上攻击成功率领先AutoDAN等方法44个百分点。
2025-05-16 cs.CL cs.CR cs.LG
Jailbreak Mimicry: Automated Discovery of Narrative-Based Jailbreaks for Large Language Models
University of Athens(雅典大学)
本文提出越狱模仿方法,通过微调Mistral-7B自动生成基于叙事的越狱提示,在多个LLM上实现高攻击成功率,揭示安全对齐漏洞并讨论防御策略。
2025-10-24 cs.AI cs.CL cs.CR
LLM Defenses Are Not Robust to Multi-Turn Human Jailbreaks Yet
Scale AI;UC Berkeley(加州大学伯克利分校)
本文通过构建包含2,912条提示的MHJ数据集,揭示多轮人类越狱攻击可使现有LLM防御的攻击成功率从个位数飙升至70%以上,并公开数据集与越狱策略汇编以推动更强防御研究。
2024-09-04 cs.CL cs.CR cs.CY
KDA: A Knowledge-Distilled Attacker for Generating Diverse Prompts to Jailbreak LLMs
University of Pennsylvania(宾夕法尼亚大学)
针对现有LLM突破方法成本高、不实用的问题,提出知识蒸馏攻击者(KDA),将多个SOTA攻击者知识蒸馏到单一开源模型,自动生成多样攻击提示,提升攻击成功率与效率,为大规模红队测试提供实用工具。
2025-02-05 cs.AI cs.CL cs.CR
Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation
IBM Research(IBM研究院);Trinity College Dublin(都柏林大学)
本文提出PCAP方法,通过多身份对抗搜索发现真实攻击场景,提升模型鲁棒性,生成多样化防御数据集。
2026-05-12 cs.CR cs.LG
LLMStinger: Jailbreaking LLMs using RL fine-tuned LLMs
LLMStinger通过强化学习微调LLM,生成对抗性后缀以提高对有害问题的攻击成功率,显著优于现有方法。
2026-01-28 cs.CR cs.LG
Jailbroken: How Does LLM Safety Training Fail?
UC Berkeley(加州大学伯克利分校)
本文提出安全训练的两种失效模式——目标冲突与泛化错配,据此设计新型越狱攻击,并在GPT-4和Claude v1.3上验证其优于现有攻击,强调安全机制需与模型能力对等。
2023-07-05 cs.CR cs.LG
Adaptive Instruction Composition for Automated LLM Red-Teaming
Capital One, AI Foundations(Capital One人工智能基础研究)
本文提出自适应指令生成框架,通过强化学习平衡探索与利用,提升红队测试的攻击效果与多样性,优于随机组合和现有方法。
2026-04-22 cs.AI cs.CL cs.CR
Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全中心);IBM Research(IBM 研究院);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出ICER框架,通过提示重写和上下文经验回放生成流畅的对抗性提示,有效提升图像生成模型的安全性测试能力,实验表明其在多个安全机制上优于现有方法。
2026-09-29 cs.CL cs.CR cs.CV
Agent Smith: A Single Image Can Jailbreak One Million Multimodal LLM Agents Exponentially Fast
Sea AI Lab;National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
本研究提出多智能体环境中的“传染性越狱”安全问题,仅需对单个多模态LLM智能体注入对抗性图像,即可使多达一百万个智能体指数级被感染并产生有害行为,并给出了评估防御机制的原则。
2024-06-03 cs.CL cs.CR cs.CV
Comparison requires valid measurement: Rethinking attack success rate comparisons in AI red teaming
Microsoft Research(微软研究院)
本文重新审视AI红队中攻击成功率的比较,指出其有效性问题并提出测量理论和统计学方法以评估比较的合理性。
2026-01-26 cs.LG
AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);NVIDIA(NVIDIA公司);Cornell University(康奈尔大学);Washington University, St. Louis(圣路易斯华盛顿大学);University of Michigan, Ann Arbor(安娜堡大学);The Ohio State University(俄亥俄州立大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出AutoDAN-Turbo,一种黑盒越狱方法,自动从零探索多种策略,无需人工干预,显著提升攻击成功率,并支持整合人工策略以进一步增强效果。
2025-04-22 cs.AI cs.CR cs.LG
Understanding and Enhancing the Transferability of Jailbreaking Attacks
Sydney AI Centre, The University of Sydney(悉尼人工智能中心、悉尼大学);Hong Kong Baptist University(香港 Baptist 大学)
本研究揭示越狱攻击可迁移性受限源于对抗序列对源大语言模型参数的过拟合,提出感知重要性扁平化方法,通过分散模型注意力遮蔽恶意意图,有效提升对专有大语言模型的越狱攻击迁移性,可用于高效红队评估。
2025-05-17 cs.CR cs.LG
Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts
Huazhong University of Science and Technology(华中科技大学);Lehigh University(理海大学)
本文发现 GPT-4V 的系统提示泄露漏洞,并提出 SASP 自对抗越狱方法,结合 GPT-4 红队搜索与人工修改达到 98.7% 成功率,同时验证系统提示可用于防御。
2024-01-20 cs.AI cs.CR cs.LG
GASP: Efficient Black-Box Generation of Adversarial Suffixes for Jailbreaking LLMs
Birla Institute of Technology and Science(比拉理工学院);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心)
本文提出黑盒框架GASP,利用潜在贝叶斯优化在连续嵌入空间中生成自然对抗后缀,以高效实现大语言模型越狱攻击并提升红队测试效率。
2025-11-06 cs.AI cs.CR cs.CV
VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models
Department of Computer Science, Purdue University, USA(美国普渡大学计算机科学系)
提出VERA-V变分推断框架,通过联合后验分布生成隐蔽的文本-图像对抗输入,以系统性地发现视觉语言模型的多模态漏洞,在多个基准上攻击成功率最高提升53.75%。
2026-05-26 cs.CL cs.CR cs.CV
RED QUEEN: Safeguarding Large Language Models against Concealed Multi-Turn Jailbreaking
Hippocratic AI(希波克拉底AI);Information Sciences Institute, University of Southern California(信息科学研究所,南加州大学)
本文提出隐蔽多轮越狱方法 RED QUEEN ATTACK 及56k攻击数据集,揭示主流LLM的安全脆弱性,并通过 RED QUEEN GUARD 将攻击成功率降至1%以下。
2025-06-07 cs.CL cs.CR cs.LG
The Art of the Jailbreak: Formulating Jailbreak Attacks for LLM Security Beyond Binary Scoring
Department of Computer Science, University of Texas at El Paso(德克萨斯大学埃尔帕索分校计算机科学系);School of Computing, Southern Illinois University Carbondale(南方伊利诺伊大学卡罗尔丹分校计算学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出大规模组合式Jailbreak数据集、自动化生成方法及OPTIMUS评估器,系统性解决Jailbreak攻击的生成、分类与评估问题,揭示了安全与隐蔽最优区域。
2026-05-09 cs.AI cs.CR cs.LG
Jailbreaking as a Reward Misspecification Problem
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出将LLM越狱攻击视为奖励误规范问题,引入ReGap度量并开发ReMiss系统,在AdvBench上实现最先进攻击成功率,且攻击可迁移至闭源模型,为提升模型安全性提供新视角。
2025-04-19 cs.CL cs.LG
Boundary Point Jailbreaking of Black-Box LLMs
UK AI Security Institute(英国人工智能安全研究所);OATML, University of Oxford(OATML、牛津大学)
BPJ是一种全新的黑盒自动化劫持攻击方法,通过边界点选择策略有效突破宪法分类器和GPT-5输入分类器的防护。
2026-02-18 cs.LG
TreeTeaming: Autonomous Red-Teaming of Vision-Language Models via Hierarchical Strategy Exploration
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
TreeTeaming通过动态演化策略探索方法,实现对视觉语言模型的自主红队测试,显著提升攻击成功率和策略多样性,同时降低攻击毒性。
2026-03-24 cs.CV cs.LG
FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction
Sydney AI Centre, The University of Sydney(悉尼人工智能中心,悉尼大学);Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
FORCE方法通过校正特征过度依赖,提升视觉劫持攻击的跨模型可转移性。
2026-02-28 cs.LG
Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis
Fujitsu Research(富士通研究所)
本文对比分析了Garak、Giskard、PyRIT和CyberSecEval四款开源对话式LLM漏洞扫描器,揭示了其在检测成功攻击方面的可靠性差距,并贡献了初步标注数据集与选择建议。
2024-11-16 cs.CR cs.LG
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs
Meta;FAIR at Meta(Meta FAIR)
本文提出 AdvPrompter,通过交替优化训练另一个大语言模型快速生成人类可读的对抗提示后缀,在保持指令原意的同时诱使目标模型产生有害响应,并证明该方法在多个基准上效果优异且可迁移至黑盒模型,同时可用于提升模型鲁棒性。
2025-06-02 cs.AI cs.CL cs.CR
Automated Red Teaming with GOAT: the Generative Offensive Agent Tester
Meta
本文提出 GOAT 自动化智能体红队系统,通过多轮通俗对话和 7 种对抗提示技术模拟普通用户攻击,在 JailbreakBench 上对 Llama 3.1 与 GPT-4 分别取得 97% 和 88% 的 ASR@10。
2024-10-02 cs.AI cs.LG
Kov: Transferable and Naturalistic Black-Box LLM Attacks using Markov Decision Processes and Tree Search
Stanford University(斯坦福大学)
该研究提出Kov算法,将红队问题建模为MDP并结合蒙特卡洛树搜索,通过白盒LLM优化token级对抗提示后缀并加入自然化损失,仅用10次查询即可越狱GPT-3.5,验证了新模型对token级攻击的更强鲁棒性,相关代码已开源。
2024-08-11 cs.AI cs.CL cs.CR
Jailbreaking with Universal Multi-Prompts
National Taiwan University(台湾大学)
针对大型语言模型的越狱攻击研究,提出基于通用多提示词的攻击方法JUMP及其防御适配DUMP,实验证明该方法优于现有技术。
2025-02-03 cs.AI cs.CL cs.CR
Metis: Learning to Jailbreak LLMs via Self-Evolving Metacognitive Policy Optimization
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
本文提出Metis框架,通过将jailbreaking重新表述为对抗性部分可观测马尔可夫决策过程中的推理时间策略优化,以提高对抗性测试的效率和效果,同时通过结构化反馈和透明推理轨迹提升可解释性,实验表明Metis在多种模型上均表现出更高的攻击成功率和更低的token成本。
2026-05-21 cs.AI cs.LG
Injecting Universal Jailbreak Backdoors into LLMs in Minutes
Guangdong University of Foreign Studies(广东外语外贸大学);Cornell University(康奈尔大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
本文提出 JailbreakEdit,利用模型编辑和多节点目标估计在数分钟内向安全对齐 LLM 注入通用越狱后门,实现高成功率且保持正常性能。
2025-02-09 cs.AI cs.CR cs.LG
MetaCipher: A Time-Persistent and Universal Multi-Agent Framework for Cipher-Based Jailbreak Attacks for LLMs
New York University Abu Dhabi(纽约大学阿布扎比分校);New York University Tandon School of Engineering(纽约大学坦顿工程学院)
本文提出低成本多智能体越狱框架 MetaCipher,利用强化学习实现模块化与自适应,在少至 10 次查询内于近期恶意提示基准上达到最先进攻击成功率,有效应对查询成本高与攻击寿命短的挑战。
2025-08-13 cs.CR cs.LG
Jailbreaking Attack against Multimodal Large Language Model
University of YYY(YYY大学);Company Name(公司名称);School of ZZZ(ZZZ学院)
本文提出基于最大似然的图像越狱提示生成算法,实现跨数据与模型的MLLM越狱,并揭示与LLM越狱的联系,提出更高效的构造方法。
2024-02-04 cs.CL cs.CR cs.CV
PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits
A10 Networks, Inc.(A10网络公司);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
提出PLAGUE框架,通过终身学习启发的三阶段设计(Primer、Planner、Finisher)实现高效多轮越狱攻击,在o3和Opus 4.1等强安全模型上ASR提升超30%。
2026-06-05 cs.AI cs.CL cs.CR
The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward
In Vivo Group(In Vivo集团);Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对AI的效益与风险并存的问题,本文提出整合红队测试、蓝队防护且兼顾伦理的violet teaming框架,梳理其演变并探讨其在生物安全等领域的应用,为负责任AI发展提供理念与方法支撑。
2023-08-28 cs.AI cs.CR cs.LG
"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);NetApp(NetApp公司)
本文通过JailbreakHub框架分析千余条真实越狱提示词的特征与攻击策略,构建万级样本问题集测试6款主流LLM,发现现有防护存在不足并定位高效越狱提示,为LLM安全合规研究提供支撑。
2024-05-15 cs.CR cs.LG