RAID: Refusal-Aware and Integrated Decoding for Jailbreaking LLMs
University of Wollongong(沃林根大学)
RAID通过嵌入空间正则化和拒绝意识正则化器,有效提升对抗解码攻击的成功率,同时降低计算成本。
2025-12-19 cs.CL
Jailbreaking LLMs via Calibration
Department of Computer Science, Peking University, Beijing, China(计算机科学系,北京大学,北京,中国)
通过校准劫持大语言模型,提出一种新的聚合框架,提升攻击成功率并降低劫持成本。
2026-01-31 cs.AI cs.CL cs.CR
ATTCK-R: Knowledge-Aware Long-Horizon Jailbreaking for Protected LLMs
George Mason University(乔治梅森大学);Amazon(亚马逊)
针对现有越狱攻击评估无法反映受保护部署场景的问题,提出ATTCK-R框架,将越狱建模为长 horizon 轨迹优化,在9款带提示安全保护的LLM上表现优于现有多轮越狱框架。
2026-10-14 cs.CL cs.CR
Harmful Prompt Laundering: Jailbreaking LLMs with Abductive Styles and Symbolic Encoding
Seoul National University(首尔大学)
提出仅需黑盒访问的越狱技术HaPLa,通过溯因框架与符号编码策略绕过LLMs安全限制,在GPT系列模型上攻击成功率超95%,并揭示了安全调整与保持模型帮助性之间的根本挑战。
2025-09-13 cs.AI cs.CL
MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment
POSTECH GSAI(浦项科技大学全球人工智能学院);Samsung SDS(三星 SDS)
研究针对多轮语言模型越狱的信用分配难题,提出DC-GRPO框架,通过结合即时和未来信用为各轮次分配学习信号,经静态和动态加权规则实例化,在多模型和基准测试中显著优于现有方法,核心优势在于轮次级组相对信用分配。
2026-11-10 cs.CL
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
Jailbreaking Attack against Multimodal Large Language Model
University of YYY(YYY大学);Company Name(公司名称);School of ZZZ(ZZZ学院)
本文提出基于最大似然的图像越狱提示生成算法,实现跨数据与模型的MLLM越狱,并揭示与LLM越狱的联系,提出更高效的构造方法。
2024-02-04 cs.CL cs.CR cs.CV
AmpleGCG: Learning a Universal and Transferable Generative Model of Adversarial Suffixes for Jailbreaking Both Open and Closed LLMs
The Ohio State University(俄亥俄州立大学)
本文提出AmpleGCG,通过利用GCG优化中间步骤中被遗漏的成功后缀训练生成模型,实现对任意有害查询快速生成大量可迁移的对抗性后缀,在开源和闭源LLMs上均取得接近100%的攻击成功率。
2024-11-24 cs.CL
Leveraging the Context through Multi-Round Interactions for Jailbreaking Attacks
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 Contextual Interaction Attack,通过良性多轮问答构造与攻击查询语义对齐的上下文,在七个 LLM 上验证了其黑盒有效性与跨模型迁移能力。
2024-10-02 cs.AI cs.CL cs.LG
Improved Few-Shot Jailbreaking Can Circumvent Aligned Language Models and Their Defenses
Singapore Management University(新加坡管理大学);Sea AI Lab
针对少样本越狱效率低的问题,提出注入特殊系统令牌、从演示池做演示级随机搜索的改进方法,可高效绕过带防御的对齐大语言模型,攻击成功率接近100%。
2024-10-30 cs.AI cs.CL cs.CR
Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models
University of California, Riverside(加州大学河滨分校)
本文提出了一种基于张量的潜在表示框架,通过分析LLM内部表示差异来检测劫持攻击,并在推理阶段主动干扰劫持执行。
2026-02-20 cs.CL cs.CR
VERA: Variational Inference Framework for Jailbreaking Large Language Models
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
提出VERA框架,将黑盒越狱提示生成视为变分推理问题,训练小型攻击者LLM近似目标LLM的对抗提示后验,无需重新优化即可生成多样且流畅的越狱提示。
2026-05-30 cs.CL cs.CR cs.LG
Persona Jailbreaking in Large Language Models
Kyoto University(京都大学);IIT Kanpur(印度理工学院坎普尔分校)
PHISH通过隐含引导历史的身份劫持框架,揭示LLM身份操控的新漏洞,实现对身份的可控操控。
2026-01-23 cs.CL
Steering Dialogue Dynamics for Robustness against Multi-turn Jailbreaking Attacks
Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于安全控制理论的神经屏障函数,通过状态空间建模和安全预测器,有效防御多轮劫持攻击,提升对话安全性与实用性。
2026-02-16 cs.CL cs.CR cs.LG
Multilingual and Multi-Accent Jailbreaking of Audio LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google DeepMind(谷歌DeepMind)
本文提出首个系统化框架Multi-AudioJail,通过构建多语言和多口音对抗性音频越狱数据集及分层评估流水线,揭示了声学与语言变化使音频大模型越狱成功率激增,并证明多模态模型比单模态更易受攻击。
2025-04-01 cs.AI cs.CL cs.CR
BAIT: Boundary-Guided Disclosure Escalation LLM Jailbreaking via Self-Conditioned Reasoning
The Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);Shenzhen University(深圳大学);Shenzhen Loop Area Institute(深圳河套学院)
提出BAIT三步越狱框架,通过识别保护边界、细化边界和请求详细示例,利用模型自身推理和一致性倾向实现恶意目标披露,实验表明在多个基准上攻击成功率显著优于传统方法。
2026-09-22 cs.CL cs.CR
PrisonBreak: Jailbreaking Large Language Models with at Most Twenty-Five Targeted Bit-flips
Oregon State University(俄勒冈州立大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学);George Mason University(乔治·梅森大学);Rutgers University(罗格斯大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究提出PrisonBreak攻击方法,通过高效比特选择算法,仅用5-25次比特翻转即可破解安全对齐大语言模型,在10个开源模型上取得80-98%的成功率,还通过Rowhammer实现了端到端漏洞利用,且对现有防御有效。
2025-10-02 cs.CL cs.CR cs.LG
SRTJ: Self-Evolving Rule-Driven Training-Free LLM Jailbreaking
HKUST (GZ)(香港科技大学(广州));Jilin University(吉林大学);Yale University(耶鲁大学)
SRTJ通过交互反馈系统发现、组合和优化攻击策略,无需更新模型参数,有效平衡探索与利用,提升攻击鲁棒性和泛化能力。
2026-05-01 cs.CL cs.CR
InfoFlood: Jailbreaking Large Language Models with Information Overload
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Intel Labs(英特尔实验室);Boise State University(博伊西州立大学)
本研究发现大语言模型存在信息过载漏洞,提出无需添加前后缀的InfoFlood越狱攻击方法,经多款主流模型验证其成功率最高达基线3倍,且常用后处理防御无法有效缓解,暴露了传统AI安全防护的薄弱点。
2025-06-13 cs.CL cs.CR
COLD-Attack: Jailbreaking LLMs with Stealthiness and Controllability
University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);Allen Institute for AI(艾伦人工智能研究所)
本文提出COLD-Attack框架,将可控文本生成中的COLD算法用于自动化生成满足流利度、隐蔽性、情感及位置等约束的LLM越狱攻击,并在多种主流模型上验证了其广泛适用性、高成功率和可迁移性。
2024-06-07 cs.AI cs.CL cs.LG
BreakFun: Jailbreaking LLMs via Object Instantiation under Simulated Code Execution
Department of Computer Engineering, Yildiz Technical University(计算机工程系,伊兹密尔技术大学)
BreakFun通过利用LLM对结构模式的遵守能力,揭示了其在劫持攻击中的脆弱性,并提出对抗性提示解构作为缓解策略。
2026-09-22 cs.AI cs.CL cs.CR
Learning To See But Forgetting To Follow: Visual Instruction Tuning Makes LLMs More Prone To Jailbreak Attacks
Heriot-Watt University(赫瑞瓦特大学)
研究对比三种最先进 VLM 及其 LLM 主干,发现视觉指令微调会削弱安全护栏、使模型更易被越狱,并提出安全评估与训练建议。
2024-05-07 cs.CL cs.CV
Efficient Safety Retrofitting Against Jailbreaking for LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC))
本研究提出使用DPO和Egida数据集对LLM进行安全改造,以最小成本降低攻击成功率10%-30%,并验证了模型规模和预训练选择对安全性的影响。
2025-02-25 cs.AI cs.CL cs.LG
Ranking Manipulation for Conversational Search Engines
UC Berkeley(加州大学伯克利分校)
本研究调查了提示注入对对话式搜索引擎来源排名的影响,提出基于攻击树的越狱技术,能有效提升低排名产品并迁移至 perplexity.ai 等先进系统,揭示了排名操纵的财务动机与鲁棒性研究的紧迫性。
2024-09-25 cs.CL
Red-TTT: Test-Time Training for Automated Jailbreaking Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
提出Red-TTT方法,在攻击过程中实时更新攻击者参数,利用策略梯度整合信息,显著提升越狱攻击成功率,从55.9%提升至72.4%。
2026-10-06 cs.CL cs.CR
How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities
MPI for Intelligent Systems(智能系统MPI研究所);University of Toronto(多伦多大学)
本文提出 DSC 基准评估 LLM 路由在隐私、安全及多任务场景下的脆弱性,发现基于偏好数据的路由器虽提升效率但常做出类别驱动的次优决策并带来安全风险。
2025-03-20 cs.CL cs.DB
Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Pennsylvania(宾夕法尼亚大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出SEMANTICSMOOTH防御框架,通过聚合输入提示的多个语义转换副本预测结果,在抵御GCG、PAIR、AutoDAN越狱攻击的同时保持指令遵循性能。
2024-02-28 cs.CL
AmpleGCG-Plus: A Strong Generative Model of Adversarial Suffixes to Jailbreak LLMs with Higher Success Rates in Fewer Attempts
The Ohio State University(俄亥俄州立大学)
本研究针对大语言模型易受乱码对抗后缀越狱攻击的问题,提出增强版生成模型AmpleGCG-Plus,通过优化训练策略以更少尝试提升攻击成功率,并验证了其对多款主流模型及防御机制的越狱效果,同时公开发布模型与数据集。
2024-10-29 cs.CL
LLMs as Function Approximators: Terminology, Taxonomy, and Questions for Evaluation
University of Potsdam(波茨坦大学)
本文提出将大语言模型视为基于自然语言规范逼近专家函数的工具,并以此框架统一评估其逼近质量、可发现性、稳定性及安全性等问题。
2024-07-18 cs.AI cs.CL
Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models
IBM Research Europe(IBM欧洲研究院);Trinity College Dublin(三一学院都柏林);Imperial College London(帝国理工学院伦敦);ADAPT Research Centre(ADAPT研究中心)
本文提出了一种新的函数劫持攻击,通过操纵代理模型的工具选择过程,迫使调用特定攻击者选择的函数,展示了代理模型在函数调用接口上的新漏洞。
2026-09-01 cs.AI cs.CL cs.CR
Weak-to-Strong Preference Optimization: Stealing Reward from Weak Aligned Model
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
受弱到强泛化启发,提出弱到强偏好优化(WSPO)方法,通过学习弱模型对齐前后的分布差异实现强模型对齐,显著提升Qwen2-7B-Instruct在Arena-Hard、AlpacaEval 2和MT-bench上的性能,证明利用弱模型引导强模型高对齐能力可行。
2025-03-06 cs.CL
PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits
A10 Networks, Inc.(A10网络公司);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
提出PLAGUE框架,通过终身学习启发的三阶段设计(Primer、Planner、Finisher)实现高效多轮越狱攻击,在o3和Opus 4.1等强安全模型上ASR提升超30%。
2026-06-05 cs.AI cs.CL cs.CR
The Aloe Family Recipe for Open and Specialized Healthcare LLMs
Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS));Universitat Politècnica de Catalunya - Barcelona Tech (UPC)(加泰罗尼亚理工大学-巴塞罗那技术大学(UPC))
本文提出Aloe Beta医疗开源LLM,基于Llama 3.1和Qwen 2.5,利用合成思维链数据、DPO安全对齐和RAG提升效能,经四类测试验证,性能比肩私有模型且安全性更强,为医疗LLM开发确立新标准。
2025-05-28 cs.AI cs.CL
Toward Understanding the Transferability of Adversarial Suffixes in Large Language Models
Ludwig-Maximilians-Universität München(慕尼黑莱布尼茨-马克斯大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学)
该研究针对大型语言模型的对抗性后缀可迁移性,分析出三个与迁移成功高度相关的统计属性,其成果可用于提升越狱攻击的实际效果。
2026-08-05 cs.AI cs.CL
PAST2HARM: A Simple Adaptive Past Tense Attack for Jailbreaking Multimodal AI
Indian Institute of Information Technology, Kalyani(印度信息技术学院,卡利安)
提出PAST2HARM框架,通过过去时态改写和迭代升级策略,系统性地利用多模态文本到图像模型的安全漏洞,实现黑盒、无梯度的高成功率越狱攻击。
2026-05-26 cs.CL
Activation-Guided Local Editing for Jailbreaking Attacks
Beihang University(北航);Hangzhou Innovation Institute(杭州创新研究院);HKUST(香港科技大学);South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);Kunming University of Science and Technology(昆明理工大学)
本文提出一种两阶段框架,结合上下文生成与隐藏状态信息,有效提升对抗攻击的成功率和可迁移性,对抗当前防御机制。
2026-04-15 cs.AI cs.CL cs.CR
Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities
University of California San Diego(加州大学圣迭戈分校);Microsoft Research(微软研究院);University of Virginia(弗吉尼亚大学)
本文提出ADV-LLM迭代自微调框架,以低计算成本构建高越狱能力的对抗性LLM,在开源模型上实现近100%攻击成功率,并具备向GPT-3.5和GPT-4等闭源模型的强迁移性。
2025-11-07 cs.CL cs.LG
Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?
Department of Electrical and Computer Engineering, Maroun Semaan Faculty of Engineering and Architecture(电气与计算机工程系,马鲁恩·塞马安工程与建筑学院);American University of Beirut(贝鲁特美国大学)
本研究通过小规模风格条件数据投毒,发现其能加剧大语言模型对方言输入的偏见,尤其是AAVE,并导致越狱行为,凸显了方言感知评估与风格-毒性解耦训练的必要性。
2025-10-09 cs.AI cs.CL cs.LG
Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);WeChat, Tencent Inc.(腾讯公司微信业务)
本研究揭示弱到强泛化中存在强模型欺骗弱模型的安全隐患,通过多目标对齐实验验证欺骗现象及其随能力差距加剧,并提出中间模型引导缓解但效果有限。
2025-02-28 cs.AI cs.CL
Jailbreak Detection in Clinical Training LLMs Using Feature-Based Predictive Models
University of Cincinnati(辛辛那提大学);University of Michigan(密歇根大学)
本研究针对临床教育平台2-Sigma中的LLM越狱检测问题,利用四个语言学变量标注2300多个提示并训练多种预测模型,发现基于特征的模型(尤其是Fuzzy Decision Tree)优于Prompt Engineering,为教育LLM提供有效且可解释的越狱检测方案。
2025-04-21 cs.AI cs.CL
MACPO: Weak-to-Strong Alignment via Multi-Agent Contrastive Preference Optimization
University of Amsterdam(阿姆斯特丹大学);Baidu Inc.(百度公司);Shandong University(山东大学);Leiden University(莱顿大学)
针对LLMs超越人类时的弱到强对齐难题,提出MACPO框架,通过迭代强化正面行为、惩罚负面行为及多智能体协作策略,同时提升强学生与弱教师的对齐性能。
2025-03-02 cs.AI cs.CL
Baseline Defenses for Adversarial Attacks Against Aligned Language Models
University of Maryland(马里兰大学);New York University(纽约大学)
本文针对大型语言模型的对抗攻击,评估了基于困惑度的检测、输入预处理和对抗训练等基线防御策略,并探讨了白盒与灰盒设置下的鲁棒性-性能权衡,发现现有文本优化器的弱点使自适应攻击更具挑战性。
2023-09-04 cs.CL cs.CR cs.LG
SecureBreak -- A dataset towards safe and secure models
Department of Electrical, Computer;Biomedical Engineering, University of Pavia, Italy\ .
本文提出SecureBreak数据集,用于检测由安全对齐残余弱点引起的有害大语言模型输出,通过手动标注确保可靠性,并在多个风险类别中有效检测不安全内容。
2026-03-23 cs.AI cs.CL cs.CR
Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization
Wuhan University;Institute for Math \& AI, Wuhan University;Huazhong University of Science;Shanghai Jiao Tong University;Xidian University
本文提出令牌感知梯度优化(TAGO)方法,通过仅保留高梯度能量的音频令牌对应的波形梯度,实现稀疏越狱攻击,在保持高成功率的同时大幅减少优化量。
2026-05-25 cs.AI cs.CL cs.CR
Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Purdue University(普渡大学)
本文提出VisCo攻击,通过图像驱动的上下文注入构建以视觉为中心的越狱场景,结合自动毒性混淆和语义精炼,在GPT-4o上实现85%的攻击成功率,显著超越基线方法。
2026-11-18 cs.CL cs.CR cs.CV
Trust Functions: Near-Lossless Weak-to-Strong Generalization by Learning When to Trust the Weak Teacher
University of Washington(华盛顿大学)
提出信任函数为弱标签分配信任分数并据此过滤弱监督,在多个领域实现近乎无损的弱到强泛化,且能通过迭代链放大收益。
2026-05-31 cs.CL cs.LG
Debate Helps Weak-to-Strong Generalization
Tongyi Lab(通义实验室)
本文结合可扩展监督与弱到强泛化,通过辩论让弱模型从强模型提取可信信息,并用集成弱模型提升监督稳健性,实验证明该方法能改善对齐。
2025-01-21 cs.AI cs.CL
Bayesian WeakS-to-Strong from Text Classification to Generation
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Cambridge(剑桥大学)
本文提出贝叶斯WeakS-to-Strong方法,通过弱模型集成和置信度估计将弱监督扩展到文本生成任务,并结合直接偏好优化提升强学生模型的可靠性与超对齐潜力。
2025-03-12 cs.AI cs.CL cs.LG
How to tackle an emerging topic? Combining strong and weak labels for Covid news NER
University of Waterloo(滑铁卢大学);University of Cambridge(剑桥大学)
能够为新兴主题训练命名实体识别(NER)模型对于许多现实世界的应用至关重要,特别是在医疗领域,其中新的主题不断发展出现有模型和数据集的范围。为了实现现实的评估设置,我们引入了一个新的COVID-19新闻NER数据集(COVIDNEWS-NER),并发布了3000个手工注释的强标记句子和13000个自动生成的弱标记句子。除了数据集之外,我们还提出了CONTROSTER,这是一种通过迁移学习在新兴主题中战略性地结合弱标签和强标签来提高NER的方法。我们在COVIDNEWS-NER上展示了CONTROSTER的有效性,同时提供了关于结合弱标签和强标签进行训练的分析。我们的主要发现是:(1)在调整强数据之前使用弱数据来制定初始骨干,优于仅在强数据或弱数据上训练的方法。(2)域外和域内弱标签训练的组合是至关重要的,并且可以克服在来自单个源的弱标签上训练时的饱和。
2022-10-08 cs.AI cs.CL cs.LG