Reactivating Alignment: Defending LLMs from Jailbreaks via Intention-Aware Input-Output Matching
University of Technology Sydney(悉尼科技大学);Southeast University(东南大学)
提出SENTINEL,一种基于意图提取的生成时防御方法,利用输入-输出语义一致性检测并阻止越狱攻击,在HarmBench上将成功率降至约5%且过度拒绝率低。
2026-10-06 cs.AI cs.CR
Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了大语言模型对抗成功的因果机制,提出LOCA方法通过局部解释识别最小的中间表示变化,以解释对抗成功的原因。
2026-08-10 cs.AI
Don't Say No: Jailbreaking LLM by Suppressing Refusal
ShanghaiTech University(上海科技大学);Zhejiang University(浙江大学);Sun Yat-Sen University(中山大学)
本文提出 DSN 越狱攻击,通过改进损失目标并结合余弦衰减调度与拒绝抑制,在多个数据集和黑盒模型上取得了最先进的攻击成功率。
2025-07-02 cs.CL
Does Refusal Training in LLMs Generalize to the Past Tense?
EPFL(洛桑联邦理工学院)
该研究揭示当前LLM拒绝训练存在泛化差距:将有害请求改写为过去时态可成功越狱多数先进模型,通过实验验证该方法有效性,并指出在微调数据中加入过去时态示例可提升防御能力。
2025-04-17 cs.AI cs.CL cs.LG
Beyond Refusal Patterns: Safe-Role Internalization for Robust and Generalizable LLM Safety Alignment
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Leiden University(莱顿大学)
针对现有安全对齐易受越狱攻击且过度拒绝的问题,提出SSRFT框架,通过安全角色问答数据集内化安全价值观,实现比标准SFT更鲁棒、更可泛化的安全对齐,同时减少过度拒绝并保持通用能力。
2026-10-07 cs.AI cs.CL cs.IR
Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
本研究通过多LLM jailbreak实验揭示了模型大小不对称对对抗鲁棒性的影响,发现攻击者规模与有害输出严重性呈正相关,且攻击者对齐性可缓解有害响应。
2026-01-01 cs.AI cs.CL cs.CR
Automatic Pseudo-Harmful Prompt Generation for Evaluating False Refusals in Large Language Models
University of Maryland, College Park(马里兰大学 College Park 分校);Adobe Research(Adobe 研究院);Capital One(Capital One 公司)
针对大语言模型常错误拒绝伪有害无害请求的问题,提出首个自动生成多样化可控伪有害提示的方法,构建规模十倍于现有数据集的PHTest,评估20款LLM发现安全防御与可用性存在权衡,助力研发更安全易用的模型。
2025-06-11 cs.CL cs.CR cs.CY
Behind Harmful Compliance: Behavioral and Mechanistic Divergence Across LLM Jailbreaks
Department of Computer Science(计算机科学系);Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本文研究了三种不同劫持方法对模型行为和机制的影响,发现RLVR劫持模型在安全性和合规性上表现更稳定,而SFT和ablation劫持则导致显著的性能下降和行为漂移。
2026-09-09 cs.AI cs.CL cs.CR
IndicJR: A Judge-Free Benchmark of Jailbreak Robustness in South Asian Languages
Oracle America Inc.(Oracle美国公司)
IndicJR是一种无裁判的南亚语言对抗鲁棒性基准,揭示了多语言对抗攻击的模式和风险,尤其关注南亚用户的语言转换和罗马化问题。
2026-02-18 cs.AI cs.CL
X-Boundary: Establishing Exact Safety Boundary to Shield LLMs from Multi-Turn Jailbreaks without Compromising Usability
School of Electronic Information and Electric Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
X-Boundary通过建立精确的安全边界,有效防御多轮劫持攻击,同时减少过度拒绝率并保持模型通用能力。
2025-12-26 cs.AI cs.CL cs.CR
HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
Tsinghua University(清华大学);Southeast University(东南大学);Microsoft(微软公司)
提出HARC微调方法,通过耦合提示和响应位置的有害性与拒绝方向,在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。
2026-07-09 cs.AI cs.CR
Furina: Fragmented Uncertainty-Driven Refusal Instability Attack
School of Intelligence Science and Technology(智能科学与技术学院);State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
通过揭示大语言模型安全行为存在不稳定区域,提出多指标诊断框架并开发Furina攻击方法,利用碎片化场景提示诱导不确定性放大,实现高效越狱。
2026-05-24 cs.AI cs.CR cs.LG
Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal
Social-AI-Studio
研究通过稀疏自编码器分析两个指令微调模型,揭示拒绝行为的内部机制,发现关键特征并展示如何通过可解释的潜在空间进行安全行为审计和干预。
2026-04-28 cs.AI cs.CL
Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文研究VLM在视觉模态整合后安全对齐减弱的问题,发现劫持样本在表示空间中形成独特状态,提出通过移除劫持相关转移提升安全性。
2026-10-21 cs.AI cs.CV
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Intesa Sanpaolo(Intesa Sanpaolo公司);University of Southern California(南加州大学)
本文提出图正则化稀疏自编码器,通过在神经元共激活图上平滑解码器向量并应用方向库,提升安全引导效果,在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
Defending Large Language Models Against Jailbreak Attacks via In-Decoding Safety-Awareness Probing
Northeastern University, China(东北大学)
通过在解码过程中激活内在安全意识,提升大型语言模型对劫持攻击的防御能力。
2026-01-30 cs.AI cs.CL
Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs
Yonsei University(延世大学)
研究提出一种利用10对无害偏好对的真正无害DPO攻击,通过优化模型偏好来减少拒绝行为,从而在对抗LLMs时取得高成功率。
2026-10-15 cs.AI cs.CR
Understanding and Mitigating Over-refusal for Large Language Models via Representation Intervention
Northwestern Polytechnical University(西北工业大学)
本文提出MOSR方法,通过干预大语言模型的安全表示来缓解过度拒绝问题,同时保持安全性。
2026-08-17 cs.CL cs.CR
Jailbreaking Frontier Foundation Models Through Intention Deception
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多轮欺骗方法,通过模拟良性意图和模型一致性,引导模型生成有害输出,并揭示了未被注意到的para-jailbreaking漏洞。
2026-04-27 cs.AI cs.CL cs.CR
AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint
National University of Singapore(国立新加坡大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学)
AlphaSteer 通过原理性零空间约束学习拒绝引导,提升大语言模型的安全性与效用平衡。
2026-02-08 cs.AI cs.CR cs.LG
LLMs Encode Harmfulness and Refusal Separately
Northeastern University(东北大学);Stanford University(斯坦福大学)
研究大语言模型对有害性的理解,发现其有害性和拒绝性在模型内分别编码,有害性方向与拒绝方向不同,据此揭示越狱方法原理及对抗微调影响,提出潜在危害表示的安全应用。
2026-07-07 cs.CL
Refusal Steering: Fine-grained Control over LLM Refusal Behaviour for Sensitive Topics
通过引导向量控制LLM在敏感话题上的拒绝行为,实现安全且可控的审核方法。
2026-02-24 cs.AI cs.CL
Latent Fusion Jailbreak: Blending Harmful and Harmless Representations to Elicit Unsafe LLM Outputs
Bingjiang Institute of Zhejiang University(浙江大学滨江学院);Zhejiang University(浙江大学);Guangzhou University(广州大学);Chongqing University(重庆大学)
研究如何通过白盒干预操纵安全对齐的大语言模型,核心方法是潜在融合越狱(LFJ),通过配对有害与良性表征、优化混合系数等实现,在多个模型和基准上取得高攻击成功率,还设计了对抗训练程序降低攻击成功率。
2026-07-20 cs.AI cs.CL cs.CR
Jailbreak and Guard Aligned Language Models with Only Few In-Context Demonstrations
Peking University(北京大学);MIT(麻省理工学院)
本文提出上下文攻击(ICA)和上下文防御(ICD),利用少量上下文示例分别提升和降低越狱提示成功率,并给出理论见解,揭示ICL对LLM安全对齐的深远影响。
2024-05-25 cs.AI cs.CL cs.CR
Robust LLM safeguarding via refusal feature adversarial training
University of Toronto(多伦多大学);Meta FAIR;University College London(伦敦大学学院)
针对大语言模型易受对抗攻击且防御成本高的问题,研究发现攻击通过消融拒绝特征规避防护,据此提出ReFAT算法,以更低计算开销提升了三种主流LLM的攻击鲁棒性。
2025-03-20 cs.CL cs.CR cs.LG
TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages
Mila - Quebec AI Institute(魁北克人工智能研究院);McGill University(麦吉尔大学);Microsoft AI for Good Research Lab(微软人工智能造福人类研究实验室);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
针对大型语言模型在非洲低资源语言上的安全评估缺失,提出TUKABENCH基准,通过四种设置(直接翻译、文化适应翻译、人工策划提示、代码切换提示)评估语言、文化背景和提示规避性对模型安全的影响,发现非洲语言提示降低拒绝率,并引入Deflection指标和人工验证以解决模型理解失败和评判可靠性问题。
2026-09-24 cs.AI cs.CL
LLM-VA: Resolving the Jailbreak-Overrefusal Trade-off via Vector Alignment
Zhejiang University(浙江大学);Griffith University(格里菲斯大学);Huzhou Institute of Industrial Control Technology(湖州工业控制技术研究院)
LLM-VA通过向量对齐解决大型语言模型在对抗性回应与过度拒绝间的权衡问题,提升安全性和效用。
2026-01-27 cs.AI cs.LG
Mitigating Jailbreaks with Intent-Aware LLMs
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(科技研究局)
本文提出Intent-FT微调方法,通过训练大语言模型在回答前推断指令潜在意图来缓解越狱攻击,实验表明其能将所有攻击类别成功率降至50%以下,同时保持模型通用能力并减少对良性指令的过度拒绝。
2025-08-23 cs.CL cs.CR
Refusal in Language Models Is Mediated by a Single Direction
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Anthropic(Anthropic公司);MIT(麻省理工学院)
本研究发现13款主流开源聊天模型的拒绝行为由单一残差流方向介导,据此提出精准禁用拒绝功能的白盒越狱方法,并分析对抗性后缀的作用机制,揭示了当前安全微调的脆弱性。
2024-10-30 cs.AI cs.CL cs.LG
Tracing the Dynamics of Refusal: Exploiting Latent Refusal Trajectories for Robust Jailbreak Detection
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Beijing Jiaotong University(北京交通大学)
通过因果追踪识别出稀疏的“拒绝轨迹”激活模式,并提出轻量级白盒检测器SALO,基于隐藏状态窗口实现鲁棒越狱检测。
2026-05-26 cs.AI cs.CL cs.CR
What Features in Prompts Jailbreak LLMs? Investigating the Mechanisms Behind Attacks
King’s College London(伦敦国王学院);Imperial College London(伦敦帝国学院);Deepgram;University of Louisville(路易斯维尔大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
研究通过线性和非线性探针检验提示特征,揭示了越狱攻击由异构非线性内部机制驱动,并提供提示侧方法恢复和测试驱动越狱的特征。
2025-11-01 cs.AI cs.CL cs.CR
TAO-Attack: Toward Advanced Optimization-Based Jailbreak Attacks for Large Language Models
Dalian University of Technology(大连理工大学)
TAO-Attack 提出了一种基于优化的 Jailbreak 攻击方法,通过双阶段损失函数和方向优先 token 优化策略,有效提升攻击成功率。
2026-03-03 cs.CL
Test-Time Immunization: A Universal Defense Framework Against Jailbreaks for (Multimodal) Large Language Models
NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(国家工程实验室与人工智能研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出通用防御框架TIM,通过训练gist token高效检测越狱并结合安全微调与模块解耦,实现LLMs和多模态LLMs对多种越狱攻击的自适应防御。
2025-05-28 cs.AI cs.CL cs.CR
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
AISA: Awakening Intrinsic Safety Awareness in Large Language Models against Jailbreak Attacks
Beijing University of Technology(北京理工大学);Macau University of Science and Technology(澳门科技大学)
AISA通过激活模型内在安全机制,提供一种轻量级、单次通过的防御方法,有效提升大型语言模型对抗劫持攻击的鲁棒性与安全性。
2026-02-14 cs.AI cs.CR
From Threat to Tool: Leveraging Refusal-Aware Injection Attacks for Safety Alignment
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
本研究提出无需训练的拒识感知自适应注入(RAAI)框架,将LLM攻击技术转化为合成数据生成工具,用其生成的数据微调模型可提升安全鲁棒性且保留通用能力,为LLM安全对齐提供了高效新路径。
2025-06-07 cs.AI cs.CL cs.CR
RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本研究提出保几何微调框架RefusalGuard,解决大语言模型微调时安全对齐退化问题,在多模型及安全、下游任务基准上表现优于基线,平衡安全与任务性能。
2026-08-24 cs.AI cs.CE cs.CL
Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming
Anthropic;Haize Labs(海兹实验室)
本文提出Constitutional Classifiers,通过基于自然语言规则生成的合成数据训练分类器来防御LLM通用越狱攻击,在3000多小时红队测试中有效抵御攻击,且仅增加0.38%拒绝率和23.7%推理开销,保持了部署可行性。
2025-01-31 cs.AI cs.CL cs.CR
Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations
University of Padua(帕多瓦大学);Örebro University(欧雷布罗大学);Fondazione Bruno Kessler(布鲁诺·凯索基金会)
本文通过线性探针在变压器块的残差流激活中检测拒绝行为,并提出Mechanistic AutoDAN方法,利用探针引导的遗传搜索实现高效攻击,显著降低搜索时间并保持攻击成功率。
2026-09-04 cs.AI cs.CR
Steering Dialogue Dynamics for Robustness against Multi-turn Jailbreaking Attacks
Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于安全控制理论的神经屏障函数,通过状态空间建模和安全预测器,有效防御多轮劫持攻击,提升对话安全性与实用性。
2026-02-16 cs.CL cs.CR cs.LG
Do LLMs Know Their Vulnerable Scenarios?
Renmin University of China(中国人民大学);Xi’an Jiaotong University(西安交通大学);University of Science and Technology of China(中国科学技术大学);Wuhan University(武汉大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
研究大语言模型在特定场景下的脆弱性,提出Concept2Scenario框架,通过实例化概念空间、归因拒绝抑制等步骤发现脆弱场景,在多模型和基准测试中验证,能提高攻击成功率、可迁移且组合效果优。
2026-08-14 cs.AI cs.CR
Understanding Refusal in Language Models with Sparse Autoencoders
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学);Digital Trust Centre(数字信任中心);Institute of High Performance Computing (IHPC)(高性能计算研究所)
本文使用稀疏自编码器对指令微调LLMs的拒绝行为进行机制研究,识别并验证了因果介导拒绝的潜在特征,揭示了拒绝在激活层面的表现及对抗越狱机制,并证明了其在增强线性探针泛化能力上的作用。
2025-05-29 cs.CL
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);University of Notre Dame(圣母大学)
该研究追踪LLMs中注意力到MLP的安全通路,发现注意力负责识别危害性、MLP负责生成拒绝,据此推出Sentinel,其联合信号路由可降低越狱与过度拒绝的总错误率。
2026-10-12 cs.AI
Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety
California Institute of Technology(加州理工学院)
研究多语言大语言模型安全对齐问题,引入涵盖多种语言、资源层级和扰动类型的Minionese基准测试及几何机理分析,发现不同攻击类型漏洞特征不同,指出仅英语安全评估不足,需考虑多因素。
2026-07-14 cs.AI cs.CR
Advancing Jailbreak Strategies: A Hybrid Approach to Exploiting LLM Vulnerabilities and Bypassing Modern Defenses
Purdue University(普渡大学)
本文提出 GCG + PAIR 和 GCG + WordGame 两种混合越狱方法,整合 token 与 prompt 级别技术,在提升无防御模型攻击成功率的同时保持强迁移性,成功穿透多种现代防御,揭示了现有安全体系的脆弱性。
2025-06-27 cs.AI cs.CL cs.CR
Refusal Direction is Universal Across Safety-Aligned Languages
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文研究了多语言LLMs中拒绝方向的跨语言普遍性,发现英文提取的向量可有效绕过其他语言的拒绝,揭示了跨语言安全机制的机制。
2026-02-25 cs.CL
Enhancing Jailbreak Attacks on LLMs via Persona Prompts
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
本文通过遗传算法生成人格提示,有效降低大语言模型拒绝率,提升劫持攻击成功率,揭示人格提示对模型安全机制的影响。
2026-03-25 cs.AI cs.CR
SOM Directions are Better than One: Multi-Directional Refusal Suppression in Language Models
本文提出利用自组织映射(SOM)提取多方向拒绝特征,通过分析有害提示表示与无害提示表示的差异,验证了多方向抑制方法在提升模型安全性和拒绝能力上的有效性。
2025-11-13 cs.AI cs.LG
Mind the Inconspicuous: Revealing the Hidden Weakness in Aligned LLMs' Refusal Boundaries
Northwestern University(西北大学);University of California Santa Barbara(加州大学圣塔芭芭拉分校)
本研究发现追加多个eos标记会引发上下文分割现象,使对齐后LLM的拒绝边界出现漏洞,可显著提升越狱攻击成功率,且商业大模型同样存在该漏洞,为优化对齐与防御机制指明了新方向。
2025-06-17 cs.AI
AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
AlphaAlign提出一种极简纯强化学习框架,通过可验证安全奖励与归一化有用性奖励的双重奖励机制,在不依赖监督推理数据的情况下激励大语言模型的主动安全推理,从而打破安全与效用之间的权衡。
2025-07-20 cs.AI cs.CR cs.LG
PrisonBreak: Jailbreaking Large Language Models with at Most Twenty-Five Targeted Bit-flips
Oregon State University(俄勒冈州立大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学);George Mason University(乔治·梅森大学);Rutgers University(罗格斯大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究提出PrisonBreak攻击方法,通过高效比特选择算法,仅用5-25次比特翻转即可破解安全对齐大语言模型,在10个开源模型上取得80-98%的成功率,还通过Rowhammer实现了端到端漏洞利用,且对现有防御有效。
2025-10-02 cs.CL cs.CR cs.LG
Efficient Refusal Ablation in LLM through Optimal Transport
Concordia University(康科德大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
本文提出基于最优传输的框架,通过层选择性干预提升LLM拒绝机制的鲁棒性,实现更高的攻击成功率并保持模型能力。
2026-03-04 cs.AI cs.LG
Jailbreaking to Jailbreak
Scale AI
本研究提出$J_2$方法,将几乎任何黑盒LLM转变为越狱攻击者,实验证明其能利用自创或人类专家策略有效突破目标模型安全防护,且推理模型表现尤为出色,攻击成功率超越现有算法。
2025-05-29 cs.AI cs.CL
Don't Judge an LLM Only by Its Activations: Discovering Suppressed Safety Features via Counterfactual Activation Potential
University of Maryland, College Park(马里兰大学学院公园分校)
提出反事实激活潜力(CAP)指标与CSFD算法,揭示LLM中被抑制的安全特征可被越狱利用,补充了激活导向的安全可解释性。
2026-10-06 cs.AI cs.CL cs.CR