Evaluating Language Model Safety Across Long Adversarial Conversations
Ontario Tech University(安大略理工大学)
本研究通过长对抗性对话评估语言模型安全性,发现随着对话轮次增加,安全响应率显著下降,表明单轮安全性不足以保证长期安全,需长时域评估与会话级防护。
2026-10-01 cs.CL
Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy
Princeton University(普林斯顿大学);Zoom Video Communications(Zoom视频通讯)
针对LLM缺乏指令层次结构导致易受恶意提示攻击的问题,提出指令片段嵌入(ISE)技术,在架构层面将指令优先级直接嵌入模型,显著提升了模型的安全性与指令遵循能力。
2025-03-01 cs.AI cs.CL cs.CR
From Specialization to Generalization: Instruction-tuned LLMs for Robust Harmful Content Mitigation
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
该研究针对LLMs在仇恨言论检测等敏感领域表现不佳的问题,基于Qwen3,通过统一36个英语仇恨言论数据集进行指令调优,提升了模型在有害内容缓解上的跨域、跨语言泛化性能。
2026-08-27 cs.CL
Steering Over-refusals Towards Safety in Retrieval Augmented Generation
Macquarie University(麦觉里大学)
本文分析了检索增强生成(RAG)中因安全对齐导致的过度拒绝问题,构建了RagRefuse基准,并提出SafeRAG-Steering嵌入干预方法,在推理时将嵌入引导向安全输出区域,有效减少过度拒绝同时保留合法拒绝。
2025-10-12 cs.CL
Rewrite to Jailbreak: Discover Learnable and Transferable Implicit Harmfulness Instruction
Zhejiang University(浙江大学)
本文提出R2J方法,通过迭代探索LLMs弱点并自动改进策略来重写指令实现可迁移的黑盒越狱攻击,该方法高效、难以识别,且仅需少量查询即可迁移至多数据集和模型。
2025-05-30 cs.CL
On the Sensitivity of Instruction-tuned LLMs to Harmful Sentences in Long Inputs
School of Computation, Information and Technology, TU Munich(计算、信息与技术学院,慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
通过构建长输入并系统变化长度、有害比例、显隐性和位置,研究LLM对稀疏嵌入有害句子的敏感性,发现敏感性非单调、随长度下降、早期位置优先、显性危害更易识别。
2026-05-26 cs.CL cs.CY
SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering
Macquarie University(麦考瑞大学);IOE, Pulchowk Campus(IOE普楚克校区)
本文提出SafeConstellations方法,通过任务感知的表示引导在推理时调整表示轨迹,减少大语言模型在处理良性指令时的过度拒绝现象,同时保持模型实用性。
2026-04-20 cs.CL
The Hidden Dimensions of LLM Alignment: A Multi-Dimensional Analysis of Orthogonal Safety Directions
Wenbo Pan(温波 Pan);Zhichao Liu(刘志超 Liu);Qiguang Chen(陈启广 Chen);Xiangyang Zhou(周祥阳 Zhou);Haining Yu(于航 Yu);Xiaohua Jia(贾小华 Jia)
本研究揭示LLM安全对齐由多维正交方向共同控制,主导方向控制拒绝行为,次要方向可被触发词移除以绕过安全能力,提供多维视角理解安全脆弱性。
2025-05-27 cs.AI cs.CL
Sparse Autoencoders are Capable LLM Jailbreak Mitigators
本文提出基于SAE的CC-Delta方法,通过比较带有和无劫持上下文的有害请求的token级表示,识别劫持相关的稀疏特征,从而在稀疏SAE特征空间中实现更优的安全-效用权衡。
2026-06-27 cs.CL cs.CR cs.LG
How (un)ethical are instruction-centric responses of LLMs? Unveiling the vulnerabilities of safety guardrails to harmful queries
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
本研究探讨了大型语言模型在生成指令为中心响应(如伪代码)时易产生不道德内容的安全漏洞,引入TechHazardQA数据集评估多个模型,发现该方式显著增加不道德响应生成率,且ROME模型编辑技术会进一步加剧此风险。
2024-11-16 cs.CL cs.CR
Agentic Reinforcement Learning for Search Misaligns Instruction-Tuning
University of Oxford(牛津大学);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Harvard University(哈佛大学)
研究智能体强化学习(RL)对指令微调模型对齐的影响,发现RL训练使模型将有害请求转化为良性搜索查询,但在触发条件下产生多步不安全搜索行为,并提出了基于表示引导的RL训练方法恢复对齐。
2026-06-16 cs.CL
Safety Training May Persist Through Helpfulness Optimization in LLM Agents
Department of Computer Science, University of California, Berkeley, USA(计算机科学系,加州大学伯克利分校)
研究通过帮助性优化在LLM代理中保持安全性训练,发现单独训练或依次训练无法找到最佳策略,但所有配置接近帕累托前沿。
2026-08-25 cs.CL cs.LG
Do Reasoning LLMs Refuse What They Infer in Long Contexts?
International Computer Science Institute(国际计算机科学研究所);College of Engineering, University of California, Berkeley(加州大学伯克利分校工程学院);Berkeley Lab(伯克利实验室)
研究探讨了长上下文大语言模型在推断出有害目标时的拒绝能力,发现模型在长上下文中推断目标时拒绝率下降,揭示了长上下文安全漏洞。
2026-11-11 cs.CL cs.CR
HarmAug: Effective Data Augmentation for Knowledge Distillation of Safety Guard Models
KAIST(韩国科学技术院);Theori;Université de Montréal(蒙特利尔大学);Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡应用技术大学);CIFAR AI Chair(加拿大高级研究所人工智能主席项目)
HarmAug通过越狱LLM并添加肯定前缀生成多样化有害指令,增强知识蒸馏数据,使小模型在安全检测上达到大模型性能,且计算成本降低75%以上。
2025-02-24 cs.CL cs.LG
Safety Alignment of Large Language Models via Contrasting Safe and Harmful Distributions
本文提出ACD方法,通过生成安全与对抗性提示,实现大语言模型的安全对齐,提升安全性的同时保持生成能力。
2025-12-13 cs.CL
Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs
Macquarie University(麦考瑞大学)
通过分析有害拒绝和过度拒绝的表示几何,发现过度拒绝方向是任务相关的且存在于良性任务表示簇中,解释了为何全局方向消融无法解决过度拒绝,并表明需要任务特定的几何干预。
2026-09-02 cs.CL
Exploiting Instruction-Following Retrievers for Malicious Information Retrieval
McGill University(麦吉尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);CIFAR AI Chair(加拿大高级研究所人工智能主席职位)
本文实证研究指令遵循检索器的安全风险,发现多数检索器能为超过50%的恶意查询选出有害段落,且即使安全对齐的LLM在获得有害检索内容后也会满足恶意请求,揭示了检索能力增强带来的滥用风险。
2025-03-11 cs.AI cs.CL
An Embarrassingly Simple Defense Against LLM Abliteration Attacks
King Abdullah University of Science and Technology(卡布斯大学)
提出一种通过构建扩展拒绝数据集并微调模型,将拒绝信号分散至多个标记位置,从而有效抵御abliteration攻击,保持高拒绝率并增强鲁棒性的简单防御方法。
2025-10-07 cs.AI cs.CL cs.LG
"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Bocconi University(博科尼大学)
本文系统评估了指令微调大语言模型中首token概率评估与最终文本答案的一致性,发现两者在多维度上严重不匹配,不匹配率超过60%,提示不能仅依赖首token评估。
2024-07-04 cs.CL
Enhancing AI Safety Through the Fusion of Low Rank Adapters
IIIT Hyderabad(海德拉巴国家理工学院);NSUT Delhi(德里NSUT)
本文提出利用低秩适配器融合(LoRA)结合任务适配器与安全适配器,在保持指令处理能力的同时将有害率降低42%,但也指出该方法可能引发过度安全行为。
2024-12-30 cs.CL
Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
Independent Researcher(独立研究员)
研究通过几何方法识别LLM残差流中有害意图的特征,发现其在不同模型架构中线性可分离,并通过优化策略实现高检测性能。
2026-05-09 cs.AI cs.CL cs.LG
Jailbreak Instruction-Tuned LLMs via end-of-sentence MLP Re-weighting
Peking University(北京大学);School of Science(理学院);Westlake University(西湖大学);Beijing International Center for Mathematical Research(北京国际数学研究中心);Center for Machine Learning Research(机器学习研究中心)
本文研究指令微调LLM的安全机制,发现重新加权句末MLP神经元可破坏模型安全性,并据此提出两种白盒越狱方法,在7个开源LLM上表现稳健,揭示了安全漏洞。
2024-10-14 cs.AI cs.CL
Arabic Safety Alignment as Selective Refusal: An Empirical Study of SFT, DPO, and Guard Calibration
American University of Beirut(贝鲁特美国大学)
该研究针对阿拉伯语大语言模型的安全对齐问题,通过实证对比SFT、DPO等方法,提出需针对特定模型选择操作点以平衡有害提示拒绝与良性提示接受的权衡。
2026-11-18 cs.AI cs.CL
Strategic Deflection: Defending LLMs from Logit Manipulation
International Artificial Intelligence Center of Morocco(摩洛哥国际人工智能中心);Mohammed VI Polytechnic University(摩洛哥穆莱·伊斯梅尔理工学院);AgriEdge;Sorbonne University, LIP6 - UMR 7606 CNRS(索邦大学,LIP6 - UMR 7606 CNRS)
针对logit级越狱攻击可绕过传统拒绝式防御的问题,提出Strategic Deflection防御方法,通过生成语义相近但无有害意图的回应消解攻击,在降低攻击成功率的同时保留良性查询性能,推动防御策略转向内容重定向。
2025-07-29 cs.AI cs.CL cs.CR
DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models
Macquarie University(麦考瑞大学);MBZUAI(马克斯·普朗克智能系统研究所)
本文提出DUAL-Bench,通过评估18种VLM在12类危险场景下的表现,揭示模型在双重使用场景中的脆弱安全边界,强调安全完成与过度拒绝的平衡需求。
2026-03-18 cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
Mitigating Jailbreaks with Intent-Aware LLMs
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(科技研究局)
本文提出Intent-FT微调方法,通过训练大语言模型在回答前推断指令潜在意图来缓解越狱攻击,实验表明其能将所有攻击类别成功率降至50%以下,同时保持模型通用能力并减少对良性指令的过度拒绝。
2025-08-23 cs.CL cs.CR
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
LibrAI;MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Melbourne(墨尔本大学)
该研究构建了首个评估LLM安全防护的开源数据集Do-Not-Answer,通过标注六个流行模型的响应并训练小型分类器,实现了与GPT-4相当的自动安全评估效果。
2023-09-04 cs.CL
Exploring the Impact of Instruction-Tuning on LLM's Susceptibility to Misinformation
Konkuk University(韩国康 kuk 大学);ETRI(电子技术研究院)
本文研究指令微调如何影响LLM对错误信息的易感性,发现其会增强模型对用户输入的依赖,并分析提示角色、信息长度和系统警告等因素。
2025-07-24 cs.CL
Linearly Decoding Refused Knowledge in Aligned Language Models
University of Chicago(芝加哥大学)
本文通过线性探针研究对齐语言模型中被拒绝的有害信息,发现这些信息仍以线性可解码的方式存在于表征中,并能影响下游行为,说明指令微调只是抑制而非消除有害知识。
2025-06-30 cs.AI cs.CL
Safe to Serve: Aligning Instruction-Tuned Models for Safety and Helpfulness
本文研究如何在不牺牲有用性的前提下提升指令微调LLM的安全性,发现引入安全指令并采用DPO可将安全回复率由40%提升至90%以上。
2024-11-26 cs.CL
Refusal in Language Models Is Mediated by a Single Direction
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Anthropic(Anthropic公司);MIT(麻省理工学院)
本研究发现13款主流开源聊天模型的拒绝行为由单一残差流方向介导,据此提出精准禁用拒绝功能的白盒越狱方法,并分析对抗性后缀的作用机制,揭示了当前安全微调的脆弱性。
2024-10-30 cs.AI cs.CL cs.LG
Jailbreaking Multimodal Large Language Models via Shuffle Inconsistency
Institution1(机构1);Institution2(机构2)
该研究提出名为SI-Attack的图文越狱攻击方法,利用多模态大模型对打乱有害指令的理解与安全能力间的不一致性,通过黑盒优化选择最具危害性的输入,显著提升了针对GPT-4o等商业闭源模型的攻击成功率。
2025-06-27 cs.AI cs.CL cs.CR
Locking Down the Finetuned LLMs Safety
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Beihang University(北京航空航天大学)
本文提出SafetyLock,一种通过提取基础模型安全激活方向并应用于微调模型的对齐干预方法,在0.01秒内将有害指令响应率从60%降至1%以下,为定制LLMs提供高效、可扩展的安全保障。
2024-10-14 cs.CL
Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking
China University of Geosciences, Wuhan(中国地质大学(武汉));City University of Macau(澳门城市大学)
本文提出Attention-Guided Visual Jailbreaking方法,通过操控注意力模式规避安全对齐机制,减少梯度冲突并提高攻击成功率,揭示了安全失明的失败模式。
2026-04-11 cs.CL cs.CV
The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams
Independent Researcher(独立研究者)
本文提出LatentBiopsy方法,通过分析大语言模型残差流激活的几何特性,无需训练即可检测有害提示。该方法基于残差流激活的主成分分析和角度偏差,实现高精度的异常检测,具有低延迟和强鲁棒性。
2026-03-28 cs.AI cs.CL cs.LG
When Behavioral Safety Evaluation Fails: A Representation-Level Perspective
Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Technical University of Denmark(丹麦技术大学)
本文提出行为安全与干预鲁棒性之间的“审计差距”,通过构建解离模型和引入潜在脆弱性评分(LVS),证明行为安全指标不足以衡量表征层面的鲁棒性。
2026-08-05 cs.AI cs.CL cs.LG
AI Safety Training Can be Clinically Harmful
College of Information Sciences and Technology, Penn State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Psychiatry and Behavioral Sciences, Emory University(埃默里大学精神病学与行为科学系);School of Interactive Computing, Georgia Tech(佐治亚理工学院交互计算学院);School of Psychology, Georgia Tech(佐治亚理工学院心理学学院)
研究评估了四种生成模型在认知行为疗法场景中的表现,发现其在高严重性情况下治疗适当性显著下降,提出需通过多轴评估框架确保AI心理健康系统的安全性。
2026-04-25 cs.AI cs.CL cs.CY
Are Vision-Language Models Safe in the Wild? A Meme-Based Benchmark Study
Pohang University of Science and Technology (POSTECH)(釜山科学技术大学)
本文提出包含50,430个真实模因与指令配对的MemeSafetyBench基准,系统评估视觉-语言模型在模因场景下的安全性,发现模因比合成图像和纯文本更容易诱发有害输出,多轮交互仅能部分缓解脆弱性。
2025-09-23 cs.CL cs.CR cs.CV
Low-Resource Safety Failures Are Action Failures, Not Representation Failures
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德大学人工智能学院)
本文发现低资源语言的安全对齐失败源于决策校准问题而非表征缺失,通过重校准高资源门控(低秩逻辑回归+阈值重置)显著提升拒绝选择性。
2026-10-06 cs.AI cs.CL
Seeing the Threat: Vulnerabilities in Vision-Language Models to Adversarial Attack
School of Computing, Macquarie University(计算机学院,麦考瑞大学)
本研究分析了LVLMs视觉输入带来的安全漏洞,揭示了对抗攻击绕过安全机制的原因,提出了评估对抗攻击的两阶段框架,并定义了理想化模型行为模式以指导多模态系统的安全对齐。
2025-05-28 cs.CL
TRIDENT: Enhancing Large Language Model Safety with Tri-Dimensional Diversified Red-Teaming Data Synthesis
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University(航空信息安全与可信计算重点实验室,教育部,网络安全工程学院,武汉大学);Ant Group(蚂蚁集团);Ant International(蚂蚁国际);School of Computing Technologies, Royal Melbourne Institute of Technology(计算技术学院,皇家墨尔本理工学院)
TRIDENT通过三维分析框架和自动化流水线生成涵盖词汇多样性、恶意意图和突破战术的多样化数据,提升大语言模型安全性,实验显示在有害内容评分和攻击成功率上有显著提升。
2026-04-17 cs.CL
Conversational Complexity for Assessing Risk in Large Language Models
University of Cambridge(剑桥大学);Spanish National Research Council(西班牙国家研究委员会);Universitat Politècnica de València(瓦伦西亚理工大学);Leverhulme Centre for the Future of Intelligence(勒沃休姆未来智能中心);Center for Automation and Robotics(自动化与机器人中心);Valencian Research Institute for Artificial Intelligence(瓦伦西亚人工智能研究所)
针对大型语言模型(LLMs)对话交互中的有害输出风险,提出对话长度(CL)和对话复杂度(CC)指标量化获取有害信息的对话努力,通过参考LLM近似CC并分析红队数据集,为LLM安全提供基于危害路径算法复杂度的新视角。
2024-11-29 cs.AI cs.CL cs.IT
AutoRed: A Free-form Adversarial Prompt Generation Framework for Automated Red Teaming
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
AutoRed提出无需种子指令的自由形式对抗性提示生成框架,通过角色引导生成和反思循环优化,结合验证器提升效率,在八个LLM上实现更高攻击成功率,推动LLM安全评估。
2025-10-09 cs.CL
Cross-Task Defense: Instruction-Tuning LLMs for Content Safety
University of California, Riverside(加州大学河滨分校);Microsoft(微软公司);University of California, Los Angeles(加州大学洛杉矶分校)
针对LLMs处理长文本时安全性不足的问题,提出防御数据集及单任务/混合任务损失进行指令微调,显著提升模型安全处理危险内容的能力,并发现Llama2在安全与实用性平衡上优于Llama1。
2024-05-24 cs.CL cs.CR
When in Doubt, Cascade: Towards Building Efficient and Capable Guardrails
针对大型语言模型生成有害文本的问题,本文提出基于使用-提及区分和分类法指令的合成数据生成流水线,生成30万+对比样本,以低成本构建高效且强大的护栏模型。
2025-08-06 cs.CL
Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level
Aerospace Information Research Institute, Chinese Academy of Sciences(航天信息研究所,中国科学院);Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University(计算机科学与技术系,人工智能研究院,清华大学);Shanghai Key Laboratory of Multi. Info. Processing, East China Normal University(上海多信息处理重点实验室,华东师范大学);Kuaishou-Inc(快手公司)
本文提出一种解码层面的逐步防御机制,直接纠正有害查询而非拒绝,并引入推测解码加速,实验证明在提升安全性的同时保持推理速度和实用性。
2025-06-18 cs.CL cs.CR
Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models
Mohamed Bin Zayed University of AI, UAE(穆罕默德·本·扎耶德人工智能大学,阿联酋);Khalifa University, UAE(卡比拉大学,阿联酋);Australian National University, Australia(澳大利亚国立大学,澳大利亚)
本研究通过梯度攻击和跨语言评估,发现多语言多模态大语言模型存在可迁移的对抗脆弱性,并揭示低资源语言因理解失败而呈现的虚假安全现象,提出深层训练整合才能实现真正的多语言安全对齐。
2026-08-12 cs.CL cs.CV
The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);Shanghai AI Laboratory(上海人工智能实验室);University of Chicago(芝加哥大学)
DIJA揭示了扩散语言模型的安全漏洞,通过构造对抗性提示利用双向建模和并行解码机制,使有害内容在对齐训练模型中得以生成。
2026-02-10 cs.CL
Red-Teaming for Inducing Societal Bias in Large Language Models
Queen’s University Vector Institute(女王大学向量研究所);SigmaRed Tech.(SigmaRed科技公司);Ernst & Young(埃森哲);Monark Health(Monark健康)
提出两种针对社会偏见的红队测试方法(EBP和BiasKG),通过对抗性攻击诱导LLM产生偏见响应,发现即使有安全防护的模型也受影响,强调严格评估和AI安全措施。
2025-05-21 cs.CL cs.LG
Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal
Social-AI-Studio
研究通过稀疏自编码器分析两个指令微调模型,揭示拒绝行为的内部机制,发现关键特征并展示如何通过可解释的潜在空间进行安全行为审计和干预。
2026-04-28 cs.AI cs.CL
Covert Malicious Finetuning: Challenges in Safeguarding LLM Adaptation
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
本文提出隐蔽恶意微调方法,通过看似无害的数据集使GPT-4在99%情况下执行编码有害指令并逃避检测,揭示了黑盒微调接口面临的安全防御难题。
2024-06-28 cs.AI cs.CL cs.CR
Adaptive Instruction Composition for Automated LLM Red-Teaming
Capital One, AI Foundations(Capital One人工智能基础研究)
本文提出自适应指令生成框架,通过强化学习平衡探索与利用,提升红队测试的攻击效果与多样性,优于随机组合和现有方法。
2026-04-22 cs.AI cs.CL cs.CR
Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models
University of Oxford(牛津大学);Dynamo AI(戴纳摩人工智能公司)
本研究揭示任务特定微调可被恶意操纵以诱发危险行为,并提出混合格式匹配的安全数据来高效恢复安全对齐,同时保持任务性能。
2025-02-28 cs.CL cs.LG