Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack
Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞,通过实验和理论分析证明安全判断能力越强越易被利用,并提出因果干预验证。
2026-09-29 cs.AI
AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)
Manipal University(马尼帕尔大学);GGSI University(GGSI大学);IIITDM Kancheepuram(坎奇普拉姆印度信息技术设计制造学院);Meta AI;Amazon(亚马逊);BITS Goa(果阿比尔拉理工学院)
该研究构建含 9,000 条提示的 ALKALI 对抗基准,揭示 LLM 的潜在伪装盲点,并提出 GRACE 几何对比对齐框架与 AVQI 指标,最高降低 39% ASR。
2025-09-28 cs.CL cs.LG
ChatBug: A Common Vulnerability of Aligned LLMs Induced by Chat Templates
University of Washington(华盛顿大学)
本文揭示聊天模板可被恶意用户利用以绕过对齐 LLM 的安全防护,提出 ChatBug 漏洞及两种攻击,并验证对抗训练的缓解效果与性能代价。
2025-01-07 cs.AI cs.CR cs.LG
Normative Conflicts and Shallow AI Alignment
Raphaël Millière
本文指出LLMs的对齐方法仅强化浅层行为倾向,缺乏规范性审慎能力,因而易受利用规范冲突的对抗攻击,并强调该浅层对齐问题对AI安全与监管的深远影响。
2025-06-05 cs.CL
SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Didi International Business Group(滴滴国际商务集团);Institute for AI, Tsinghua University(清华大学人工智能研究院);Nanjing University of Information Science & Technology(南京信息科学技术大学)
SafeThinker通过动态分配防御资源,有效提升模型对伪装攻击的防御能力,同时保持实用性。
2026-01-23 cs.AI cs.CR
LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts
MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University(人工智能大模型关键实验室,上海交通大学);Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文研究大语言模型对自然分布偏移的脆弱性,提出ActorBreaker攻击方法,通过识别有毒提示相关角色构建多轮提示,揭示模型安全漏洞,并构建安全数据集提升鲁棒性。
2026-03-26 cs.AI cs.CL
The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);Shanghai AI Laboratory(上海人工智能实验室);University of Chicago(芝加哥大学)
DIJA揭示了扩散语言模型的安全漏洞,通过构造对抗性提示利用双向建模和并行解码机制,使有害内容在对齐训练模型中得以生成。
2026-02-10 cs.CL
Alignment-Weighted DPO: A principled reasoning approach to improve safety alignment
University of Virginia(弗吉尼亚大学);Capital One
本文提出基于对齐的DPO方法,通过引入推理意识的后训练和对齐加权机制,提升大语言模型的安全性对齐鲁棒性。
2026-02-24 cs.AI cs.CL
Quantifying LLM Safety Degradation Under Repeated Attacks Using Survival Analysis
MuyVentive, LLC(MuyVentive公司)
本文提出利用生存分析评估LLM在持续对抗压力下的安全退化,揭示不同模型在多次攻击下的脆弱性差异,为模型开发者提供评估方法。
2026-05-13 cs.AI cs.CR
Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis
研究大语言模型辅助软件安全中,同谱系模型的安全状态(对齐或消除拒绝)对软件安全工作流程防御效用的影响,通过比较不同模型在多方面的表现,发现评估应综合考量模型响应、响应正确性及输出在工程流程中的可操作性。
2026-07-08 cs.AI cs.CR cs.SE
Safety Alignment Should Be Made More Than Just a Few Tokens Deep
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本文提出浅层安全对齐概念,揭示当前 LLM 安全对齐主要只作用于前几个 token 而导致多种攻击漏洞,并通过加深对齐与正则化微调提升鲁棒性。
2024-06-10 cs.AI cs.CR
Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety
California Institute of Technology(加州理工学院)
研究多语言大语言模型安全对齐问题,引入涵盖多种语言、资源层级和扰动类型的Minionese基准测试及几何机理分析,发现不同攻击类型漏洞特征不同,指出仅英语安全评估不足,需考虑多因素。
2026-07-14 cs.AI cs.CR
Interpreting and Steering for Safe and Correct Code Generation
George Mason University(乔治梅森大学)
本研究通过CodeSec-Pairs数据集解释LLMs代码生成的安全机制,提出DuoSteer双引导方法,在5类漏洞实验中实现26.9%漏洞率降低,效果优于基线方法且可跨模型复现。
2026-09-01 cs.AI
MESA: Improving MoE Safety Alignment via Decentralized Expertise
University of Science and Technology of China(中国科学技术大学)
针对MoE架构中安全能力集中于少数专家导致的脆弱性,提出MESA框架,通过最优传输理论实现专家安全职责去中心化分配与路由细化,在保持实用性的同时提升防御性能。
2026-05-30 cs.AI cs.CL cs.LG
SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues
King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹大学科学与技术学院);Technical University of Munich(慕尼黑技术大学)
研究通过语义线索引导视觉-语言模型的安全判断,提出SAVeS基准和评估协议,验证安全决策对语义线索的敏感性,揭示模型对视觉-语言关联的依赖及潜在安全漏洞。
2026-03-19 cs.AI cs.CL cs.CV
Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth
University of Chicago(芝加哥大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
针对大语言模型在有害续写开始后安全对齐失效的问题,本文提出推理时防御 ADA,通过中途重引入助手头部 token 激活对齐先验,在多类开源模型上以极低开销抵御预填充与对抗提示攻击并保持效用。
2025-10-20 cs.AI cs.LG
SAFEx: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Identification
School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);ByteDance Inc(字节跳动公司)
本文形式化分析了 MoE 架构 LLM 中安全行为依赖特定专家的位置漏洞,提出 SAFEx 框架识别安全关键专家并分为 HCDG 与 HRCG,通过专家级干预与 LoRA 负权重合并提供高效缓解方案。
2025-10-12 cs.AI cs.CR cs.LG
Learning Safety Constraints for Large Language Models
本文提出 SaP(Safety Polytope),一种在 LLM 表示空间中学习并执行多个安全约束的几何方法,通过多面体面识别安全区域以检测和纠正不安全输出,在不修改模型权重的前提下有效降低攻击成功率并保持标准任务性能。
2025-05-30 cs.AI cs.LG
LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning
University of São Paulo(圣保罗大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对对齐LLM易被良性或恶意微调削弱安全防护的问题,提出免训练低秩外推方法LoX,将参数移至更平坦区域,ASR绝对降低11%至54%并保留任务适应性。
2025-07-25 cs.AI cs.CL cs.LG
Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models
School of Innovation, Design and Engineering(创新、设计与工程学院);Mälardalen University(梅拉达伦大学)
本文研究基于深度的动态推理对LLMs抵御越狱攻击鲁棒性的影响,发现浅层出口更抗攻击、深层出口攻击损失更低等,为设计更鲁棒的动态推理方法提供了见解。
2026-10-22 cs.AI cs.CL cs.CR
Logic Jailbreak: Efficiently Unlocking LLM Safety Restrictions Through Formal Logical Expression
City University of Hong Kong(香港城市大学);Rutgers University(罗格斯大学);University of Science and Technology of China(中国科学技术大学);Universiteit van Amsterdam(阿姆斯特丹大学);Baidu Inc(百度公司)
本文提出LogiBreak方法,通过将有害提示转化为形式逻辑表达,利用对齐数据与逻辑输入之间的分布差异,有效绕过LLM安全机制,验证其在多语言数据集中的有效性。
2026-04-24 cs.AI cs.CL
Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model
National University of Singapore(国立新加坡大学);Singapore Management University(新加坡管理学院);Nanyang Technological University(南洋理工大学);Monash University(墨尔本大学)
SecCoderX通过在线强化学习与漏洞奖励模型提升代码安全性,实现功能与安全性的平衡。
2026-02-07 cs.AI cs.CL cs.CR
ShallowJail: Steering Jailbreaks against Large Language Models
xxx
ShallowJail通过操纵LLMs的初始标记来攻击其对齐机制,从而降低大语言模型的安全性。
2026-02-13 cs.AI cs.CR
Depth Charge: Jailbreak Large Language Models from Deep Safety Attention Heads
本文提出SAHA攻击框架,通过深入分析注意力头的漏洞,提升对抗样本生成的鲁棒性,实验显示其在ASR指标上优于现有方法。
2026-03-13 cs.AI cs.CR
Persona Non Grata: Single-Method Safety Evaluation Is Incomplete for Persona-Imbued LLMs
Carnegie Mellon University(卡内基梅隆大学);Fujitsu Research of America Inc.(富士通美国研究公司)
本文指出,针对具有人格特征的LLM,仅通过提示进行的安全性评估不完整,因为提示和激活引导暴露了不同的、依赖于架构的漏洞特征。研究显示,激活引导的漏洞无法通过提示侧排名预测,且在不同架构模型中表现各异。
2026-04-14 cs.AI
Revealing the Intrinsic Ethical Vulnerability of Aligned Large Language Models
Department of Electrical and Electronic Engineering(电子与电气工程系);The Hong Kong Polytechnic University(香港理工大学);School of Electronics and Information(电子与信息学院);Northwestern Polytechnical University(西北工业大学)
本文从理论上证明对齐仅形成局部安全区域而预训练有害知识仍全局连通,并提出分布偏移下的语义连贯性诱导方法,在19/23个主流对齐大模型上实现100%攻击成功率,揭示其普遍伦理脆弱性。
2025-06-03 cs.AI cs.CL
V-DEAL: Diagnosing Video Safety De-Calibration as an Understanding-Refusal Coupling Failure
University of Queensland(昆士兰大学);University of California, Merced(加州大学默塞德分校)
研究视频大语言模型安全对齐问题,提出V-DEAL三级诊断框架分析漏洞机制,通过测试发现模型识别有害视频内容有一定准确率,但配对有害视频与良性查询时攻击成功率高,视觉理解激活拒绝倾向弱,还引入提示注入干预方法降低攻击成功率。
2026-07-28 cs.AI
NeuRel-Attack: Neuron Relearning for Safety Disalignment in Large Language Models
Binjiang Institute of Zhejiang University(浙江大学滨江研究院);South China University of Technology(华南理工大学);Zhejiang University(浙江大学)
本研究提出NeuRel-Attack方法,通过神经元激活分析、相似性识别与神经元再学习三个步骤,精准修改负责安全约束的神经元,仅需最小微调即可移除LLMs的安全限制,揭示了当前对齐技术的漏洞。
2025-04-29 cs.AI cs.LG
Safe Semantics, Unsafe Interpretations: Tackling Implicit Reasoning Safety in Large Vision-Language Models
Peking University(北京大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信);Northwestern Polytechnical University(西北工业大学);Southeast University(东南大学)
本文揭示了大型视觉-语言模型中隐式推理安全的漏洞,构建了首个相关数据集SSUI,并证明简单的上下文学习即可有效缓解此类多模态安全威胁。
2025-08-12 cs.AI
Replicating TEMPEST at Scale: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
本研究通过TEMPEST框架评估了十种前沿模型对多轮对抗攻击的鲁棒性,发现模型规模不影响鲁棒性,而思考模式能提升安全性。
2025-12-08 cs.CL
USB: A Comprehensive and Unified Safety Evaluation Benchmark for Multimodal Large Language Models
Alibaba Group(阿里巴巴集团);Nanjing University(南京大学);China Academy of Information and Communications Technology(中国信息通信研究院)
本文提出统一安全基准USB,通过高质量数据合成流水线生成互补数据,覆盖61个风险子类别与4种模态组合,同时评估多模态大语言模型对有害查询的脆弱性与对无害查询的过度敏感性,解决现有基准覆盖不足与结果矛盾的问题。
2025-05-26 cs.AI cs.CR
Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing
LY Corporation;University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能项目)
本文针对安全对齐语言模型在特定类别中仍存在漏洞且可能偏向拒绝响应的问题,提出免学习的Token级安全去偏推理方法TSDI,在生成过程中纠正偏差,从而在保持安全性的同时提升模型有用性并改善Pareto前沿。
2025-02-04 cs.AI cs.CL cs.LG
Jailbreaking Large Language Models with Symbolic Mathematics
University of Texas at San Antonio(圣安东尼奥德克萨斯大学);Tecnológico de Monterrey(蒙特雷理工学院);Florida International University(佛罗里达国际大学)
提出MathPrompt越狱方法,利用符号数学编码有害提示绕过LLM安全机制,在13个先进模型上平均攻击成功率达73.6%,揭示现有安全训练的泛化缺陷。
2024-11-05 cs.AI cs.CL cs.CR
Why Is RLHF Alignment Shallow? A Gradient Analysis
Department of Computer Science and Technology University of Cambridge(计算机科学与技术系剑桥大学)
本文通过梯度分析揭示RLHF对齐浅层的原因,提出有害信息概念并设计新的目标以实现深层对齐。
2026-03-05 cs.CL cs.LG
Robust Safety Classifier for Large Language Models: Adversarial Prompt Shield
University of California Irvine(加利福尼亚大学尔湾分校)
本文提出对抗性提示护盾(APS)轻量级安全分类器及BAND对抗训练数据集生成策略,可将大语言模型对抗攻击成功率降低最多60%。
2023-10-31 cs.AI cs.CL
The Hidden Dimensions of LLM Alignment: A Multi-Dimensional Analysis of Orthogonal Safety Directions
Wenbo Pan(温波 Pan);Zhichao Liu(刘志超 Liu);Qiguang Chen(陈启广 Chen);Xiangyang Zhou(周祥阳 Zhou);Haining Yu(于航 Yu);Xiaohua Jia(贾小华 Jia)
本研究揭示LLM安全对齐由多维正交方向共同控制,主导方向控制拒绝行为,次要方向可被触发词移除以绕过安全能力,提供多维视角理解安全脆弱性。
2025-05-27 cs.AI cs.CL
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Safety Alignment in NLP Tasks: Weakly Aligned Summarization as an In-Context Attack
University of California, Riverside(加州大学河滨分校);Microsoft(微软)
本文揭示了不同NLP任务安全对齐的差异,发现弱对齐的摘要任务可作为上下文攻击手段,破坏翻译和问答等更稳健任务的安全性,并呼吁加强广泛NLP任务的安全对齐。
2024-06-06 cs.CL
Shallow Robustness, Deep Vulnerabilities: Multi-Turn Evaluation of Medical LLMs
Dynamo AI
本文提出MedQA-Followup框架评估医学大语言模型多轮稳健性,发现模型在浅层扰动下尚可,但深层多轮交互中准确率大幅下降,间接上下文干预危害更大,凸显多轮稳健性对临床部署的关键性。
2025-10-14 cs.AI cs.CL
SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
SafeCRS通过整合安全监督微调与安全组奖励解耦归一化策略优化,提升基于大语言模型的对话推荐系统在个性化安全约束下的推荐质量与安全对齐能力。
2026-07-28 cs.AI cs.CL cs.IR
Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots
本文提出利用领域特定心理健康原则的宪法AI训练方法,以提升心理健康聊天机器人在安全性和领域适应性方面的表现。
2026-10-23 cs.AI cs.CL cs.LG
Backtracking for Safety
Google(谷歌);Virginia Tech(弗吉尼亚理工大学)
针对LLM安全对齐浅层化及长生成中细微毒性难以纠正的问题,本文提出回溯方法,可在违规时回到更安全状态并局部修正,兼顾安全性与效率。
2025-03-11 cs.AI cs.CL
SafeAnchor: Preventing Cumulative Safety Erosion in Continual Domain Adaptation of Large Language Models
The University of Hong Kong(香港大学);Brain Investing Limited
SafeAnchor通过识别低秩安全子空间并约束梯度更新,有效防止连续领域适应中的安全性侵蚀,实验显示其在多个领域任务中保持了较高的安全性对齐度。
2026-04-20 cs.AI cs.LG
Uncovering Logit Suppression Vulnerabilities in LLM Safety Alignment
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);Nankai University(南开大学)
本文提出SSAG方法,通过系统操控输出层logit揭示LLM安全对齐的漏洞,实验显示其在五种主流模型上以95%成功率暴露有害响应,同时减少86%的响应时间。
2026-04-18 cs.AI cs.CR cs.LG
Assertion-Conditioned Compliance: A Provenance-Aware Vulnerability in Multi-Turn Tool-Calling Agents
Monash University(墨尔本大学);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种新的评估方法A-CC,用于检测多轮工具调用代理在面对误导性断言时的鲁棒性问题,揭示了模型在用户和系统政策冲突下的脆弱性。
2026-01-21 cs.AI cs.CL
When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models
针对多模态大模型中安全单模态输入组合产生有害输出的隐式推理风险,提出了SSUI数据集与SRPO训练框架,通过优化推理链实现安全对齐,在多项安全基准上取得最优表现。
2025-09-16 cs.AI
Is Safety Standard Same for Everyone? User-Specific Safety Evaluation of Large Language Models
KAIST(韩国科学技术院);Adobe Research(Adobe 研究院)
针对现有LLM安全评估忽视用户特定标准的问题,提出U-SafeBench基准,评估20个LLM发现其均未满足用户特定安全要求,并基于思维链提出简单补救措施以提升安全性。
2025-10-23 cs.CL
False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
研究揭示大型语言模型对表情符号的语义混淆问题,通过构建数据集发现平均混淆率超38%,且多数混淆响应导致安全风险,呼吁开发有效缓解方法。
2026-05-02 cs.AI cs.CR cs.SE
Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment
University of Maryland(马里兰大学);Indian Institute of Technology Bombay(印度班加罗尔理工学院);Princeton University(普林斯顿大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Capital One(Capital One公司);University of Central Florida(佛罗里达中央大学)
针对多模态大语言模型训练时安全对齐仍难抵御越狱攻击的问题,提出推理时防御框架Immune,通过受控解码结合安全奖励模型提升安全性,实验验证其在保留模型能力同时显著降低攻击成功率。
2025-06-14 cs.AI cs.CR cs.LG
Self-Aware Safety Augmentation: Leveraging Internal Semantic Understanding to Enhance Safety in Vision-Language Models
Shanghai Key Laboratory of Computer Software Testing and Evaluating(上海软件测试与评估 key laboratory);Shanghai Normal University(上海Normal University);TrustAI Pte. Ltd.;East China Normal University(东华师范大学)
本研究针对大型视觉语言模型易受有害输入攻击的问题,通过分析其内部安全能力分布提出SASA方法,利用中间层语义表示增强早期安全层识别能力,在不微调的情况下显著提升模型安全性且对效用影响极小。
2025-07-29 cs.AI
Safe for Whom? Rethinking How We Evaluate the Safety of LLMs for Real Users
Interdisciplinary Institute for Societal Computing(社会计算跨学科研究所)
本文探讨了评估LLM对真实用户安全性的挑战,指出需考虑用户情境差异,通过测试不同LLM在金融和健康建议上的表现,发现用户背景影响评估结果,且仅依赖用户披露信息不足以提升安全性评估。
2026-04-20 cs.AI cs.CY
Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection
Columbia University(哥伦比亚大学);Amherst College(阿默斯特学院)
本研究探讨在部分代码设置下,LLM提示能否替代静态分析进行漏洞检测,提出结合自然语言指令与对比思维链的提示策略,利用DeepSeek-R1等模型显著提升了准确率与F1分数并降低了假阴性率。
2025-09-11 cs.AI cs.CL cs.CR
Spot Risks Before Speaking! Unraveling Safety Attention Heads in Large Vision-Language Models
本文发现LVLMs中存在稀疏“安全头”可在首token生成时感知恶意提示,并基于其激活构建轻量逻辑回归检测器,实现强零样本攻击检测且不损害模型效用。
2025-01-03 cs.AI cs.CR cs.CV
Medical Malice: A Dataset for Context-Aware Safety in Healthcare LLMs
Medical Malice提出一个情境感知安全的医疗数据库,通过对抗性提示和伦理推理提升医疗LLM的安全性,以应对医疗领域复杂且系统性的威胁。
2025-11-24 cs.AI cs.CL cs.CR