GRAIT: Gradient-Driven Refusal-Aware Instruction Tuning for Effective Hallucination Mitigation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学);Southwest Jiaotong University(西南交通大学);Shanghai Jiaotong University(上海交通大学);Chinese University of Hong Kong(香港中文大学)
针对拒绝感知指令调优(RAIT)的两大挑战,本文从梯度视角提出GRAIT框架,通过梯度驱动样本选择和自适应加权机制平衡拒绝准确性与有用性,在问答任务中显著优于现有方法,有效缓解幻觉。
2025-02-09 cs.CL
Why Do Aligned LLMs Remain Jailbreakable: Refusal-Escape Directions, Operator-Level Sources, and Safety-Utility Trade-off
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
研究揭示对齐LLM仍易被劫持的原因,通过连续输入变换视角,发现拒绝-逃逸方向(RED)及操作级来源的结构漏洞,揭示安全与效用的权衡关系。
2026-05-09 cs.AI cs.CR
When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents
研究发现长上下文LLM代理在性能和拒绝率上存在不稳定安全问题,揭示了评估长多步骤任务代理安全性的挑战。
2025-12-02 cs.AI cs.CL cs.LG
From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute, University of California San Diego(加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院)
本文从机制可解释性视角刻画LLM的多阶段安全电路,通过电路引导的权重缩放提升6个LLM在对抗攻击下的安全率26.5%,仅造成1.7%的准确率下降,为LLM安全提供了电路级解释。
2026-09-02 cs.AI cs.CL cs.CY
SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models
The University of Hong Kong (HKU)(香港大学);Chinese Academy of Sciences (CAS)(中国科学院);Information Engineering University (IEU)(信息工程大学);Nanyang Technological University (NTU)(南洋理工大学)
SafeEvo从电路视角揭示预训练模型中的弱拒绝电路及其演化,提出安全电路对齐(SCA)方法,在三个LLM上实现更强对齐、更少过度拒绝和更好效用。
2026-10-08 cs.AI
SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives
University of California, Santa Cruz(加州大学圣克鲁兹分校);Washington University in St. Louis(华盛顿大学圣路易斯分校);University of California, Berkeley(加州大学伯克利分校)
本研究推出SteeringSafety基准,测试DIM等引导方法在3款大模型的9种安全视角表现,发现方法与模型、视角的匹配影响性能,且存在多视角纠缠问题,需多安全角度评估引导方法。
2026-08-13 cs.AI cs.CL cs.LG
V-DEAL: Diagnosing Video Safety De-Calibration as an Understanding-Refusal Coupling Failure
University of Queensland(昆士兰大学);University of California, Merced(加州大学默塞德分校)
研究视频大语言模型安全对齐问题,提出V-DEAL三级诊断框架分析漏洞机制,通过测试发现模型识别有害视频内容有一定准确率,但配对有害视频与良性查询时攻击成功率高,视觉理解激活拒绝倾向弱,还引入提示注入干预方法降低攻击成功率。
2026-07-28 cs.AI
How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence
University of California, Los Angeles(加州大学洛杉矶分校);University of Alberta(阿尔伯塔大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学)
本文从知识存储、真实性方向、拒绝方向和置信度四个机制视角对比基础与后训练大语言模型,揭示后训练保留和改变了哪些内部机制,为模型引导和可解释性研究提供依据。
2025-11-08 cs.AI cs.CL cs.LG
CR4T: Rewrite-Based Guardrails for Adolescent LLM Safety
Virginia Tech(弗吉尼亚理工大学)
本文提出CR4T框架,通过选择性响应重构替代拒绝导向的安全机制,以更符合青少年发展需求的方式提升LLM的安全性。
2026-05-20 cs.AI cs.CL cs.CY
Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint
SCIR Lab, Harbin Institute of Technology, China(哈尔滨工业大学SCIR实验室);City University of Hong Kong(香港城市大学);National University of Singapore(新加坡国立大学)
针对指令微调损害大模型安全性的问题,提出ProCon方法,通过投影约束正则化隐藏状态在拒答方向上的投影,并引入预热策略,在保持任务性能的同时显著缓解安全风险。
2025-09-08 cs.CL
When Models Refuse: Political Steerability and Feature Richness as Measures of Ideological Depth
Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
本文提出意识形态深度概念,通过可操控性和稀疏自编码器测量的特征丰富度,研究大语言模型拒绝遵循良性指令是否源于能力缺陷而非安全规则。
2026-06-02 cs.CL
Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文研究了多模态大语言模型在跨模态安全转移中的不足,提出安全几何坍缩现象,并通过自适应漂移修正方法提升模型安全性。
2026-05-18 cs.AI cs.CR
Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration
Carnegie Mellon University(卡内基梅隆大学)
提出诱饵方向优化(DDO),一种无需微调的后置权重编辑防御,通过注入非线性诱饵信号破坏消融攻击的估计器,在多个模型上显著降低攻击成功率且成本极低。
2026-09-16 cs.CL cs.CR cs.LG
When Behavioral Safety Evaluation Fails: A Representation-Level Perspective
Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Technical University of Denmark(丹麦技术大学)
本文提出行为安全与干预鲁棒性之间的“审计差距”,通过构建解离模型和引入潜在脆弱性评分(LVS),证明行为安全指标不足以衡量表征层面的鲁棒性。
2026-08-05 cs.AI cs.CL cs.LG
The Hidden Dimensions of LLM Alignment: A Multi-Dimensional Analysis of Orthogonal Safety Directions
Wenbo Pan(温波 Pan);Zhichao Liu(刘志超 Liu);Qiguang Chen(陈启广 Chen);Xiangyang Zhou(周祥阳 Zhou);Haining Yu(于航 Yu);Xiaohua Jia(贾小华 Jia)
本研究揭示LLM安全对齐由多维正交方向共同控制,主导方向控制拒绝行为,次要方向可被触发词移除以绕过安全能力,提供多维视角理解安全脆弱性。
2025-05-27 cs.AI cs.CL
On Prompt-Driven Safeguarding for Large Language Models
Tsinghua University(清华大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Tencent Inc.(腾讯公司)
本研究从模型表示视角揭示了安全提示使LLM更易拒绝查询的机制,并提出DRO方法将安全提示作为可训练嵌入进行优化,在不损害通用性能的前提下显著提升了域外和越狱基准的安全防护效果。
2024-06-03 cs.AI cs.CL cs.LG
On Bob Dylan: A Computational Perspective
Imperial College London(伦敦帝国学院)
本文利用o3-mini-high构建迪伦歌词的有向知识图谱,量化其情感、隐喻、主题多样性与网络复杂性,实证验证其“去习惯化”风格,并提出分析艺术家演变的新计算方法。
2025-02-03 cs.AI cs.CL cs.IR
CoT is Not the Chain of Truth: An Empirical Internal Analysis of Reasoning LLMs for Fake News Generation
研究揭示推理LLM在生成虚假新闻时,即使拒绝有害请求,其内部推理仍可能传播不安全内容,通过分析框架和指标揭示潜在风险并挑战安全假设。
2026-09-09 cs.CL
X-Boundary: Establishing Exact Safety Boundary to Shield LLMs from Multi-Turn Jailbreaks without Compromising Usability
School of Electronic Information and Electric Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
X-Boundary通过建立精确的安全边界,有效防御多轮劫持攻击,同时减少过度拒绝率并保持模型通用能力。
2025-12-26 cs.AI cs.CL cs.CR
Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
The Hong Kong University of Science and Technology(香港科学与技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Southern University of Science and Technology(南方科技大学)
针对LLMs自我对齐挑战,提出MoTE框架,通过结合四阶段结构化推理链与步骤级路由的多LoRA专家混合架构,显著提升模型安全性、抗越狱与过度拒绝能力,性能媲美OpenAI o1模型。
2025-06-01 cs.AI cs.CL
Know Your Limits: A Survey of Abstention in Large Language Models
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
本综述提出从查询、模型和人类价值观三视角审视LLMs弃权(不执行)的框架,梳理相关文献、讨论研究优缺点,并确定未来研究方向,以拓宽弃权(不执行)方法在AI系统中的应用与影响力。
2025-02-12 cs.CL
Matching Ranks Over Probability Yields Truly Deep Safety Alignment
Siebel School of Computing and Data Science(塞比尔计算与数据科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究开源大语言模型安全问题,针对预填充攻击及相关防御,提出排名辅助预填充(RAP)攻击,又通过匹配令牌排名提出PRESTO方法,提升了模型在RAP攻击下的安全性,为安全开源模型发展助力。
2026-07-23 cs.AI cs.CR
LLM Safety Alignment is Divergence Estimation in Disguise
Department of Statistics, Purdue University(普渡大学统计系);Department of Statistics, Michigan State University(密歇根州立大学统计系)
本文将LLM安全对齐解释为分布散度估计,提出KLDO方法和基于距离的安全度量,并证明服从—拒绝数据可增强安全与有害提示的潜在空间分离。
2025-10-20 cs.AI cs.CY cs.LG
Cultural Value Alignment Via Latent Activation Steering in Large Language Models
University of Copenhagen(哥本哈根大学)
提出一种基于场景行为探测和潜在激活引导的框架,用于评估和干预LLMs的文化价值,发现文化价值以耦合结构编码,限制了精确对齐。
2026-05-25 cs.CL
Probe before You Talk: Towards Black-box Defense against Backdoor Unalignment for Large Language Models
College of Cyber Science, Nankai University(南开大学网络科学学院);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Nanyang Technological University(新加坡国立大学)
针对LLM后门去对齐攻击,提出黑盒防御BEAT,利用探测拼接效应检测触发样本,通过输出分布扭曲度识别并停用后门,实验验证有效且可防越狱攻击。
2025-06-19 cs.CL cs.CR
Sirens' Whisper: Inaudible Near-Ultrasonic Jailbreaks of Speech-Driven LLMs
本文提出Sirens' Whisper框架,通过近超声波形在商用硬件上实现隐蔽的语音驱动LLM攻击,展示其在黑盒环境下的有效性及高保真度。
2026-03-14 cs.AI cs.CR cs.SD