Noise Injection Systemically Degrades Large Language Model Safety Guardrails
Tufts University（塔夫茨大学）
本文通过向模型激活值注入高斯噪声，发现这使LLM有害输出率提升达27%，揭示了现有安全微调方法存在脆弱性，为开发更鲁棒的AI安全系统指明了方向。
2025-10-12 cs.AI cs.CL cs.LG
A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（卡塔尔国王大学科学与技术研究院）；University of Oxford（牛津大学）
GuardSpace通过分解安全相关权重并构建零空间投影器，在微调中保持LLM安全对齐，显著降低有害响应并提升任务性能。
2025-10-27 cs.AI
EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
AIM Intelligence（AIM智能研究所）；Seoul National University（首尔国立大学）
提出EgoSafetyBench，一个包含1200个机器人视角场景的自我中心视频基准，用于评估视觉语言模型在流式安全监控中的能力，通过情景和视觉通道两个轨道测试模型识别危险和应对误导性文本的鲁棒性。
2026-10-06 cs.AI cs.CV
UniGuard: Towards Universal Safety Guardrails for Jailbreak Attacks on Multimodal Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
针对多模态大语言模型的越狱攻击，提出UniGuard安全护栏，通过联合单模态与跨模态有害信号训练，在最小计算成本下实现跨多种模态、攻击和模型的泛化防御，同时保持模型原有视觉语言理解能力。
2025-01-31 cs.AI cs.CL cs.LG
Robust and Efficient Guardrails with Latent Reasoning
University of California, Davis（加州大学戴维斯分校）
提出COLAGUARD模型，通过阶段式训练将多步安全推理转移到连续潜在空间，在保持高安全性能的同时实现12.9倍加速和22.4倍令牌减少。
2026-09-07 cs.AI cs.CL cs.CR
GuardAD: Safeguarding Autonomous Driving MLLMs via Markovian Safety Logic
Beihang University（北航大学）；Zhongguancun Laboratory（中关村实验室）；Peking University（北京大学）
GuardAD通过马尔可夫逻辑形式化提升自动驾驶MLLMs的安全性，减少事故率并提升任务性能，经实验验证其有效性。
2026-05-11 cs.AI
OmniGuard: Unified Omni-Modal Guardrails with Deliberate Reasoning
Fudan University（复旦大学）；University of California, Davis（加州大学戴维斯分校）
OmniGuard通过统一的多模态防护机制与刻意推理能力，有效提升多模态安全防护的鲁棒性和泛化能力。
2025-12-02 cs.AI cs.CL cs.CR
X-Guard: Multilingual Guard Agent for Content Moderation
University of New Haven（纽黑文大学）
针对现有LLM安全防护在多语言场景下的漏洞，本文提出透明多语言防护智能体X-Guard，通过构建跨语言数据集、采用评委团方法及两阶段架构，有效防御低资源语言对抗攻击与代码切换攻击，提升决策透明度。
2025-04-11 cs.AI cs.CR
Bridging the Safety Gap: A Guardrail Pipeline for Trustworthy LLM Inferences
University of California, Irvine（加利福尼亚大学欧文分校）；University of Southern California（南加利福尼亚大学）；TensorOpera AI
针对LLM推理的安全风险，提出集成安全检测器、接地、定制器和修复器的Wildflare GuardRail护栏流水线，其不安全内容检测性能可比肩OpenAI API，恶意URL处理准确率100%，幻觉修复准确率80.7%。
2025-02-12 cs.AI
ThinkGuard: Deliberative Slow Thinking Leads to Cautious Guardrails
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
本文提出 ThinkGuard，一种批评增强的护栏模型，通过从高能力 LLMs 蒸馏结构化批评与安全标签，显著提升护栏的谨慎性与可解释性，在多个安全基准上取得最优 F1 与 AUPRC，准确率较 LLaMA Guard 3 提升 16.1%。
2025-05-27 cs.AI cs.CL cs.CR
LPG: Balancing Efficiency and Policy Reasoning in Latent Policy Guardrails
Johns Hopkins University（约翰霍普金斯大学）
本文提出LPG框架，通过学习动态政策的语义潜在推理，在保持高安全准确率的同时实现低延迟的政策执行。
2026-05-17 cs.AI cs.CR
The Need for Guardrails with Large Language Models in Medical Safety-Critical Settings: An Artificial Intelligence Application in the Pharmacovigilance Ecosystem
Harvard-MIT Department of Health Sciences and Technology（哈佛-麻省理工卫生科学与技术部）；GlaxoSmithKline（葛兰素史克公司）；London School of Hygiene and Tropical Medicine（伦敦卫生与热带医学院）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
本文针对LLM在药物警戒等医疗安全关键场景中的幻觉风险，提出并验证了一套防护栏框架，通过异常文档检测、错误术语识别和不确定性表达等机制，结合微调LLM实现安全可靠的药物安全报告转换。
2024-09-04 cs.AI cs.CL cs.CY
Breaking Free: How to Hack Safety Guardrails in Black-Box Diffusion Models!
Kyushu University（九州大学）；IBM Research（IBM研究院）
提出EvoSeed框架，利用进化策略（CMA-ES）在黑盒条件下通过条件扩散模型生成高质量自然对抗样本，以绕过安全分类器，揭示现有安全机制的脆弱性。
2024-05-23 cs.AI cs.CV cs.LG
Guarding the Meaning: Self-Supervised Training for Semantic Robustness in Guard Models
Qualcomm AI Research（高通人工智能研究）
针对守卫模型对表层语言变异敏感、缺乏语义基础的问题，提出基于释义集和偏斜感知聚合策略的自监督框架，提升其语义鲁棒性，降低语义变异性约58%、平均提升基准准确率约2.5%，并发现校准与一致性的双向关系。
2025-11-06 cs.AI cs.CL cs.LG
PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents
The University of Tokyo（东京大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Zhejiang University（浙江大学）
针对现有智能体护栏忽视用户差异与多轮风险累积的问题，提出 PSG-Agent，结合稳定人格特质、实时状态及全流程专项监控实现个性化动态安全防护。
2025-09-28 cs.AI
LongGuard: Mechanistic Analysis and Training-Free Mitigation of Long-Context Failure in Safety Guardrails
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本研究针对LLM安全护栏在长上下文下的失效问题，提出LongGuard框架，经机制分析后开发无训练缓解方案，在多基准测试中实现显著性能提升。
2026-09-01 cs.AI
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）；Xiamen University（厦门大学）；Harbin Institute of Technology（哈尔滨工业大学）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab, UK（华为诺亚方舟实验室（英国））；MemoraX AI
SafeCoEvo提出测试时护栏与守卫协同进化框架，通过短期显式知识更新和长期参数化风险判断，同时降低不安全结果率10.05%并提升任务成功率12.15%。
2026-10-05 cs.AI
Safety Through Reasoning: An Empirical Study of Reasoning Guardrail Models
NVIDIA Santa Clara, CA（NVIDIA圣克拉拉分校）
本研究实证分析基于推理的内容审核护栏模型，聚焦数据与推理效率，发现其样本效率高，并引入推理预算和双模式训练以平衡延迟与准确率，为实际部署提供指导。
2025-05-26 cs.AI cs.CL
AdaGuard: Enhancing Safety and Policy Compliance with Reasoning-Enabled LLM-As-A-Judge Guardrails
Capital One（第一资本）
AdaGuard提出一种自适应LLM作为评判框架，通过动态策略执行和推理预算分配，兼顾安全合规与低延迟，媲美更大模型。
2026-10-08 cs.AI
AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
The Ohio State University（俄亥俄州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Davis（加州大学戴维斯分校）
针对LLM自主智能体面临的任务特定风险与系统风险，提出具备自适应安全检查生成、优化及工具兼容性的终身智能体护栏AGrail，实验证明其能有效应对两类风险且跨任务可迁移。
2025-02-18 cs.AI
CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions
Xi’an Jiaotong University（西安交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究提出CompanionSafe框架，含CompanionEval多轮评估与CompanionGuard风险缓解组件，发现LLM等模型易受伴侣特定关系危害，互动越长风险越高，形成AI伴侣安全的评估-缓解循环。
2026-10-14 cs.AI cs.CR cs.HC
Safety Guardrails for LLM-Enabled Robots
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
RoboGuard通过两阶段护栏架构，利用根信任LLM和链式推理生成上下文安全规范，有效降低LLM赋能机器人在对抗攻击下的不安全计划执行率，提升系统安全性与可靠性。
2026-03-03 cs.AI cs.RO
GuardReasoner: Towards Reasoning-based LLM Safeguards
NUS（新加坡国立大学）；HKUST (Guangzhou)（香港科技大学（广州））；Westlake University（西湖大学）
GuardReasoner通过推理SFT和硬样本DPO增强防护模型的推理能力，在13个基准上平均F1超过GPT-4o+CoT 5.74%，提升LLM安全防护性能。
2025-10-17 cs.AI cs.CR cs.LG
Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
研究针对金融服务等场景中大语言模型安全分类需求，提出Semalith v1.4分类器，能单步实现三轴安全分类，经训练和对比测试，在提示注入检测上表现出色且参数少，还给出不同场景下的部署建议。
2026-07-28 cs.AI cs.CL cs.CR
Bielik Guard: Efficient Polish Language Safety Classifiers for LLM Content Moderation
Bielik Guard通过高效波兰语安全分类器提升LLM内容审核效果，0.5B模型在F1分数上表现最佳，0.1B模型在效率与低误报率上优于现有方案。
2026-04-20 cs.AI cs.CL
Blind, Not Weak: A Best-of-Suite Safety-Utility Frontier for Recover-and-Reguard Defenses Against Encoded VLM Jailbreaks
本研究提出防护无关型的恢复-解码放大器，评估其对11种攻击集成的编码型VLM越狱防御效果，发现其存在安全-效用上限，贡献了放大器、集成评估方法及防御适用场景图谱。
2026-09-28 cs.AI cs.CR cs.LG
LLM Safety From Within: Detecting Harmful Content with Internal Representations
University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；LMU Munich（慕尼黑路德维希-马克西米利安大学）
SIREN通过利用内部层特征提升有害内容检测性能，相比现有模型更高效且泛化能力强。
2026-04-20 cs.AI
VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails
Google Cloud AI Research（谷歌云人工智能研究院）；Google DeepMind（谷歌DeepMind）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
VEPA是面向终身LLM智能体护栏的可验证演化形式化策略框架，通过LLM生成策略补丁、确定性验证器筛选及证据感知权威层，在多基准测试中优于基线，适配复杂部署条件。
2026-10-12 cs.AI cs.CL cs.CR
StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）；Fudan University（复旦大学）；Renmin University of China（中国人民大学）；KAUST（阿卜杜拉国王科技大学）
该研究针对LLM智能体交互的安全风险，提出步骤级护栏模型StepGuard，通过自动数据引擎StepGen与动态平衡学习方法Balance-GRPO训练，在降低攻击成功率的同时仅小幅影响效用。
2026-08-26 cs.AI cs.CR
A Lightweight Explainable Guardrail for Prompt Safety
University of Arizona（亚利桑那大学）
本文提出了一种轻量级可解释守护栏（LEG）方法，通过多任务学习架构联合学习提示分类器和解释分类器，利用合成解释数据训练，采用新颖策略对抗LLM确认偏见，结合交叉熵和焦点损失实现全局解释信号的弱监督学习，实现优于现有方法的性能。
2026-04-27 cs.AI cs.CL
When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation
POSTECH（浦项科技大学）
研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。
2026-07-24 cs.AI cs.CV
Safe Actions Alone Do Not Ensure Safe Agents: Identifying Unfulfilled Obligations with Guard Models
Tsinghua University（清华大学）；College of AI, Tsinghua University（清华大学人工智能学院）
该研究指出仅靠防护模型识别智能体的被禁止行动无法保障安全，提出需识别未履行的义务，构建首个义务识别基准ObligationBench及模型ObligationGuard，显著提升了义务识别性能。
2026-10-19 cs.AI
SGuard-v1: Safety Guardrail for Large Language Models
Samsung SDS Technology Research（三星SDS技术研究院）
本文提出轻量级大语言模型安全护栏SGuard-v1，由ContentFilter和JailbreakFilter两个组件构成，经指令微调后在安全基准上取得SOTA性能，兼具轻量、可解释性优势，已开源。
2025-11-16 cs.AI cs.CL cs.CR
Jailbreaking Safeguarded Text-to-Image Models via Large Language Models
Duke University（杜克大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种利用微调大型语言模型来劫持受安全防护的文本到图像模型的方法，有效绕过安全防护并优于现有攻击技术。
2026-01-07 cs.AI cs.CL cs.CR
TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories
CyCraft AI Lab, Taiwan（CyCraft AI实验室（台湾））；National Taiwan University（国立台湾大学）
本文提出TraceSafe-Bench，首个评估中间轨迹安全的综合基准，发现安全护栏效果更依赖结构数据能力而非语义安全对齐，通用模型在轨迹分析中表现更优，且准确性随执行步骤增加而提升。
2026-08-11 cs.AI cs.CL cs.CR
Identifying Features Associated with Bias Against 93 Stigmatized Groups in Language Models and Guardrail Model Safety Mitigation
本研究探讨了语言模型对93个污名化群体的偏见来源，并测试了防护模型对减少偏见的效果。
2025-12-22 cs.AI cs.CL cs.LG
Why Do Safety Guardrails Degrade Across Languages?
Stanford University（斯坦福大学）
该研究通过引入多组项目反应理论框架，揭示了语言无关的安全鲁棒性、提示内在难度、全球语言处理难度和提示特定的跨语言安全差距等因素，发现安全退化并非仅在低资源语言中发生，且文化与概念不匹配也会影响安全性能。
2026-08-12 cs.AI cs.CL cs.LG
SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
提出SafePyramid基准，包含1000轮多领域对话和3000条应用特定策略，通过三级难度评估LLM在上下文中执行策略护栏的能力，发现当前模型表现有限。
2026-06-29 cs.AI
InGuard: Towards Generalized Inner Guardrail for Safe Text-to-Image Generation
Alibaba AAIG（阿里巴巴AAIG）
提出InGuard内部护栏框架，在模型表示上分级提示、修改嵌入并中途检测，实现高安全率与低干扰，显著减少参数和计算开销。
2026-09-24 cs.AI cs.CV
CR4T: Rewrite-Based Guardrails for Adolescent LLM Safety
Virginia Tech（弗吉尼亚理工大学）
本文提出CR4T框架，通过选择性响应重构替代拒绝导向的安全机制，以更符合青少年发展需求的方式提升LLM的安全性。
2026-05-20 cs.AI cs.CL cs.CY
Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；Citigroup（摩根大通）；Independent Researcher（独立研究者）
提出Reflect-Guard方法，通过参数高效微调为大语言模型安全分类器注入链式思维自我反思能力，显著提升对对抗性越狱攻击的检测性能。
2026-05-24 cs.AI cs.CR
Guardrails for trust, safety, and ethical development and deployment of Large Language Models (LLM)
AWS AI&ML（亚马逊云科技人工智能与机器学习）
本文提出了一种灵活自适应序列机制，结合信任和安全模块，用于实现大型语言模型开发和部署的安全防护。
2026-01-16 cs.AI cs.CR cs.CY
Protect: Towards Robust Guardrailing Stack for Trustworthy Enterprise LLM Systems
FutureAGI Inc.（未来人工智能公司）
Protect是原生多模态护栏模型，通过LoRA适配器和教师辅助标注，在文本、图像、音频上实现毒性、性别歧视、数据隐私和提示注入检测，性能超越现有模型。
2025-10-15 cs.AI cs.CL
REA: From Correct LLM Judgments to Safe Decision Delivery
University of Chicago（芝加哥大学）；Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）
该研究针对推理防护措施输出无法被应用解析的问题，提出REA框架，通过匹配解析器与输出、修复格式等，大幅降低了安全防护措施误放有害请求的比例。
2026-10-14 cs.AI
CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；South China University of Technology（华南理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen ShenNong Information Technology Co., Ltd.（深圳神农信息技术有限公司）
针对中文场景，提出细粒度风险分类体系（5大类31小类），通过可扩展数据构建管道生成高质量训练数据，并采用模型感知直接偏好优化训练CHILLGuard，在基准上F1分数提升15.92%。
2026-10-02 cs.AI cs.CL
QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety
FnGuide Inc.（FnGuide公司）；Safe Generative AI Lab, MODULABS（MODULABS安全生成AI实验室）；A.I.MATICS Inc.（A.I.MATICS公司）；Ewha Womans University（成均馆大学）
针对大语言模型易受有害及越狱提示攻击的安全问题，提出零样本安全防护方法QGuard，通过问题提示拦截多模态有害提示，无需微调即可保持鲁棒性，在多类数据集上表现优异，为LLM安全防护提供新思路。
2025-09-30 cs.AI cs.CR
NExT-Guard: Training-Free Streaming Safeguard without Token-Level Labels
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
NExT-Guard通过监控稀疏自编码器的潜在特征，实现无训练的流式安全防护，优于基于监督训练的防护方法。
2026-02-10 cs.AI cs.LG
A Dual-Hypothesis Reasoning Framework for LLM Guardrails
University of Arizona（亚利桑那大学）
该研究提出ARBITER大语言模型护栏框架，采用双假设推理和多组件监督微调方法，用成本效益高的策略生成推理痕迹及基于LoRA微调，性能超现有方法，还能为不安全决策提供解释，在安全审核基准实验中表现出色。
2026-10-09 cs.AI
HoloAegis: Frozen Representation, Topological Inference --- Minimally Parametric Safety Manifolds and Their Capability Boundaries for LLM Guardrails
Hong Kong Baptist University（香港浸会大学）；Guangdong Polytechnic Normal University（广东技术师范大学）；Guangdong Institute of Digital Industry（广东数字产业研究院）；The Hong Kong Polytechnic University（香港理工大学）；The Education University of Hong Kong（香港教育大学）；Southern University of Science and Technology（南方科技大学）
HoloAegis是一种最小参数拓扑推理框架，通过冻结语义表示的纯几何推理实现零样本LLM安全护栏，在8个基准测试中达到最先进准确率，兼具低延迟、零冷启动数据和跨语言迁移能力。
2026-09-16 cs.AI cs.CL cs.LG
PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails
Fudan University（复旦大学）；Tongji University（同济大学）；Virtue AI（美德人工智能公司）；The Chinese University of Hong Kong（香港中文大学）；University of Chicago（芝加哥大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究策略自适应图像护栏问题，提出PolicyShiftGuard方法，结合随机策略SFT和边界对策略适应进行两阶段训练，在PolicyShiftBench基准测试中显著提升性能，消融实验验证关键因素。
2026-07-08 cs.AI cs.CL cs.CV
Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Cambridge（剑桥大学）
针对多模态LLMs的安全性，提出SACRED-Bench评估语音音频组合攻击，并通过SALMONN-Guard将攻击成功率降低至20%。
2026-02-10 cs.AI cs.SD
GuardReasoner-VL: Safeguarding VLMs via Reinforced Reasoning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本研究提出基于推理的VLM防护模型GuardReasoner-VL，通过构建大规模推理语料库、监督微调冷启动及在线强化学习优化审核推理，在安全审核任务上平均F1分数较第二名提升19.27%，并开源相关资源。
2025-05-16 cs.AI cs.CR
Virus: Harmful Fine-tuning Attack for Large Language Models Bypassing Guardrail Moderation
Georgia Institute of Technology（佐治亚理工学院）
本文提出名为Virus的有害微调攻击方法，通过微调修改有害数据绕过护栏审核，泄漏率达100%且攻击性能优异，揭示了依赖护栏审核无法解决LLMs固有的安全问题。
2025-01-29 cs.AI cs.CL cs.CR
LoRA-Guard: Parameter-Efficient Guardrail Adaptation for Content Moderation of Large Language Models
Samsung R&D Institute UK (SRUK)（三星英国研发中心（SRUK））
LoRA-Guard通过低秩适配器共享LLM语言特征，实现参数高效的内容审核护栏，以100-1000倍更低开销保持准确性，支持设备端部署。
2024-12-18 cs.AI cs.CL cs.LG
