Exploring the Vulnerability of the Content Moderation Guardrail in Large Language Models via Intent Manipulation
Boise State University（博伊州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pittsburgh（匹兹堡大学）；New York University（纽约大学）；Florida International University（佛罗里达国际大学）
本研究调查大型语言模型（LLMs）中感知意图的内容审核护栏的脆弱性，提出两阶段提示优化框架IntentPrompt，通过意图操纵实现高越狱成功率，实验表明其优于前沿方法并能规避先进防御，凸显安全机制关键弱点。
2025-08-25 cs.AI cs.CL
Benchmarking LLM Guardrails in Handling Multilingual Toxicity
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软公司）
该研究构建了涵盖7个数据集、十多种语言的多语言测试套件，对主流LLM护栏的多语言毒性处理能力、抗越狱能力等进行基准测试，发现现有护栏存在明显不足，为构建多语言场景下更可靠的LLM提供参考。
2024-10-29 cs.CL
"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
Nicolaus Copernicus University（哥白尼大学）；UCSI University（UCSI大学）
本研究通过模拟企业中层晋升竞争场景的“道德化”多步越狱提示开展黑盒测试，发现多款主流大语言模型护栏可被绕过生成言语攻击内容，其中Claude 3.5 Sonnet抵抗性更强，同时公开了相关代码以保障研究客观性。
2025-03-20 cs.AI cs.CL cs.CR
Virus: Harmful Fine-tuning Attack for Large Language Models Bypassing Guardrail Moderation
Georgia Institute of Technology（佐治亚理工学院）
本文提出名为Virus的有害微调攻击方法，通过微调修改有害数据绕过护栏审核，泄漏率达100%且攻击性能优异，揭示了依赖护栏审核无法解决LLMs固有的安全问题。
2025-01-29 cs.AI cs.CL cs.CR
HE-Guardrail: A Homomorphic Guardrail Against Jailbreak Attacks for Encrypted Large Language Model Inference
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Inha University（仁荷大学）；Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆北科学技术院）
针对HE-LLM推理中恶意客户端越狱攻击难以检测的问题，提出HE-Guardrail框架，在加密数据上同态运行防护栏并控制响应返回，实验复现明文防护栏决策，实现安全-效率-效用权衡。
2026-09-21 cs.AI cs.CR
NaSh: Guardrails for an LLM-Powered Natural Language Shell
University of California, Los Angeles（加州大学洛杉矶分校）
针对大语言模型驱动的自然语言Shell易产生非预期或不可解释输出的问题，研究提出应设置防护栏辅助用户纠错，设计了NaSh Shell落实思路，并梳理了该领域的开放问题与研究方向。
2025-06-16 cs.AI cs.OS
SEALGuard: Safeguarding the Multilingual Conversations in Southeast Asian Languages for LLM Software Systems
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
针对现有LLM护栏在多语种低资源语言上安全对齐不足的问题，本文提出基于LoRA适配的多语种护栏SEALGuard，并构建包含26万条十语言提示的SEALSBench基准，实验表明其DSR较LlamaGuard提升48%。
2025-07-17 cs.AI cs.CL
NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails
NVIDIA（英伟达）
本文介绍NeMo Guardrails，一个开源工具包，通过可编程护栏控制LLM输出，实现可控且安全的对话系统，并验证其与多个LLM提供商的兼容性。
2023-10-16 cs.AI cs.CL
A Flexible Large Language Models Guardrail Development Methodology Applied to Off-Topic Prompt Detection
Government Technology Agency（政府技术局）；National University of Singapore（新加坡国立大学）
本文提出一种无需真实数据的灵活护栏开发方法，通过大语言模型生成多样化提示构建合成数据集，训练离题提示检测模型，并开源数据集与模型以支持预生产环境下的LLM安全研究。
2025-04-09 cs.CL cs.LG
ChatGPT Doesn't Trust Chargers Fans: Guardrail Sensitivity in Context
Harvard University（哈佛大学）；Kempner Institute for the Study of Natural and Artificial Intelligence（凯普纳人工智能研究 institute）
本文研究用户语境信息对LLM护栏敏感性的影响，发现GPT-3.5对年轻、女性、亚裔美国人等角色及体育迷身份存在护栏偏见，且会基于用户意识形态推断调整护栏行为。
2025-08-26 cs.AI cs.CL
SoK: Evaluating Jailbreak Guardrails for Large Language Models
The Hong Kong University of Science and Technology（香港科学与技术大学）；Renmin University of China（中国人民大学）；Lingnan University（岭南大学）
本文首次系统化分析LLM越狱防护栏，提出六维分类法与安全-效率-效用评估框架，识别现有方法优劣并探讨普适性，为稳健防护栏的研发提供结构化基础。
2025-10-16 cs.AI cs.CR
Fence: Specialized SLM Guardrails for LLM Applications
JPMorgan（摩根大通）
研究使用闭源大语言模型的实际应用的安全措施问题，提出用在合成数据上训练的小型语言模型作专用护栏，引入受GAN启发的合成数据生成方法，实验证明该方法训练的护栏比基于提示的性能更优。
2026-07-22 cs.AI
Noise Injection Systemically Degrades Large Language Model Safety Guardrails
Tufts University（塔夫茨大学）
本文通过向模型激活值注入高斯噪声，发现这使LLM有害输出率提升达27%，揭示了现有安全微调方法存在脆弱性，为开发更鲁棒的AI安全系统指明了方向。
2025-10-12 cs.AI cs.CL cs.LG
RAG Makes Guardrails Unsafe? Investigating Robustness of Guardrails under RAG-style Contexts
Carnegie Mellon University（卡内基梅隆大学）；Oracle Cloud Infrastructure（Oracle 云基础设施）；University of Pennsylvania（宾夕法尼亚大学）
本文以RAG为案例，系统评估了基于LLM的护栏在上下文嵌入额外信息时的鲁棒性，发现良性文档插入会显著改变护栏判断，暴露了上下文鲁棒性差距。
2025-10-06 cs.AI cs.CL
A Multilingual, Culture-First Approach to Addressing Misgendering in LLM Applications
Microsoft Research India（微软印度研究院）；The University of York（约克大学）；Microsoft（微软）
针对多语言场景下大语言模型应用的性别错称问题，采用参与式设计开发跨42种语言的防护机制，经人在环路的会议摘要场景验证可有效降错称率且保质量，同时发布相关数据集与评估结果以促研究。
2025-05-21 cs.AI cs.CL
Jailbreaking Large Language Models Against Moderation Guardrails via Cipher Characters
School of Information Sciences（信息科学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lapis Labs（拉皮斯实验室）
针对现有红队基准忽略审核护栏的问题，提出了JAMBench基准和JAM越狱方法，通过越狱前缀和微调影子模型生成密文字符绕过输入输出级过滤器，在四个LLM上实现了显著更高的越狱成功率和更低的过滤率。
2024-05-30 cs.CL cs.CR cs.CV
The Need for Guardrails with Large Language Models in Medical Safety-Critical Settings: An Artificial Intelligence Application in the Pharmacovigilance Ecosystem
Harvard-MIT Department of Health Sciences and Technology（哈佛-麻省理工卫生科学与技术部）；GlaxoSmithKline（葛兰素史克公司）；London School of Hygiene and Tropical Medicine（伦敦卫生与热带医学院）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
本文针对LLM在药物警戒等医疗安全关键场景中的幻觉风险，提出并验证了一套防护栏框架，通过异常文档检测、错误术语识别和不确定性表达等机制，结合微调LLM实现安全可靠的药物安全报告转换。
2024-09-04 cs.AI cs.CL cs.CY
RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce Research（Salesforce研究院）；University of California Berkeley（加州大学伯克利分校）；University of Chicago（芝加哥大学）
本文提出RigorLLM框架，通过基于能量的数据增强、极小极大优化安全后缀及融合KNN与LLM的模型，高效审核有害内容，在检测效果与抗越狱攻击弹性上均超越现有基线。
2024-07-23 cs.AI cs.CL cs.CR
Identifying Features Associated with Bias Against 93 Stigmatized Groups in Language Models and Guardrail Model Safety Mitigation
本研究探讨了语言模型对93个污名化群体的偏见来源，并测试了防护模型对减少偏见的效果。
2025-12-22 cs.AI cs.CL cs.LG
Guard Vector: Beyond English LLM Guardrails with Task-Vector Composition and Streaming-Aware Prefix SFT
KT Corporation（KT公司）
研究提出Guard Vector安全任务向量，通过与目标语言模型合成及流感知方法调整得到TGM，能提升分类质量、实现语言扩展和模型可移植性，前缀SFT保持流环境下分类质量，单令牌输出设计提高效率，有助于构建更负责的AI生态系统。
2026-07-22 cs.CL
Benchmarking Jailbreak Guardrails for Embodied Agents
The Hong Kong University of Science and Technology（香港科技大学）；Renmin University of China（中国人民大学）
针对具身智能体的越狱攻击，本文首次系统评测六种防护栏，构建可插拔框架，从防御有效性、可用性和效率三维度评估，发现无单一防护栏全面占优，并提供选择与设计指导。
2026-10-06 cs.AI
SentGuard: Sentence-Level Streaming Guardrails for Large Language Models
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出SentGuard，一种与生成并行运行的句子级流式护栏，通过轻量级等待缓冲区将流式令牌分组为句子块并仅释放已验证块，以在低延迟下实现高精度不安全内容检测。
2026-06-01 cs.CL
Safety Through Reasoning: An Empirical Study of Reasoning Guardrail Models
NVIDIA Santa Clara, CA（NVIDIA圣克拉拉分校）
本研究实证分析基于推理的内容审核护栏模型，聚焦数据与推理效率，发现其样本效率高，并引入推理预算和双模式训练以平衡延迟与准确率，为实际部署提供指导。
2025-05-26 cs.AI cs.CL
SGuard-v1: Safety Guardrail for Large Language Models
Samsung SDS Technology Research（三星SDS技术研究院）
本文提出轻量级大语言模型安全护栏SGuard-v1，由ContentFilter和JailbreakFilter两个组件构成，经指令微调后在安全基准上取得SOTA性能，兼具轻量、可解释性优势，已开源。
2025-11-16 cs.AI cs.CL cs.CR
Lightweight Safety Guardrails via Synthetic Data and RL-guided Adversarial Training
Apple（苹果公司）
本文提出一种轻量级语言模型安全护栏框架，通过高保真合成数据生成与强化学习引导的对抗训练，使小规模语言模型在内容审核中达到或超越大模型性能，同时降低计算开销并增强抗攻击能力。
2025-07-11 cs.AI cs.CL cs.LG
A Causal Explainable Guardrails for Large Language Models
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
本文提出LLMGuardrail框架，通过因果分析与对抗学习消除LLMs引导过程中的语义偏见，并提供可解释性，从而更安全可靠地引导模型输出符合期望属性。
2024-09-04 cs.CL
Defensive M2S: Training Guardrail Models on Compressed Multi-turn Conversations
KAIST（韩国科学技术院）
Defensive M2S通过压缩多轮对话训练防护模型，显著降低训练和推理成本，提升攻击检测效率。
2026-01-01 cs.AI cs.CL
From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents
The University of Melbourne（墨尔本大学）；Tsinghua University（清华大学）
提出TRIAD框架，通过护栏生成的言语反馈引导代理在规划步骤中保持良性目标，实现安全与效用的最佳平衡。
2026-06-04 cs.AI
Backprompting: Leveraging Synthetic Production Data for Health Advice Guardrails
IBM Research - Almaden（IBM研究院-阿玛登分部）；Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
针对LLM健康建议护栏开发中生产级标注数据获取难的问题，提出backprompting生成类生产数据并结合稀疏人机循环聚类标注，融合合成数据训练检测器，在健康建议识别任务中优于GPT-4o（参数少400倍仍高3.73%）。
2025-08-25 cs.AI cs.CL
Auto-Tuning Safety Guardrails for Black-Box Large Language Models
University of St. Thomas（圣托马斯大学）
本文提出通过超参数优化来自动调整黑盒大语言模型的安全防护栏，以提高其安全性和效率。
2025-12-14 cs.CL cs.CR cs.LG
PROMPTEVALS: A Dataset of Assertions and Guardrails for Custom Production Large Language Model Pipelines
UC Berkeley（伯克利大学）；LangChain
本文提出PROMPTEVALS数据集，包含2087个LLM管道提示词和12623条断言标准，用于评估和提升LLM生成断言的能力，微调模型平均比GPT-4o高20.93%。
2025-04-20 cs.CL
YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models
Alibaba-AAIG（阿里云-阿里人工智能研究院）
提出YuFeng-XGuard护栏模型系列，通过结构化风险预测（含风险类别、置信度分数及自然语言解释）实现可解释的多维风险感知，并采用分层推理范式平衡延迟与解释深度，同时引入动态策略机制解耦风险感知与策略执行。
2026-07-03 cs.CL
Jailbreaking Safeguarded Text-to-Image Models via Large Language Models
Duke University（杜克大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种利用微调大型语言模型来劫持受安全防护的文本到图像模型的方法，有效绕过安全防护并优于现有攻击技术。
2026-01-07 cs.AI cs.CL cs.CR
CR4T: Rewrite-Based Guardrails for Adolescent LLM Safety
Virginia Tech（弗吉尼亚理工大学）
本文提出CR4T框架，通过选择性响应重构替代拒绝导向的安全机制，以更符合青少年发展需求的方式提升LLM的安全性。
2026-05-20 cs.AI cs.CL cs.CY
DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model
针对LLM智能体运行时护栏的长视野风险盲点问题，提出基于风险感知世界模型的主动式护栏DreamGuard，经实验验证其安全-效用权衡更优且延迟低。
2026-08-07 cs.AI cs.CL cs.CR
SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models
KAIST（韩国科学技术院）；Technische Hochschule Nürnberg Georg Simon Ohm（图林根工业大学诺伊堡分校）
SafeRoute提出一种二元路由器，区分困难与简单示例，仅对困难示例调用大型安全护栏模型，在保持准确性的同时降低计算成本，显著优化了安全性能与效率的权衡。
2025-05-22 cs.CL
Why Do Safety Guardrails Degrade Across Languages?
Stanford University（斯坦福大学）
该研究通过引入多组项目反应理论框架，揭示了语言无关的安全鲁棒性、提示内在难度、全球语言处理难度和提示特定的跨语言安全差距等因素，发现安全退化并非仅在低资源语言中发生，且文化与概念不匹配也会影响安全性能。
2026-08-12 cs.AI cs.CL cs.LG
Integrating Emotional and Linguistic Models for Ethical Compliance in Large Language Models
Stanford University（斯坦福大学）
本研究提出对抗性框架DIKE，通过情感建模、语言行为分类、伦理护栏构建及对抗优化等方法，提升大语言模型的伦理合规性与文化适配性，推动负责任的AI交互。
2024-05-14 cs.AI cs.CL
AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails
ETH Zürich（苏黎世联邦理工学院）
本文探讨用大型语言模型构建智能辅导系统，提出结合手工教学设计与有限状态转换器的混合方法MWPTutor，在数学应用题上辅导效果优于自由生成的GPT-4。
2024-04-25 cs.CL cs.HC
Guardrail Baselines for Unlearning in LLMs
Carnegie Mellon University（卡内基梅隆大学）
本文针对大语言模型遗忘成本高的问题，提出以提示和过滤等轻量护栏作为基线，证明其效果可与微调相当，并指出需改进评估指标以区分二者。
2024-06-11 cs.CL
No Free Lunch with Guardrails
Enkrypt AI（恩克莱普特人工智能公司）
本研究针对大语言模型护栏在安全性与可用性间的权衡问题，提出评估框架并测试多种行业护栏与LLM，证实不存在免费午餐，并给出了优化护栏设计的蓝图。
2025-04-03 cs.AI cs.CR
BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate
Plurai Inc.（Plurai公司）
BARRED通过不对称辩论生成合成训练数据，提升定制策略的安全性与效率，实验表明其优于现有模型。
2026-04-28 cs.AI cs.CL cs.LG
TWGuard: A Case Study of LLM Safety Guardrails for Localized Linguistic Contexts
Chunghwa Telecom Laboratories（中华电信实验室）
本文提出通过定制数据集优化语言环境特定的LLM安全护栏模型，以解决语言和文化差异导致的性能与实际效果差距问题，TWGuard在F1指标上提升显著，并在误报率上表现优异。
2026-04-17 cs.CL cs.CR
Guardrails for trust, safety, and ethical development and deployment of Large Language Models (LLM)
AWS AI&ML（亚马逊云科技人工智能与机器学习）
本文提出了一种灵活自适应序列机制，结合信任和安全模块，用于实现大型语言模型开发和部署的安全防护。
2026-01-16 cs.AI cs.CR cs.CY
ExpGuard: LLM Content Moderation in Specialized Domains
KAIST AI（韩国科学技术院人工智能研究所）；Financial Tech Lab, KakaoBank Corp（Kakao银行金融科技实验室）
ExpGuard通过专门领域的大语言模型内容审核模型，有效提升对金融、医疗和法律领域有害内容的防御能力。
2026-03-03 cs.CL
OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
针对大语言模型的安全、鲁棒性与隐私合规问题，研究提出开源平台OpenGuardrails，通过可配置策略、统一护栏架构和量化模型设计，实现多类风险防御，在多语言基准上达SOTA，支持企业级部署。
2025-10-29 cs.CL cs.CR
Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs
International Institute of Information Technology, Hyderabad（国际信息研究所，海得拉巴）；Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi（Mohamed bin Zayed人工智能大学，阿布扎比）
研究通过心理测量学方法揭示LLM人格空间的稳定性，发现人格向量可作为内在护栏抑制LLM的涌现偏差。
2026-05-11 cs.AI cs.CL
When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation
POSTECH（浦项科技大学）
研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。
2026-07-24 cs.AI cs.CV
Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring
Mindgard；Lancaster University（兰卡斯特大学）
提出首个黑盒护栏侦察方法，通过HTTP、词汇和时序信号行为监控检测AI系统中护栏的存在，准确率100%，并能区分护栏拦截与LLM拒绝。
2026-07-03 cs.AI cs.CR
Robust and Efficient Guardrails with Latent Reasoning
University of California, Davis（加州大学戴维斯分校）
提出COLAGUARD模型，通过阶段式训练将多步安全推理转移到连续潜在空间，在保持高安全性能的同时实现12.9倍加速和22.4倍令牌减少。
2026-09-07 cs.AI cs.CL cs.CR
Triaging Threats to Specialized Guardrails
University of California, Davis（加州大学戴维斯分校）
提出GuardZoo统一基准和RouteGuard路由专家框架，通过将对话分流至专用护栏，解决单一护栏在多种威胁域上的任务干扰问题，提升细粒度检测和泛化能力。
2026-05-29 cs.CL cs.CR
Efficient Safety Guardrails through Latent Dual-Hypothesis Reasoning with On-Demand Trace Reconstruction
University of Arizona（亚利桑那大学）
本文提出LR-Guard，通过将教师模型的推理提炼为紧凑潜在表示并按需重建，在保证安全分类与解释性能优于教师模型的同时，实现19.4倍推理加速，提升了安全护栏的效率与可解释性。
2026-10-14 cs.AI
Black-Box Guardrail Reverse-engineering Attack
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；Hangzhou Dianzi University（杭州电子科技大学）
本文首次研究黑盒LLM护栏逆向工程攻击，提出基于强化学习和遗传算法数据增强的GRA框架，在ChatGPT、DeepSeek和Qwen3上以低于85美元成本实现超过0.92的规则匹配率，揭示了现有护栏设计的严重安全漏洞。
2025-11-06 cs.CL cs.CR
SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
提出SafePyramid基准，包含1000轮多领域对话和3000条应用特定策略，通过三级难度评估LLM在上下文中执行策略护栏的能力，发现当前模型表现有限。
2026-06-29 cs.AI
